JP6273677B2 - 頭部装着型表示装置および頭部装着型表示装置の制御方法 - Google Patents

Description

本発明は、頭部装着型表示装置に関する。

頭部に装着する表示装置である頭部装着型表示装置（ヘッドマウントディスプレイ（Head Mounted Display）、ＨＭＤ）が知られている。頭部装着型表示装置は、例えば、液晶ディスプレイおよび光源を利用して画像を表わす画像光を生成し、生成された画像光を投写光学系や導光板を利用して使用者の眼に導くことにより、使用者に虚像を視認させる。頭部装着型表示装置には、使用者が虚像に加えて外景も視認可能な透過型と、使用者が外景を視認できない非透過型と、の２つのタイプがある。透過型の頭部装着型表示装置には、光学透過型とビデオ透過型とがある。

例えば、特許文献１に記載された頭部装着型表示装置では、供給された原画像を表わす画像光を使用者の眼に導く場合に、使用者が透過して視認する外景を撮像して、撮像した外景の輝度を調整した補正画像が生成され、生成された補正画像と原画像とを合成することで、原画像を外景に紛れさせずに使用者に視認させる技術について開示されている。

特開２０１０−１７７７８８号公報

しかし、特許文献１に記載された技術では、撮像した外景に基づいて補正画像を生成して、補正画像と原画像とを合成する画像処理は重く、リアルタイムで補正画像と原画像とを合成した画像を使用者に視認させるのには困難な場合があった。また、補正画像は、撮像した外景の輝度を調整しているため、原画像の色と使用者が視認する色が異なる場合があった。そのほか、従来の頭部装着型表示装置では、その小型化、低コスト化、使い勝手の向上等が望まれていた。

本発明は、上述の課題の少なくとも一部を解決するためになされたものであり、以下の形態として実現することが可能である。

（１）本発明の一形態によれば、透過型の頭部装着型表示装置が提供される。この頭部装着型表示装置は、使用者の頭部に装着された状態において、表示用画像データに基づいて画像光を生成して前記画像光を使用者に視認させる共に、外景を透過させる画像表示部と；外景を撮像して、外景画像を表わす外景画像データを生成する撮像部と；使用者の視野角の特性に基づいて前記表示用画像データの内の少なくとも一部のデータを選択し、前記外景画像データに基づいて選択したデータを補正する画像データ補正部と、を備える。この頭部装着型表示装置によれば、外景における色や輝度に関係なく、表示用画像データを表わす画像を使用者に視認させることができる。また、画像データ補正部は、迅速に画像表示領域に対応する部分のデータを補正し、リアルタイムで表示用画像データを表わす画像を使用者に視認させることができる。

（２）上記形態の頭部装着型表示装置において、前記画像データ補正部が選択したデータは、前記画像表示部が前記画像光を生成する領域である画像表示領域に対応する部分のデータであってもよい。この形態の頭部装着型表示装置によれば、外景における色や輝度に関係なく、表示用画像データを表わす画像を使用者に視認させることができる。また、画像データ補正部は、不要な領域のデータを補正しなくてもよいため、迅速に画像表示領域に対応する部分のデータを補正し、リアルタイムで表示用画像データを表わす画像を使用者に視認させることができる。

（３）上記形態の頭部装着型表示装置において、前記画像データ補正部は、前記画像表示領域、かつ、前記画像表示部が画像光を生成可能な領域である画像生成可能領域における周辺部分に対応する部分のデータを補正しなくてもよい。この形態の頭部装着型表示装置によれば、画像生成可能領域の周辺部では、データを補正しないので、不要な画像処理を行なわないで、より迅速に表示用画像データを生成できる。また、画像生成可能領域の中心部ではデータが補正された表示用画像データを表わす画像を使用者に視認させるため、使用者の満足度が向上する。

（４）上記形態の頭部装着型表示装置において、前記撮像部は、想定される使用者の視線方向である想定視線方向を含む外景を撮像し；前記画像データ補正部は、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して１００度以内、かつ、垂直方向において前記想定視線方向から上に対して５０度以内および下に対して７５度以内の第１の領域を越える場合には、前記第１の領域を越える領域に対応する部分のデータを補正しなくてもよい。この形態の頭部装着型表示装置によれば、最も広い安定注視点視野の範囲で、データが補正されるため、使用者の視認性が向上する。

（５）上記形態の頭部装着型表示装置において、前記画像データ補正部は、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して４５度以内、かつ、垂直方向において前記想定視線方向から上下のそれぞれに対して３５度以内の第２の領域を越える場合には、前記第２の領域を越える領域に対応する部分のデータを補正しなくてもよい。この形態の頭部装着型表示装置によれば、最も狭い安定注視点視野の範囲で、データを補正しているため、使用者の視認性を維持した上で、不要な画像処理が行なわれず、より迅速にデータを補正できる。

（６）上記形態の頭部装着型表示装置において、前記画像データ補正部は、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して３０度以内、かつ、垂直方向において前記想定視線方向から上下のそれぞれに対して２３度以内の第３の領域を越える場合には、前記第３の領域を越える領域に対応する部分のデータを補正しなくてもよい。この形態の頭部装着型表示装置によれば、情報受容能力に優れる有効視野では、画像表示領域に対応する部分のデータが補正され、それ以外の視野範囲では、データが補正されないので、不要な画像処理が行なわれず、より迅速に補正を行なうことができる。

（７）上記形態の頭部装着型表示装置において、前記撮像部は、想定される使用者の視線方向である想定視線方向を含むと共に、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して１５度以内、かつ、垂直方向において前記想定視線方向から上下のそれぞれに対して１０度以内の第４の領域を含む外景を撮像し；前記画像データ補正部は、前記第４の領域、かつ、前記画像表示領域における周辺部分に対応する部分のデータを補正してもよい。この形態の頭部装着型表示装置によれば、使用者は、最大画像表示領域に表示される画像を視認しやすく、利便性が向上する。

（８）上記形態の頭部装着型表示装置において、前記画像データ補正部は、前記外景画像データを複数の領域に分け、前記複数の領域における各データの色を表わす指標値が所定の閾値以内である場合に、前記複数の領域における各データの前記指標値を同一の前記指標値として置き換えてもよい。この形態の頭部装着型表示装置によれば、画像処理の負担を抑制した上で、外景画像の影響を少なくした画像を使用者に視認させることができる。

（９）上記形態の頭部装着型表示装置において、前記画像データ補正部は、供給された原画像データおよび前記外景画像データに基づいて補正画像データを生成し；前記画像表示部は、前記表示用画像データとしての前記補正画像データに基づいて画像光を生成してもよい。この形態の頭部装着型表示装置によれば、使用者に、原画像データを表わす画像とほぼ同じ画像を視認させることができる。

上述した本発明の各形態の有する複数の構成要素はすべてが必須のものではなく、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、適宜、前記複数の構成要素の一部の構成要素について、その変更、削除、新たな他の構成要素との差し替え、限定内容の一部削除を行なうことが可能である。また、上述の課題の一部または全部を解決するため、あるいは、本明細書に記載された効果の一部または全部を達成するために、上述した本発明の一形態に含まれる技術的特徴の一部または全部を上述した本発明の他の形態に含まれる技術的特徴の一部または全部と組み合わせて、本発明の独立した一形態とすることも可能である。

例えば、本発明の一形態は、画像表示部と、撮像部と、画像データ補正部と、の３つ要素の内の一つ以上または全部の要素を備えた装置として実現可能である。すなわち、この装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、画像表示部を有していてもよく、有していなくてもよい。また、装置は、撮像部を有していてもよく、有していなくてもよい。また、装置は、画像データ補正部を有していてもよく、有していなくてもよい。画像表示部は、例えば、使用者の頭部に装着された状態において、表示用画像データに基づいて画像光を生成して画像光を使用者に視認させる共に、外景を透過させてもよい。撮像部は、例えば、外景を撮像して、外景画像を表わす外景画像データを生成してもよい。画像データ補正部は、使用者の視野角の特性に基づいて表示用画像データの内の少なくとも一部のデータを選択し、外景画像データに基づいて選択したデータを補正してもよい。こうした装置は、例えば、頭部装着型表示装置として実現できるが、頭部装着型表示装置以外の他の装置としても実現可能である。このような形態によれば、装置の操作性の向上および簡易化、装置の一体化や、装置を使用する使用者の利便性の向上、等の種々の課題の少なくとも１つを解決することができる。前述した頭部装着型表示装置の各形態の技術的特徴の一部または全部は、いずれもこの装置に適用することが可能である。

本発明は、頭部装着型表示装置以外の種々の形態で実現することも可能である。例えば、頭部装着型表示装置の制御方法、頭部装着型表示システム、頭部装着型表示システムの機能を実現するためのコンピュータープログラム、そのコンピュータープログラムを記録した記録媒体、そのコンピュータープログラムを含み搬送波内に具現化されたデータ信号等の形態で実現できる。

頭部装着型表示装置１００の外観構成を示す説明図である。 頭部装着型表示装置１００の構成を機能的に示すブロック図である。 画像光生成部によって画像光が射出される様子を示す説明図である。 補正画像表示処理の流れを示す説明図である。 使用者が視認する視野ＶＲの一例を示す説明図である。 原画像データＤＴ０が表わす画像ＩＭＧ０を示す説明図である。 対応外景画像データＤＴｓｈにおける各画素のＲＧＢデータの一例を示す説明図である。 合成画像データＤＴｃが表わす画像ＩＭＧ１を示す説明図である。 使用者が視認する視野ＶＲの一例を示す説明図である。 第１の変形例における使用者が視認する視野ＶＲの一例を示す説明図である。 第２の変形例における使用者が視認する視野ＶＲの一例を示す説明図である。

次に、本発明の実施の形態を実施形態に基づいて以下の順序で説明する。
Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
Ａ−２．補正画像表示処理：
Ａ−３．実施形態の変形例：
Ｂ．変形例：

Ａ．実施形態：
Ａ−１．頭部装着型表示装置の構成：
図１は、頭部装着型表示装置１００の外観構成を示す説明図である。頭部装着型表示装置１００は、頭部に装着する表示装置であり、ヘッドマウントディスプレイ（Head Mounted Display、ＨＭＤ）とも呼ばれる。本実施形態の頭部装着型表示装置１００は、使用者が、虚像を視認すると同時に外景も直接視認可能な光学透過型の頭部装着型表示装置である。なお、本明細書では、頭部装着型表示装置１００によって使用者が視認する虚像を便宜的に「表示画像」とも呼ぶ。また、画像データに基づいて生成された画像を表わす画像光を射出することを「画像を表示する」ともいう。

頭部装着型表示装置１００は、使用者の頭部に装着された状態において使用者に虚像を視認させる画像表示部２０と、画像表示部２０を制御する制御部１０（コントローラー１０）と、を備えている。

画像表示部２０は、使用者の頭部に装着される装着体であり、本実施形態では眼鏡形状を有している。画像表示部２０は、右保持部２１と、右表示駆動部２２と、左保持部２３と、左表示駆動部２４と、右光学像表示部２６と、左光学像表示部２８と、カメラ６１と、を含んでいる。右光学像表示部２６および左光学像表示部２８は、それぞれ、使用者が画像表示部２０を装着した際に使用者の右および左の眼前に位置するように配置されている。右光学像表示部２６の一端と左光学像表示部２８の一端とは、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置で、互いに接続されている。

右保持部２１は、右光学像表示部２６の他端である端部ＥＲから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。同様に、左保持部２３は、左光学像表示部２８の他端である端部ＥＬから、使用者が画像表示部２０を装着した際の使用者の側頭部に対応する位置にかけて、延伸して設けられた部材である。右保持部２１および左保持部２３は、眼鏡のテンプル（つる）のようにして、使用者の頭部に画像表示部２０を保持する。

右表示駆動部２２と左表示駆動部２４とは、使用者が画像表示部２０を装着した際の使用者の頭部に対向する側に配置されている。なお、以降では、右保持部２１および左保持部２３を総称して単に「保持部」とも呼び、右表示駆動部２２および左表示駆動部２４を総称して単に「表示駆動部」とも呼び、右光学像表示部２６および左光学像表示部２８を総称して単に「光学像表示部」とも呼ぶ。

表示駆動部２２，２４は、液晶ディスプレイ２４１，２４２（Liquid Crystal Display、以下「ＬＣＤ２４１，２４２」とも呼ぶ）や投写光学系２５１，２５２等を含む（図２参照）。表示駆動部２２，２４の構成の詳細は後述する。光学部材としての光学像表示部２６，２８は、導光板２６１，２６２（図２参照）と調光板とを含んでいる。導光板２６１，２６２は、光透過性の樹脂材料等によって形成され、表示駆動部２２，２４から出力された画像光を使用者の眼に導く。調光板は、薄板状の光学素子であり、使用者の眼の側とは反対の側である画像表示部２０の表側を覆うように配置されている。調光板は、導光板２６１，２６２を保護し、導光板２６１，２６２の損傷や汚れの付着等を抑制する。また、調光板の光透過率を調整することによって、使用者の眼に入る外光量を調整して虚像の視認のしやすさを調整できる。なお、調光板は省略可能である。

カメラ６１は、使用者が画像表示部２０を装着した際の使用者の眉間に対応する位置に配置されている。カメラ６１は、使用者の眼の側とは反対側方向の外部の景色である外景を撮像し、外景画像を取得する。そのため、カメラ６１は、画像表示部２０を装着している使用者の前方、すなわち、想定される使用者の視線方向である想定視線方向を中心とした所定の範囲を撮像する。カメラ６１は、外景画像を表わす外景画像データＤＴｓとしてＲＧＢデータを生成する。本実施形態におけるカメラ６１は、単眼カメラであるが、ステレオカメラであってもよい。本実施形態で用いられるカメラ６１の画角は、想定視線方向と同じ方向を中心として、上下においてはそれぞれ４０度であり、左右においてはそれぞれ６０度である。なお、カメラ６１は、請求項における撮像部に相当する。一般に、人間の視野角の特性として、人間が視認できる視野は、水平方向に約２００度、垂直方向における上方向に５０度、垂直方向における下方向に７５度であることが知られている。また、人間が視認できる視野において、特に情報受容能力に優れる有効視野は、水平方向に約３０度、垂直方向に約２０度であり、注視点を迅速に安定して見られる安定注視点視野は、水平方向に６０度から９０度の範囲、垂直方向に４５度から７０度の範囲である。逆に、人間の視野角において、水平方向に約３０度未満、垂直方向に約２０度未満の範囲では、使用者は、画像表示部２０に表示される画像を視認しづらい。なお、人間が視認できる視野の範囲、安定注視点視野の下限以内の範囲、安定注視点視野の上限以内の範囲、特に情報受容能力に優れる有効視野の範囲のそれぞれは、請求項における第１の視野、第２の視野、第３の視野、第４の視野に相当する。

画像表示部２０は、さらに、画像表示部２０を制御部１０に接続するための接続部４０を有している。接続部４０は、制御部１０に接続される本体コード４８と、右コード４２と、左コード４４と、連結部材４６と、を含んでいる。右コード４２と左コード４４とは、本体コード４８が２本に分岐したコードである。右コード４２は、右保持部２１の延伸方向の先端部ＡＰから右保持部２１の筐体内に挿入され、右表示駆動部２２に接続されている。同様に、左コード４４は、左保持部２３の延伸方向の先端部ＡＰから左保持部２３の筐体内に挿入され、左表示駆動部２４に接続されている。連結部材４６は、本体コード４８と、右コード４２および左コード４４と、の分岐点に設けられ、イヤホンプラグ３０を接続するためのジャックを有している。イヤホンプラグ３０からは、右イヤホン３２および左イヤホン３４が延伸している。

画像表示部２０と制御部１０とは、接続部４０を介して各種信号の伝送を行なう。本体コード４８における連結部材４６とは反対側の端部と、制御部１０と、のそれぞれには、互いに嵌合するコネクター（図示しない）が設けられている。本体コード４８のコネクターと制御部１０のコネクターとの嵌合／嵌合解除により、制御部１０と画像表示部２０とが接続されたり切り離されたりする。右コード４２と、左コード４４と、本体コード４８とには、例えば、金属ケーブルや光ファイバーを採用できる。

制御部１０は、頭部装着型表示装置１００を制御するための装置である。制御部１０は、決定キー１１と、点灯部１２と、表示切替キー１３と、トラックパッド１４と、輝度切替キー１５と、方向キー１６と、メニューキー１７と、電源スイッチ１８と、を含んでいる。決定キー１１は、押下操作を検出して、制御部１０で操作された内容を決定する信号を出力する。点灯部１２は、頭部装着型表示装置１００の動作状態を、その発光状態によって通知する。頭部装着型表示装置１００の動作状態としては、例えば、電源のＯＮ／ＯＦＦ等がある。点灯部１２としては、例えば、ＬＥＤ（Light Emitting Diode）が用いられる。表示切替キー１３は、押下操作を検出して、例えば、コンテンツ動画の表示モードを３Ｄと２Ｄとに切り替える信号を出力する。トラックパッド１４は、トラックパッド１４の操作面上での使用者の指の操作を検出して、検出内容に応じた信号を出力する。トラックパッド１４としては、静電式や圧力検出式、光学式といった種々のトラックパッドを採用できる。輝度切替キー１５は、押下操作を検出して、画像表示部２０の輝度を増減する信号を出力する。方向キー１６は、上下左右方向に対応するキーへの押下操作を検出して、検出内容に応じた信号を出力する。電源スイッチ１８は、スイッチのスライド操作を検出することで、頭部装着型表示装置１００の電源投入状態を切り替える。

図２は、頭部装着型表示装置１００の構成を機能的に示すブロック図である。図２に示すように、制御部１０は、入力情報取得部１１０と、記憶部１２０と、電源１３０と、無線通信部１３２と、操作部１３５と、ＣＰＵ１４０と、インターフェイス１８０と、送信部５１（Ｔｘ５１）および送信部５２（Ｔｘ５２）と、を有している。操作部１３５は、使用者による操作を受け付け、決定キー１１、表示切替キー１３、トラックパッド１４、輝度切替キー１５、方向キー１６、メニューキー１７、電源スイッチ１８、から構成されている。

入力情報取得部１１０は、使用者による操作入力に応じた信号を取得する。操作入力に応じた信号としては、例えば、トラックパッド１４、方向キー１６、電源スイッチ１８、に対する操作入力がある。電源１３０は、頭部装着型表示装置１００の各部に電力を供給する。電源１３０としては、例えば二次電池を用いることができる。記憶部１２０は、種々のコンピュータープログラムを格納している。記憶部１２０は、ＲＯＭやＲＡＭ等によって構成されている。ＣＰＵ１４０は、記憶部１２０に格納されているコンピュータープログラムを読み出して実行することにより、オペレーティングシステム１５０（ОＳ１５０）、画像処理部１６０、表示制御部１９０、音声処理部１７０、画像データ処理部１６５、として機能する。

画像処理部１６０は、コンテンツに含まれる画像信号を取得する。画像処理部１６０は、取得した画像信号から、垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃ等の同期信号を分離する。また、画像処理部１６０は、分離した垂直同期信号ＶＳｙｎｃや水平同期信号ＨＳｙｎｃの周期に応じて、ＰＬＬ（Phase Locked Loop）回路等（図示しない）を利用してクロック信号ＰＣＬＫを生成する。画像処理部１６０は、同期信号が分離されたアナログ画像信号を、Ａ／Ｄ変換回路等（図示しない）を用いてディジタル画像信号に変換する。その後、画像処理部１６０は、変換後のディジタル画像信号を、対象画像の画像データＤａｔａ（ＲＧＢデータ）として、１フレームごとに記憶部１２０内のＤＲＡＭに格納する。なお、画像処理部１６０は、必要に応じて、画像データに対して、解像度変換処理、輝度、彩度の調整といった種々の色調補正処理、キーストーン補正処理等の画像処理を実行してもよい。

画像処理部１６０は、生成されたクロック信号ＰＣＬＫ、垂直同期信号ＶＳｙｎｃ、水平同期信号ＨＳｙｎｃ、記憶部１２０内のＤＲＡＭに格納された画像データＤａｔａ、のそれぞれを、送信部５１、５２を介して送信する。なお、送信部５１を介して送信される画像データＤａｔａを「右眼用画像データ」とも呼び、送信部５２を介して送信される画像データＤａｔａを「左眼用画像データ」とも呼ぶ。送信部５１、５２は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのトランシーバーとして機能する。

表示制御部１９０は、右表示駆動部２２および左表示駆動部２４を制御する制御信号を生成する。具体的には、表示制御部１９０は、制御信号により、右ＬＣＤ制御部２１１による右ＬＣＤ２４１の駆動ＯＮ／ＯＦＦ、右バックライト制御部２０１による右バックライト２２１の駆動ＯＮ／ＯＦＦ、左ＬＣＤ制御部２１２による左ＬＣＤ２４２の駆動ＯＮ／ＯＦＦ、左バックライト制御部２０２による左バックライト２２２の駆動ＯＮ／ＯＦＦなど、を個別に制御する。これにより、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４のそれぞれによる画像光の生成および射出を制御する。例えば、表示制御部１９０は、右表示駆動部２２および左表示駆動部２４の両方に画像光を生成させたり、一方のみに画像光を生成させたり、両方共に画像光を生成させなかったりする。

表示制御部１９０は、右ＬＣＤ制御部２１１と左ＬＣＤ制御部２１２とに対する制御信号のそれぞれを、送信部５１および５２を介して送信する。また、表示制御部１９０は、右バックライト制御部２０１と左バックライト制御部２０２とに対する制御信号のそれぞれを送信する。

音声処理部１７０は、コンテンツに含まれる音声信号を取得し、取得した音声信号を増幅して、連結部材４６に接続された右イヤホン３２内のスピーカー（図示しない）および左イヤホン３４内のスピーカー（図示しない）に対して供給する。なお、例えば、Ｄｏｌｂｙ（登録商標）システムを採用した場合、音声信号に対する処理がなされ、右イヤホン３２および左イヤホン３４のそれぞれからは、例えば周波数等が変えられた異なる音が出力される。

画像データ処理部１６５は、画像を表わす画像データであるＲＧＢデータに各種処理を行なう。画像データ処理部１６５は、外景画像データＤＴｓと、インターフェイス１８０を介して供給されたコンテンツの画像データである原画像データＤＴ０と、を合成した合成画像データＤＴｃを生成する。画像データ処理部１６５は、視野角の特性に基づいて、原画像データＤＴ０の内の少なくとも一部の画像データを選択する。例えば、特に情報受容能力に優れる有効視野に対応させる場合には、使用者の視野において、水平方向に約３０度以内、垂直方向に約２０度以内の範囲に対応する原画像データＤＴ０の画像データを選択する。画像データ処理部１６５は、外景画像データＤＴｓに基づいて原画像データＤＴ０において選択された画像データを補正した補正画像データＤＴａを生成する。補正画像データＤＴａは、外景画像データＤＴｓと合成すると選択された画像データが原画像データＤＴ０と同じになる画像データである。画像データ処理部１６５は、原画像データＤＴ０から選択された画像データの範囲に応じて外景画像データＤＴｓの一部を削除した対応外景画像データＤＴｓｈを生成してから補正画像データＤＴａを生成する。また、本実施形態における画像データ処理部１６５は、外景画像データＤＴｓまたは対応外景画像データＤＴｓｈにおける各画素のＲＧＢデータが所定の閾値以内であれば、全画素のＲＧＢデータを同一のＲＧＢデータに修正した修正外景画像データＤＴｓａを生成する。修正外景画像データＤＴｓａが生成された場合には、画像データ処理部１６５は、外景画像データＤＴｓまたは対応外景画像データＤＴｓｈの代わりに修正外景画像データＤＴｓａを用いて補正画像データＤＴａを生成する。なお、画像データ処理部１６５は、請求項における画像データ補正部に相当する。また、ＲＧＢデータは、請求項における色を表わす指標値に相当し、各画素は、請求項における複数の領域に相当する。

インターフェイス１８０は、制御部１０に対して、コンテンツの供給元となる種々の外部機器ＯＡを接続するためのインターフェイスである。外部機器ＯＡとしては、例えば、パーソナルコンピューター（ＰＣ）や携帯電話端末、ゲーム端末等、がある。インターフェイス１８０としては、例えば、ＵＳＢインターフェイス、マイクロＵＳＢインターフェイス、メモリーカード用インターフェイス等、を用いることができる。

画像表示部２０は、右表示駆動部２２と、左表示駆動部２４と、右光学像表示部２６としての右導光板２６１と、左光学像表示部２８としての左導光板２６２と、カメラ６１と、を備えている。

右表示駆動部２２は、受信部５３（Ｒｘ５３）と、光源として機能する右バックライト制御部２０１（右ＢＬ制御部２０１）および右バックライト２２１（右ＢＬ２２１）と、表示素子として機能する右ＬＣＤ制御部２１１および右ＬＣＤ２４１と、右投写光学系２５１と、を含んでいる。右バックライト制御部２０１と右バックライト２２１とは、光源として機能する。右ＬＣＤ制御部２１１と右ＬＣＤ２４１とは、表示素子として機能する。なお、右バックライト制御部２０１と、右ＬＣＤ制御部２１１と、右バックライト２２１と、右ＬＣＤ２４１と、を総称して「画像光生成部」とも呼ぶ。

受信部５３は、制御部１０と画像表示部２０との間におけるシリアル伝送のためのレシーバーとして機能する。右バックライト制御部２０１は、入力された制御信号に基づいて、右バックライト２２１を駆動する。右バックライト２２１は、例えば、ＬＥＤやエレクトロルミネセンス（ＥＬ）等の発光体である。右ＬＣＤ制御部２１１は、受信部５３を介して入力されたクロック信号ＰＣＬＫと、垂直同期信号ＶＳｙｎｃと、水平同期信号ＨＳｙｎｃと、右眼用画像データと、に基づいて、右ＬＣＤ２４１を駆動する。右ＬＣＤ２４１は、複数の画素をマトリクス状に配置した透過型液晶パネルである。

右投写光学系２５１は、右ＬＣＤ２４１から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。右光学像表示部２６としての右導光板２６１は、右投写光学系２５１から出力された画像光を、所定の光路に沿って反射させつつ使用者の右眼ＲＥに導く。なお、右投写光学系２５１と右導光板２６１とを総称して「導光部」とも呼ぶ。

左表示駆動部２４は、右表示駆動部２２と同様の構成を有している。左表示駆動部２４は、受信部５４（Ｒｘ５４）と、光源として機能する左バックライト制御部２０２（左ＢＬ制御部２０２）および左バックライト２２２（左ＢＬ２０２）と、表示素子として機能する左ＬＣＤ制御部２１２および左ＬＣＤ２４２と、左投写光学系２５２と、を含んでいる。左バックライト制御部２０２と左バックライト２２２とは、光源として機能する。左ＬＣＤ制御部２１２と左ＬＣＤ２４２とは、表示素子として機能する。なお、左バックライト制御部２０２と、左ＬＣＤ制御部２１２と、左バックライト２２２と、左ＬＣＤ２４２と、を総称して「画像光生成部」とも呼ぶ。また、左投写光学系２５２は、左ＬＣＤ２４２から射出された画像光を並行状態の光束にするコリメートレンズによって構成される。左光学像表示部２８としての左導光板２６２は、左投写光学系２５２から出力された画像光を、所定の光路に沿って反射させつつ使用者の左眼ＬＥに導く。なお、左投写光学系２５２と左導光板２６２とを総称して「導光部」とも呼ぶ。

図３は、画像光生成部によって画像光が射出される様子を示す説明図である。右ＬＣＤ２４１は、マトリクス状に配置された各画素位置の液晶を駆動することによって、右ＬＣＤ２４１を透過する光の透過率を変化させることにより、右バックライト２２１から照射される照明光ＩＬを、画像を表わす有効な画像光ＰＬへと変調する。左側についても同様である。なお、図３のように、本実施形態ではバックライト方式を採用したが、フロントライト方式や、反射方式を用いて画像光を射出する構成としてもよい。

Ａ−２．補正画像表示処理：
図４は、補正画像表示処理の流れを示す説明図である。補正画像表示処理では、画像データ処理部１６５が撮像によって生成した外景画像データＤＴｓおよび原画像データＤＴ０に基づいて補正画像データＤＴａが生成されて、補正画像データＤＴａを表わす画像が画像表示部２０に表示される処理である。

初めに、カメラ６１は、外景を撮像する（ステップＳ３１０）。図５は、使用者が視認する視野ＶＲの一例を示す説明図である。図５には、視野ＶＲと、外景ＳＣと、画像表示部２０が生成した画像を表示できる最大の領域である最大画像表示領域ＰＮと、カメラ６１が撮像する撮像範囲ＲＡ１と、が示されている。図５では、使用者の想定視線方向が上空へと向いており、使用者は、上空の青空の色に基づく外景ＳＣを視認する。図５に示すように、撮像範囲ＲＡ１が最大画像表示領域ＰＮよりも大きいため、カメラ６１は、最大画像表示領域ＰＮに表示される画像に重複する外景ＳＣを撮像できる。なお、図５では、最大画像表示領域ＰＮの外枠および撮像範囲ＲＡ１の外枠である矩形状の線が示されているが、この線は説明の便宜上、示したものであり、使用者には視認されない。最大画像表示領域ＰＮは、請求項における画像生成可能領域に相当する。

次に、画像データ処理部１６５は、外景画像データＤＴｓのデータの内、最大画像表示領域ＰＮに対応しない不要なデータを削除する（図４のステップＳ３２０）。図５に示す最大画像表示領域ＰＮは、使用者の水平方向における視野角３０度に相当し、使用者の垂直方向における視野角２０度に相当する。本実施形態では、最大画像表示領域ＰＮにおける全領域で画像データが補正される、すなわち、カメラ６１の画角が左右方向のそれぞれに１５度以内、かつ、上下方向のそれぞれに１０度以内の範囲で画像データが補正される。また、換言すれば、カメラ６１の画角が左右方向のそれぞれに３０度以内、かつ、上下方向のそれぞれに２３度以内の範囲を越える範囲では、画像データが補正されない。画像データ処理部１６５は、外景画像データＤＴｓの内から最大画像表示領域ＰＮを外れる領域に対応するデータを削除した対応外景画像データＤＴｓｈを生成する。

次に、画像データ処理部１６５は、最大画像表示領域ＰＮに表示画像が表示される画像表示領域に対応する対応外景画像データＤＴｓｈの領域を特定する（図４のステップＳ３３０）。図６は、原画像データＤＴ０が表わす画像ＩＭＧ０を示す説明図である。図６に示す画像ＩＭＧ０は、最大画像表示領域ＰＮの全領域に表示される。そのため、画像データ処理部１６５は、最大画像表示領域ＰＮの全領域に対応する外景画像データである対応外景画像データＤＴｓｈを、補正画像データＤＴａを生成する補正領域の画像データとして特定する。

次に、画像データ処理部１６５は、対応外景画像データＤＴｓｈにおける各画素のＲＧＢデータが所定の閾値以内であるか否かを判定する（図４のステップＳ３４０）。図７は、対応外景画像データＤＴｓｈにおける各画素のＲＧＢデータの一例を示す説明図である。図７（ａ）には、対応外景画像データＤＴｓｈにおける各画素の位置および名称が示されている。図７（ｂ）には、各画素のＲＧＢデータが示されている。例えば、画素ｐｘ１１は、対応外景画像データＤＴｓｈにおける最も左上の画素であり、ＲＧＢデータのそれぞれが２４５，２４５，１６０である。また、対応外景画像データＤＴｓｈにおける各画素のＲＧＢデータのそれぞれの数値範囲は、２４０〜２５５、２３５〜２５０、１５５〜１６５であり、ＲＧＢデータのそれぞれの平均値は、２４７、２４０、１６０である。本実施形態では、ＲＧＢデータのそれぞれにおける最大値と最小値との差のすべてが、予め閾値として設定された２０以内に収まる場合には（図４のステップＳ３４０：ＹＥＳ）、画像データ処理部１６５は、対応外景画像データＤＴｓｈにおける各画素のＲＧＢデータを各画素の平均値２４７、２４０、１６０に置き換える（ステップＳ３５０）。画像データ処理部１６５は、各画素のＲＧＢデータを置き換えた修正外景画像データＤＴｓａを生成した後、画像データ処理部１６５は、修正外景画像データＤＴｓａおよび原画像データＤＴ０に基づいて合成画像データＤＴｃを生成する（ステップＳ３５０）。

ステップＳ３４０の処理において、対応外景画像データＤＴｓｈのＲＧＢデータのそれぞれにおける１つでも最大値と最小値との差が閾値を超える場合には（ステップＳ３４０：ＮＯ）、画像データ処理部１６５は、対応外景画像データＤＴｓｈにおける各画素のＲＧＢデータを平均値に置換せずに、対応外景画像データＤＴｓｈおよび原画像データＤＴ０に基づいて合成画像データＤＴｃを生成する（ステップＳ３５０）。なお、他の実施形態では、閾値は、２０ではなく、他の値であってもよいし、設定されていなくてもよい。

図８は、合成画像データＤＴｃが表わす画像ＩＭＧ１を示す説明図である。修正外景画像データＤＴｓａと原画像データＤＴ０とが重なった合成画像データＤＴｃにおける各画素は、原画像データＤＴ０における各画素のＲＧＢデータと異なる。そのため、図８に示すように、画像ＩＭＧ０を最大画像表示領域ＰＮに表示すると、使用者には、画像ＩＭＧ０ではなく、画像ＩＭＧ１が視認される。

次に、使用者に画像ＩＭＧ０を視認させるために、画像データ処理部１６５は、補正画像データＤＴａを生成して、最大画像表示領域ＰＮに補正画像データＤＴａを表わす画像ＩＭＧ２を表示する（ステップＳ３７０）。画像データ処理部１６５は、修正外景画像データＤＴｓａと補正画像データＤＴａとを重ねると、原画像データＤＴ０のＲＧＢデータとほぼ同じになるＲＧＢデータの補正画像データＤＴａを生成する。画像表示部２０は、最大画像表示領域ＰＮに画像ＩＭＧ２を表示する。

図９は、使用者が視認する視野ＶＲの一例を示す説明図である。図９に示すように、最大画像表示領域ＰＮにおける全領域には、補正画像データＤＴａに基づいて画像光が生成され、外景画像データＤＴｓを表わす外景と補正画像データＤＴａに基づいて生成された画像光とが重なる。そのため、使用者は、画像ＩＭＧ０とほぼ同じ画像ＩＭＧ０ａを視認する。

以上説明したように、本実施形態における頭部装着型表示装置１００では、画像データ処理部１６５は、視野角の特性に基づいて、原画像データＤＴ０の内の少なくとも一部の画像データを選択する。画像データ処理部１６５は、外景画像データＤＴｓに基づいて原画像データＤＴ０において選択された画像データを補正した補正画像データＤＴａを生成する。そのため、本実施形態における頭部装着型表示装置１００では、外景における色や輝度に関係なく、原画像データＤＴ０を表わす画像ＩＭＧ０または画像ＩＭＧ０ａを使用者に視認させることができる。また、画像データ処理部１６５は、使用者が視認できる視野角や、必要に応じて視認したい有効視野に応じて補正画像データＤＴａを生成するので、不要な範囲の画像データを補正しなくてもよい。よって、本実施形態における頭部装着型表示装置１００では、迅速に補正画像データＤＴａを生成し、リアルタイムで画像ＩＭＧ０ａを使用者に視認させることができる。

また、本実施形態における頭部装着型表示装置１００では、最大画像表示領域ＰＮにおいて原画像データＤＴ０に基づいて画像光を生成する領域に対応する部分のデータを、外景画像データＤＴｓに基づいて生成された補正画像データＤＴａに補正する。そのため、本実施形態における頭部装着型表示装置１００では、画像データ処理部１６５は、最大画像表示領域ＰＮにおける原画像データＤＴ０に基づいて画像光が生成される領域のみに対して補正画像データＤＴａを生成するので、不要な領域の画像データを補正しなくてもよい。よって、本実施形態における頭部装着型表示装置１００では、迅速に補正画像データＤＴａを生成し、リアルタイムで画像ＩＭＧ０ａを使用者に視認させることができる。

また、本実施形態における頭部装着型表示装置１００では、カメラ６１の画角は、想定視線方向と同じ方向を中心として、上下においてはそれぞれ４０度であり、左右においてはそれぞれ６０度である。すなわち、カメラ６１の画角が左右方向のそれぞれに３０度以内、かつ、上下方向のそれぞれに２３度以内の範囲を越える範囲では、画像データが補正されない。そのため、本実施形態における頭部装着型表示装置１００では、情報受容能力に優れる有効視野では補正画像データＤＴａを生成し、それ以外の視野範囲では補正画像データＤＴａを生成しなので、不要な画像処理を行なわないで、より迅速に補正画像データＤＴａを生成できる。また、本実施形態の頭部装着型表示装置１００では、使用者が視認しづらい水平方向における視野角３０度以上と、垂直方向における視野角２０度以上と、による領域で補正画像データＤＴａが生成されるため、使用者は、最大画像表示領域ＰＮに表示される画像を視認しやすく、利便性が向上する。

また、本実施形態における頭部装着型表示装置１００では、ＲＧＢデータのそれぞれにおける最大値と最小値との差のすべてが、予め閾値として設定された２０以内に収まる場合には、画像データ処理部１６５は、対応外景画像データＤＴｓｈにおける各画素のＲＧＢデータを各画素の同一の平均値に置き換える。そのため、本実施形態における頭部装着型表示装置１００では、画像処理の負担を抑制した上で、外景画像の影響を少なくした画像を使用者に視認させることができる。

Ａ−３．実施形態の変形例：
上記実施形態では、最大画像表示領域ＰＮが使用者の水平方向における視野角３０度および垂直方向における視野角２０度に相当して、最大画像表示領域ＰＮに対応しない視野角に対応する外景画像データを削除して補正画像データを生成したが、補正画像データＤＴａを生成する領域については、例えば、以下の第１の変形例および第２の変形例に示すように、種々変形可能である。

Ａ−３−１．第１の変形例：
第１の変形例では、カメラ６１ａの画角と、最大画像表示領域ＰＮａの使用者の視野角に相当する角度、とが実施形態と異なり、他の構成については同じである。第１の変形例では、カメラ６１ａの画角は、想定視線方向と同じ方向を中心として、上下においてはそれぞれ９０度であり、左右においてはそれぞれ９０度である。最大画像表示領域ＰＮａは、使用者の水平方向における視野角１５０度に相当し、使用者の垂直方向における視野角１００度に相当する。

図１０は、第１の変形例における使用者が視認する視野ＶＲの一例を示す説明図である。図１０（ａ）には、外景ＳＣと、補正画像生成領域ＣＡ１と、最大画像表示領域ＰＮａと、が示されている。補正画像生成領域ＣＡ１は、使用者の水平方向における視野角９０度に相当し、使用者の垂直方向における視野角７０度に相当する。第１の変形例において、補正画像生成領域ＣＡ１の領域内では、補正画像データＤＴａが生成され、補正画像生成領域ＣＡ１の領域外、かつ、最大画像表示領域ＰＮａの領域内では、補正画像データＤＴａが生成されない。そのため、補正画像生成領域ＣＡ１では、画像ＩＭＧ０ａが使用者に視認され、補正画像生成領域ＣＡ１の領域外、かつ、最大画像表示領域ＰＮａの領域内では、画像ＩＭＧ１が使用者に視認される。

図１０（ｂ）には、外景ＳＣと、補正画像生成領域ＣＡ２と、最大画像表示領域ＰＮａと、が示されている。補正画像生成領域ＣＡ２は、使用者の水平方向における視野角６０度に相当し、使用者の垂直方向における視野角４５度に相当する。第１の変形例において、補正画像生成領域ＣＡ２の領域内では、補正画像データＤＴａが生成され、補正画像生成領域ＣＡ２の領域外、かつ、最大画像表示領域ＰＮａの領域内では、補正画像データＤＴａが生成されない。そのため、補正画像生成領域ＣＡ２では、画像ＩＭＧ０ａが使用者に視認され、補正画像生成領域ＣＡ２の領域外、かつ、最大画像表示領域ＰＮａの領域内では、画像ＩＭＧ１が使用者に視認される。

また、図１０（ａ）および図１０（ｂ）では、最大画像表示領域ＰＮａの周辺部では、補正画像データＤＴａが生成されない。なお、第１の変形例では、最大画像表示領域ＰＮａの周辺部とは、最大画像表示領域ＰＮａを縦および横に４分割して、最大画像表示領域ＰＮａを１６個の領域に分割した場合に、真ん中の４個の領域を除く外側の１２個の領域のことをいう。すなわち、最大画像表示領域ＰＮａの上下左右のそれぞれにおける外側２５％のことをいうが、他の実施形態では異なる割合であってもよい。最大画像表示領域ＰＮａにおける周辺部分の割合が少なくなると、使用者の視認性が向上するため、最大画像表示領域ＰＮａにおける周辺部は、最大画像表示領域ＰＮａの上下左右のそれぞれにおける１０％以下であるとさらに好ましい。なお、補正画像データＤＴａが生成されない領域である最大画像表示領域ＰＮａの周辺部は、必ずしも上下左右に設けられる必要はなく、上下のみ、および、左右のみに設けられる態様であってもよい。

第１の変形例における頭部装着型表示装置１００ａでは、最大画像表示領域ＰＮａの周辺部では、補正画像データＤＴａを生成しないので、不要な画像処理を行なわないで、より迅速に補正画像データＤＴａを生成できる。また、最大画像表示領域ＰＮａの中心部では画像ＩＭＧ０ａを使用者に視認させるため、使用者の満足度が向上する。また、図１０（ａ）に示すように、第１の変形例における頭部装着型表示装置１００ａでは、最も広い安定注視点視野の範囲で、補正画像データＤＴａを生成しているため、使用者の視認性が向上する。

Ａ−３−２．第２の変形例：
第２の変形例では、最大画像表示領域ＰＮａにおける画像ＩＭＧ０ａの位置が第１の変形例と異なり、他の構成については第１の変形例と同じである。図１１は、第２の変形例における使用者が視認する視野ＶＲの一例を示す説明図である。図１１には、外景ＳＣと、補正画像生成領域ＣＡ３と、最大画像表示領域ＰＮａと、が示されている。第２の変形例では、最大画像表示領域ＰＮａにおける画像ＩＭＧ０ａが表示される位置が特定され、特定された位置に対応する外景画像データＤＴｓのみに基づいて修正外景画像データＤＴｓａが生成される。そのため、第２の変形例における頭部装着型表示装置１００ａでは、最大画像表示領域ＰＮａにおいて画像ＩＭＧ０ａが表示されない画素について画像処理を行なわないで、より迅速に補正画像データＤＴａを生成できる。

また、第２の変形例における頭部装着型表示装置１００ａでは、図１１に示すように、最も狭い安定注視点視野の範囲で、補正画像データＤＴａを生成しているため、使用者の視認性を維持した上で、不要な画像処理を行なわれず、より迅速に補正画像データＤＴａを生成できる。

Ｂ．変形例：
なお、この発明は上記実施形態に限られるものではなく、その要旨を逸脱しない範囲において種々の態様において実施することが可能であり、例えば、次のような変形も可能である。

Ｂ１．変形例１：
上記実施形態では、画像データ処理部１６５が最大画像表示領域ＰＮに表示させる補正画像データＤＴａを生成することによって、画像ＩＭＧ０ａを使用者に視認させる態様としたが、画像データ処理部１６５が行なう補正については、種々変形可能である。例えば、画像データ処理部１６５は、画像表示部２０が透過させる外景ＳＣの透過率や画像データの輝度を設定する補正を行なってもよい。

また、上記実施形態では、画像データ処理部１６５は、合成画像データＤＴｃを生成した後に、補正画像データＤＴａを生成したが、補正画像データＤＴａの生成方法については、これに限られず、種々変形可能である。例えば、画像データ処理部１６５は、撮像されて生成された外景画像データＤＴｓおよび原画像データＤＴ０に基づいて補正画像データＤＴａを生成してもよい。

Ｂ２．変形例２：
例えば、画像光生成部は、有機ＥＬ（有機エレクトロルミネッセンス、Organic Electro-Luminescence）のディスプレイと、有機ＥＬ制御部とを備える構成としても良い。また、例えば、画像生成部は、ＬＣＤに代えて、ＬＣＯＳ（Liquid crystal on silicon, LCoS は登録商標）や、デジタル・マイクロミラー・デバイス等を用いることもできる。また、例えば、レーザー網膜投影型のヘッドマウントディスプレイに対して本発明を適用することも可能である。レーザー網膜投影型の場合、「画像光生成部における画像光の射出可能領域」とは、使用者の眼に認識される画像領域として定義することができる。

また、例えば、ヘッドマウントディスプレイは、光学像表示部が使用者の眼の一部分のみを覆う態様、換言すれば、光学像表示部が使用者の眼を完全に覆わない態様のヘッドマウントディスプレイとしてもよい。また、ヘッドマウントディスプレイは、いわゆる単眼タイプのヘッドマウントディスプレイであるとしてもよい。

また、イヤホンは耳掛け型やヘッドバンド型を採用してもよく、省略しても良い。また、例えば、自動車や飛行機等の車両に搭載されるヘッドマウントディスプレイとして構成されてもよい。また、例えば、ヘルメット等の身体防護具に内蔵されたヘッドマウントディスプレイとして構成されてもよい。

Ｂ３．変形例３：
上記実施形態における頭部装着型表示装置１００の構成は、あくまで一例であり、種々変形可能である。例えば、制御部１０に設けられた方向キー１６やトラックパッド１４の一方を省略したり、方向キー１６やトラックパッド１４に加えてまたは方向キー１６やトラックパッド１４に代えて操作用スティック等の他の操作用インターフェイスを設けたりしてもよい。また、制御部１０は、キーボードやマウス等の入力デバイスを接続可能な構成であり、キーボードやマウスから入力を受け付けるものとしてもよい。

また、画像表示部として、眼鏡のように装着する画像表示部２０に代えて、例えば帽子のように装着する画像表示部といった他の方式の画像表示部を採用してもよい。また、イヤホン３２，３４は適宜省略可能である。また、上記実施形態では、画像光を生成する構成として、ＬＣＤと光源とを利用しているが、これらに代えて、有機ＥＬディスプレイといった他の表示素子を採用してもよい。また、上記実施形態では、頭部装着型表示装置１００は、両眼タイプの光学透過型であるとしているが、本発明は、例えばビデオ透過型や単眼タイプといった他の形式の頭部装着型表示装置にも同様に適用可能である。

また、上記実施形態において、頭部装着型表示装置１００は、使用者の左右の眼に同じ画像を表わす画像光を導いて使用者に二次元画像を視認させるとしてもよいし、使用者の左右の眼に異なる画像を表わす画像光を導いて使用者に三次元画像を視認させるとしてもよい。

また、上記実施形態において、ハードウェアによって実現されていた構成の一部をソフトウェアに置き換えるようにしてもよく、逆に、ソフトウェアによって実現されていた構成の一部をハードウェアに置き換えるようにしてもよい。例えば、上記実施形態では、画像処理部１６０や音声処理部１７０は、ＣＰＵ１４０がコンピュータープログラムを読み出して実行することにより実現されるとしているが、これらの機能部はハードウェア回路により実現されるとしてもよい。

また、本発明の機能の一部または全部がソフトウェアで実現される場合には、そのソフトウェア（コンピュータープログラム）は、コンピューター読み取り可能な記録媒体に格納された形で提供することができる。この発明において、「コンピューター読み取り可能な記録媒体」とは、フレキシブルディスクやＣＤ−ＲＯＭのような携帯型の記録媒体に限らず、各種のＲＡＭやＲＯＭ等のコンピューター内の内部記憶装置や、ハードディスク等のコンピューターに固定されている外部記憶装置も含んでいる。

また、上記実施形態では、図１および図２に示すように、制御部１０と画像表示部２０とが別々の構成として形成されているが、制御部１０と画像表示部２０との構成については、これに限られず、種々変形可能である。例えば、画像表示部２０の内部に、制御部１０に形成された構成の全てが形成されてもよいし、一部が形成されてもよい。また、上記実施形態における電源１３０が単独で形成されて、交換可能な構成であってもよいし、制御部１０に形成された構成が重複して画像表示部２０に形成されていてもよい。例えば、図２に示すＣＰＵ１４０が制御部１０と画像表示部２０との両方に形成されていてもよいし、制御部１０に形成されたＣＰＵ１４０と画像表示部２０に形成されたＣＰＵとが行なう機能が別々に分けられている構成としてもよい。

また、制御部１０がパーソナルコンピューター（ＰＣ）に内蔵されて、ＰＣのモニターに代えて画像表示部２０が使用される態様であってもよいし、制御部１０と画像表示部２０とが一体化して、使用者の衣服に取り付けられるウェアラブルコンピューターの態様であってもよい。

本発明は、上記実施形態や変形例に限られるものではなく、その趣旨を逸脱しない範囲において種々の構成で実現することができる。例えば、発明の概要の欄に記載した各形態中の技術的特徴に対応する実施形態、変形例中の技術的特徴は、上述の課題の一部または全部を解決するために、あるいは、上述の効果の一部または全部を達成するために、適宜、差し替えや、組み合わせを行なうことが可能である。また、その技術的特徴が本明細書中に必須なものとして説明されていなければ、適宜、削除することが可能である。

１０…制御部
１１…決定キー
１２…点灯部
１３…表示切替キー
１４…トラックパッド
１５…輝度切替キー
１６…方向キー
１７…メニューキー
１８…電源スイッチ
２０…画像表示部
２１…右保持部
２２…右表示駆動部
２３…左保持部
２４…左表示駆動部
２６…右光学像表示部
２８…左光学像表示部
３０…イヤホンプラグ
３２…右イヤホン
３４…左イヤホン
４０…接続部
４２…右コード
４４…左コード
４６…連結部材
４８…本体コード
５１…送信部
５２…送信部
５３…受信部
５４…受信部
６１…カメラ（撮像部）
１００…頭部装着型表示装置
１１０…入力情報取得部
１２０…記憶部
１３０…電源
１３２…無線通信部
１３５…操作部
１４０…ＣＰＵ
１５０…オペレーティングシステム
１６０…画像処理部
１６５…画像データ処理部（画像データ補正部）
１７０…音声処理部
１８０…インターフェイス
１９０…表示制御部
２０１…右バックライト制御部
２０２…左バックライト制御部
２１１…右ＬＣＤ制御部
２１２…左ＬＣＤ制御部
２２１…右バックライト
２２２…左バックライト
２４１…右ＬＣＤ
２４２…左ＬＣＤ
２５１…右投写光学系
２５２…左投写光学系
２６１…右導光板
２６２…左導光板
ＤＴ０…原画像データ
ＤＴａ…補正画像データ
ＤＴｃ…合成画像データ
ＤＴｓ…外景画像データ
ＤＴｓｈ…対応外景画像データ
ＤＴｓａ…修正外景画像データ
ｐｘ１１，ｐｘ１２，ｐｘ１３，ｐｘ１４，ｐｘ５１，ｐｘ５２…画素（領域）
ＩＭＧ０，ＩＭＧ０ａ，ＩＭＧ１，ＩＭＧ２…画像
ＲＡ１…撮像範囲
ＣＡ１，ＣＡ２，ＣＡ３…補正画像生成領域
ＯＡ…外部機器
ＳＣ…外景
ＰＮ…最大画像表示領域（画像生成可能領域）
ＶＲ…視野
ＥＬ，ＥＲ…端部
ＡＰ…先端部
ＰＬ…画像光
ＩＬ…照明光
ＬＥ…左眼
ＲＥ…右眼
ＶＳｙｎｃ…垂直同期信号
ＨＳｙｎｃ…水平同期信号
ＰＣＬＫ…クロック信号

Claims (12)

1. 透過型の頭部装着型表示装置であって、
   使用者の頭部に装着された状態において、表示用画像データに基づいて画像光を生成して前記画像光を使用者に視認させる共に、外景を透過させる画像表示部と、
   外景を撮像して、外景画像を表わす外景画像データを生成する撮像部であって、想定される使用者の視線方向である想定視線方向を含む外景を撮像する撮像部と、
   使用者の視野角の特性に基づいて前記表示用画像データの内の少なくとも一部のデータを選択し、前記外景画像データに基づいて選択したデータを補正する画像データ補正部であって、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して１００度以内、かつ、垂直方向において前記想定視線方向から上に対して５０度以内および下に対して７５度以内の第１の領域を越える場合には、前記第１の領域を越える領域に対応する部分のデータを補正しない画像データ補正部と、を備える、頭部装着型表示装置。
2. 請求項１に記載の頭部装着型表示装置であって、
   前記画像データ補正部が選択したデータは、前記画像表示部が前記画像光を生成する領域である画像表示領域に対応する部分のデータである、頭部装着型表示装置。
3. 請求項１または２に記載の頭部装着型表示装置であって、
   前記画像データ補正部は、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して４５度以内、かつ、垂直方向において前記想定視線方向から上下のそれぞれに対して３５度以内の第２の領域を越える場合には、前記第２の領域を越える領域に対応する部分のデータを補正しない、頭部装着型表示装置。
4. 請求項３に記載の頭部装着型表示装置であって、
   前記画像データ補正部は、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して３０度以内、かつ、垂直方向において前記想定視線方向から上下のそれぞれに対して２３度以内の第３の領域を越える場合には、前記第３の領域を越える領域に対応する部分のデータを補正しない、頭部装着型表示装置。
5. 請求項２、請求項２に従属する請求項３、および請求項２に従属する請求項４のいずれか一項に記載の頭部装着型表示装置であって、
   前記撮像部は、想定される使用者の視線方向である想定視線方向を含むと共に、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して１５度以内、かつ、垂直方向において前記想定視線方向から上下のそれぞれに対して１０度以内の第４の領域を含む外景を撮像し、
   前記画像データ補正部は、前記第４の領域、かつ、前記画像表示領域における周辺部分に対応する部分のデータを補正する、頭部装着型表示装置。
6. 請求項１から請求項５までのいずれか一項に記載の頭部装着型表示装置であって、
   前記画像データ補正部は、前記外景画像データを複数の領域に分け、前記複数の領域における各データの色を表わす指標値が所定の閾値以内である場合に、前記複数の領域における各データの前記指標値を同一の前記指標値として置き換える、頭部装着型表示装置。
7. 透過型の頭部装着型表示装置であって、
   使用者の頭部に装着された状態において、表示用画像データに基づいて画像光を生成して前記画像光を使用者に視認させる共に、外景を透過させる画像表示部と、
   外景を撮像して、外景画像を表わす外景画像データを生成する撮像部と、
   使用者の視野角の特性に基づいて前記表示用画像データの内の少なくとも一部のデータを選択し、前記外景画像データに基づいて選択したデータを補正する画像データ補正部であって、前記外景画像データを複数の領域に分け、前記複数の領域における各データの色を表わす指標値が所定の閾値以内である場合に、前記複数の領域における各データの前記指標値を同一の前記指標値として置き換える画像データ補正部と、を備える頭部装着型表示装置。
8. 請求項１から請求項７までのいずれか一項に記載の頭部装着型表示装置であって、
   前記画像データ補正部は、供給された原画像データおよび前記外景画像データに基づいて補正画像データを生成し、
   前記画像表示部は、前記表示用画像データとしての前記補正画像データに基づいて画像光を生成する、頭部装着型表示装置。
9. 使用者の頭部に装着された状態において、表示用画像データに基づいて画像光を生成して前記画像光を使用者に視認させる共に外景を透過させる画像表示部と、外景を撮像して外景画像を表わす外景画像データを生成する撮像部であって、想定される使用者の視線方向である想定視線方向を含む外景を撮像する撮像部と、を備える透過型の頭部装着型表示装置の制御方法であって、
   使用者の視野角の特性に基づいて前記表示用画像データの内の少なくとも一部のデータを選択し、前記外景画像データに基づいて選択したデータを補正する工程であって、前記撮像部の画角が、水平方向において前記想定視線方向から左右のそれぞれに対して１００度以内、かつ、垂直方向において前記想定視線方向から上に対して５０度以内および下に対して７５度以内の第１の領域を越える場合には、前記第１の領域を越える領域に対応する部分のデータを補正しない工程、を備える、制御方法。
10. 使用者の頭部に装着された状態において、表示用画像データに基づいて画像光を生成して前記画像光を使用者に視認させる共に外景を透過させる画像表示部と、外景を撮像して外景画像を表わす外景画像データを生成する撮像部と、を備える透過型の頭部装着型表示装置の制御方法であって、
    使用者の視野角の特性に基づいて前記表示用画像データの内の少なくとも一部のデータを選択し、前記外景画像データに基づいて選択したデータを補正する工程であって、前記外景画像データを複数の領域に分け、前記複数の領域における各データの色を表わす指標値が所定の閾値以内である場合に、前記複数の領域における各データの前記指標値を同一の前記指標値として置き換える工程、を備える頭部装着型表示装置の制御方法。
11. 透過型の頭部装着型表示装置であって、
    使用者の頭部に装着された状態において、表示用画像データに基づいて画像光を生成して前記画像光を使用者に視認させる共に、外景を透過させる画像表示部と、
    外景を撮像して、外景画像を表わす外景画像データを生成する撮像部と、
    使用者の視野角の特性に基づいて前記表示用画像データの内の少なくとも一部のデータを選択し、前記外景画像データと合成した際に前記表示用画像データと同じになるように、前記選択したデータを前記外景画像データに基づいて補正して補正画像データを生成する画像データ補正部と、を備える、頭部装着型表示装置。
12. 使用者の頭部に装着された状態において、表示用画像データに基づいて画像光を生成して前記画像光を使用者に視認させる共に外景を透過させる画像表示部と、外景を撮像して外景画像を表わす外景画像データを生成する撮像部と、を備える透過型の頭部装着型表示装置の制御方法であって、
    使用者の視野角の特性に基づいて前記表示用画像データの内の少なくとも一部のデータを選択し、前記外景画像データと合成した際に前記表示用画像データと同じになるように、前記選択したデータを前記外景画像データに基づいて補正して補正画像データを生成する工程、を備える頭部装着型表示装置の制御方法。

Images