JP5329882B2 - ディスプレイ装置 - Google Patents

Description

本発明は、人体に装着して使用するディスプレイ、特に視線検出機能を備えたディスプレイ装置に関する。

小型の表示デバイスを使用者の眼前に固定設置することにより、当該使用者が、外界の風景と共にその表示画像を鑑賞できるようにした、いわゆるシースルー型のヘッドマウントディスプレイが知られている。

更に、ヘッドマウントディスプレイ本体に、使用者自身の視線の向きを検出する視線検出機能を搭載したものが提案されている（特許文献１の図１参照）。このヘッドマウントディスプレイには、画像表示デバイスとしての液晶表示素子（１）、使用者の視線の向きを検出する為の撮像素子（４）、及び液晶表示素子（１）に表示された画像を使用者の瞳に導出しつつ使用者の瞳の像を撮像素子（４）に導出するハーフミラー（２）が設けられている。

このように、ヘッドマウントディスプレイに視線検出機能を搭載するには、撮像用の光学路と表示用の光学路とを分離する為に、ハーフミラーの如き光学素子が必要となる。よって、製造コストが高くなると共に小型化が困難になるという問題があった。
特開2001-108933号公報

本発明は、かかる問題を解決すべく為されたものであり、小型化及び低価格化が可能なディスプレイ装置を提供することを目的とするものである。

請求項１記載によるディスプレイ装置は、入力映像信号に基づく画像を表示する表示画面を有する表示素子と、前記表示画面の前方のエリアを撮影して撮影画像信号を生成する撮像素子と、を含む人体への装着が可能なディスプレイ装置であって、所定の単位期間毎にその単位期間内の第１期間及び当該第１期間に後続する第２期間各々の内の前記第１期間に亘り前記表示素子を動作させる一方、前記第２期間内では前記表示素子に代わり前記撮像素子を動作させるべく制御する表示撮像駆動制御部を備え、前記表示画面及び前記撮像素子の受光面が互いに同一の光軸上に配置され、前記表示素子の表示画面には、前記表示素子によって表示された画像に伴って放出される光を集光して使用者の眼に向けて照射する指向性集光素子が設けられ、前記表示素子は透過性の表示画面を有し、前記撮像素子は使用者の眼からの反射光を前記表示素子を介して受光し、前記ディスプレイ装置は、前記撮影画像信号に基づいて使用者の視線方向を検出し当該視線方向を示す視線検出信号を出力する視線検出画像処理部を更に備えることを特徴としている。

本発明は、入力映像信号に基づく画像を表示する表示素子の表示画面と、使用者の眼を撮影する撮像素子の受光面とが互いに同一の光軸上に配置されてなるディスプレイ装置である。この際、所定の単位期間毎にその単位期間内の第１期間内では上記表示素子を動作させ、第１期間に後続する第２期間内では上記表示素子に代わり上記撮像素子を動作させる。かかる構成によれば、撮像用の光学路と表示用の光学路とを分離する為の光学素子が不要となり、低コスト化及び小型化を実現することが可能となる。

以下、本発明の実施例を図面を参照しつつ詳細に説明する。

図１は、本発明による人体装着が可能なディスプレイとしてのヘッドマウントディスプレイの全体を示す図である。

図１に示すように、かかるヘッドマウントディスプレイは、使用者の鼻及び両耳に掛けて使用するフレーム１０、透明シールド１１、通信ケーブル１２及び表示撮像ユニット２０から構成される。

表示撮像ユニット２０は、透明シールド１１の表面上における使用者の眼の中心位置に対応した位置に設置される。表示撮像ユニット２０は、通信ケーブル１２を介して供給された入力映像信号に基づく画像を表示し、その表示画像を使用者の眼に導出しつつ、使用者の眼を撮影することによりその視線の方向を検出する。表示撮像ユニット２０は、この視線方向を示す視線検出信号を通信ケーブル１２を介して出力する。

図２は、表示撮像ユニット２０の内部構成の一例を示す図である。

図２に示すように、表示撮像ユニット２０は、光学モジュール２００、表示撮像駆動制御部２５１及び視線検出画像処理部２５２を含むものである。光学モジュール２００内には、表示補正レンズ２０１、透過型表示素子２０２、撮像補正レンズ２０３、及び撮像素子２０４が設けられている。この際、光学モジュール２００内では、透過型表示素子２０２の表示画面、撮像素子２０４の受光面、表示補正レンズ２０１及び撮像補正レンズ２０３各々の中心が、図２に示す如く単一の光軸ＬＪ上に位置するように、これら表示補正レンズ２０１、透過型表示素子２０２、撮像補正レンズ２０３及び撮像素子２０４が固定設置されている。

表示撮像駆動制御部２５１は、通信ケーブル１２を介して供給された入力映像信号に基づく画像を表示させるべき表示駆動信号ＤＧを生成し、これを上記入力映像信号に基づく各フレーム表示期間毎に、図３に示す如き表示期間Ｔ１の間だけ透過型表示素子２０２に供給する。更に、表示撮像駆動制御部２５１は、図３に示す如く、各フレーム表示期間内において、表示期間Ｔ１を除く他の期間を撮影期間Ｔ２とし、この撮影期間Ｔ２の間だけ論理レベル１となる撮影イネーブル信号ＳＨを撮像素子２０４に供給する。

透過型表示素子２０２は、透過性の表示画面を有するＯＬＥＤ（Organic Light Emitting diode)、又はＡＭＯＬＥＤ（アクティブ型有機ＥＬ）等からなる自発光表示素子である。ＯＬＥＤは、ガラス基板、陽極、正孔注入層、正孔輸送層、正孔輸送層、発光層、電子輸送層、電子注入層、陰極及び封止ガラスの積層構造からなる。ここで、陽極には一般的に透明電極であるＩＴＯ（インジウム・錫酸化物）が用いられる。正孔注入層から電子輸送層までは高分子或いは低分子の有機化合物が用いられるが、通常、膜厚は各層数十ナノメートル程度であるため、可視光全域で反射、吸収されることはない。一方、陰極又は各種の配線電極にはアルミニウムなどの金属が用いられるため、ＩＴＯを用いる或いは金属の膜厚を薄くする等の可視光の透過率を上げるべき処理を施す。一方、透過型表示素子２０２をＡＭＯＬＥＤにて構築した場合には、ＴＦＴ（Thin Film Transistor）での可視光反射も抑制すべく、ＴＦＴ自体を酸化物半導体（In-Ga-Zn-O など）や有機化合物で構築する。この際、ＴＦＴに用いられる電極に対しても上述した如く、ＩＴＯを用いる或いは金属の膜厚を薄くする等の可視光の透過率を上げるべき処理を施す。

透過型表示素子２０２は、上記表示駆動信号ＤＧが供給されている間に限り、この表示駆動信号ＤＧに応じた画像をその表示画面上に表示する。尚、表示駆動信号ＤＧが供給されていない間、透過型表示素子２０２は、全面非発光状態となる。

表示補正レンズ２０１は、透過型表示素子２０２による発光表示画像が遠方に視覚されるような光学的補正を施した画像を、図２に示す如く使用者の眼ＭＥに導出する。この際、表示補正レンズ２０１にて補正された画像は、眼ＭＥの眼球レンズＬＳによって網膜ＲＥに結像される。

撮像補正レンズ２０３は、使用者の眼ＭＥの表面上における少なくともアイリス部ＲＳを含む領域からの反射光を、表示補正レンズ２０１及び透過型表示素子２０２を介して取り込みその反射光に基づく画像を撮像素子２０４の受光面上に結像させる。

撮像素子２０４は、例えばＣＭＯＳイメージセンサ等からなり、表示撮像駆動制御部２５１から論理レベル１の撮影イネーブル信号ＳＨが供給されている間にのみ、受光面上に結像された画像を取り込み、その画像を表す撮影画像信号ＶＤを視線検出画像処理部２５２に供給する。すなわち、撮像素子２０４は、撮影イネーブル信号ＳＨに応じて、図３に示す如き各フレーム表示期間内の撮影期間Ｔ２の間だけ、透過型表示素子２０２の表示画面の前方のエリア、つまり使用者の眼ＭＥの表面上におけるアイリス部ＲＳを含む領域を撮影し、この際得られた撮影画像信号ＶＤを視線検出画像処理部２５２に供給する。

視線検出画像処理部２５２は、上記撮影画像信号ＶＤによって表される画像中に存在するアイリス部ＲＳの座標位置に基づき、使用者の視線方向を示す視線検出信号を通信ケーブル１２を介して出力する。

よって、図１及び図２に示されるヘッドマウントディスプレイでは、図３に示す如く、各フレーム表示期間毎に、そのフレーム表示期間内の表示期間Ｔ１では、入力映像信号に基づく画像が透過型表示素子２０２によって表示され、その表示画像が使用者の眼に導出される。又、各フレーム表示期間内の撮影期間Ｔ２では、使用者の眼が撮像素子２０４によって撮影され、この際得られた撮影画像信号に基づき使用者の視線方向を示す視線検出信号が成される。

すなわち、かかるヘッドマウントディスプレイでは、入力映像信号に基づく画像を表示する表示動作（表示期間Ｔ１）と、使用者の眼を撮影する撮影動作（撮影期間Ｔ２）とを、時分割にて実行するのである。

よって、かかる動作によれば、図２に示すように表示素子（２０２）と撮像素子（２０４）とを物理的に同一の光軸（ＬＪ）上に配置できるようになるので、撮像用の光学路と表示用の光学路とを分離する為の光学素子が不要となり、低価格化及び小型化を実現することが可能となる。又、使用者の眼を撮影している間（Ｔ２）は画像表示が為されないので、その画素表示に伴って使用者の眼に照射される光の影響を受けずに使用者の眼が撮影される。よって、精度良く使用者の視線方向を検出することが可能となる。

尚、上記光学モジュール２００としては、図２に示すものに代わり図４に示すものを採用しても良い。

図４に示される光学モジュール２００では、撮像素子２０４の外周上に赤外線発光素子２０５を設けると共に、透過型表示素子２０２及び撮像補正レンズ２０３間に赤外線透過フィルタ２０６を設けたものであり、その他の構成は図２に示されるものと同一である。よって、以下に赤外線発照射素子２０５及び赤外線透過フィルタ２０６の動作を中心にしてその動作について説明する。

赤外線発光素子２０５は、例えばＬＥＤ（Light Emitting Diode）等からなる赤外線を含む赤外光を発生し、これを、撮影イネーブル信号ＳＨに応じて、図３に示す如き各フレーム表示期間内の撮影期間Ｔ２の間だけ使用者の眼ＭＥに向けて照射する。この際、使用者の眼ＭＥのアイリス部ＲＳを含む領域からの反射光が、表示補正レンズ２０１及び透過型表示素子２０２を介して赤外線透過フィルタ２０６に導出される。

赤外線透過フィルタ２０６は、かかる反射光中に含まれる赤外光のみを透過して撮像補正レンズ２０３に導出する。この際、撮像補正レンズ２０３は、上記反射光中に含まれる赤外光に基づく画像を撮像素子２０４の受光面上に結像させる。

すなわち、光学モジュール２００の内部構成として図４に示す如き構成を採用すると、赤外光を使用者の眼に向けて照射しつつ、この使用者の眼のアイリスを含む領域の撮影が為されるようになる。

よって、図４に示す光学モジュール２００によれば、例え暗所でも、ノイズを生じさせることなく使用者の眼のアイリス部の撮影がなされるので、精度の高い視線検出を行うことが可能となる。

又、光学モジュール２００としては、図２に示すものに代わり図５に示すものを採用しても良い。

図５に示される光学モジュール２００では、透過型表示素子２０２の表示画面に指向性集光素子２０７を設けたものであり、その他の構成は図２に示されるものと同一である。よって、以下に指向性集光素子２０７を中心にしてその動作について説明する。

指向性集光素子２０７は、透過型表示素子２０２によって表示された画像に伴って放出される光を集光して、使用者の眼ＭＥの方向に向けて照射する。これにより、使用者によって視覚される画像全体の輝度が高まる。よって、透過型表示素子２０２にて表示すべき画像全体の輝度レベルを低下させることができるので、電力消費の削減を図ることが可能となる。更に、かかる指向性集光素子２０７は、使用者の眼ＭＥのアイリス部ＲＳを含む領域からの反射光を集光して、撮像補正レンズ２０３及び撮像素子２０４に導出する。これにより、ノイズを生じさせることなく使用者の眼のアイリス部の撮影がなされるので、精度の高い視線検出を行うことが可能となる。

更に、上記光学モジュール２００としては、図２に示すものに代わり図６に示すものを採用しても良い。

図６に示される光学モジュール２００は、図２に示す透過型表示素子２０２及び撮像素子２０４各々の一面を互いに貼り合わせてなる撮像表示兼用モジュールと、補正レンズ２０８とからなる。これら撮像表示兼用モジュール（２０２、２０４）及び補正レンズ２０８各々の面の中心は、共に同一の光軸ＬＪ上にある。補正レンズ２０８は、透過型表示素子２０２による発光表示画像が遠方に視覚されるように光学的な補正を施した画像を使用者の眼ＭＥに導出すると共に、使用者の眼ＭＥの表面上における少なくともアイリス部ＲＳを含む領域からの反射光を撮像素子２０４の受光面上に結像させる。

かかる構成により、図６に示される光学モジュール２００では、透過型表示素子２０２によって表示された画像に伴う表示光は補正レンズ２０８を介して使用者の眼ＭＥに向けて照射され、その表示光に対応した画像が使用者の眼ＭＥの網膜ＲＥに結像される。この際、網膜ＲＥを表す画像が補正レンズ２０８を介して撮像素子２０４の受光面に結像されるが、使用者の眼ＭＥ表面からの反射光は撮像素子２０４の受光面には結像しない。すなわち、撮像素子２０４は、使用者の眼ＭＥの網膜ＲＥを少なくとも含む画像を撮影し、この網膜画像を含む撮影画像信号ＶＤを視線検出画像処理部２５２に供給する。視線検出画像処理部２５２は、撮影画像信号ＶＤによって表される画像中から網膜に対応した部分を抽出し、その網膜画像の中心点の座標に基づき、使用者の視線方向を示す視線検出信号を出力する。

このように図６に示される光学モジュール２００では、透過型表示素子２０２及び撮像素子２０４各々の一面を互いに貼り合わせ、これを補正レンズ２０８の近傍位置に配置することにより、単一の補正レンズ２０８にて、図２に示す表示補正レンズ２１０及び撮像補正レンズ２０３各々の機能を兼用させている。

よって、図６に示す構成を採用すれば、図２に示される光学モジュール２００に比して、部品点数の削減及び小型化が図れることが可能となる。

尚、図６に示す光学モジュール２００においても、暗所での使用を考慮して図４に示す如き赤外線発光素子２０５及び赤外線透過フィルタ２０６を搭載するようにしても良い。

図７は、かかる点に鑑みて為された光学モジュール２００の内部構成の一例を示す図である。

図７に示す光学モジュール２００では、補正レンズ２０８の外周上に赤外線発光素子２０５を設けると共に、透過型表示素子２０２及び撮像補正レンズ２０３間に赤外線透過フィルタ２０６を挟んだものであり、その他の構成は図６に示されるものと同一である。図７において、赤外線発光素子２０５から発せられた赤外光は、補正レンズ２０８を介さずに直接使用者の眼の表面に照射される。よって、補正レンズ２０８を介して照射される場合に比して、使用者の眼の表面に対して均一に赤外光が照射されると共に、その赤外光の一部は使用者の眼のアイリス部を介して網膜にも到達する。かかる赤外光の照射によれば、暗所でもノイズを生じさせることなく使用者の眼のアイリス部の撮影がなされるので、精度の高い視線検出を行うことが可能となる。

又、上記実施例においては、図３に示すように入力映像信号に基づく各フレーム表示期間内において、透過型表示素子２０２による表示動作（表示期間Ｔ１）と、撮像素子２０４による撮影動作（撮影期間Ｔ２）とを順次時分割にて、切り替えて実行するようにしているが、このような切り替え方に限定されない。

例えば、各表示ライン毎に、透過型表示素子２０２による表示動作と、撮像素子２０４による撮影動作とを時分割にて切り替えるようにしても良く、或いは、透過型表示素子２０２による表示方法として、サブフィールド法を採用している場合には、各サブフィールド毎に、両者の切換を行うようにしても良い。

又、上記実施例においては、透過型表示素子２０２をＯＬＥＤ（Organic Light Emitting diode)等の自発光素子として説明したが、表示画面の一部が透明な構造を有する表示素子、或いは液晶素子の如き、シャッター効果によって透過性のある状態及び非透過状態の内の一方の状態に任意に設定することが可能な表示画面を有するデバイスであれば、どのような表示デバイスを採用しても良い。例えば、透過型表示素子２０２として液晶素子を採用した場合には、表示撮像駆動制御部２５１は、図３に示す表示期間Ｔ１では、入力映像信号に基づく画像を表示させるべき表示駆動信号ＤＧを透過型表示素子２０２に供給する一方、撮影期間Ｔ２では、表示駆動信号ＤＧに代わり、その表示画面を透明状態に設定させるべき液晶駆動信号を透過型表示素子２０２に供給する。

又、上記実施例においては、撮像素子２０４としてＣＭＯＳイメージセンサを用いるようにしているが、シャッター機能（時間的にゲートして撮像できる機能）を具備するものであれば、ＣＣＤ (Charge Coupled Device Image Sensor)イメージセンサ 等の各種の撮像素子を適用することができる。

ヘッドマウントディスプレイの全体を表す図である。 図１に示すヘッドマウントディスプレイに搭載されている表示撮像ユニット２０の内部構成の一例を示す図である。 表示撮像ユニット２０の動作を説明する為の図である。 表示撮像ユニット２０の内部構成の他の例を示す図である。 表示撮像ユニット２０の内部構成の他の例を示す図である。 表示撮像ユニット２０の内部構成の他の例を示す図である。 表示撮像ユニット２０の内部構成の他の例を示す図である。

符号の説明

２０ 表示撮像ユニット
２００ 光学モジュール
２０２ 透過型表示素子
２０４ 撮像素子
２０５ 赤外線発光素子
２０６ 赤外線透過フィルタ
２５１ 表示撮像駆動制御部
２５２ 視線検出画像処理部

Claims (3)

1. 入力映像信号に基づく画像を表示する表示画面を有する表示素子と、前記表示画面の前方のエリアを撮影して撮影画像信号を生成する撮像素子と、を含む人体への装着が可能なディスプレイ装置であって、
   所定の単位期間毎にその単位期間内の第１期間及び当該第１期間に後続する第２期間各々の内の前記第１期間に亘り前記表示素子を動作させる一方、前記第２期間内では前記表示素子に代わり前記撮像素子を動作させるべく制御する表示撮像駆動制御部を備え、
   前記表示画面及び前記撮像素子の受光面が互いに同一の光軸上に配置され、
   前記表示素子の表示画面には、前記表示素子によって表示された画像に伴って放出される光を集光して使用者の眼に向けて照射する指向性集光素子が設けられ、
   前記表示素子は透過性の表示画面を有し、前記撮像素子は使用者の眼からの反射光を前記表示素子を介して受光し、
   前記ディスプレイ装置は、前記撮影画像信号に基づいて使用者の視線方向を検出し当該視線方向を示す視線検出信号を出力する視線検出画像処理部を更に備えることを特徴とするディスプレイ装置。
2. 前記第２期間の間だけ赤外光を使用者の眼に向けて照射する赤外光照射素子と、
   前記光軸上における前記表示素子及び前記撮像素子間に設けられている赤外線透過フィルタと、を更に備えたことを特徴とする請求項１に記載のディスプレイ装置。
3. 前記表示素子は液晶表示素子であり、
   前記表示撮像駆動制御部は、前記第２期間内では前記表示素子の表示画面を透明化させるべき制御を更に実行することを特徴とする請求項１に記載のディスプレイ装置。

Images