JP6873599B2 - 画像表示装置、画像表示システム及び画像表示方法 - Google Patents

Description

本発明は、使用者の頭部等に装着されて画像を表示する画像表示装置の技術に関する。

従来から、使用者の左右両眼のそれぞれに画像を表示する頭部装着型画像表示装置（ＨＭＤ：Ｈｅａｄ Ｍｏｕｎｔｅｄ Ｄｉｓｐｌａｙ）が知られている。このようなＨＭＤでは、左右の表示画像が自然に融合するようにＨＭＤを正しい位置に装着する必要があり、ＨＭＤが適切に装着されていないと左右の画像がずれて表示されてしまう。

このような問題に対して、特許文献１には、左右の画面に互いに異なる画像を表示し、これらの画像に含まれる位置決め用データを両眼で見た際に所定の形状に見えるように装着位置を調整させる構成が開示されている。また、特許文献２には、左右の画面に互いに表示する位置の異なる横線を表示し、それらが一組の平行線に見えるようにＨＭＤの装着位置を調整させる構成が開示されている。

特開平９−３０４７２９号公報 特開平１１−３５２４３９号公報

しかしながら、特許文献１、２に開示される方法では、いずれも線のテストパターンを表示してＨＭＤの装着位置を調整させるようにしている。このような線のテストパターンでは、左右の画像が奥行き方向にずれていた場合、奥行き方向の変化により生じるテストパターンの変化が知覚しづらく、ＨＭＤの装着位置を正確に調整することが困難であった。そこで、本発明は、ＨＭＤの左右の画像が奥行き方向にずれていた場合にも、ＨＭＤの装着位置を正確に調整できるようにすることを目的とする。

上記課題を解決するために、本発明は、使用者の両眼それぞれに対応して第１の画像、第２の画像が表示部に表示されるように、前記使用者に装着して使用される画像表示装置であって、前記表示部は、前記使用者が前記画像表示装置の装着位置を調整するための、二重丸の図形から成るテストパターンを前記第１の画像と前記第２の画像の四隅に同時に表示し、前記使用者が前記画像表示装置を所定の位置とは異なる位置で装着したことにより、前記表示部の前記第１の画像の表示領域と前記第２の画像の表示領域とが前記使用者に対して奥行き方向にずれる場合、前記表示部により表示される前記テストパターンは、前記使用者が前記画像表示装置を前記所定の位置で装着した場合と比べてぼけて前記使用者に知覚されることを特徴とする。

以上の構成によれば、本発明は、ＨＭＤの左右の画像が奥行き方向にずれていた場合にも、ＨＭＤの装着位置を正確に調整できるようになる。

第１の実施形態に関わる画像表示システムの構成を示す概略図。 第１の実施形態に関わる画像表示システムの概略ブロック図。 第１の実施形態においてＨＭＤを適切な位置で装着した場合のテストパターンの見え方を示す図。 第１の実施形態においてＨＭＤを適切でない位置で装着した場合のテストパターンの見え方を示す図。 第１の実施形態におけるＨＭＤ装着位置調整処理のフローチャート。 第２の実施形態においてＨＭＤを適切な位置で装着した場合のテストパターンの見え方を示す図。 第２の実施形態においてＨＭＤを適切でない位置で装着した場合のテストパターンの見え方を示す図。 第３の実施形態においてＨＭＤを適切な位置で装着した場合のテストパターンの見え方を示す図。

［第１の実施形態］
以下、本発明の第１の実施形態の詳細について図面を参照しつつ説明する。本実施形態では、頭部装着装置（ＨＭＤ）にＣＧ画像を再生させる仮想現実感システム（ＶＲ：Ｖｉｒｔｕａｌ Ｒｅａｌｉｔｙ）の画像表示システムを例に説明を行う。しかし、本発明はこれに限らず、例えば現実空間と仮想空間をリアルタイムかつシームレスに融合させる技術である複合現実感、いわゆるＭＲ（Ｍｉｘｅｄ Ｒｅａｌｉｔｙ）に対応したシステムであってもよい。

図１は、本実施形態に関わる画像表示システムの構成を示す概略図である。図１において、画像表示システム１００は、ヘッドマウント型の画像表示装置（以下、ＨＭＤ）１０１、コントローラ１０２、画像生成装置１０３により構成される。

図２は、本実施形態の画像表示システムの概略ブロック図である。ＨＭＤ１０１は、使用者の頭部や顔面に装着され、使用者の両眼それぞれに画像を表示するための画像表示部２０１を有する。具体的には、画像表示部２０１は、後述する画像生成装置１０３で生成された第１、第２の画像を通信制御部２０３を介して取得し、それを使用者のそれぞれの眼球の前に表示するための光学系を含む構成となっている。画像表示部２０１に表示される第１、第２の画像としては同一の画像であってもよいし、それぞれ異なる画像であって、一部（中央）で重複するようになっていてもよい。

また、ＨＭＤ１０１は、コントローラ１０２と通信するための通信制御部２０３を備える。通信制御部２０３は、画像生成装置１０３により生成され、画像表示部２０１に表示する第１、第２の画像や制御信号等を送受信する。通信制御部２０３は、図１に示すような有線通信方式に限らず、無線通信方式を利用したものであってもよい。

また、ＨＭＤ１０１には、ＨＭＤ使用者からの操作を受け付けるための操作部２０２が備えられ、この操作部に対する使用者の指示に基づいて、後述するＨＭＤ装着位置調整の処理が実行される。

コントローラ１０２は、ＨＭＤ１０１と画像生成装置１０３との通信を制御するための通信制御部２０４を有する。本実施形態では、コントローラ１０２は、画像生成装置１０３と別体として構成されているが、コントローラ１０２と画像生成装置１０３とが一体となった構成であってもよい。

画像生成装置１０３は、コントローラ１０２と有線で接続され、パーソナルコンピュータ（ＰＣ）やワークステーション（ＷＳ）等の装置で構成される。画像生成装置１０３は、ＨＭＤ１０１の画像表示部２０１に表示させるコンテンツ画像（第１、第２の画像）を再生する画像再生部２０５を有する。また、使用者がＨＭＤの装着位置を調整する際に用いられるテストパターンを格納するパターン画像格納部２０６、そのテストパターンをコンテンツ画像と合成する画像合成部２０７を有する。

画像生成装置１０３は、ＣＰＵ、ＲＯＭ、ＲＡＭ、ＨＤＤ等のハードウェア構成を備える。そして、ＣＰＵがＲＯＭやＨＤ等に格納されたプログラムを実行することにより、例えば、上述した各機能構成やこれら装置に係るフローチャートの処理が実現される。また、ＲＡＭは、ＣＰＵがプログラムを展開して実行するワークエリアとして機能する記憶領域を有する。ＲＯＭは、ＣＰＵが実行するプログラム等を格納する記憶領域を有する。ＨＤは、ＣＰＵが処理を実行する際に要する各種のプログラム等を含む各種のデータを格納する記憶領域を有する。

このような構成において、画像生成装置１０３の画像再生部２０５で再生したコンテンツ画像は、画像合成部２０７を経由して有線接続されたコントローラ１０２の通信制御部２０３を通じてＨＭＤ１０１へ送信される。画像合成部２０７は、通常、入力されたコンテンツ画像をそのまま出力する。これにより、ＨＭＤ使用者は画像生成装置１０３で再生されたコンテンツ画像をＨＭＤ１０１で見ることが可能となる。

一方、操作部２０２よりＨＭＤ使用者から指示があった場合は、コンテンツ画像とパターン画像格納部２０６から入力されたテストパターン画像とを合成して出力する。ＨＭＤ１０１は、コントローラ１０２を介して上記合成された画像を受信し、画像表示部２０１へ表示する。これにより、ＨＭＤ使用者は、ＨＭＤ１０１の装着位置のずれを容易に調整することができる。

なお、図１、２においては、ＨＭＤ１０１、コントローラ１０２、画像生成装置１０３とから成るシステムの例を示しているが、上述した画像表示システムの全ての機能をＨＭＤ１０１が有し、ＨＭＤ１０１単体によって機能される構成であってもよい。また、ここでは、ＶＲに対応した画像表示システムの例について示しているが、本実施形態は、ＭＲに対応した画像表示システムにも適用できるものである。例えば、所謂ビデオシースルー型のＨＭＤでは、左右両眼それぞれに対応したカメラによってＨＭＤ使用者の視界に映る現実空間を撮影し、その撮影した現実空間の画像データが画像生成装置１０３へと送られる。そして、画像生成装置１０３は、ＨＭＤ１０１のカメラによって撮影された画像にＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を重畳表示した画像をコンテンツ画像として生成し、これをＨＭＤ１０１に送信して、ＨＭＤ１０１で観察されるようにする。

次に、本実施形態に係るＨＭＤ装着位置を調整するためのテストパターンの概要について、図３、４を用いて説明する。図３は使用者がＨＭＤを適切な位置で装着した場合のテストパターンの見え方を示す図である。図３（ａ）に示すように、本実施形態では、右眼、左眼のそれぞれの画像（第１、第２の画像）の対応する同じ位置に二重丸『◎』の図形のテストパターンが表示されるようにしている。テストパターンを表示させる位置としては、それぞれの画像に対して少なくとも１か所の対応する位置に表示させればよいが、その位置としては、画像の周囲であることが望ましい。それは、画像の周囲ほど瞳系の位置による収差の影響が大きく、少しの装着ずれでもテストパターンの見え方が変わるためである。また、表示する図形の数は、各画像の中心に対して点対称の位置に２以上のテストパターンを表示か、さらに好適には、本実施形態のように、画像の四隅に対してテストパターンを表示する。これにより、ＨＭＤの装着位置のずれが容易に知覚できるようになる。

図３（ｂ）には、使用者がＨＭＤ１０１を適切な位置に装着したとき、画像表示部２０１と使用者の眼球が正対した位置関係にあることを示している。このような状態では、図３（ａ）に示すように、画像表示部２０１には、左右両眼で同じテストパターンの画像が対応する同一の位置に表示され、使用者は両眼で見たとき両者が重なって見える。本実施形態では、これにより、使用者はＨＭＤ１０１を正しい位置に装着できていることを確認できる。

一方、図４は、ＨＭＤを適切でない位置で装着した場合のテストパターンの見え方を示す図である。使用者がＨＭＤ１０１を適切な位置で装着していない場合には、使用者の両眼の位置と画像表示部２０１との位置関係が奥行き方向にずれてしまうことがある。図４（ｂ）は、このような奥行き方向のずれが発生した場合を示しており、使用者の左眼に対して表示部が適切な位置よりも近くに位置し、使用者の右眼に対して表示部が適切な位置よりも遠くに位置している例を示している。

このような状態では、使用者の左右両眼それぞれと画像表示部２０１との位置関係は、適切な設定値とは異なる位置関係にある。そのため、図４（ａ）に示すように、光学系を通して画像表示部２０１に表示された、右眼、左眼の画像に表示されるテストパターンそれぞれはぼけて見える。また、使用者の眼と画像表示部２０１との位置関係が左右で異なるため、左右の画像表示部２０１に同じテストパターン画像を表示しても、左右の画像はそれぞれ異なったぼけ方をする。その結果、使用者は両眼で見たとき、図４の（ａ）のような、ぼけたテストパターンとして見える。本実施形態では、このようにして、使用者がＨＭＤ１０１の装着位置がずれていることを確認できる。このとき、使用者は、表示部に表示されるテストパターンがくっきりと見える位置にＨＭＤ１０１の装着位置を調整することにより、装着位置を簡単に修正することができる。

図５は、本実施形態の画像表示システムにおけるＨＭＤ装着位置調整処理のフローチャートである。同図において、まずステップＳ５０１では、操作部２０２を介してＨＭＤ使用者から装着位置調整モード切替えの指示があった場合、画像生成装置１０３のＣＰＵは装着位置調整モードに切り替える。なお、ここでは、使用者からの指示があった場合に装着位置調整モードが開始されるようにしているが、例えばシステムの起動時等、他のタイミングで装着位置調整モードが行われるようにしてもよい。

次に、ステップＳ５０２では、画像合成部２０７がコンテンツ画像（第１、第２の画像）に対してテストパターン画像を合成する。テストパターンの合成された画像は、画像生成装置１０３のＣＰＵによってコントローラ１０２を介してＨＭＤ１０１へと送出される。

次に、ステップＳ５０３では、ＨＭＤ１０１の画像表示部２０１は、通信制御部２０３を介してテストパターンの合成された画像を取得し、表示する。ＨＭＤ使用者は、ＨＭＤ１０１の画像表示部２０１に表示されたテストパターンを見ながら、それがくっきりと見える位置にＨＭＤ１０１の位置を調整することにより、ＨＭＤ１０１の装着位置調整が簡単に行えるようなる。

そして、使用者はＨＭＤ１０１を適切な装着位置に調整し終えると、操作部２０２を介して装着位置調整モード終了の指示を行う。ステップＳ５０４では、この装着位置調整モード終了の指示を受けて、画像生成装置１０３のＣＰＵは装着位置調整モードから通常モードへと切り替える。通常モードでは、画像合成部２０７は、画像再生部２０５より入力されたコンテンツ画像をそのまま出力する。
以上、本実施形態の構成によれば、使用者の両眼に対応する、ＨＭＤ１０１の左右の画像（第１、第２の画像）が奥行き方向にずれていた場合にも、ＨＭＤ１０１の装着位置を正確に調整できるようになる。

なお、上述の説明では、テストパターンの図形が二重丸の例を示して説明したが、三角『△』や四角『□』等の別の図形であってもよい。また、テストパターンの色は、白背景に黒色の図形で表示する場合に限らず、他の色の組合せであってもよい。

また、上述の説明では、ＨＭＤ１０１の画像表示部２０１の構成として、光学系を有する形態を例に説明を行ったが、画像表示部が光学系を備えていない場合に対しても、本実施形態は適用可能である。この場合、第１、第２の画像に合成されるテストパターン、それぞれ同一の図形であるため、両眼と画像表示部２０１との間に奥行き方向のずれがなければ、２つの図形は重なって使用者に観察される。一方、奥行き方向のずれがあると、左右の図形のサイズが異なるようになり、２つの図形は重ならずに観察される。ＨＭＤ使用者が、このようなテストパターンの図形の見え方の違いを知覚することによって、ＨＭＤ１０１を適切な装着位置に調整できるようになる。

また、上述の説明では、テストパターンを表示させる際、テストパターンの図形をコンテンツ画像と合成して表示するようにしているが、装着位置調整モードでは、単にテストパターンのみの画像が表示されるようにしてもよい。すなわち、テストパターン単体の画像を第１、第２の画像として、ＨＭＤ１０１の画像表示部２０１に表示する構成とすることである。この場合、テストパターンの図形をコンテンツ画像と合成する画像合成部２０７に代えて、通常モードと装着位置調整モードとで、ＨＭＤ１０１にテストパターンのみの画像を送出するかコンテンツ画像を送出するかを切替える構成を設ければよい。

［第２の実施形態］
次に、本発明の第２の実施形態について説明する。第２の実施形態は、ＨＭＤ使用者の両眼に対応するコンテンツ画像（第１、第２の画像）それぞれに表示させるテストパターンの図形の色を異ならせることを特徴とするものである。以下、図面を参照しつつ、本発明の第２の実施形態について説明する。なお、第１の実施形態で既に説明をした構成については、その説明を省略し、同一の符号を付す。

図６は、本実施形態において、使用者がＨＭＤを適切な位置で装着した場合のテストパターンの見え方を示す図である。図６（ａ）に示すように、本実施形態では、使用者の左右両眼に対応するコンテンツ画像（第１、第２の画像）それぞれには異なる色の図形のテストパターンが表示される。そして、図６（ｂ）に示すように、使用者がＨＭＤ１０１を適切な位置に装着したとき、２つのテストパターンの図形は重なって一色の図形（二重丸）として使用者に観察される。このようなテストパターンの状態を観察することによって、ＨＭＤ使用者はＨＭＤ１０１が適切な位置に装着されていることを認識できる。

一方、図７は、本実施形態において、使用者がＨＭＤを適切でない位置で装着した場合のテストパターンの見え方を示す図である。図７（ｂ）に示すように、ＨＭＤの装着位置が適切でなく、使用者の両眼がＨＭＤ１０１の画像表示部２０１に対して奥行き方向にずれてしまうと、第１の実施形態と同様に左右のテストパターンの図形はそれぞれ異なったぼけ方をする。このような状態で、使用者がテストパターンを観察すると、左右の図形で色が異なるため、図７（ａ）に示されるように２色で構成されたぼけたテストパターン画像が観察される。このように、本実施形態のテストパターンでは、使用者はぼけ具合に加えて色情報からもＨＭＤ１０１の装着位置がずれていることを判断できるので、より容易にＨＭＤの装着位置を調整できるようになる。

以上、本実施形態によれば、ＨＭＤ１０１の左右の画像（第１、第２の画像）の対応する位置に、色の異なる同一図形のテストパターンを表示するようにしている。このような構成によって、ＨＭＤ使用者の両眼がＨＭＤの画像表示部に対して奥行き方向にずれていた場合、使用者は、ぼけ具合と色情報（二色に見えること）によってＨＭＤが適切な位置に装着されていないことを知覚できる。そのため、ＨＭＤ１０１の装着位置をより容易に調整できるようになる。

［第３の実施形態］
次に、本発明の第３の実施形態について説明する。第３の実施形態は、装着位置調整モードにおいて、テストパターンの図形とサンプル画像とを画像表示部に表示することを特徴とするものである。以下、図面を参照しつつ、本発明の第３の実施形態について説明する。なお、第１、第２の実施形態で既に説明をした構成については、その説明を省略し、同一の符号を付す。

図８は、本実施形態において、使用者がＨＭＤを適切な位置で装着した場合のテストパターンの見え方を示す図である。本実施形態の装着位置調整モードでは、テストパターンをコンテンツ画像に合成するのではなく、単にテストパターンのみをＨＭＤ１０１の画像表示部２０１に表示するようにしている。そして、本実施形態のテストパターンでは、図８（ａ）に示すように、第１の実施形態と同様に、左右の画像それぞれに対して、四隅に同一の図形（二重丸）を表示するようにする。これによって、図８（ｂ）に示すように、使用者がＨＭＤ１０１を適切な位置に装着したとき、２つのテストパターンの図形は重なって一つの図形（二重丸）として使用者に観察される。このようなテストパターンの状態を観察することによって、ＨＭＤ使用者はＨＭＤ１０１が適切な位置に装着されていることを認識できる。

更に、本実施形においては、図８（ａ）に示すように、表示されるテストパターン画像には、画像の中央に表示されるサンプル画像が含まれる。表示するサンプル画像の例としては、ＣＧ画像や文字等が挙げられ、その文字の例としては、例えば図８（ａ）に示すように、装着位置調整モードの操作の説明文であってもよい。このような構成によって、ＨＭＤ使用者は、通常モードにおいて映像がどのように表示されるかを確認しながら、ＨＭＤ１０１の装着位置を調整することができる。なお、サンプル画像を表示する位置としては、画像の中央に限らず、四隅の図形と重ならない位置であれば、その他の位置であってもよい。

以上、本実施形態によれば、左右の画像の対応する位置に同一の図形を表示することに加えて、サンプル画像を表示するようにしている。これによって、ＨＭＤ使用者は、通常モードにおいて映像がどのように表示されるかを確認しながら、ＨＭＤ１０１の装着位置を調整することができる。
［その他の実施形態］
画像表示システムの各装置が備える各部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより、上記各部による処理を行ってもよい。なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。

なお、この各装置が備える各部は、専用のハードウェアにより実現されるものであってもよい。または、各装置に備えられた各部はメモリおよびＣＰＵ（中央演算装置）により構成され、前記各部の機能を実現するためのプログラムをメモリにロードして実行することによりその機能を実現させるものであってもよい。

１００ 画像表示システム
１０１ ＨＭＤ
１０２ コントローラ
１０３ 画像生成装置
２０１ 画像表示部

Claims (10)

1. 使用者の両眼それぞれに対応して第１の画像、第２の画像が表示部に表示されるように、前記使用者に装着して使用される画像表示装置であって、
   前記表示部は、前記使用者が前記画像表示装置の装着位置を調整するための、二重丸の図形から成るテストパターンを前記第１の画像と前記第２の画像の四隅に同時に表示し、
   前記使用者が前記画像表示装置を所定の位置とは異なる位置で装着したことにより、前記表示部の前記第１の画像の表示領域と前記第２の画像の表示領域とが前記使用者に対して奥行き方向にずれる場合、前記表示部により表示される前記テストパターンは、前記使用者が前記画像表示装置を前記所定の位置で装着した場合と比べてぼけて前記使用者に知覚されることを特徴とする画像表示装置。
2. 前記表示部は、前記テストパターンを前記第１の画像と前記第２の画像の周囲に表示することを特徴とする請求項１に記載の画像表示装置。
3. 前記表示部は、前記第１の画像に表示するテストパターンの図形と前記第２の画像に表示するテストパターンの図形の色を異ならせることを特徴とする請求項１から２のいずれか１項に記載の画像表示装置。
4. 前記第１の画像、第２の画像はコンテンツ画像に前記テストパターンが合成された画像であることを特徴とする請求項１から３のいずれか１項に記載の画像表示装置。
5. 前記テストパターンは、更にサンプル画像を含むことを特徴とする請求項１から３のいずれか１項に記載の画像表示装置。
6. 前記サンプル画像には、文字が含まれることを特徴とする請求項５に記載の画像表示装置。
7. 前記表示部は、光学系を含むことを特徴とする請求項１から６のいずれか１項に記載の画像表示装置。
8. 前記表示部は、前記使用者の指示に応じて前記テストパターンを表示することを特徴とする請求項１から７のいずれか１項に記載の画像表示装置。
9. 使用者の両眼それぞれに対応して第１の画像、第２の画像が表示部に表示されるように、前記使用者に装着して使用される画像表示装置を有する画像表示システムであって、
   前記表示部は、前記使用者が前記画像表示装置の装着位置を調整するための、二重丸の図形から成るテストパターンを前記第１の画像と前記第２の画像の四隅に同時に表示し、
   前記使用者が前記画像表示装置を所定の位置とは異なる位置で装着したことにより、前記表示部の前記第１の画像の表示領域と前記第２の画像の表示領域とが前記使用者に対して奥行き方向にずれる場合、前記表示部により表示される前記テストパターンは、前記使用者が前記画像表示装置を前記所定の位置で装着した場合と比べてぼけて前記使用者に知覚されることを特徴とする画像表示システム。
10. 使用者の両眼それぞれに対応して第１の画像、第２の画像が表示部に表示されるように、前記使用者に装着して使用される画像表示装置による画像表示方法であって、
    前記表示部に、前記使用者が前記画像表示装置の装着位置を調整するための、二重丸の図形から成るテストパターンを前記第１の画像と前記第２の画像の四隅に同時に表示し、
    前記使用者が前記画像表示装置を所定の位置とは異なる位置で装着したことにより、前記表示部の前記第１の画像の表示領域と前記第２の画像の表示領域とが前記使用者に対して奥行き方向にずれる場合、前記表示部により表示される前記テストパターンは、前記使用者が前記画像表示装置を前記所定の位置で装着した場合と比べてぼけて前記使用者に知覚されることを特徴とする画像表示方法。

Images