JP2017004457A - 仮想現実表示システム、仮想現実表示方法及びコンピュータプログラム - Google Patents

Abstract

【課題】装着者への不快感を低減し、より手軽に利用することが可能なヘッドマウント型の表示装置を含む仮想現実表示システム、仮想現実表示方法及びコンピュータプログラムを提供する。【解決手段】画像を表示するヘッドマウント型の表示装置と、該表示装置へ三次元画像を出力する画像出力装置とを含み、仮想現実に係る三次元画像を前記表示装置に表示させる仮想現実表示システムにおいて、前記表示装置の装着者の操作を検知する検知部を更に備え、前記画像出力装置は、前記検知部にて操作を検知している間、表示中の三次元画像中に、三次元で描画した操作用のオブジェクト画像を重畳させた画像を作成して出力する手段と、前記検知部にて検知した操作と、操作用のオブジェクト画像が表示されている表示位置とに基づいて、表示中の三次元画像を変化させる変化手段とを備える。【選択図】図５

Description

本発明は、仮想現実（Virtual Reality ）世界の三次元画像を表示するシステムに関し、不快感を低減させ、手軽に利用することを可能とする仮想現実表示システム、仮想現実表示方法及びコンピュータプログラムに関する。

仮想現実のビューアとして、従来ヘッドマウントディスプレイ（以下、ＨＭＤ（Head Mounted Display ）という。）が利用されている。ＨＭＤは一般的には、シューティングゲーム、アドベンチャーゲーム等、没入感が求められる画像を表示するためのディスプレイとして利用されることが多い。

ディスプレイの精細化及び小型化、並びにセンサ類の技術の進歩及び低コスト化等が進んだことで、視野角が広いＨＭＤの一般への普及が進みつつある。これにより近年、ＨＭＤを利用したコンテンツが多数提案されている。

住宅販売の分野においてもＨＭＤを利用して三次元ＣＡＤデータに基づき、屋内外の視点位置から見た状態を表すＣＧ画像を表示させ、建築予定の住宅での生活をエンドユーザに体感させることができるウォークスルーを実現するＣＧ画像の表示方法が提案されている（特許文献１、２等）。

特開平１１−３１６８５５号公報 特開平０９−１０６４０９号公報

しかしながら、特許文献１，２に開示されている表示方法はウォークスルーを実現することを目的としている。そのため、ＨＭＤの装着者の体の動きの一部、手の動き、視線の向きをセンサで捉えて画像を変化させることがなされているが、表示される動画、画像の切り替え等はオペレータによって行なわれ、装着者であるエンドユーザは切替えなどの操作に対して受け身であった。装着者は能動的に画像の切替、変化を操作することが困難であるため、ＨＭＤを利用する場合には、三次元酔い（３Ｄ酔い）等による不快感を生じることがある。

特許文献２には、ＨＭＤを装着しながら、ジョイスティックなど手で操作するコントローラを用いて能動的に操作する方法も提案されている。しかしながらＨＭＤに現実世界の視界を奪われながらコントローラを操作するには、技術又は慣れが必要になり、住宅販売の客層にとっては、利用することが困難であった。

また、特許文献１に開示されている表示方法は、ウォークスルーの実現を目的としているため、装着者であるエンドユーザの全身の動きを捉える必要があるから必要とする機器類が大規模である。更に、ＨＭＤに没入する装着者の全身の動きを捉えるために安全に自由に動けるような空間が必要となる。このようにエンドユーザにとっては、手軽に利用できるものではなかった。

本発明は斯かる事情に鑑みてなされたものであり、装着者への不快感を低減し、手軽に利用することが可能な仮想現実表示システム、仮想現実表示方法及びコンピュータプログラムを提供することを目的とする。

本発明に係る仮想現実表示システムは、画像を表示するヘッドマウント型の表示装置と、該表示装置へ三次元画像を出力する画像出力装置とを含み、仮想現実に係る三次元画像を前記表示装置に表示させる仮想現実表示システムにおいて、前記表示装置の装着者の操作を検知する検知部を更に備え、前記画像出力装置は、前記検知部にて操作を検知している間、表示中の三次元画像中に、三次元で描画した操作用のオブジェクト画像を重畳させた画像を作成して出力する手段と、前記検知部にて検知した操作と、操作用のオブジェクト画像が表示されている表示位置とに基づいて、表示中の三次元画像を変化させる変化手段とを備えることを特徴とする。

本発明に係る仮想現実表示システムは、前記三次元画像は建造物の屋内又は屋外の画像であり、該屋内又は屋外に設置されている設備の画像を含み、前記オブジェクト画像はボタンの画像を含み、前記変化手段は、前記検知部にて検知した操作が前記ボタンを押下する操作である場合、前記設備の画像を他の画像へ切り替えて変化させることを特徴とする。

本発明に係る仮想現実表示システムは、前記三次元画像は建造物の屋内又は屋外の画像であり、前記オブジェクト画像はスライドバーの画像を含み、前記変化手段は、前記検知部にて検知した操作が前記スライドバーをなぞる操作である場合、前記屋内又は屋外の画像を連続的に変化させることを特徴とする。

本発明に係る仮想現実表示方法は、画像を表示するヘッドマウント型の表示装置と、該表示装置の装着者の操作を検知する検知装置と、前記表示装置へ三次元画像を出力する画像出力装置とを含み、仮想現実に係る三次元画像を前記表示装置に表示させる仮想現実表示方法であって、前記画像出力装置は、前記検知装置にて操作を検知している間、表示中の三次元画像中に、三次元で描画した操作用のオブジェクト画像を重畳させた画像を作成して出力し、前記検知装置にて検知した操作の動きと、操作用のオブジェクト画像が表示されている表示位置とに基づいて、表示中の三次元画像を変化させることを特徴とする。

本発明に係るコンピュータプログラムは、画像を表示する表示部と接続されるプロセッサに、前記表示部を視認するユーザの操作を検知する検知部からの検知結果を受信させ、該検知結果に応じた仮想現実に係る三次元画像を前記表示部に出力させるコンピュータプログラムにおいて、前記プロセッサに、前記検知部にて操作を検知している間、表示中の三次元画像中に、三次元で描画した操作用のオブジェクト画像を重畳させた画像を作成して出力させ、前記検知部にて検知した操作の動きと、操作用のオブジェクト画像が表示されている表示位置とに基づいて、表示中の三次元画像を変化させることを特徴とする。

本発明では、仮想現実に係る三次元画像を表示するヘッドマウント型の表示装置を装着する装着者の操作を検知する検知部が更に備えられ、操作が検知されている間は、操作用のオブジェクト画像が三次元的に表示されており、これにより、装着者は自身の操作によって、好きなタイミングで能動的に画像を変化させることができる。

本発明では、オブジェクト画像はボタンの画像を含み、ボタンの押下の操作に応じて画像が切り替えられる。仮想現実空間における眼前にボタンが表示された場合にはそれを押下してみようとするという自然な動きで、手軽に操作が可能である。

本発明では、オブジェクト画像はスライドバーの画像を含み、スライドバーをなぞる操作に応じて画像が連続的に変化する。広い視野角で三次元画像をＨＭＤで表示する場合、連続的な変化は不快感を発生させる可能性があるが、装着者が能動的に操作することにより、不快感が低減される。

本発明による場合、ＨＭＤの装着者は表示される画像を自身の操作によって能動的に変化させることが可能になり、受け身であることが回避されて不快感が低減される。また、別体でコントローラを設けないからコントローラを操作する慣れ又は技術も不要となって直感的に操作が可能であり、手軽に利用できる。

本実施の形態における仮想現実表示システムを示す模式図である。 本実施の形態における仮想現実表示システムの構成を示すブロック図である。 情報処理装置の制御部にて実行される処理手順の一例を示すフローチャートである。 本実施の形態におけるＨＭＤを通して装着者が視認できる画像を二次元的に表現した説明図である。 本実施の形態におけるＨＭＤを通して装着者が視認できる画像を二次元的に表現した説明図である。 本実施の形態におけるＨＭＤを通して装着者が視認できる画像を二次元的に表現した説明図である。 本実施の形態におけるＨＭＤを通して装着者が視認できる画像を二次元的に表現した説明図である。 本実施の形態におけるＨＭＤを通して装着者が視認できる画像を二次元的に表現した説明図である。

以下、本発明をその実施形態を示す図面に基づいて具体的に説明する。なお、以下に示す実施形態は例示であって、本発明は以下の構成に限られないことは勿論である。

図１は、本実施の形態における仮想現実表示システムを示す模式図であり、図２は、本実施の形態における仮想現実表示システムの構成を示すブロック図である。仮想現実表示システムは、ヘッドマウント型の表示装置であるＨＭＤ１、ヘッドフォン型のスピーカ２及び画像出力装置である情報処理装置３を含む。

ＨＭＤ１は、表示部１１、動き検知部１２、位置検知部１３、操作検知部１４及び接続部１５を備える。ＨＭＤ１の本体に、表示部１１、動き検知部１２、位置検知部１３の一部、及び操作検知部１４が設けられており、位置検知部１３の他部と接続部１５とは各々別体として本体とケーブルを介して接続されている。

表示部１１は例えば、小型の液晶ディスプレイ及び光学レンズを備え、視野角１１０°以上で三次元画像を表示することが可能である。表示部１１は情報処理装置３から出力される画像信号（映像信号を含む）を受け付けて表示させる。

動き検知部１２は、本体（表示部１１のカバー及び装着ベルト）の各所に、多様な向きで設けられた複数の三軸加速度センサ及びジャイロセンサと、これらのセンサ群からの信号を集約して出力する制御回路とを備える。動き検知部１２により、装着者の頭部の動きが検知される。

位置検知部１３は、別体として載置型の赤外線カメラ１３１を用い、本体の各所に設けられて外向きに赤外線を照射する複数の赤外線を照射する赤外線ＬＥＤ１３２から照射される光を夫々直接的に検知する。赤外線カメラ１３１は、本体を捉えることが出来る適切な位置に載置される。位置検知部１３は、赤外線カメラ１３１によって本体表面に設けられた赤外線ＬＥＤ１３２からの照射光の強度を検知し、これにより、載置場所を基準としたＨＭＤ１本体の各所の距離を算出して出力する回路を更に備える。

操作検知部１４は、本体の外面に外向きに並設された２つの赤外線カメラと、該赤外線カメラの中間位置に同様に外向きに赤外線を照射するように設けられた赤外線ＬＥＤとを用いる。詳細には操作検知部１４は、図１に示すように、本体における目が当てられる位置を基準として、本体外面上における目線の先に位置する箇所に外向きに設けられている。操作検知部１４は、赤外線ＬＥＤから照射された光の反射を２つの赤外線カメラで撮像した結果に基づいて、赤外線カメラ又は赤外線ＬＥＤの位置を基準とする所定範囲の実空間内におけるユーザの手指の位置を検知する装置である。操作検知部１４は、２つの赤外線カメラにて捉えた手指の画像に基づき手指上の各箇所（例えば手の甲及び各指の関節の位置）の座標を算出し、算出した座標の情報を出力する制御回路を含む。

接続部１５は、ＨＭＤ１の本体とはケーブルで接続された別体として設けられている。接続部１５は、動き検知部１２から出力される信号と、位置検知部１３の赤外線カメラ１３１に基づき出力される距離に係る信号とを同期させて出力する。

スピーカ２は、情報処理装置から出力される音声信号を受け付けて出力する。なおスピーカ２はＨＭＤ１と一体に構成されてもよい。なおスピーカ２は必須ではない。

情報処理装置３は、図１に示す如くノートブック型（ラップトップ型）のＰＣ（Personal Computer ）を用い、制御部３０、一時記憶部３１、記憶部３２、表示部３３、操作部３４、入出力部３５、画像出力部３６及び音声出力部３７を備える。なお情報処理装置３はノートブック型のＰＣに限られないことは勿論であり、例えばデスクトップ型のＰＣであってもサーバ型のコンピュータであってもよい。また十分な速度で画像を描画し、画像信号及び制御信号を同時並行的に送受信することができるコンピュータであればタブレット型のコンピュータであってもよい。音声出力部３７は必須ではない。

制御部３０は、ＣＰＵ（Central Processing Unit ）を用いる。制御部３０は、記憶部３２に記憶されている各種プログラムを読み出して実行することにより、情報処理装置３に多様な機能を発揮させる。一時記憶部３１は、ＤＲＡＭ（Dynamic Random Access Memory）等のＲＡＭを用いる。一時記憶部３１は、制御部３０の処理によって生成される情報を一時的に記憶する。

記憶部３２は、ハードディスク又はフラッシュメモリ等の不揮発性の記憶媒体を用いる。記憶部３２には、ＨＭＤ１に三次元画像を表示させるための画像作成及び出力を実現するための表示制御プログラム３Ｐが記憶されている。記憶部３２には更に、作成される画像信号の素材となる三次元のオブジェクト画像の情報を含む画像データ３Ｉが記憶されている。

表示部３３は、例えば液晶ディスプレイを用いる。勿論、表示部３３は有機ＥＬ（Electro Luminescence）など他の種類のディスプレイを用いてもよい。制御部３０は、表示部３３へ文字又は画像を含む各種画面を表示させる。表示部３３は、ＨＭＤ１へ出力される画像信号に基づく画像のモニタとしても使用され、装着者が視認している画像の内容をオペレータ及び他の複数人でリアルタイムに認識することが可能である。操作部３４は、キーボード及びポインティングデバイス等の入力インタフェースを用いる。制御部３０は、入力インタフェースによって入力した操作情報に基づいて各構成部を制御する。なお表示部３３及び操作部３４は、タッチパネル内蔵型ディスプレイとして一体的に構成されてもよい。

入出力部３５は、ＵＳＢ（Universal Serial Bus）インタフェースを用いる。制御部３０は、入出力部３５を介して外部装置と制御に係る信号を入出力する。本実施の形態では制御部３０は、入出力部３５によりＨＭＤ１の動き検知部１２及び位置検知部１３から出力される信号及び操作検知部１４から出力される信号を各入力する。

画像出力部３６は、ＨＤＭＩ（High Definition Multimedia Interface：登録商標）と、三次元画像を高速に描画するためのグラフィックボードとを含む。画像出力部３６は、制御部３０からの制御により、記憶部３２に記憶されている画像データ３Ｉに基づき、三次元画像として視認できるようにするための右目用の画像及び左目用の各画像の画像信号を作成して出力する。

音声出力部３７は、記憶部３２に記憶されている音声データに基づき、制御部３０からの制御により音声信号を出力する。

上述のようなハードウェア構成を有する仮想現実表示システムにおいては、ＨＭＤ１の装着者の頭の動き及び位置を動き検知部１２及び位置検知部１３で検知してその信号を情報処理装置３へ出力し、その動き及び位置に基づいて情報処理装置３にて作成される画像の画像信号を入力し表示部１１にて表示する。これにより装着者は、仮想現実に係る画像を自身の動作に応じて表示することが可能になる。本実施の形態における仮想現実表示システムにおいては特に、建物の屋内又は屋外を視点とする仮想現実の画像が表示される。例えば住宅展示場、モデルルーム展示場、建築工事又はリフォーム工事前の打ち合わせの場等において、施主が工事予定の建物の内外のイメージを把握し易くなるように利用される。

図３は、情報処理装置３の制御部３０にて実行される処理手順の一例を示すフローチャートである。制御部３０は、記憶部３２に記憶されている表示制御プログラム３Ｐをアプリケーションプログラムとして実行すると、以下に示す処理を開始する。

まず制御部３０は、表示部３３にオペレータ用画面を表示し、ＨＭＤ１の装着者のタイプの選択を受け付ける（ステップＳ１）。タイプとは例えば、性別及び身長である。性別により、表示される画像の内容が変更され、身長により初期的な目線の高さが設定される。性別による画像の内容の変更とは例えば以下である。装着者が女性の場合、キッチンの屋内画像であってキッチン設備の高さ、吊戸棚の高さ、キッチン内又はキッチンと洗面室等との間の導線、キッチン設備の色などを体感してもらうための画像とする。装着者が男性の場合、建物の構造のスケルトン表示、経年劣化の過程を体感してもらうなどの画像とする。

次に制御部３０は、ステップＳ１で選択したタイプに応じて、記憶部３２に記憶されてある画像データ３２１に基づいて、左目及び右目用の各画像の画像信号を、入出力部３５により入力した動き検知部１２及び位置検知部１３からの信号に基づいて変更することにより、装着者の頭の向きに追従した三次元画像の画像信号の画像出力部３６による作成及び出力を開始する（ステップＳ２）。なおこのとき、左目用及び右目用の各画像の画像信号は、画像内に鼻の三次元モデル画像が視認できるように作成される。また装着者が下を向いたときの左目用及び右目用の各画像の画像信号には、画像内に胸元から足元に対応する画像が含まれるように作成される。このように表示される三次元画像には、見えるべき体の一部が表示されるように画像信号が作成される。これにより、ＨＭＤ１における三次元酔いが軽減される。

制御部３０は、操作検知部１４により、ＨＭＤ１の外側における装着者の目線の先の所定範囲内に、装着者の手指を検知しているか否かを判断する（ステップＳ３）。

ステップＳ３にて操作検知部１４が手指を検知していると判断した場合（Ｓ３：ＹＥＳ）、制御部３０は操作用の三次元のオブジェクト画像を、装着者の頭の動きに追従する三次元画像中に重畳させ、更に手指の画像を重畳させた画像を作成して出力する（ステップＳ４）。三次元のオブジェクト画像とは例えば、球体（スクロール）、プッシュボタン、ロッカースイッチ、スライドバー等の立体的な画像である。複数種類のオブジェクト画像が並べて表示されていてもよい。これにより、手指が所定範囲内に検知されている間は、操作用のオブジェクト画像が視界に浮遊するように表示され、更に操作検知部１４により検知される手の甲及び手指の各所の位置に基づき、手指の動きに合わせて該手指の画像がリアルタイムに動いて表示される（図５〜８参照）。

制御部３０は、三次元のオブジェクト画像の、表示中の三次元画像内における表示位置と、操作検知部１４にて検知している手指の位置と、検知される手指の動きとに基づいて、表示中のオブジェクト画像に対する操作が行なわれたか否かを判断する（ステップＳ５）。例えば制御部３０は、プッシュボタンであるオブジェクト画像の表示位置で、指で押す動きが操作検知部１４にて検知された場合、操作が行なわれたと判断する。また制御部３０は、スライドバーであるオブジェクト画像の表示位置で、指で左右方向になぞる動きが操作検知部１４にて検知された場合、操作が行なわれたと判断する。

ステップＳ５にて操作が行なわれたと判断された場合（Ｓ５：ＹＥＳ）、制御部３０は操作の対象のオブジェクト画像の種類（スクロール、プッシュボタン、ロッカースイッチ、スライドバーのいずれか等）と、動きの位置及び種類とに応じて、操作の内容を識別し（ステップＳ６）、識別した操作の内容に応じて、表示中の三次元画像を変化させる（ステップＳ７）。「ボタンを押す」という操作、及び「スライドバーをなぞる」という操作の識別については、手の甲の位置、指の関節の位置を夫々示す信号のパターンを学習しておき、パターンマッチングに基づいて識別が可能である。

ステップＳ７において例えば、制御部３０は、プッシュボタンを押すという操作が検知される都度、屋内画像における設備、家具又は家電（例えば、床材の種類又は色、壁紙の種類又は色、巾木の種類又は色、ドアの種類又は色、窓枠の種類若しくは色、キッチンパネルの種類若しくは色、戸棚の種類若しくは色、カーテンの種類若しくは色、テーブル及び椅子の種類若しくは色、ベッドの種類若しくは色、ライトの種類若しくは場所、家電の種類又は色等）を変化させる。屋外画像であれば、外装（屋根の種類若しくは色、外壁パネルの種類若しくは色、外壁塗装の種類若しくは色等）、設備（ドア、窓の種類若しくは色、屋上設備）、又は外構設備（門扉、塀、アプローチ、車庫、駐車スペース、庭、デッキ、若しくは植栽の種類、色等）を変化させる。制御部３０は、窓の種類（引違、内倒し、回転、嵌め殺し、格子付等）又は大きさ（腰窓又は掃出窓等）を変化させるようにしてもよいし、設備又は家電（キッチンカウンター、吊戸棚、テーブル、家電）の高さ、天井の高さを変更するようにしてもよい。また制御部３０は例えば、ロッカースイッチを切り替えるという操作が検知された場合、屋内外の昼夜の切り替え、ライトのオンオフの切り替え、ライトの種類（灯りの色）の変化を実行する。更に制御部３０は例えば、スクロール又はスライドバーをなぞるという操作が検知された場合、スクロール位置又はスライドバーのノブ部分の位置に応じて、日中の時間の経過に応じた屋内外画像の明るさ、屋内外画像内の日射角度を連続的に変化させる。またスライドバーのノブ部分の位置に応じて、制御部３０は、建物の屋内外の経年劣化のシミュレーション画像を連続的に変化させる。

なお制御部３０はステップＳ７において、三次元画像の変更のみならず、識別した操作の内容に応じて音声の出力のオンオフを切り替えるようにしてもよい。例えば制御部３０は、ロッカースイッチをオンに切り替えるという操作が検知された場合、生活音を音声出力部３７から出力する。生活音は例えば、屋外の音、流水音、話し声、ドアの開閉音、床への物が落ちた場合の衝突音、階下で聞こえる音等である。上述の設備、家具又は家電の種類の変更と併せることにより、装着者は、床材の種類、ドアの種類、窓の種類などによる生活音の違いを自身の操作によって体感することも可能である。

ステップＳ５にて操作が行なわれていないと判断された場合（Ｓ５：ＮＯ）、制御部３０は処理をステップＳ３へ戻す。

ステップＳ７の後、制御部３０はオペレータ又は装着者によって表示終了の操作が行なわれたか否か判断する（ステップＳ８）。ステップＳ３にて操作検知部１４は所定範囲内に手指を検知していないと判断された場合（Ｓ３：ＮＯ）も、ステップＳ８へ処理を進める。ステップＳ８にて表示終了の操作が行なわれたと判断された場合（Ｓ８：ＹＥＳ）、制御部３０は三次元画像の画像出力部３６による作成及び出力を停止し（ステップＳ９）、処理を終了する。ステップＳ８において表示終了の操作が行なわれていないと判断された場合（Ｓ８：ＮＯ）、制御部３０は、処理をステップＳ３へ戻す。

なお制御部３０は更に、表示中の三次元画像内の設備、家具又は家電が含まれている場合に、操作検知部１４にて設備、家具又は家電の場所に対応する位置に手指の位置を検知し、それらを操作するような動きが検知された場合は、操作の対象となった設備、家具又は家電を手指の動きに応じて変化させるようにしてもよい。表示される三次元画像は、壁（外壁）、屋根、床、家具夫々の三次元のオブジェクト情報から描画されているものであり、いずれのオブジェクトにおいても、操作されようとしているか否かを手指の位置に応じて検知することが可能である。例えばキッチンカウンターの画像が含まれている場合、キッチンカウンター上にキッチン用具がカウンター上に載置されている画像が表示され、装着者の手指の動きに合わせてキッチン用具が三次元画像内で動くようにする。これにより、装着者はカウンターの高さを体感することができる。同様にして棚又は押し入れ等の収納への荷物の上げ下ろしを三次元画像内で体感することも可能である。他に例えば内壁、外壁、キッチンなどの壁面を触るような操作が操作検知部１４にて検知された場合、操作の対象の壁の色又は種類（クロス、塗装、又はタイル等の仕上げの種類）が切り替えられるようにしてもよい。更には、電気配線に関し、室内外の照明のスイッチの画像が壁面等に描画され、制御部３０が操作検知部１４にて該スイッチの位置に手指の位置を検知した場合、表示中の三次元画像を点灯時の画像と消灯時の画像とで切り替えるようにしてもよい。このように、表示中の屋内外の画像に含まれるオブジェクト（設備等）がいずれも仮想現実空間内における操作用のオブジェクト画像として用いられてもよい。

また、操作検知部１４にて特定の設備、家具又は家電の場所に対応する位置に手指の位置を検知した場合は、所定のアニメーション画像を表示させるようにしてもよい。このとき、音声出力部３７により開閉に伴う音を出力するようにしてもよい。例えば特定の家具がドアである場合、手指がドアを指差したときには、ドアが開閉するアニメーション画像が表示されるようにする。これにより装着者は、仮想現実世界の臨場感を味わうことが可能である。

以下、上述の処理により表示される仮想現実のイメージについて例を挙げて詳細に説明する。図４〜８は、本実施の形態におけるＨＭＤ１を通して装着者が視認できる画像を二次元的に表現した説明図である。図４は、キッチン内に装着者が立っている場合に視認できる画像を示している。表示される画像は、装着者の身長の情報に応じて目線の高さが設定されている（Ｓ２）。図５は、図４の画像に対して操作用のオブジェクト画像Ｏ１〜Ｏ３を重畳表示した場合の画像の例である。図５中の手指の画像Ｈは、操作検知部１４により検知された手指の手の甲及び指の各所の位置に応じて表示される。予め設定された装着者のタイプに応じて（Ｓ１）、表示される手指の画像Ｈを例えば女性の手指又は男性の手指とするとよい。図５に示すように、操作用のオブジェクト画像Ｏ１〜Ｏ３は仮想現実空間に浮遊しているように表示され、オブジェクト画像Ｏ１〜Ｏ３よりも奥側に視認されるべきキッチンの画像は半透明に視認できるようにしてある。図５には、操作用のオブジェクト画像Ｏ１〜Ｏ３として、複数のプッシュボタンＯ１、スライドバーＯ２、スライド式のボタンＯ３が並べて表示されている。

また図５に示すようにプッシュボタンＯ１の各下方には例えば、色見本が表示されている。図６に示すように、プッシュボタンＯ１に対応する位置でタップするような操作が操作検知部１４により検知された場合、制御部３０はプッシュボタンＯ１を押下する操作が行なわれたと識別し（Ｓ６）、制御部３０は例えばキッチンパネルの色を、押下されたプッシュボタンＯ１の下方の色見本の色に変化させる（Ｓ７）。これにより、装着者は色の変更によってキッチン設備全体の色の雰囲気を体感することができる。装着者は視認できたボタンを押下するという自然な動作で、説明を受けるまでもなく表示を変化させる操作を能動的に実行することができる。

図５及び図６には、キッチンにおける窓が示されている。図５に示すように窓の種類を切り替えるボタンＯ３に対応する位置で、装着者がボタンＯ３を上又は下にスライドさせる操作を行ない、操作検知部１４にてこれが検知された場合、制御部３０はボタンＯ３を切り替える操作が行なわれたと識別し（Ｓ６）、制御部３０は窓の大きさを「腰窓」と「掃出窓」との間で切り替えるように変化させる（Ｓ７）。これによって装着者は、キッチンの窓の大きさによってキッチンへ入る光の雰囲気の違いを体感することができる。

このようにＨＭＤ１の装着者は、設備の色又は種類の違いから受ける印象の変化を体感することができる。変化した画像は情報処理装置３の表示部３３にも表示されているから、装着者の反応が良かった色が何色だったのかオペレータ（営業担当者）及び他の複数人で把握することができ、更に、複数人で情報を共有することが出来るので、例えば仕様決めにおいて提供者と施主との間、施主の家族間の認識のギャップを埋め、設備の選択、仕様決めを効率化させることができる。

図７及び図８には、ある部屋内に装着者が立っている場合に視認できる画像を示している。図７においても表示される画像は、装着者の身長の情報に応じて目線が設定されている。図７及び図８では、操作用のオブジェクト画像Ｏ１〜Ｏ３としてスライドバーＯ２のみが重畳表示されている。図７及び図８においてもオブジェクト画像Ｏ１〜Ｏ３は空間に浮遊しているように表示され、オブジェクト画像Ｏ１〜Ｏ３よりも奥側に視認されるべき部屋内の画像は半透明に視認できるようにしてある。

図７に示すように、スライドバーＯ２のノブ部分をなぞるような操作が操作検知部１４により検知された場合、制御部３０はスライドバーＯ２のノブ部分をなぞる操作が行なわれたと識別し（Ｓ６）、制御部３０は、ノブ部分の位置に応じた時間に対応させて、表示している三次元の屋内画像における日射角度を変化させる（Ｓ７）。図７及び図８には、日射角度に応じた窓の影が室内に射影されている様子が示されている。図７と図８とでは、図８は図７よりも時間が進んだ様子を示しており、図７は朝頃、図８は昼頃の日射角度を示している。このように季節の違い、時間の違いによる日射角度の違いのイメージを、連続的に把握することができ、例えば施主は立地条件による日射角度の変化のイメージを容易に把握することができ、立地、又は窓の種類若しくは大きさなどの決定に役立てることが可能になる。

このように本実施の形態における仮想現実表示システムでは、装着者は自身の操作によって、好きなタイミングで能動的に画像を変化させることができ、仮想現実の表示に対して受け身であることが回避されて不快感が低減される。また本実施の形態においては、操作検知部では全身の動きではなく、視線つまり頭部の動きと手指の動きとに、検知される情報が限定されるため、歩行をセンサで捉えてそれに応じて三次元画像内における視点位置を動かすことでウォークスルーを実現するような構成に比べ、手軽に利用が可能になる。大規模な設備も不要であるから、例えば住宅販売の業界においては、住宅展示場に手軽に体験することができるように設置しておき、任意の顧客が種々の設備の変更等を試すことを可能とする。また、各営業所で行なわれる仕様決めの打ち合わせ時に、手軽に利用することが可能になる。

なお、施主毎の設計図面の三次元ＣＡＤデータに基づく三次元画像を作成して画像データ３Ｉとして記憶部３２に記憶しておくことにより、設計段階の仕様決めの際に、具体的イメージを施主個別に体感させることも可能である。

図４〜図８に示したように、本実施の形態において表示される三次元画像は視野角一杯に画像が表示される構成とした。これにより没入感は高められるが、装着者によっては不快感を生じる可能性がある。したがって、視野角を狭めるように表示するモードへの切り替えを可能とする構成としてもよい。同様に、額から見えているような画像を表示するべく、視野内に枠を表示する構成としてもよい。また、頭の動きに追従する表示に対して三次元酔いが生じる場合があるので、装着してから所定期間は視点を固定するようにし、装着者自身の操作によって視点の固定と、頭の動きに追従する表示の再開とを切り替えるようにしてもよい。また、三次元酔いを抑制するために、視点の高さを変更する場合、又は視点が配置される部屋を変更する場合に一旦、視野内を暗くしてから切り替えるように画像を作成出力するようにしてもよい。

なおＨＭＤ１は、本実施の形態にて示したものに限られないことは勿論である。例えばＨＭＤ１は、眼鏡型のものであってもよい。ＨＭＤ１と情報処理装置３との間は、無線により通信する構成であってもよい。

仮想現実表示システムは、ＨＭＤ１と情報処理装置３とが一体となった構成としてもよい。具体的にはタブレット型端末装置、又は所謂スマートフォンと呼ばれる情報端末装置に備えられている表示部と光学レンズとを組み合わせてＨＭＤ１を実現する。この場合、タブレット型端末装置又はスマートフォンは、ヘッドマウント型のカバー本体に差し込むことで組み込まれる。情報処理装置３の機能は、端末装置が備えるプロセッサに、上述した処理を実現する表示制御プログラム３を実行させることで発揮される。

また操作検知部１４は、本実施の形態にて示した赤外線を用いたものに限らないことは勿論である。可視光カメラ、深度センサ等を用いた所謂モーションキャプチャを用い、該モーションキャプチャで位置検知部１３の機能も共に実現するようにしてもよい。例えば操作検知部１４は、ユーザの視線を検知する装置であって、視線が画像中のいずれかで略静止した場合に、その位置に表示されているオブジェクト画像が選択されたものとする等、視線で操作を検知するものであってもよい。操作検知部１４は、ユーザの発声を検知する装置であって、音声認識により操作に係るコマンドを受け付けるものであってもよく、色の名前の発声を認識して設備の色を切り替えるようにしてもよい。

今回開示された実施形態はすべての点で例示であって、制限的なものではないと考えられるべきである。本発明の範囲は、上記した意味ではなく、特許請求の範囲によって示され、特許請求の範囲と均等の意味及び範囲内でのすべての変更が含まれることが意図される。

１ ＨＭＤ（表示装置）
１２ 動き検知部
１４ 操作検知部（検知装置）
３ 情報処理装置（画像出力装置）
３０ 制御部（変化手段）
３２ 記憶部
３６ 画像出力部
３Ｐ 表示制御プログラム

Claims (5)

1. 画像を表示するヘッドマウント型の表示装置と、該表示装置へ三次元画像を出力する画像出力装置とを含み、仮想現実に係る三次元画像を前記表示装置に表示させる仮想現実表示システムにおいて、
   前記表示装置の装着者の操作を検知する検知部を更に備え、
   前記画像出力装置は、
   前記検知部にて操作を検知している間、表示中の三次元画像中に、三次元で描画した操作用のオブジェクト画像を重畳させた画像を作成して出力する手段と、
   前記検知部にて検知した操作と、操作用のオブジェクト画像が表示されている表示位置とに基づいて、表示中の三次元画像を変化させる変化手段と
   を備えることを特徴とする仮想現実表示システム。
2. 前記三次元画像は建造物の屋内又は屋外の画像であり、該屋内又は屋外に設置されている設備の画像を含み、
   前記オブジェクト画像はボタンの画像を含み、
   前記変化手段は、
   前記検知部にて検知した操作が前記ボタンを押下する操作である場合、前記設備の画像を他の画像へ切り替えて変化させる
   ことを特徴とする請求項１に記載の仮想現実表示システム。
3. 前記三次元画像は建造物の屋内又は屋外の画像であり、
   前記オブジェクト画像はスライドバーの画像を含み、
   前記変化手段は、
   前記検知部にて検知した操作が前記スライドバーをなぞる操作である場合、前記屋内又は屋外の画像を連続的に変化させる
   ことを特徴とする請求項１又は２に記載の仮想現実表示システム。
4. 画像を表示するヘッドマウント型の表示装置と、該表示装置の装着者の操作を検知する検知装置と、前記表示装置へ三次元画像を出力する画像出力装置とを含み、仮想現実に係る三次元画像を前記表示装置に表示させる仮想現実表示方法であって、
   前記画像出力装置は、
   前記検知装置にて操作を検知している間、表示中の三次元画像中に、三次元で描画した操作用のオブジェクト画像を重畳させた画像を作成して出力し、
   前記検知装置にて検知した操作の動きと、操作用のオブジェクト画像が表示されている表示位置とに基づいて、表示中の三次元画像を変化させる
   ことを特徴とする仮想現実表示方法。
5. 画像を表示する表示部と接続されるプロセッサに、前記表示部を視認するユーザの操作を検知する検知部からの検知結果を受信させ、該検知結果に応じた仮想現実に係る三次元画像を前記表示部に出力させるコンピュータプログラムにおいて、
   前記プロセッサに、
   前記検知部にて操作を検知している間、表示中の三次元画像中に、三次元で描画した操作用のオブジェクト画像を重畳させた画像を作成して出力させ、
   前記検知部にて検知した操作の動きと、操作用のオブジェクト画像が表示されている表示位置とに基づいて、表示中の三次元画像を変化させる
   ことを特徴とするコンピュータプログラム。

Images