JP5483761B2 - 映像出力装置、立体映像観察デバイス、映像提示システム、および映像出力方法 - Google Patents

Description

本発明は、映像出力装置、立体映像観察デバイス、それらを含む映像提示システム、および映像出力方法に関する。

近年、立体映像を提示するための技術開発が進み、奥行きを持った立体映像を提示することが可能なヘッドマウントディスプレイ（Head Mounted Display; 以下「ＨＭＤ」と記載する。）が普及してきている。このようなＨＭＤの中には、ホログラフィック素子やハーフミラー等を用いて、立体映像をユーザに提示しつつ、かつユーザがＨＭＤの外の様子をシースルーで見ることができる光学透過型ＨＭＤも開発されている。

近年、テレビモニタの高性能化が進み、奥行きを持った立体映像を提示することが可能な３次元モニタが普及してきている。この３次元モニタを実現する方式は種々提案されいるが、いずれの方式もユーザに視差画像を提示することで、奥行きを持った立体的な映像表現を実現している。これらの３次元モニタは、従来のテレビモニタ同様に２次元の映像を表示することもできる。

光学透過型ＨＭＤを装着したユーザは、ＨＭＤを通してテレビモニタの映像も見ることができる。本願の発明者は、光学透過型ＨＭＤとテレビモニタとの両方に映像を連動させて提示することにより、ふたつの表示デバイスを用いた新たな映像表現が実現できる可能性について認識するに至った。

本発明はこうした課題に鑑みてなされたものであり、その目的は、モニタと光学透過型ＨＭＤとの両方を用いて立体映像を表現するための技術を提供することにある。

上記課題を解決するために、本発明のある態様は映像出力装置である。この装置は、仮想的な３次元空間に設置したオブジェクトを、光学透過型ＨＭＤに表示させるオブジェクトと、当該光学透過型ＨＭＤを通して観察されるモニタに表示させるオブジェクトとに分類するオブジェクト分類部と、前記オブジェクト分類部の分類をもとに、オブジェクトの映像を前記モニタまたは前記光学透過型ＨＭＤに出力する映像出力部とを含む。

本発明の別の態様は、立体映像観察デバイスである。このデバイスは、フレームシーケンシャル方式の３次元モニタを観察するための光学シャッタと、光学透過型ＨＭＤとを含む。

本発明のさらに別の態様は、映像提示システムである。このシステムは、フレームシーケンシャル方式の３次元モニタと、光学透過型ＨＭＤと前記３次元モニタの観察に用いる光学シャッタとを含む立体映像観察デバイスと、仮想的な３次元空間に設置したオブジェクトを、前記光学透過型ＨＭＤに表示させるオブジェクトと、前記３次元モニタに表示させるオブジェクトとに分類するオブジェクト分類部と、前記オブジェクト分類部の分類をもとに、オブジェクトの映像を前記モニタまたは前記光学透過型ＨＭＤに出力する映像出力部とを含む。

本発明のさらに別の態様は、映像出力方法である。この方法は、仮想的な３次元空間に設置したオブジェクトを、光学透過型ＨＭＤに表示させるオブジェクトと、当該光学透過型ＨＭＤを装着するユーザが当該光学透過型ＨＭＤを通して観察するモニタに表示させるオブジェクトとに分類してオブジェクトの映像を前記モニタまたは前記光学透過型ＨＭＤに出力することをプロセッサに実行させる。

本発明のさらに別の態様は、上記のいずれかの方法の各ステップをコンピュータに実現させるプログラムである。

このプログラムは、ビデオやオーディオのデコーダ等のハードウェア資源の基本的な制御を行なうために機器に組み込まれるファームウェアの一部として提供されてもよい。このファームウェアは、たとえば、機器内のＲＯＭ（Read Only Memory）やフラッシュメモリなどの半導体メモリに格納される。このファームウェアを提供するため、あるいはファームウェアの一部をアップデートするために、このプログラムを記録したコンピュータ読み取り可能な記録媒体が提供されてもよく、また、このプログラムが通信回線で伝送されてもよい。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、データ構造、記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によれば、モニタと光学透過型ＨＭＤとの両方を用いて立体映像を表現するための技術を提供することができる。

実施の形態に係る映像提示システムの全体構成を模式的に示す図である。 実施の形態に係る立体映像観察デバイスの外観の一例を模式的に示す図である。 実施の形態に係る映像出力装置の内部構成を模式的に示す図である。 仮想的な３次元空間およびそこに設置されたオブジェクトと、モニタおよびユーザの視野との関係を模式的に示す図である。 実施の形態に係るオブジェクト分類部によるオブジェクト分類の一例を説明する図である。 実施の形態に係るオブジェクト分類部によるオブジェクト分類の別の例を説明する図である。 実施の形態に係るオブジェクト分類部によるオブジェクト分類のさらに別の例を説明する図である。 実施の形態に係るオブジェクト分類部における分類処理の流れを示すフローチャートである。

本発明の実施の形態の概要を述べる。本発明の実施の形態は、仮想的な３次元空間に設置したオブジェクトを、オブジェクト単位で、モニタに表示させるためのオブジェクトと光学透過型ＨＭＤに表示させるためのオブジェクトとに分類し、分類にしたがってモニタまたは光学透過型ＨＭＤに表示させる。

図１は、実施の形態に係る映像提示システム１００の全体構成を模式的に示す図である。実施の形態に係る映像提示システム１００は、立体映像観察デバイス２００、モニタ３００、および情報処理装置４００を含む。

モニタ３００は、情報処理装置４００が出力するコンテンツの再生画面の少なくとも一部を表示する。モニタ３００は一般的な２次元映像を表示するテレビモニタを用いて実現できるが、より没入感を持たせた映像表現をするために３次元モニタであることが好ましい。以下本明細書においては、モニタ３００は３次元モニタであることを前提とする。なお、３次元モニタは、２次元画像を表示する一般的なテレビモニタの機能も合わせ持つ。

モニタ３００は、立体映像を表示する。人間の左右の目は６ｃｍ程度離れているため、左目から見える映像と右目から見える映像には視差が生じる。人間の脳は、左右の目で知覚した視差画像を、奥行きを認識するためのひとつの情報として利用しているといわれている。そのため、左目で知覚される視差画像と右目で知覚される視差画像とをそれぞれの目に投影すると、人間には奥行きを持った映像として認識される。

３次元モニタを実現する方式は種々提案されている。例えばモニタ３００がフレームシーケンシャル方式の３次元テレビである場合、モニタ３００は、左目用の視差画像と右目用の視差画像とを交互に時分割で表示する。この場合、立体映像観察デバイス２００は、光学透過型ＨＭＤであり、かつモニタ３００を観察するための光学シャッタ（図示せず）を備える。光学シャッタはモニタ３００の視差画像の切替と同期して、左右のシャッタを開閉する。より具体的には、モニタ３００が左目用の視差画像を表示しているときは、右目用のシャッタを閉じるとともに左目用のシャッタを開け、立体映像観察デバイス２００を装着するユーザに左目用の視差画像を提示する。反対に、モニタ３００が右目用の視差画像を表示しているときは、左目用のシャッタを閉じるとともに右目用のシャッタを開け、ユーザに右目用の視差画像を提示する。光学シャッタは、例えば既知の液晶シャッタを用いて実現できる。

立体映像観察デバイス２００は、シャッタ切替のための同期信号を受信する。同期信号は、モニタ３００または情報処理装置４００に設けられた図示しない信号送信部から、例えば赤外光等を用いて無線で伝達される。

またモニタ３００が偏光方式の３次元テレビである場合、モニタ３００の表面に偏光シートが張られる。この偏光シートは、例えばモニタ３００の上方から数えて奇数行目のラインと偶数行目のラインとで偏光の向きが変わるように貼付される。立体映像観察デバイス２００は偏光レンズを備え、左目用のレンズは、例えば液晶パネルの奇数行目ラインを通過した光が見える向きとし、右目用のレンズは、液晶パネルの偶数行目ラインを通過した光が見える向きとする。これにより、ユーザのそれぞれの目に適切な視差画像が提示される。

いずれの方式においても、モニタ３００は、液晶テレビやプラズマディスプレイ、有機ＥＬモニタ、偏光板等の既知の技術を用いて実現できる。

情報処理装置４００は、映像提示システム１００で提示するための立体映像や上述した同期信号を取得する。情報処理装置４００の例としては、例えば据置型のゲーム機や携帯ゲーム機等である。情報処理装置４００は内蔵するプロセッサを用いて立体映像や同期信号を生成したり、図示しないネットワークインタフェースを介して、サーバ等の他の情報処理装置から立体映像を取得したりする。

図２は、実施の形態に係る立体映像観察デバイス２００の外観の一例を模式的に示す図である。立体映像観察デバイス２００は、立体映像を提示する提示部２０２、撮像素子２０４、および種々のモジュールを収納する筐体２０６を含む。

提示部２０２は、ユーザの目に立体映像を提示する光学透過型ＨＭＤを含む。提示部２０２はまた、３次元モニタの方式にあわせて、例えば光学透過型ＨＭＤを透過する外界の光の透過率を変更する液晶シャッタや偏光レンズ等を含む。撮像素子２０４は、立体映像観察デバイス２００を装着するユーザの視野を含む領域にある被写体を撮像する。このため、撮像素子２０４は、立体映像観察デバイス２００をユーザが装着したとき、ユーザの眉間のあたりに配置されるように設置されている。撮像素子２０４は、例えばＣＣＤ（Charge Coupled Device）イメージセンサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）イメージセンサ等の既知の固体撮像素子を用いて実現できる。

筐体２０６は、めがね形状の立体映像観察デバイス２００におけるフレームの役割を果たすとともに、立体映像観察デバイス２００が利用する様々なモジュール（図示せず）を収納する。立体映像観察デバイス２００が利用するモジュールとは、光学透過型ＨＭＤを実現するためのホログラム導光板を含む光学エンジン、液晶シャッタを駆動するためのドライバや同期信号受信部、その他Ｗｉ−Ｆｉ（登録商標）モジュール等の通信モジュール、電子コンパス、加速度センサ、傾きセンサ、ＧＰＳ（Global Positioning System）センサ、および照度センサ等である。これらのモジュールは例示であり、また立体映像観察デバイス２００はこれらのモジュールを必ずしも全て搭載する必要はない。いずれのモジュールを搭載するかは、立体映像観察デバイス２００が想定する利用シーンに応じて決定すればよい。

図２は、めがね型の立体映像観察デバイス２００を例示する図である。立体映像観察デバイス２００の形状は、この他にも帽子形状、ユーザの頭部を一周して固定されるベルト形状、ユーザの頭部全体を覆うヘルメット形状等さまざまなバリエーションが考えられるが、いずれの形状の立体映像観察デバイス２００も本発明の実施の形態に含まれることは、当業者であれば容易に理解されよう。

図３は、実施の形態に係る映像出力装置５００の内部構成を模式的に示す図である。実施の形態に係る映像出力装置５００は、上述した情報処理装置４００の一部として実現される。あるいは、インターネット等のネットワークを介して情報処理装置４００に送信するための立体映像を生成するサーバ内に実現されてもよいし、立体映像観察デバイス２００やモニタ３００に内蔵されてもよい。あるいはさらに、映像出力装置５００は独立したひとつの装置であってもよい。以下では、実施の形態に係る映像出力装置５００は、上述した情報処理装置４００の一部として実現されることを前提に説明する。また説明の便宜上、モニタ３００はフレームシーケンシャル方式の３次元テレビであることを前提として説明するが、例えば偏光方式等の他の方式の３次元テレビであっても本発明は成立することは当業者には明らかである。

実施の形態に係る映像出力装置５００は、オブジェクト取得部５０２、オブジェクト分類部５０４、映像出力部５０６、および同期信号生成部５０８を含む。

オブジェクト取得部５０２は、映像提示システム１００で提示するための立体映像を生成して取得する。ここで立体映像とは、例えばゲームアプリケーションが生成する３次元ＣＧ（Computer Graphics）映像である。

オブジェクト取得部５０２は、仮想的な３次元空間中に、立体映像を構成するオブジェクトを設定する。ここで本明細書における「オブジェクト」とは、３次元ＣＧにおける描画の要素となるポリゴン（polygon）の集合であって、各ポリゴンが共通の座標軸を持ち、ひとまとまりとして意味を持つものである。具体的には、木や家、車などの物体を表現するポリゴンの集合体や、ユーザの操作対象となるキャラクタ等の人物や生物を表現するポリゴンの集合体である。「オブジェクト」を構成するポリゴンの集合は共通の座標軸をもっているため、仮想的な３次元空間中において位置や向きを特定することができる。

例えば「木」を表すオブジェクトが根本から切り倒されることを表現する場合、仮想的な３次元空間中に直立していた「木」は、根本を中心軸として３次元空間中で次第に傾けて描画される。この時「木」のオブジェクトを構成するポリゴンの各座標は、中心軸を中心とする回転の座標変換を計算することによって求めることができる。これらの操作は、拡大、縮小のスケール変換と合わせて、既知の４×４の変換行列を用いる線形変換の演算によって実現できる。

オブジェクト分類部５０４は、仮想的な３次元空間に設置した複数のオブジェクトを、
光学透過型ＨＭＤに表示させるオブジェクトと、光学透過型ＨＭＤを装着するユーザが観察するモニタ３００に表示させるオブジェクトとに分類する。オブジェクト分類部５０４によるオブジェクトの分類の詳細は後述する。

映像出力部５０６は、オブジェクト分類部５０４の分類をもとに、オブジェクトの映像をモニタ３００または立体映像観察デバイス２００中の光学透過型ＨＭＤに出力する。このため、映像出力部５０６は、出力制御部５１０、第１バッファ５１２、および第２バッファ５１４を含む。

第１バッファ５１２は、立体映像観察デバイス２００中の光学透過型ＨＭＤに出力するためのオブジェクトの映像を格納する。第２バッファ５１４は、モニタ３００に表示させるためのオブジェクトの映像を格納する。ここで第１バッファ５１２と第２バッファ５１４とは物理的に異なるバッファであってもよいし、物理的には同一のバッファを分割して利用するものであってもよい。

出力制御部５１０は、オブジェクト分類部５０４の分類にしたがって、光学透過型ＨＭＤに出力するためのオブジェクトの映像を第１バッファ５１２に格納し、モニタ３００に表示させるためのオブジェクトの映像を第２バッファ５１４に格納する。ここで、光学透過型ＨＭＤは左目用の視差画像と右目用の視差画像とを同時に表示するため、出力制御部５１０は、第１バッファ５１２にオブジェクトの左目用の視差画像と右目用の視差画像とを同時に格納する。一方、モニタ３００は左目用の視差画像と右目用の視差画像とを交互に時分割で表示するため、出力制御部５１０は、第２バッファ５１４にオブジェクトの左目用の視差画像と右目用の視差画像とを交互に格納する。

同期信号生成部５０８は、出力制御部５１０が第２バッファ５１４に画像を格納するタイミングにしたがって、立体映像観察デバイス２００中の光学シャッタの開閉を制御するための同期信号を生成する。立体映像観察デバイス２００は、同期信号生成部５０８が生成した同期信号を受信し、受信した同期信号にしたがって光学シャッタを開閉する。

以下、オブジェクト分類部５０４によるオブジェクトの分類について具体的に説明する。

図４は、仮想的な３次元空間およびそこに設置されたオブジェクトと、モニタ３００およびユーザの視野との関係を模式的に示す図である。図４に示すように、仮想的な３次元空間はｘ軸、ｙ軸、およびｚ軸による直交座標系６０２が設定されている。ここで、直交座標系６０２のｘ軸とｙ軸とが張るｘｙ平面と、モニタ３００の表示領域とが平行となるように、直交座標系６０２が設定される。より具体的には、直交座標系６０２のｘ軸とｙ軸とが張るｘｙ平面上にモニタ３００の表示領域が重なるように、直交座標系６０２の原点Ｏが設定されるのが好ましい。また、直交座標系６０２のｚ軸は、モニタ３００の表示領域に対して立体映像観察デバイス２００を装着するユーザの視点６０４側が負のｚ座標値、モニタ３００の表示領域に対して視点６０４と反対側が正のｚ座標値となるように設定される。

例えば図４において、球状オブジェクト６０６は、仮想的な３次元空間においてｘｙ平面に対して視点６０４と反対側に配置されている。したがって、球状オブジェクト６０６のｚ座標の値は正となる。反対に、仮想的な３次元空間において球状オブジェクト６０８は、ｘｙ平面に対して視点６０４側に配置されるため、そのｚ座標の値は負となる。ここで、仮想的な３次元空間におけるオブジェクトの座標は、例えばそのオブジェクトを構成する複数のポリゴンの重心の座標を用いることとする。これにより、オブジェクトを構成するポリゴンが複数あったとしてもオブジェクトの位置座標をひとつの座標で表すことができるので、計算コストの抑制と処理速度の向上とが期待できる。

ところで、フレームシーケンシャル方式のモニタ３００は、左目用の視差画像と右目用の視差画像とを交互に時分割で表示するため、２次元画像を表示する場合と比較して、映像のフレームレートが下がる。また、フレームシーケンシャル方式のモニタ３００は、一般に、映像の奥行き感の表現、すなわち仮想的な３次元空間におけるｘｙ平面に対して視点６０４と反対側に配置されるオブジェクトの提示を得意とするが、飛び出す表現、すなわち仮想的な３次元空間におけるｘｙ平面に対して視点６０４側に配置されるオブジェクトの提示は、奥行き感の表現と比較すると苦手であるといわれている。

これに対し、ＨＭＤはフレームシーケンシャル方式ではないため、ＨＭＤが提示する映像のフレームレートはモニタ３００が提示する映像よりも高い。また、モニタ３００が提示する映像と比較して飛び出す表現も得意であるといわれている。一方、ＨＭＤが提示する映像の解像度は、モニタ３００が提示する映像よりも低くなる傾向にある。

本願の発明者は、上述したモニタ３００およびＨＭＤの性質を考慮して、オブジェクト毎にモニタ３００に表示させるためのオブジェクトと、ＨＭＤに表示させるためのオブジェクトとに分類することにより、モニタ３００およびＨＭＤの特徴を生かして立体映像を提示することができることを認識するに至った。

これを実現するためのひとつの方法として、オブジェクト分類部５０４は、仮想的な３次元空間におけるオブジェクトの位置座標をもとにオブジェクトを分類する。

図５は、実施の形態に係るオブジェクト分類部５０４によるオブジェクト分類の一例を説明する図である。図５に示すように、仮想的な３次元空間における直交座標系６０２のｚ座標であって、オブジェクトをモニタ３００に表示させるか、あるいは立体映像観察デバイス２００中の光学透過型ＨＭＤに表示させるかを分類するために定められた表示分類基準座標値Ｓ_Ｐが定められている。オブジェクト分類部５０４は、分類対象とするオブジェクトのｚ座標と表示分類基準座標値Ｓ_Ｐとの大小関係をもとにオブジェクトを分類する。表示分類基準座標値Ｓ_Ｐの具体的な値は、モニタ３００およびＨＭＤの特徴等を勘案して実験により定めればよいが、例えばモニタ３００の表示領域付近となるように０とする。

上述したように、ＨＭＤは、モニタ３００と比較して飛び出す表現が得意である。そこで、オブジェクト分類部５０４は、オブジェクトが表示分類基準座標値Ｓ_Ｐよりも視点６０４側に表示される場合、すなわちオブジェクトのｚ座標が表示分類基準座標値Ｓ_Ｐよりも小さい場合、そのオブジェクトを立体映像観察デバイス２００中の光学透過型ＨＭＤに表示させるオブジェクトに分類する。

図５において符号６１２は球状オブジェクト６１０の重心位置を示す。図５に示すように、球状オブジェクト６１０の重心６１２のｚ座標値は表示分類基準座標値Ｓ_Ｐよりも大きい。この場合、オブジェクト分類部５０４は球状オブジェクト６１０をモニタ３００に表示させるオブジェクトに分類する。楕円状オブジェクト６１４の重心６１６のｚ座標の値も表示分類基準座標値Ｓ_Ｐよりも大きいため、オブジェクト分類部５０４は球状オブジェクト６１０をモニタ３００に表示させるオブジェクトに分類する。

ＨＭＤとモニタ３００とは得意とする表現が異なる。そのため、あるひとつのオブジェクトがＨＭＤとモニタ３００とにまたがって表示されると、その境界面における接続が不自然となる場合もありうる。例えば、図５に示す楕円状オブジェクト６１４の一部分６１８は、モニタ３００の表示領域よりも視点６０４側に存在し、残りの部分はモニタ３００の表示領域よりも視点６０４の反対側に存在する。仮に楕円状オブジェクト６１４の一部分６１８をＨＭＤに表示させ、残りの部分をモニタ３００で表示させると、境界面であるモニタ３００の表示領域において、楕円状オブジェクト６１４の表現が不自然となる場合もある。

しかしながら、オブジェクト分類部５０４は、オブジェクトを構成するポリゴン単位ではなく、オブジェクト単位で分類することに留意すべきである。オブジェクト分類部５０４はオブジェクト単位で分類するため、仮に分類対象のオブジェクトが仮想的な３次元空間においてモニタ３００の表示領域と交わり、その一部分がモニタ３００の表示領域よりも視点６０４側に存在するとしても、オブジェクト分類部５０４は、そのオブジェクトをモニタ３００または立体映像観察デバイス２００中の光学透過型ＨＭＤのいずれか一方に表示させるオブジェクトに分類する。これにより、同一のオブジェクトがＨＭＤとモニタ３００とにまたがって表示されることに起因する視覚上の違和感を軽減することができる。

図６は、実施の形態に係るオブジェクト分類部５０４によるオブジェクト分類の別の例を説明する図であり、ユーザが立体映像観察デバイス２００を通してモニタ３００を含む領域を観察したときに表示される映像を例示する図である。図６に示す例では、ユーザはＦＰＳ（First Person Shooter）のゲームコンテントを再生している。図６にはユーザ自身の腕７０２や、ユーザが構える銃７０４、銃７０４から発射された銃弾７０６等が示されている。ここで、腕７０２は当然のことながら実在する。銃７０４は、ゲームコンテントをプレイするために用意された実在のレプリカでもよいし、オブジェクト取得部５０２が生成して光学透過型ＨＭＤに表示させた仮想のＡＲ（Augmented Reality）イメージであってもよい。なお、ＡＲイメージについては後述する。

ユーザは、モニタ３００に表示された標的７０８に銃弾７０６を当てることを試みると仮定する。ここで銃弾７０６は、オブジェクト取得部５０２が仮想的な３次元空間に生成したオブジェクトであり、標的７０８は仮想的な３次元空間においてモニタ３００の表示領域に対してユーザの反対側にあるとする。

ユーザが標的７０８に向けて銃弾７０６を発射すると、銃弾７０６は、モニタ３００の表示領域に対してユーザ側にある銃７０４の発射口から飛び出し、やがてモニタ３００の表示領域に至り、最終的にモニタ３００の表示領域に対してユーザの反対側にある標的７０８に到達する。したがって、上述のオブジェクトの位置座標をもとにする分類にしたがえば、オブジェクト分類部５０４は、銃弾７０６がモニタ３００の表示領域に対してユーザ側にあるときはＨＭＤに表示させ、モニタ３００の表示領域に対してユーザの反対側にあるときはモニタ３００に表示させるように分類することになる。

ここでモニタ３００はフレームシーケンシャル方式の３次元テレビであることを前提としているため、ＨＭＤが提示する映像のフレームレートはモニタ３００が提示する映像よりも高い。したがって、モニタ３００がフレームシーケンシャル方式の３次元テレビである場合、銃弾７０６のように動きの速いオブジェクトは、その位置座標にかかわらず、ＨＭＤに表示させることが好ましい。そこで、オブジェクト分類部５０４は、表示分類基準速度値Ｓ_Ｓとオブジェクトの位置座標の変化速度との大小関係をもとにオブジェクトを分類してもよい。より具体的には、オブジェクト分類部５０４は、仮想的な３次元空間におけるオブジェクトのｚ座標の変化速度が、表示分類基準速度値Ｓ_Ｓよりも大きい場合、そのオブジェクトを立体映像観察デバイス２００中の光学透過型ＨＭＤに表示させるオブジェクトに分類する。動きの速いオブジェクトをフレームレートの大きい方の提示デバイスに提示することにより、ユーザによる動きの速いオブジェクトの視認性を向上させることができる。

ここで「表示分類基準速度値Ｓ_Ｓ」は、オブジェクトをモニタ３００に表示させるか、あるいは立体映像観察デバイス２００中の光学透過型ＨＭＤに表示させるかを分類するために定められた基準速度である。表示分類基準速度値Ｓ_Ｓの具体的な値は、モニタ３００やＨＭＤのフレームレート等を勘案して実験により定めればよい。これにより、例えば動きの少ない遠景の背景等はモニタ３００が表示する等、モニタ３００およびＨＭＤのフレームレートの特徴を生かして立体映像を提示することが可能となる。

図７は、実施の形態に係るオブジェクト分類部５０４によるオブジェクト分類のさらに別の例を説明する図であり、マーカ７１０とそのマーカに紐付けられたＡＲイメージ７１２とを含む映像を例示する図である。ここで「マーカ」とは、例えばオブジェクトを生成するオブジェクト取得部５０２が利用する情報であって、仮想的な３次元空間に生成する画像の位置を特定できる情報である。また「ＡＲイメージ」とは、例えばマーカに関連づけられたオブジェクトであって、そのマーカの位置および向きの変化に連動して位置および向きが変化するオブジェクトである。すなわち、オブジェクト取得部５０２が生成するオブジェクトには、マーカに関連づけられたＡＲイメージも含む。なお、マーカとして、例えば円錐のような３次元の物体が用いられる場合には、マーカの３次元空間における「向き」が特定できる。このような場合、画像を生成すべき位置のみならず、生成する画像の向きも特定できる。

図７は、ユーザの腕７０２が握っている棒状の握り部および球状の物体からなるマーカの一例を図示している。図７に示す例では、マーカ７１０は実在する物体である。立体映像観察デバイス２００の撮像素子２０４は、ユーザの視野を含む領域中に存在するマーカ７１０を流し撮りして、オブジェクトを生成するオブジェクト取得部５０２に送信する。オブジェクト取得部５０２は、撮像素子２０４が撮像した映像からマーカ７１０の位置および向きを特定し、仮想的な３次元空間の対応する位置にマーカ７１０に関連づけてＡＲイメージ７１２を生成する。図７に示す例では、ＡＲイメージ７１２は炎を表現するオブジェクトである。

オブジェクト取得部５０２が生成するＡＲイメージ７１２もオブジェクトであるため位置座標が定められているが、オブジェクト取得部５０２は、上述の直交座標系６０２ではなく、ＡＲイメージ７１２を関連づけるマーカ７１０の位置を原点として設定された座標系７１４にしたがってＡＲイメージ７１２を生成する。このため、ユーザがマーカ７１０の位置および向きを変更すると、ＡＲイメージ７１２が基準とする座標系７１４も変更する。座標系７１４が変更されると、それに伴ってＡＲイメージ７１２の位置および向きも変更される。なお、ＡＲイメージ７１２が基準とする座標系７１４の原点は、必ずしも関連するマーカと重なる位置になくてもよい。

このように、ＡＲイメージはマーカに関連づけられており、マーカは実在する物体であることが多い。ゆえに、ＡＲイメージはモニタ３００の表示領域に対してユーザ側に提示される機会が多く、また、マーカの移動に伴って位置が変わるため、移動速度も比較的大きくなる。そこでオブジェクト分類部５０４は、ＡＲイメージは立体映像観察デバイス２００中の光学透過型ＨＭＤに表示させるオブジェクトに分類する。光学透過型ＨＭＤに表示されたオブジェクトは半透明であり、背後の映像も透過させる。これにより、ユーザがマーカを操作してＡＲイメージを移動させたとしても、ＡＲイメージに遮られてモニタ３００の表示が見えなくなるという不都合も回避することができる。

同様の不都合を回避するために、オブジェクト分類部５０４は、ユーザの操作対象となるオブジェクトを、そのオブジェクトの位置座標に関わらず、光学透過型ＨＭＤに表示させるオブジェクトに分類してもよい。ここで「操作対象オブジェクト」とは、例えば光学透過型ＨＭＤを装着するユーザの操作に応じて仮想的な３次元空間中の位置座標を変更可能なオブジェクトである。これにより、仮に、ユーザの視点と回避すべき敵キャラとの間に操作対象オブジェクトが表示されることになったとしても、それによってユーザが敵キャラを見失うという事態が回避される。

図８は、実施の形態に係るオブジェクト分類部５０４における分類処理の流れを示すフローチャートである。本フローチャートにおける処理は、例えば映像出力装置５００の電源が投入されたときに開始する。

オブジェクト分類部５０４は、オブジェクト取得部５０２が生成した複数のオブジェクトの中から、分類の対象とするひとつのオブジェクトを選択する（Ｓ２）。選択したオブジェクトがＡＲイメージではない場合（Ｓ４のＮ）、オブジェクト分類部５０４は、選択したオブジェクトの仮想的な３次元空間における移動速度を取得する（Ｓ６）。

選択したオブジェクトの移動速度が表示分類基準速度値Ｓ_Ｓ未満の場合（Ｓ８のＮ）、オブジェクト分類部５０４は、選択したオブジェクトの仮想的な３次元空間におけるｚ座標を取得する（Ｓ１０）。選択したオブジェクトのｚ座標が表示分類基準座標値Ｓ_Ｐよりも大きい場合（Ｓ１２のＮ）、オブジェクト分類部５０４は、選択したオブジェクトをモニタ３００に表示させるオブジェクトに分類する（Ｓ１４）。

選択したオブジェクトがＡＲイメージの場合（Ｓ４のＹ）、選択したオブジェクトの移動速度が表示分類基準速度値Ｓ_Ｓ以上の場合（Ｓ８のＹ）、あるいは選択したオブジェクトのｚ座標が表示分類基準座標値Ｓ_Ｐ未満の場合（Ｓ１２のＹ）、オブジェクト分類部５０４は、選択したオブジェクトを立体映像観察デバイス２００中の光学透過型ＨＭＤに表示させるオブジェクトに分類する（Ｓ１６）。

オブジェクト取得部５０２が生成した全てのオブジェクトを選択していない場合（Ｓ１８のＮ）、オブジェクト分類部５０４は上述したステップＳ２からステップ１６までの処理を繰り返し、オブジェクトの分類を継続する。オブジェクト取得部５０２が生成した全てのオブジェクトをオブジェクト分類部５０４が選択すると（Ｓ１８のＹ）、本フローチャートにおける処理は終了する。

以上の構成による映像提示システム１００の利用シーンは以下のとおりである。オブジェクト分類部５０４は、映像提示システム１００に表示させる映像を構成するオブジェクトを、オブジェクト毎そのオブジェクトの表示位置や移動速度等に基づいて、立体映像観察デバイス２００中の光学透過型ＨＭＤに表示させるオブジェクトと、フレームシーケンシャル方式のモニタ３００に表示させるオブジェクトとに分類する。映像出力部５０６は、オブジェクト分類部５０４の分類に基づいて、オブジェクトの映像を立体映像観察デバイス２００中の光学透過型ＨＭＤまたはモニタ３００に出力する。立体映像観察デバイス２００を装着して映像提示システム１００を利用するユーザは、モニタ３００および光学透過型ＨＭＤそれぞれの特徴を生かした立体映像を観察することができる。

以上述べたように、実施の形態に係る映像提示システム１００によれば、モニタ３００と光学透過型ＨＭＤとの両方に立体映像を用いて立体映像を表現することができる。

以上、本発明を実施の形態をもとに説明した。実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

（第１の変形例）
上記では、オブジェクトの座標としてオブジェクトを構成するポリゴンの重心の座標を採用する場合について説明したが、オブジェクトの座標はポリゴンの重心の座標には限られない。例えば、オブジェクトを構成するポリゴンのうちひとつのポリゴンの位置座標を代表で用いてもよい。このとき、代表で用いるポリゴンをオブジェクト間の位置関係に応じて適応的に変更してもよい。具体的には、オブジェクトを構成する複数のポリゴンのうち、別のオブジェクトとの距離が最短のポリゴンの位置座標をオブジェクトの座標として採用してもよい。これにより、オブジェクト同士の衝突判定の計算を容易にすることができる。

（第２の変形例）
上記では、棒状の握り部および球状の物体からなるマーカを例に説明したが、マーカはこれに限られず、位置が特定できる情報であればよい。例えばモニタに表示された画像や動画、カードや紙に印刷された画像、円や星形等の特定形状の物体、特定の色、人物や動物のシルエットや顔、商品の包装や外観、ＧＰＳ等による特定の位置情報が示す位置など様々なバリエーションが考えられる。マーカとして、例えば円錐のような３次元の物体が用いられる場合には、マーカの３次元空間における「向き」が特定できる。このような場合、画像を生成すべき位置のみならず、生成する画像の向きも特定できる。

（第３の変形例）
上記では、立体映像観察デバイス２００を装着したユーザが単独で映像提示システム１００が再生するコンテントを利用する場合について説明したが、立体映像観察デバイス２００を複数用意して、複数のユーザで同一のコンテントを共有してもよい。具体的には、ふたり以上のユーザが同じゲームコンテントを遊ぶ場合が考えられる。この時、例えばトランプゲームのカードの内容や麻雀ゲームの牌の内容など、ユーザ毎に提示すべき内容は、そのユーザが装着している光学透過型ＨＭＤに表示するようにしてもよい。これは、オブジェクト分類部５０４が、オブジェクト取得部５０２からどのユーザに提示すべきオブジェクトかを示す情報を取得してオブジェクトを分類することによって実現できる。これにより、背景や捨て牌などユーザ間で共有すべき情報と、ユーザ毎に提示すべき情報とを区別して表示することが可能となる。

（第４の変形例）
上記は、モニタ３００が立体映像を表示する３テレビであることを前提にしたが、モニタ３００が２次元映像を表示する従来型のテレビの場合、ユーザに適切に視差画像を提示することは難しい。そこで、モニタ３００が従来型のテレビの場合またはモニタ３００を従来型のテレビとして使用する場合、映像出力装置５００は、左目用の視差画像まはた右目用の視差画像のいずれか一方の視差画像をモニタ３００に出力する。あるいは、映像出力装置５００は、仮想的な３次元空間に設置したオブジェクトをモニタ３００の表示領域に射影変換してできる２次元映像を生成し、モニタ３００に表示してもよい。

１００ 映像提示システム、 ２００ 立体映像観察デバイス、 ２０２ 提示部、 ２０４ 撮像素子、 ２０６ 筐体、 ３００ モニタ、 ４００ 情報処理装置、 ５００ 映像出力装置、 ５０２ オブジェクト取得部、 ５０４ オブジェクト分類部、 ５０６ 映像出力部、 ５０８ 同期信号生成部、 ５１０ 出力制御部、 ５１２ 第１バッファ、 ５１４ 第２バッファ、 ６０２ 直交座標系、 ６０４ 視点、６１２ 重心、 ６１６ 重心、 ７１０ マーカ、 ７１２ ＡＲイメージ。

Claims (14)

1. 仮想的な３次元空間に設置したオブジェクトを、光学透過型ＨＭＤに表示させるオブジェクトと、当該光学透過型ＨＭＤを通して観察されるモニタに表示させるオブジェクトとに分類するオブジェクト分類部と、
   前記オブジェクト分類部の分類をもとに、オブジェクトの映像を前記モニタまたは前記光学透過型ＨＭＤに出力する映像出力部とを含み、
   前記仮想的な３次元空間はｘ軸、ｙ軸、およびｚ軸による直交座標系が設定され、ｘ軸とｙ軸とが張るｘｙ平面は前記モニタの表示領域と平行であり、
   前記オブジェクト分類部は、オブジェクトを前記モニタに表示させるか前記光学透過型ＨＭＤに表示させるかを分類するために定められた表示分類基準座標値と前記オブジェクトのｚ座標との大小関係をもとにオブジェクトを分類することを特徴とする映像出力装置。
2. 前記オブジェクト分類部は、前記仮想的な３次元空間におけるオブジェクトが、前記表示分類基準座標値よりも視点側に表示される場合、当該オブジェクトを前記光学透過型ＨＭＤに表示させるオブジェクトに分類することを特徴とする請求項１に記載の映像出力装置。
3. 前記オブジェクト分類部は、オブジェクトを構成する複数のポリゴンの重心の座標を、当該オブジェクトの座標としてオブジェクトを分類することを特徴とする請求項１または２に記載の映像出力装置。
4. 仮想的な３次元空間に設置したオブジェクトを、光学透過型ＨＭＤに表示させるオブジェクトと、当該光学透過型ＨＭＤを通して観察されるモニタに表示させるオブジェクトとに分類するオブジェクト分類部と、
   前記オブジェクト分類部の分類をもとに、オブジェクトの映像を前記モニタまたは前記光学透過型ＨＭＤに出力する映像出力部とを含み、
   前記光学透過型ＨＭＤは、当該光学透過型ＨＭＤを装着するユーザの視野を含む領域にある被写体を撮像する撮像素子をさらに備え、
   前記仮想的な３次元空間に設置したオブジェクトは、前記撮像素子が撮像した被写体をマーカとして生成される当該マーカに紐付けられたＡＲ（Augmented Reality）イメージも含み、
   前記オブジェクト分類部は、前記ＡＲイメージを前記光学透過型ＨＭＤに表示させるオブジェクトに分類することを特徴とする映像出力装置。
5. 仮想的な３次元空間に設置したオブジェクトを、光学透過型ＨＭＤに表示させるオブジェクトと、当該光学透過型ＨＭＤを通して観察されるモニタに表示させるオブジェクトとに分類するオブジェクト分類部と、
   前記オブジェクト分類部の分類をもとに、オブジェクトの映像を前記モニタまたは前記光学透過型ＨＭＤに出力する映像出力部とを含み、
   前記仮想的な３次元空間に設置したオブジェクトは、前記光学透過型ＨＭＤを装着するユーザの操作に応じて前記仮想的な３次元空間中の位置座標を変更可能な操作対象オブジェクトも含み、
   前記オブジェクト分類部は、前記操作対象オブジェクトを前記光学透過型ＨＭＤに表示させるオブジェクトに分類することを特徴とする請求項１に記載の映像出力装置。
6. フレームシーケンシャル方式の３次元モニタと、
   光学透過型ＨＭＤと前記３次元モニタの観察に用いる光学シャッタとを含む立体映像観察デバイスと、
   仮想的な３次元空間に設置したオブジェクトを、前記光学透過型ＨＭＤに表示させるオブジェクトと、前記３次元モニタに表示させるオブジェクトとに分類するオブジェクト分類部と、
   前記オブジェクト分類部の分類をもとに、オブジェクトの映像を前記モニタまたは前記光学透過型ＨＭＤに出力する映像出力部とを含み、
   前記光学透過型ＨＭＤが提示する映像のフレームレートは前記３次元モニタが提示する映像よりも高く、
   前記オブジェクト分類部は、オブジェクトを前記モニタに表示させるか前記光学透過型ＨＭＤに表示させるかを分類するために定められた表示分類基準速度値と前記オブジェクトの位置座標の変化速度との大小関係をもとにオブジェクトを分類し、オブジェクトの位置座標の変化速度が表示分類基準速度値よりも大きい場合に、オブジェクトを前記光学透過型ＨＭＤに表示させることを特徴とする映像提示システム。
7. 前記仮想的な３次元空間はｘ軸、ｙ軸、およびｚ軸による直交座標系が設定され、ｘ軸とｙ軸とが張るｘｙ平面は前記モニタの表示領域と平行であり、
   前記オブジェクト分類部は、前記仮想的な３次元空間におけるオブジェクトのｚ座標の変化速度が、前記表示分類基準速度値よりも大きい場合、当該オブジェクトを前記光学透過型ＨＭＤに表示させるオブジェクトに分類することを特徴とする請求項６に記載の映像提示システム。
8. 仮想的な３次元空間に設置したオブジェクトを、光学透過型ＨＭＤに表示させるオブジェクトと、当該光学透過型ＨＭＤを装着するユーザが当該光学透過型ＨＭＤを通して観察するモニタに表示させるオブジェクトとに分類するステップと、
   オブジェクトの映像を前記モニタまたは前記光学透過型ＨＭＤに出力するステップとを含み、
   前記仮想的な３次元空間はｘ軸、ｙ軸、およびｚ軸による直交座標系が設定され、ｘ軸とｙ軸とが張るｘｙ平面は前記モニタの表示領域と平行であり、
   前記分類するステップは、オブジェクトを前記モニタに表示させるか前記光学透過型ＨＭＤに表示させるかを分類するために定められた表示分類基準座標値と前記オブジェクトのｚ座標との大小関係をもとにオブジェクトを分類することをプロセッサに実行させることを特徴とする映像出力方法。
9. 映像出力機能をコンピュータに実現させるプログラムであって、当該機能は、
   仮想的な３次元空間に設置したオブジェクトを、光学透過型ＨＭＤに表示させるオブジェクトと、当該光学透過型ＨＭＤを装着するユーザが当該光学透過型ＨＭＤを通して観察するモニタに表示させるオブジェクトとに分類する機能と、
   オブジェクトの映像を前記モニタまたは前記光学透過型ＨＭＤに出力する機能とを含み、
   前記仮想的な３次元空間はｘ軸、ｙ軸、およびｚ軸による直交座標系が設定され、ｘ軸とｙ軸とが張るｘｙ平面は前記モニタの表示領域と平行であり、
   前記分類する機能は、オブジェクトを前記モニタに表示させるか前記光学透過型ＨＭＤに表示させるかを分類するために定められた表示分類基準座標値と前記オブジェクトのｚ座標との大小関係をもとにオブジェクトを分類することを特徴とするプログラム。
10. フレームシーケンシャル方式の３次元モニタと、
    光学透過型ＨＭＤと前記３次元モニタの観察に用いる光学シャッタとを含む立体映像観察デバイスと、
    仮想的な３次元空間に設置したオブジェクトを、前記光学透過型ＨＭＤに表示させるオブジェクトと、前記３次元モニタに表示させるオブジェクトとに分類するオブジェクト分類部と、
    前記オブジェクト分類部の分類をもとに、オブジェクトの映像を前記モニタまたは前記光学透過型ＨＭＤに出力する映像出力部とを含み、
    前記仮想的な３次元空間はｘ軸、ｙ軸、およびｚ軸による直交座標系が設定され、ｘ軸とｙ軸とが張るｘｙ平面は前記モニタの表示領域と平行であり、
    前記オブジェクト分類部は、オブジェクトを前記モニタに表示させるか前記光学透過型ＨＭＤに表示させるかを分類するために定められた表示分類基準座標値と前記オブジェクトのｚ座標との大小関係をもとにオブジェクトを分類することを特徴とする映像提示システム。
11. フレームシーケンシャル方式の３次元モニタと、
    光学透過型ＨＭＤと前記３次元モニタの観察に用いる光学シャッタとを含む立体映像観察デバイスと、
    仮想的な３次元空間に設置したオブジェクトを、前記光学透過型ＨＭＤに表示させるオブジェクトと、前記３次元モニタに表示させるオブジェクトとに分類するオブジェクト分類部と、
    前記オブジェクト分類部の分類をもとに、オブジェクトの映像を前記モニタまたは前記光学透過型ＨＭＤに出力する映像出力部とを含み、
    前記仮想的な３次元空間に設置したオブジェクトは、前記光学透過型ＨＭＤを装着するユーザの操作に応じて前記仮想的な３次元空間中の位置座標を変更可能な操作対象オブジェクトも含み、
    前記オブジェクト分類部は、前記操作対象オブジェクトを前記光学透過型ＨＭＤに表示させるオブジェクトに分類することを特徴とする映像提示システム。
12. 仮想的な３次元空間に設置したオブジェクトを、光学透過型ＨＭＤに表示させるオブジェクトと、当該光学透過型ＨＭＤを装着するユーザが当該光学透過型ＨＭＤを通して観察するモニタに表示させるオブジェクトとに分類するステップと、
    オブジェクトの映像を前記モニタまたは前記光学透過型ＨＭＤに出力するステップとを含み、
    前記仮想的な３次元空間に設置したオブジェクトは、前記光学透過型ＨＭＤを装着するユーザの操作に応じて前記仮想的な３次元空間中の位置座標を変更可能な操作対象オブジェクトも含み、
    前記分類するステップは、前記操作対象オブジェクトを前記光学透過型ＨＭＤに表示させるオブジェクトに分類することをプロセッサに実行させることを特徴とする映像出力方法。
13. 映像出力機能をコンピュータに実現させるプログラムであって、当該機能は、
    仮想的な３次元空間に設置したオブジェクトを、光学透過型ＨＭＤに表示させるオブジェクトと、当該光学透過型ＨＭＤを装着するユーザが当該光学透過型ＨＭＤを通して観察するモニタに表示させるオブジェクトとに分類する機能と、
    オブジェクトの映像を前記モニタまたは前記光学透過型ＨＭＤに出力する機能とを含み、
    前記仮想的な３次元空間に設置したオブジェクトは、前記光学透過型ＨＭＤを装着するユーザの操作に応じて前記仮想的な３次元空間中の位置座標を変更可能な操作対象オブジェクトも含み、
    分類する機能は、前記操作対象オブジェクトを前記光学透過型ＨＭＤに表示させるオブジェクトに分類することを特徴とするプログラム。
14. 仮想的な３次元空間に設置したオブジェクトを、光学透過型ＨＭＤに表示させるオブジェクトと、当該光学透過型ＨＭＤを通して観察されるモニタに表示させるオブジェクトとに分類するオブジェクト分類部と、
    前記オブジェクト分類部の分類をもとに、オブジェクトの映像を前記モニタまたは前記光学透過型ＨＭＤに出力する映像出力部とを含み、
    前記仮想的な３次元空間にｘ軸、ｙ軸、およびｚ軸による直交座標系を設定し、かつ前記光学透過型ＨＭＤを装着するユーザが当該光学透過型ＨＭＤを通して前記モニタを観察する場合に、前記光学透過型ＨＭＤから前記モニタに向かう方向にｚ軸を定め、
    前記オブジェクト分類部は、オブジェクトを前記モニタに表示させるか前記光学透過型ＨＭＤに表示させるかを分類するために定められた表示分類基準座標値と前記オブジェクトのｚ座標との大小関係をもとにオブジェクトを分類することを特徴とする映像出力装置。

Images