JP6433850B2 - ヘッドマウントディスプレイ、情報処理装置、情報処理システム、およびコンテンツデータ出力方法 - Google Patents

Description

本発明は画像表示を含む電子コンテンツの出力技術に関する。

ユーザが頭部に装着することで眼前に映像を表示するヘッドマウントディスプレイ（Head Mounted Display、以下、「ＨＭＤ」と呼ぶ）が実用化されている。近年では、ユーザの左右の目に視差画像を表示することで立体映像を提示するＨＭＤや、さらにユーザの頭部の動きを追跡しその結果を映像に反映させることで仮想空間への没入感や臨場感を与えるＨＭＤが提案されている（例えば特許文献１参照）。

特開２０１４−９３７０４号公報

ＨＭＤは一般的なディスプレイと比較し表現された世界に臨場感を与えることができる一方、ユーザがその表現世界に没入するあまり映像や音声の出力状態に対して客観的な視点を失いやすくなる。例えば視差画像の視差が適切でなかったり画面の輝度が明るすぎたり暗すぎたりしても、ユーザがそのことを客観的に判断できず視聴を継続してしまい、結果として体調に異変をきたすといったことも、一般的なディスプレイより起こりやすい。またＨＭＤの装着者以外の人がその出力状態をチェックすることが難しいため、子供など判断力が未熟なユーザが気づかないうちに悪影響を受けてしまうことも考えられる。

本発明はこうした課題に鑑みてなされたものであり、その目的は、ＨＭＤを用いたコンテンツ出力において常時適切な視聴環境を提供できる技術を提供することにある。

本発明のある態様はヘッドマウントディスプレイに関する。このヘッドマウントディスプレイは、表示パネルの前面にレンズを備えたヘッドマウントディスプレイであって、情報処理装置が出力したコンテンツデータを取得する入力部と、コンテンツデータに含まれる動画像のフレーム中、ユーザがレンズを介して見たときに不可視となる領域に表された画像を確認することにより、情報処理装置からの通知事項を特定する不可視領域確認部と、当該通知事項に基づき、出力停止を含むコンテンツデータの出力態様の変化のいずれかを実施する出力部と、を備えたことを特徴とする。

本発明の別の態様は情報処理装置に関する。この情報処理装置は、表示パネルの前面にレンズを備えたヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、ヘッドマウントディスプレイにおいてユーザがレンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成する出力データ生成部と、出力データ生成部が生成したコンテンツデータをヘッドマウントディスプレイに出力する出力部と、を備えたことを特徴とする。

本発明のさらに別の態様は情報処理システムに関する。この情報処理システムは、表示パネルの前面にレンズを備えたヘッドマウントディスプレイと、当該ヘッドマウントディスプレイに出力させるコンテンツデータを生成する情報処理装置と、を備えた情報処理システムであって、情報処理装置は、ヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、ヘッドマウントディスプレイにおいてユーザがレンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成する出力データ生成部と、出力データ生成部が生成したコンテンツデータをヘッドマウントディスプレイに出力する出力部と、を備え、ヘッドマウントディスプレイは、情報処理装置が出力したコンテンツデータを取得する入力部と、当該コンテンツデータに含まれる動画像のフレーム中、前記不可視となる領域に表された画像を確認することにより、前記情報処理装置からの通知事項を特定する不可視領域確認部と、通知事項に基づき、出力停止を含むコンテンツデータの出力態様の変化のいずれかを実施する出力部と、を備えることを特徴とする。

本発明のさらに別の態様はコンテンツデータ出力方法に関する。このコンテンツデータ出力方法は、表示パネルの前面にレンズを備えたヘッドマウントディスプレイによるコンテンツデータ出力方法であって、情報処理装置が出力したコンテンツデータを取得するステップと、当該コンテンツデータに含まれる動画像のフレーム中、ユーザがレンズを介して見たときに不可視となる領域に表された画像を確認することにより、情報処理装置からの通知事項を特定するステップと、当該通知事項に基づき、出力停止を含むコンテンツデータの出力態様の変化のいずれかを実施するステップと、を含むことを特徴とする。

本発明のさらに別の態様もコンテンツデータ出力方法に関する。このコンテンツデータ出力方法は、表示パネルの前面にレンズを備えたヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、ヘッドマウントディスプレイにおいてユーザがレンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成するステップと、生成したコンテンツデータをヘッドマウントディスプレイに出力するステップと、を含むことを特徴とする。

なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、コンピュータプログラム、コンピュータプログラムを記録した記録媒体などの間で変換したものもまた、本発明の態様として有効である。

本発明によると、ＨＭＤを用いたコンテンツを常時適切な状態で視聴できる。

本実施の形態を適用できる情報処理システムの構成例を示す図である。 本実施の形態におけるＨＭＤの外観形状の例を示す図である。 本実施の形態における情報処理装置の内部回路構成を示す図である。 本実施の形態においてＨＭＤと平板型ディスプレイに表示する画像を説明するための図である。 本実施の形態における情報処理装置とＨＭＤの機能ブロックの構成を示す図である。 本実施の形態における、不可視領域に情報を埋め込んだＨＭＤ用画像の例を示す図である。 本実施の形態における、不可視領域に表す図形とそれが示す情報との対応を表すデータの構造例を示す図である。 本実施の形態の情報処理装置およびＨＭＤがデータ出力を行う処理手順を示すフローチャートである。

図１は本実施の形態を適用できる情報処理システムの構成例を示す。この例で情報処理システム８は、対象物を撮影する撮像装置１２、撮影した画像に基づき情報処理を行う情報処理装置１０、情報処理の結果として得られた画像を表示する平板型ディスプレイ１６およびユーザが装着するＨＭＤ１８、ユーザが操作する入力装置１４を含む。

情報処理装置１０と、撮像装置１２、入力装置１４、平板型ディスプレイ１６、ＨＭＤ１８とは、ケーブルで接続されても、Bluetooth（登録商標）など既知の無線通信技術により接続されてもよい。また情報処理装置１０が実施する情報処理によっては、撮像装置１２、平板型ディスプレイ１６、入力装置１４はなくてもよい。またこれらの装置の外観形状は図示するものに限らない。

撮像装置１２は、ユーザなどの対象物を所定のフレームレートで撮影するカメラと、その出力信号にデモザイク処理など一般的な処理を施すことにより撮影画像の出力データを生成し、情報処理装置１０に送出する機構とを有する。カメラはＣＣＤ（Charge Coupled Device）センサやＣＭＯＳ（Complementary Metal Oxide Semiconductor）センサなど、一般的なデジタルカメラ、デジタルビデオカメラで利用されている可視光センサを備える。撮像装置１２が備えるカメラは１つのみでもよいし、図示するように２つのカメラを既知の間隔で左右に配置したいわゆるステレオカメラでもよい。

あるいは、赤外線などの参照光を対象物に照射しその反射光を測定する装置と単眼のカメラとの組み合わせにより撮像装置１２を構成してもよい。ステレオカメラや反射光の測定機構を導入した場合、３次元の実空間における被写体の位置を求めることができ、情報処理や表示画像をより多様化させることができる。ステレオカメラが左右の視点から撮影したステレオ画像を用いて、三角測量の原理により被写体のカメラからの距離を特定する手法や、反射光の測定によりＴＯＦ（Time of Flight）やパターン照射の方式で被写体のカメラからの距離を特定する手法はいずれも広く知られている。

情報処理装置１０は、ＨＭＤ１８や平板型ディスプレイ１６に表示させる画像のデータを出力する。当該画像のデータは、映画や撮影された動画など元から完成形としてデータ保存されたものでもよいし、情報処理装置１０内部でリアルタイムに描画したものでもよい。後者の場合、情報処理装置１０は例えば、撮像装置１２から所定のフレームレートで取得した撮影画像に対し一般的な顔検出や追跡処理を施すことにより、被写体であるユーザの動作を反映させたキャラクタが登場するゲームを進捗させたり、ユーザの動きをコマンド入力に変換して情報処理を行ったりする。

このとき情報処理装置１０は、ＨＭＤ１８や入力装置１４に設けたマーカーや加速度センサを利用して各ユーザの動きを取得したり、入力装置１４に対するユーザの操作情報を取得したりして、情報処理や表示画像に反映させてもよい。例えば撮影画像におけるＨＭＤ１８のマーカーの像を追跡することにより、ユーザの頭部の位置や動きを特定する。そして、その動きに対応してＨＭＤ１８に表示させる仮想世界に対する視点を変化させることにより、ユーザは自分の視点に対応した仮想世界を見ることができ、臨場感や没入感を得ることができる。情報処理装置１０はそのような画像データに加え、環境音や会話などの音声データも出力してよい。

ＨＭＤ１８は、ユーザが頭に装着することによりその眼前に位置する有機ＥＬパネルなどの表示パネルに画像を表示する表示装置である。本実施の形態におけるＨＭＤ１８は、左右の視点から見た状態の視差画像を、表示画面を２分割してなる左右の領域にそれぞれ表示させることにより画像を立体視させる。ＨＭＤ１８はさらに、所定の色で発光する素子またはその集合からなる発光マーカー、ユーザの耳に対応する位置に音声を出力するスピーカーやイヤホン、装着した使用者の頭部の傾きを検出する加速度センサなどを装備していてもよい。

平板型ディスプレイ１６は、一般的な２次元の画像を出力するディスプレイおよび音声を出力するスピーカーを有するテレビでよく、具体的には液晶テレビ、有機ＥＬテレビ、プラズマテレビ、ＰＣディスプレイ等のいずれでもよい。あるいはタブレット端末や携帯端末のディスプレイおよびスピーカーであってもよい。入力装置１４は、ユーザが操作することにより、処理の開始、終了、機能の選択、各種コマンド入力などの要求を受け付け、情報処理装置１０に電気信号として供給する。

入力装置１４は、ゲームコントローラ、キーボード、マウス、ジョイスティック、平板型ディスプレイ１６の表示画面上に設けたタッチパッドなど、一般的な入力装置のいずれか、またはそれらの組み合わせによって実現してよい。入力装置１４はさらに、所定の色で発光する素子またはその集合からなる発光マーカーを備えていてもよい。この場合、情報処理装置１０がマーカーの動きを、撮影画像を用いて追跡することにより、入力装置１４の動き自体をユーザ操作とすることができる。なお入力装置１４を、把持部を有する発光マーカーのみで構成してもよい。

図２はＨＭＤ１８の外観形状の例を示している。この例においてＨＭＤ１８は、出力機構部１０２および装着機構部１０４で構成される。装着機構部１０４は、ユーザが被ることにより頭部を一周し装置の固定を実現する装着バンド１０６を含む。装着バンド１０６は各ユーザの頭囲に合わせて長さの調節が可能な素材または構造とする。例えばゴムなどの弾性体としてもよいし、バックルや歯車などを利用してもよい。

出力機構部１０２は、ＨＭＤ１８をユーザが装着した状態において左右の目を覆うような形状の筐体１０８を含み、内部には装着時に目に正対するように表示パネルを備える。表示パネルは液晶パネルや有機ＥＬパネルなどで実現する。筐体１０８内部にはさらに、ＨＭＤ１８装着時に表示パネルとユーザの目との間に位置し、ユーザの視野角を拡大する一対のレンズを備える。ＨＭＤ１８はさらに、装着時にユーザの耳に対応する位置にスピーカーやイヤホンを備えてよい。

筐体１０８の外面には、発光マーカー１１０ａ、１１０ｂ、１１０ｃ、１１０ｄが備えられる。発光マーカーの数や配置は特に限定されないが、図示した例では出力機構部１０２の筐体前面の４隅に設けている。さらに、装着バンド１０６後方の両側面にも設けてもよい。なお発光マーカー１１０ｃ、１１０ｄは出力機構部１０２の下側にあり、図２の視点からは本来は見えないため、外周を点線で表している。

図３は情報処理装置１０の内部回路構成を示している。情報処理装置１０は、ＣＰＵ（Central Processing Unit）２２、ＧＰＵ（Graphics Processing Unit)２４、メインメモリ２６を含む。これらの各部は、バス３０を介して相互に接続されている。バス３０にはさらに入出力インターフェース２８が接続されている。入出力インターフェース２８には、ＵＳＢやＩＥＥＥ１３９４などの周辺機器インターフェースや、有線又は無線ＬＡＮのネットワークインターフェースからなる通信部３２、ハードディスクドライブや不揮発性メモリなどの記憶部３４、外部装置へデータを出力する出力部３６、外部装置からデータを入力する入力部３８、磁気ディスク、光ディスクまたは半導体メモリなどのリムーバブル記録媒体を駆動する記録媒体駆動部４０が接続される。

ＣＰＵ２２は、記憶部３４に記憶されているオペレーティングシステムを実行することにより情報処理装置１０の全体を制御する。ＣＰＵ２２はまた、リムーバブル記録媒体から読み出されてメインメモリ２６にロードされた、あるいは通信部３２を介してダウンロードされた各種プログラムを実行する。ＧＰＵ２４は、ジオメトリエンジンの機能とレンダリングプロセッサの機能とを有し、ＣＰＵ２２からの描画命令に従って描画処理を行い、出力部３６からＨＭＤ１８等へデータを出力する。メインメモリ２６はＲＡＭ（Random Access Memory）により構成され、処理に必要なプログラムやデータを記憶する。

図４はＨＭＤ１８と平板型ディスプレイ１６に表示する画像を説明するための図である。同図左側の画像（ａ）は、ＨＭＤ１８に表示される画像、右側の画像（ｂ）は平板型ディスプレイ１６に表示される一般的な画像である。同図ではわかりやすさのために格子状の図柄を表示対象としているが、実際には仮想世界やゲーム画像など情報処理の内容によって表示される画像も様々となる。ＨＭＤ１８用の画像（ａ）は、画像を立体視させるため、表示パネルに対応する画像平面を２分割してなる左右の領域に、左目用画像と右目用画像からなる一対の視差画像をそれぞれ配置した構成を有する。

本実施の形態のＨＭＤ１８は上述のように、表示パネルの前にユーザの視野を広げるためのレンズを設けた構造とする。この場合、表示パネルに表示された画像には、レンズによって、中心から離れた画素ほど大きい変位で引き延ばされるいわゆる「糸巻き型」の歪みが発生する。変位量は色によっても異なるため色収差も生じる。したがって、当該歪みと色収差を考慮して逆方向に歪めておく歪み補正を行い、画像（ａ）のような「樽型」の画像を表示させる。これにより、レンズを介して見たときに画像（ｂ）のような本来の画像が立体的に見えるようになる。

レンズ用の歪み補正については一般的な手法を適用することができる。情報処理装置１０は、ＨＭＤ用の表示画像として画像（ａ）のような画像データを生成し、ＨＭＤ１８に出力する。ここで画像（ａ）のうち樽型に歪めた画像の領域の周辺領域は、レンズを介して見たときにはユーザからは見えない不可視領域となる。本実施の形態では当該不可視領域に所定の情報を図形などで表すことにより、ＨＭＤ１８での表示処理に反映させる。なお、平板型ディスプレイ１６に同様の画像を表示させる態様においては、情報処理装置１０は画像（ｂ）のような画像データを平板型ディスプレイ１６に出力すればよい。

図５は情報処理装置１０とＨＭＤ１８の機能ブロックの構成を示している。図５に示す各機能ブロックは、ハードウェア的には、ＣＰＵ、ＧＰＵ、各種メモリ、マイクロプロセッサなどで実現でき、ソフトウェア的には、記録媒体などからメモリにロードした、データ入力機能、データ保持機能、画像処理機能、通信機能などの諸機能を発揮するプログラムで実現される。したがって、これらの機能ブロックがハードウェアのみ、ソフトウェアのみ、またはそれらの組合せによっていろいろな形で実現できることは当業者には理解されるところであり、いずれかに限定されるものではない。

情報処理装置１０は、撮像装置１２および入力装置１４からの入力データを取得する入力データ取得部７２、ゲームなど実行するアプリケーションに応じた情報処理を行う情報処理部７４、ゲーム画像やその音声など情報処理の結果として出力すべきデータを生成する出力データ生成部７８、ＨＭＤ１８と通信を確立する通信部７６、出力データの生成に必要な基礎データを格納するデータ記憶部８０を含む。

入力データ取得部７２は、撮像装置１２が撮影した画像を所定のフレームレートで順次取得する。また、入力装置１４を介したユーザ操作の内容を示す情報を取得する。ここでユーザ操作とは、実行するアプリケーションの選択、処理の開始／終了、コマンド入力など、一般的な情報処理でなされるものでよい。そして入力データ取得部７２は、取得した情報を情報処理部７４に供給する。

入力データ取得部７２はさらに、ＨＭＤ１８内部の加速度センサが計測した結果を通信部７６から取得し、情報処理部７４に供給してもよい。入力データ取得部７２はまた、入力装置１４から取得したユーザからの処理開始／終了要求に従い、撮像装置１２における撮影の開始／終了を制御したり、情報処理部７４における処理の結果に応じて、撮像装置１２から取得するデータの種類を制御したりしてもよい。ただし入力データ取得部７２が取得するデータは、情報処理部７４が実行する情報処理の内容によって異なってよい。

情報処理部７４は、ユーザが指定したゲームなどの情報処理を実施する。この情報処理には、撮影画像から対象物の像を検出しそれを追跡する処理などを含んでよい。例えば頭部や手などユーザの体の一部を、輪郭線を利用して追跡したり、特定の模様や形状を有する対象物をパターンマッチングにより追跡したりしてもよい。これらの追跡処理には一般的な画像処理技術を適用できる。さらに各ＨＭＤ１８から送信された加速度センサによる計測値などの情報を統合することにより、ユーザの頭部の位置や姿勢を詳細に特定してもよい。情報処理部７４は、そのようにして得たユーザの動きや位置を入力値としたり、入力装置１４を介したユーザ操作を入力値としたりして、ゲームを進捗させたり対応する処理を実施したりする。ただし情報処理の内容はこれらに限定されない。

出力データ生成部７８は、情報処理部７４からの要求に従い、情報処理の結果として出力すべき画像や音声のデータを生成する。例えば上述のように、ユーザの頭部の位置や姿勢に対応する視点から見た仮想世界を、左右の視差画像として描画したうえ、レンズを考慮した歪み補正を施して左右に配置した画像のデータを生成する。この画像をＨＭＤ１８において所定のフレームレートで左右の目の前に表示させ、仮想世界での音声をさらに出力したりすれば、ユーザはあたかも仮想世界に入り込んだような感覚を得られる。

ここで出力データ生成部７８は、上述した画像の不可視領域またはその一部を所定の色で塗りつぶしたり、当該領域に所定の図形を表したりすることで情報を埋め込む。例えば、生成した画像データが適正なものであることを示す図形を表示したり色で表したりする。このようにすることで、情報処理装置１０がＨＭＤ１８用に作成した適正な画像データか否かを、ＨＭＤ１８が簡易な確認処理で判別できるようにする。あるいはコンテンツのシーン変化などに応じて、ＨＭＤ１８内部の表示パネルやスピーカーの出力調整を指示する情報を埋め込んでもよい。

情報処理部７４や出力データ生成部７８における処理に必要な基礎的なデータはデータ記憶部８０に格納しておく。このデータには、画像データに埋め込むべき情報とそれを不可視領域に表すための色や図形との対応情報も含まれる。通信部７６は、ＨＤＭＩ（登録商標）（High-Definition Multimedia Interface）やＵＳＢ（Universal Serial Bus）など所定のプロトコルによりＨＭＤ１８と通信を確立し、出力データ生成部７８が生成した画像や音声の出力データを送信する。

ＨＭＤ１８は、情報処理装置１０から送信された出力データを取得する通信部８２、出力データに含まれる画像のうち不可視領域に表された色や図形を確認する不可視領域確認部８４、および、出力データの画像や音声を表示パネルやスピーカーから出力する出力部８６を含む。通信部８２は所定のプロトコルにより情報処理装置１０と通信を確立し、所定のレートで情報処理装置１０から送信される出力データを取得する。通信部８２はさらに、ＨＭＤ１８内部の加速度センサによる計測値などを適宜、情報処理装置１０に送信してもよい。

不可視領域確認部８４は、通信部８２が取得した出力データのうち、画像の不可視領域に表される色や図形を確認し、埋め込まれた情報を解釈する。そのため不可視領域確認部８４は、当該色や図形と、それが表す情報とを対応づけたデータを内部のメモリに保持している。そして不可視領域に表された図形等に基づき当該データを参照することにより、出力が適正である場合に限り出力データを出力部８６へ供給する。また、表示パネルやスピーカーの出力調整が指示されているのであれば、出力部８６に調整を要求する。

出力部８６は表示パネルやスピーカーと、それらの出力状態を制御する機構などで実現し、不可視領域確認部８４から供給された出力データを用いて画像を表示したり音声を出力したりする。不可視領域確認部８４から出力調整の要求があった場合は、出力部８６はそれに従い調整を行う。画像表示、音声出力、出力状態の制御の具体的な処理手順については一般的な技術を適用できるためここでは説明を省略する。

図６は不可視領域に情報を埋め込んだＨＭＤ用画像の例を示している。画像１９０において、「Ｌ」、「Ｒ」と表記された楕円は、図４の画像（ａ）のようにレンズを考慮して樽型に歪めた左右の視差画像の領域を示している。したがってその周囲の領域が不可視領域となる。そして同図の例では、左目用の画像を含む左半分の領域の四隅、および右目用の画像を含む右半分の領域の四隅に、矩形の図形１９２ａ〜１９２ｈで情報を表している。

例えば図形１９２ａ〜１９２ｈの色で情報を表す場合、赤、緑、青の３要素を０または最大階調で表すことにより、全ての図形を同じ色としても８パターンの情報を表すことができる。このように画素値に大きな差を持たせることにより、情報処理装置１０の出力データ生成部７８で画像が生成されてから不可視領域確認部８４において不可視領域を確認するまでに介在する各種処理により色空間が微妙に変化しても、埋め込まれた情報を誤認識しないようにできる。図形１９２ａ〜１９２ｈの色を全て同じとせず、位置と色の組み合わせで情報を表すようにすると、さらに情報量を増やすことができる。

図形１９２ａ〜１９２ｈの塗り潰し色で情報を表現するのみならず、内部の模様や、図形１９２ａ〜１９２ｈ自体の形状にバリエーションを持たせることにより、さらに情報量を増やしてもよい。ただしこの場合も、不可視領域を確認するまでに介在する処理の影響で図形に多少の歪みが生じても誤認識がないよう、模様や形状に大きく差をつけることが望ましい。例えば縦線と横線、あるいは縦縞と横縞などで差を出すことが考えられる。また、画像中の位置によって異なる種類の情報を埋め込むようにしてもよい。

なお図示したように不可視領域の一部を利用するのみならず、不可視領域全体の色で情報を表してもよい。また図示した領域以外でも、不可視またはユーザに視認されにくい領域であれば同様に情報を埋め込んでよい。例えば表示パネルの中央付近の領域１９４は、ユーザの両眼間の直前に位置するため不可視となりやすい。この領域を利用して色や図形で情報を表しても、ユーザに意識させることなくＨＭＤ１８の表示態様を同様の処理で制御できる。なお図では領域１９４を円形としたがそれに限る主旨ではない。

図７は不可視領域に表す図形とそれが示す情報との対応を表すデータの構造例を示している。埋め込み情報設定テーブル２００は、位置欄２０２ａ、図形欄２０２ｂ、情報欄２０４ｃを含む。位置欄２０２ａには、情報処理装置１０から出力される画像の不可視領域のうち、情報を示す図形の表示位置を設定する。同図の例では、図６の画像１９０のうち図形１９２ａ〜１９２ｈが表されている８つの位置があらかじめ設定されており、そのいずれかを（横方向の番号，縦方向の番号）という座標で表している。

図形欄２０２ｂには、色、模様、形といった図形の属性を設定し、情報欄２０４ｃには、位置欄２０２ａに設定された位置に図形欄２０２ｂで設定された図形が表されていたときにそれが示す情報を設定している。例えば図示する埋め込み情報設定テーブル２００の２行目に設定されているように、（０，０）および（３，０）の位置に「赤の矩形」が表されていたら、その画像は適正なものであることを示している。一方、３行目に設定されているように、その位置にそれ以外の図形が表されていたり図形自体が表されていなければ、当該画像は不適正なものであるため表示しないようにする。

情報処理装置１０が、自らが描画した画像に対し出力前にそのような図形を付加することで、当該画像データを受信したＨＭＤ１８は、それが適正なものであることを容易に判別できる。一旦生成された画像に後から何らかの加工が施されていたり、素性が明らかでない装置で作成されたりした画像は、左右の画像間の視差が適切でないなどの理由で、それを見続けることにより体調不良となったり視覚障害が発生したりする可能性がある。

上記のようにＨＭＤ１８への出力の直前で安全を保障し、ＨＭＤ１８では安全が担保されている場合に限り表示することにより、そのような危険性を排除できる。一旦保存された動画データであっても、正規のものには所定の図形を付加することで、同様に危険性を排除できる。また左半分と右半分の不可視領域に、互いに異なる所定の色を表すことにより、左目用画像と右目用画像が何らかの理由で逆に配置されている場合にそれを検出し、表示しないようにしてもよい。

また、埋め込み情報設定テーブル２００の４行目に設定されているように、（１，０）および（２，０）の位置に「緑の縦縞」が表されている場合、表示パネルの輝度を減少させる指示を示している。一方、５行目に設定されているように、その位置に「緑の横縞」が表されている場合、表示パネルの輝度を増加させる指示を示している。例えば描画する仮想世界の明るさが大きく変化するようなときには、輝度を調整した方がよい場合がある。そこで情報処理装置１０は描画するシーンなどによって適切な輝度を決定し、必要に応じて該当する位置に図形を表すことでＨＭＤ１８に輝度を調整させる。コントラストや色味などの画質を調整してもよい。表示パネルの調整のみならず、スピーカーの音量や音のバランスを調整するようにしてもよい。

このようにすることで、ユーザの手間をかけずに常に最適な状態で画像を表示させたり音声を出力したりすることができるとともに、強い光の明滅など刺激の大きいシーンの表現を当該シーン開始直前のタイミングで緩和方向に調整でき、視覚効果による予想外の体調不良などが発生しにくい。そのような緩和処理を行うか否かを、ユーザが事前に設定できるようにしてもよい。なお図示した設定のフォーマットや設定の内容は一例であり、様々な変形が考えられる。例えば画像が適正であることを示す図形をより複雑なものとすることにより、容易に模倣できないようにしてもよい。あるいは縞模様の色や太さにバリエーションを持たせることにより、輝度を変化させる割合を具体的に指定してもよい。

埋め込み情報設定テーブル２００は、情報処理装置１０のデータ記憶部８０に格納し、情報処理部７４からの要求に従い出力データ生成部７８が参照することで、具体的な図形を出力画像に付加する。またＨＭＤ１８の不可視領域確認部８４の内部メモリに格納し、図形に基づきそれが示す情報を特定する。情報処理装置１０は、全フレームの画像に情報を埋め込んでもよいし、所定の間隔で定期的に埋め込んでもよい。いずれにしろ必要な図形を継続して表すようにすることで、一時的に検出に失敗したり誤認識したりしても即時の修正が可能となる。

またこのようにすることで、上述したシーンごとの調整のように、状況が時間変化する場合にも対応できる。なお、同じ位置に同じ図形が所定時間、継続して検出されたことを確認してから最終的な判定を行うようにして、情報の特定精度を上げてもよい。さらに、そのような時間軸上での図形の連続性を活用し、同じ位置における図形の色の変化のパターンや各色の継続時間などによって情報を表してもよい。

次にこれまで述べた構成によって実現される情報処理システム８の動作について説明する。図８は、情報処理装置１０およびＨＭＤ１８がデータ出力を行う処理手順を示すフローチャートである。このフローチャートは、ユーザが入力装置１４などを介してゲームなどを指定し処理の開始を要求することにより開始される。まず情報処理装置１０は、指定されたゲームなどの処理を行い、出力画像の生成を開始する（Ｓ１０）。そして図７で示したような埋め込み情報設定テーブル２００の設定内容に従い、必要な図形を不可視領域の設定された位置に描画する（Ｓ１２）。なお上述のとおり、設定内容によっては不可視領域の塗り潰しなどでもよい。

このようにして生成した画像のデータを適宜音声のデータと組み合わせるなどして、出力データとしてＨＭＤ１８に送信する（Ｓ１４）。情報処理装置１０では、処理を終了させる必要がない間は、所定のフレームレートで出力用の画像の生成および送信処理を同様に継続する（Ｓ１６のＮ、Ｓ１０〜Ｓ１４）。一方、ＨＭＤ１８では、情報処理装置１０から送信された出力データを受信する（Ｓ１８）。すると不可視領域確認部８４は、不可視領域の図形の有無や図形の属性を確認する（Ｓ２０）。

それを内部メモリに保持する埋め込み情報設定テーブル２００と照合し、適正なデータであることが示され（Ｓ２２のＹ）、輝度等、出力を調整する必要がある場合は（Ｓ２４のＹ）、出力調整を行ったうえで出力する（Ｓ２６、Ｓ２８）。適正なデータであることが示され（Ｓ２２のＹ）、輝度等、出力を調整する必要がない場合は（Ｓ２４のＮ）、そのまま出力する（Ｓ２８）。適正なデータでない場合は、当該出力データの出力を行わない（Ｓ２２のＮ）。

なおこの場合、表示や音声によりユーザに警告したり、情報処理装置１０にその旨を通知したりしてもよい。あるいは、表示色を全体的に薄くするなどして暫定的に出力するようにしてもよい。ＨＭＤ１８は、処理終了の必要がない間は、情報処理装置１０から送信されるフレームごとの出力データに対しＳ１８〜Ｓ２８の処理を繰り返す（Ｓ３０のＮ）。これにより各ＨＭＤ１８にはゲーム画面などの動画像や音声が常に適切な状態で表示される。情報処理装置１０は、ユーザが終了要求を入力したりゲームが終了したりして処理を終了させる必要が生じたら全ての処理を終える（Ｓ１６のＹ）。ＨＭＤ１８も、情報処理装置１０からの通知などによって処理を終了させる必要が生じたら全ての処理を終える（Ｓ３０のＹ）。

以上述べた本実施の形態によれば、レンズによる歪みを考慮して補正したＨＭＤ用の画像のうち、ユーザから見えない不可視領域に色、図形、模様などを表すことで情報を埋め込む。例えば画像が適正であることを示す図形を表すことにより、ＨＭＤ側で確認のうえ出力の是非を決定する。これにより不正な加工などに起因し視差が不適切であったり、左右の画像が逆になっていたりする不適切な画像を見続けることによる体調不良や視覚障害などを防止できる。また輝度やコントラストなど物理的な調整に係る情報を埋め込むことにより、シーンの変化などに応じて自動で調整がなされ、常時快適な出力環境を提供できるとともに、視聴覚的な過度の刺激に起因した体調不良なども防止できる。

不可視領域に情報を埋め込むことにより、ＨＭＤにおける表示画像には見かけ上の影響はなく、また送信されるデータサイズも変化しない。さらに、単純な図形や色の違いで判別可能なシンプルな情報を通達するため、埋め込まれた情報の検出やそれに対応した処理のための高度な情報処理モジュールを必要としない。結果として、ＨＭＤが重くなったりサイズが大きくなったりしてユーザに煩わしさを感じさせることなく、必要な処理を確実に実施させることができる。

以上、本発明を実施の形態をもとに説明した。上記実施の形態は例示であり、それらの各構成要素や各処理プロセスの組合せにいろいろな変形例が可能なこと、またそうした変形例も本発明の範囲にあることは当業者に理解されるところである。

８ 情報処理システム、 １０ 情報処理装置、 １２ 撮像装置、 １４ 入力装置、 １６ 平板型ディスプレイ、 １８ ＨＭＤ、 ７２ 入力データ取得部、 ７４ 情報処理部、 ７６ 通信部、 ７８ 出力データ生成部、 ８０ データ記憶部、 ８２ 通信部、 ８４ 不可視領域確認部、 ８６ 出力部。

Claims (13)

1. 表示パネルの前面にレンズを備えたヘッドマウントディスプレイであって、
   情報処理装置が出力したコンテンツデータを取得する入力部と、
   前記コンテンツデータに含まれる動画像のフレーム中、ユーザが前記レンズを介して見たときに不可視となる領域に表された画像を確認することにより、前記情報処理装置からの通知事項を特定する不可視領域確認部と、
   前記通知事項に基づき、出力停止を含む前記コンテンツデータの出力態様の変化のいずれかを実施する出力部と、
   を備えたことを特徴とするヘッドマウントディスプレイ。
2. 前記出力部は、前記コンテンツデータが適正なものであること示す画像が表されていないとき、当該コンテンツデータの出力を停止することを特徴とする請求項１に記載のヘッドマウントディスプレイ。
3. 前記出力部は、前記表示パネルの出力値の調整要求を示す画像が表されているとき、それに従い前記表示パネルの出力値を調整することを特徴とする請求項１または２に記載のヘッドマウントディスプレイ。
4. 前記不可視領域確認部は、前記不可視となる領域に表された画像の属性とその表示位置とに基づき、前記情報処理装置からの通知事項を特定することを特徴とする請求項１から３のいずれかに記載のヘッドマウントディスプレイ。
5. 前記不可視領域確認部は、前記不可視となる領域に表された画像の属性、画像の表示位置、および画像の時間変化に基づき、前記情報処理装置からの通知事項を特定することを特徴とする請求項１から３のいずれかに記載のヘッドマウントディスプレイ。
6. 前記不可視領域確認部は、前記不可視となる領域に表された色、模様、図形形状の少なくともいずれかに基づき、前記情報処理装置からの通知事項を特定することを特徴とする請求項１から３のいずれかに記載のヘッドマウントディスプレイ
7. 表示パネルの前面にレンズを備えたヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、前記ヘッドマウントディスプレイにおいてユーザが前記レンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成する出力データ生成部と、
   前記出力データ生成部が生成したコンテンツデータを前記ヘッドマウントディスプレイに出力する出力部と、
   を備えたことを特徴とする情報処理装置。
8. 前記出力データ生成部はさらに、前記動画像の途中のタイミングで、前記表示パネルの出力値の調整要求を示す画像を前記不可視となる領域に表すことを特徴とする請求項７に記載の情報処理装置。
9. 表示パネルの前面にレンズを備えたヘッドマウントディスプレイと、当該ヘッドマウントディスプレイに出力させるコンテンツデータを生成する情報処理装置と、を備えた情報処理システムであって、
   前記情報処理装置は、
   前記ヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、前記ヘッドマウントディスプレイにおいてユーザが前記レンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成する出力データ生成部と、
   前記出力データ生成部が生成したコンテンツデータを前記ヘッドマウントディスプレイに出力する出力部と、を備え、
   前記ヘッドマウントディスプレイは、
   前記情報処理装置が出力したコンテンツデータを取得する入力部と、
   前記コンテンツデータに含まれる動画像のフレーム中、前記不可視となる領域に表された画像を確認することにより、前記情報処理装置からの通知事項を特定する不可視領域確認部と、
   前記通知事項に基づき、出力停止を含む前記コンテンツデータの出力態様の変化のいずれかを実施する出力部と、を備えることを特徴とする情報処理システム。
10. 表示パネルの前面にレンズを備えたヘッドマウントディスプレイによるコンテンツデータ出力方法であって、
    情報処理装置が出力したコンテンツデータを取得するステップと、
    前記コンテンツデータに含まれる動画像のフレーム中、ユーザが前記レンズを介して見たときに不可視となる領域に表された画像を確認することにより、前記情報処理装置からの通知事項を特定するステップと、
    前記通知事項に基づき、出力停止を含む前記コンテンツデータの出力態様の変化のいずれかを実施するステップと、
    を含むことを特徴とするコンテンツデータ出力方法。
11. 表示パネルの前面にレンズを備えたヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、前記ヘッドマウントディスプレイにおいてユーザが前記レンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成するステップと、
    生成したコンテンツデータを前記ヘッドマウントディスプレイに出力するステップと、
    を含むことを特徴とする情報処理装置によるコンテンツデータ出力方法。
12. 表示パネルの前面にレンズを備えたヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、前記ヘッドマウントディスプレイにおいてユーザが前記レンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成する機能と、
    生成したコンテンツデータを前記ヘッドマウントディスプレイに出力する機能と、
    をコンピュータに実現させることを特徴とするコンピュータプログラム。
13. 表示パネルの前面にレンズを備えたヘッドマウントディスプレイに出力させるデータを生成したうえ、当該データに含まれる動画像のフレーム中、前記ヘッドマウントディスプレイにおいてユーザが前記レンズを介して見たときに不可視となる領域に、当該データが適正なものであること示す画像を表すことで最終的なコンテンツデータを生成する機能と、
    生成したコンテンツデータを前記ヘッドマウントディスプレイに出力する機能と、
    をコンピュータに実現させるコンピュータプログラムを記録したことを特徴とするコンピュータにて読み取り可能な記録媒体。