JP2012108793A - 情報表示システム、装置、方法及びプログラム - Google Patents

Abstract

【課題】舞台上で行われる営為等の鑑賞者に対して、鑑賞の妨げとならないように字幕等の情報を表示することができる情報表示システムを提供する。
【解決手段】所定の情報を表示可能なヘッドマウントディスプレイ装置１と、ユーザの目線方向を撮影する撮影手段２と、撮影手段２が撮影したユーザの目線方向の画像から人物像の検出を行う人物検出手段３と、人物検出手段３の検出結果に基づいて、ヘッドマウントディスプレイ装置１の表示領域のうち、撮影手段が撮影した画像中の人物像が検出されなかった画像領域に対応する領域に所定の情報を表示するように制御する表示制御手段４とを含む
【選択図】図８

Description

本発明は、所定の情報を表示する情報表示システム、ウェアラブル端末、ヘッドマウントディスプレイ装置、情報表示方法及び情報表示プログラムに関する。

特許文献１には、デジタル放送信号を受信するデジタル放送受信装置において、映像に字幕を重ねて表示したときに、映像の激しい動きによって、映像も字幕も見え難くなってしまうことを回避する技術が記載されている。

特許文献１に記載された装置では、映像情報信号のデコードを行う際に、映像情報信号のデコードの際に用いる動きベクトルに基づいて、映像表示領域Ｒｖにおける４つの字幕表示領域Ｒｓ１〜Ｒｓ４のうちから、最も映像の動きが小さい領域を特定する。そして、特定した領域に字幕が表示するように、デコードした映像データとデコードした字幕データとを合成する。

特開２０１０−１１４５６８号公報

特許文献１に記載された方法を用いれば、字幕を映像の動きの激しくない部分に表示させることで、映像に字幕を重ねて表示したときに、映像の激しい動きによって、映像も字幕も見え難くなってしまうことを回避することができる。

しかし、特許文献１に記載された技術は、映像に字幕を重ねて表示装置で表示する用途に適用できるものであり、劇場やコンサート会場のように鑑賞者が舞台上で行われる営為（例えば、演劇や演奏）を鑑賞する場において、鑑賞者に対して字幕など舞台に付随する情報を表示する用途には適用できない。

鑑賞者に字幕など舞台に付随する情報を見せる手段としては、舞台の端に電光掲示板を設置する方式・鑑賞者の手元にある小型モニターに字幕を表示する方式・非透過型のヘッドマウントディスプレイに字幕を表示させる方式など、様々な表示デバイスを活用した方式が実施されている。

ただし、いずれの方式を採用しても、舞台と字幕とを融合させて見る事、すなわち舞台と字幕情報とを継ぎ目なく見る事ができず、鑑賞者は舞台と字幕とを交互に見るために頭や視線を動かし続ける必要がある。

そこで、頭や視線を移動することなく舞台と字幕とを融合させて見ることができるように、透過型ヘッドマウントディスプレイ装置を使った字幕表示方式を採用することが考えられる。この方式では、鑑賞者の視界の上に半透明の字幕が舞台に重なって表示されるため、鑑賞者は、頭や目線を動かす事なく字幕を見ることができる。

しかしながら、透過型のヘッドマウントディスプレイ装置を用いて舞台に重なって見えるように字幕を表示することによって生ずる問題もある。具体的には、鑑賞者の座席位置と舞台上の人物の立ち位置との関係や、鑑賞者の目線の向きと字幕の表示位置との関係によっては、舞台上の人物に重なるように字幕が表示されてしまい、鑑賞の妨げになるという問題である。

そこで、本発明は、舞台上で行われる営為等の鑑賞者に対して、鑑賞の妨げとならないように字幕等の情報を表示することができる情報表示システム、ウェアラブル端末、ヘッドマウントディスプレイ装置、情報表示方法及び情報表示プログラムを提供することを目的とする。

本発明による情報表示システムは、所定の情報を表示可能なヘッドマウントディスプレイ装置と、ユーザの目線方向を撮影する撮影手段と、撮影手段が撮影したユーザの目線方向の画像から人物像の検出を行う人物検出手段と、人物検出手段の検出結果に基づいて、ヘッドマウントディスプレイ装置の表示領域のうち、撮影手段が撮影した画像中の人物像が検出されなかった画像領域に対応する領域に所定の情報を表示するように制御する表示制御手段とを含むことを特徴とする。

本発明によるウェアラブル端末は、撮影手段が撮影したユーザの目線方向の画像から人物像の検出を行う人物検出手段と、検出結果に基づいて、ヘッドマウントディスプレイ装置の表示領域のうち、撮影手段が撮影した画像中の人物像が検出されなかった画像領域に対応する領域に所定の情報を表示するように制御する表示制御手段とを備えたことを特徴とする。

本発明によるヘッドマウントディスプレイ装置は、所定の情報を表示可能なヘッドマウントディスプレイ装置であって、撮影手段が撮影したユーザの目線方向の画像から人物像の検出を行う人物検出手段と、検出結果に基づいて、ヘッドマウントディスプレイ装置の表示領域のうち、撮影手段が撮影した画像中の人物像が検出されなかった画像領域に対応する領域に所定の情報を表示するように制御する表示制御手段とを備えたことを特徴とする。

本発明による情報表示方法は、撮影手段が撮影したユーザの目線方向の画像から人物像の検出を行い、検出結果に基づいて、ヘッドマウントディスプレイ装置の表示領域のうち、撮影手段が撮影した画像中の人物像が検出されなかった画像領域に対応する領域に所定の情報を表示するように制御することを特徴とする。

本発明による情報表示プログラムは、コンピュータに、撮影手段が撮影したユーザの目線方向の画像から人物像の検出を行う人物検出処理と、検出結果に基づいて、ヘッドマウントディスプレイ装置の表示領域のうち、撮影手段が撮影した画像中の人物像が検出されなかった画像領域に対応する領域に所定の情報を表示するように制御する表示制御処理とを実行させることを特徴とする。

本発明によれば、舞台上で行われる営為等の鑑賞者に対して、鑑賞の妨げとならないように字幕等の情報を表示することができる。

本発明による情報表示システムの実施形態の一例を示す説明図である。 鑑賞者が装着する装置の一例を示す説明図である。 情報表示システムの機能構成の一例を示す機能ブロック図である。 鑑賞者の視野の画像を象限１から４までの四象限に切り分けた例を示す説明図である。 図４に示す例において字幕を表示するイメージの一例を示す説明図である。 全ての象限に人物が含まれている例を示す説明図である。 情報表示システムが実行する処理例を示す流れ図である。 情報表示システムの最小の構成例を示すブロック図である。

以下、本発明の実施形態について図面を参照して説明する。図１は、本発明による情報表示システムの実施形態の一例を示す説明図である。図１に示すように、本発明による情報表示システムは、無線通信等で各ウェアラブル端末２３に字幕等の情報を配信するサーバ装置１１、鑑賞者の目線方向を撮影するカメラ２１、字幕等の情報を表示するヘッドマウントディスプレイ装置２２およびサーバ装置１１と通信可能な通信手段を有するウェアラブル端末２３を含む。なお、情報表示システムは、ウェアラブル端末２３に限らず、通信可能な他の携帯端末を含むようにしてもよい。また、本実施形態では、舞台上で行われる営為等の鑑賞者に字幕等の情報を表示する例について説明するが、これに限らず、例えば、スポーツを観戦するような場面に適用してもよい。

サーバ装置１１は、具体的には、プログラムに従って動作するパーソナルコンピュータ等の情報処理装置によって実現される。サーバ装置１１は、無線通信等でウェアラブル端末２３に字幕等の情報を配信する機能を備えている。

図２は、鑑賞者が装着する装置の一例を示す説明図である。図２に示すように、鑑賞者は、カメラ２１、ヘッドマウントディスプレイ装置２２およびウェアラブル端末２３を装着している。なお、カメラ２１とヘッドマウントディスプレイ装置２２とは、ウェアラブル端末２３と相互に接続されている。

カメラ２１は、鑑賞者の目線方向を撮影する機能を備えている。また、カメラ２１は、鑑賞者の目線方向を撮影した目線画像（例えば、動画像や静止画像）を画像情報受信手段２３２に出力する機能を備えている。目線画像は、鑑賞者の目線方向を撮影した画像であるので、鑑賞者の視野を表していると推定できる。

なお、本実施形態では、カメラ２１がヘッドマウントディスプレイ装置２２に搭載されている形態を例に説明するが、これに限らず、例えばヘッドマウントディスプレイ装置２２とは別の装置としてカメラを鑑賞者の頭部に装着するような形態であってもよい。

また、本実施形態では、図２に示すようにメガネ型のヘッドマウントディスプレイ装置２２を用いるが、これに限らず、頭部に装着可能であれば、例えばヘルメット型であってもよい。また、ヘッドマウントディスプレイ装置２２は、少なくとも透過型であって、例えば、網膜上に映像を投影する方式やハーフミラーを用いた光学方式等で情報を表示する。本実施形態では、一般的な用法に従い、メガネ型やヘルメット型、網膜照射型や光学方式型等を全て包括してヘッドマウントディスプレイ装置という。

図３は、情報表示システムの機能構成の一例を示す機能ブロック図である。図３に示すように、携帯可能なウェアラブル端末２３は、表示情報受信手段２３１、画像情報受信手段２３２、人物検出手段２３３、情報表示可能象限決定手段２３４、表示画像生成手段２３５および表示画像出力手段２３６を含む。

表示情報受信手段２３１は、具体的には、プログラムに従って動作する情報処理端末のネットワークインターフェース部によって実現される。表示情報受信手段２３１は、サーバ装置１１が無線通信等で配信する表示すべき字幕等の情報（以下、表示情報ともいう）を受信する機能を備えている。

画像情報受信手段２３２は、具体的には、プログラムに従って動作する情報処理端末のネットワークインターフェース部によって実現される。画像情報受信手段２３２は、カメラ２１が出力する目線画像を受信する機能を備えている。

人物検出手段２３３は、具体的には、プログラムに従って動作する情報処理端末のＣＰＵによって実現される。人物検出手段２３３は、例えば、目線画像を部分画像に分割することによって、目線画像をｎ個の領域に切り分ける機能を備えている。以下、この切り分けた領域を象限という。また、人物検出手段２３３は、切り分けた象限ごとに人物の検出処理を行う機能を備えている。例えば、人物検出手段２３３は、目線画像と人物のパターン画像とを照合し、一致度が所定の閾値以上である場合に人物と認識して検出する。

情報表示可能象限決定手段２３４は、具体的には、プログラムに従って動作する情報処理端末のＣＰＵによって実現される。情報表示可能象限決定手段２３４は、人物検出手段２３３の検出結果に基づいて、字幕等の情報の表示が可能である象限（以下、表示可能象限ともいう）を決定する機能を備えている。表示可能象限決定手段２３１は、例えば、人物が写っていない象限や最も写っている人物が少ない象限、最も人物の動きが少ない象限を表示可能象限として決定する。

最も人物の動きが少ない象限を特定する場合には、例えば、情報表示可能象限決定手段２３４は、現在の目線画像と所定期間後にカメラ２１が出力した目線画像とを比較して画像（人物像）の変化量を求め、同一象限において画像（人物像）の変化量が最も小さい象限を特定する。具体的には、情報表示可能象限決定手段２３４は、画像間の類似度を算出し、類似度が高ければ変化量が少ないと判断する。

表示画像生成手段２３５は、具体的には、プログラムに従って動作する情報処理端末のＣＰＵによって実現される。表示画像生成手段２３５は、表示可能象限を示す情報（以下、表示可能象限情報ともいう）と字幕等の情報とに基づいて、ヘッドマウントディスプレイ装置２２が表示する画像（以下、表示画像ともいう）を生成する機能を備えている。

具体的には、表示画像生成手段２３５は、ヘッドマウントディスプレイ装置２２の表示領域のうち、表示可能象限に対応する領域に字幕等の情報が表示される表示画像を生成する。以下、表示可能象限に字幕等の情報を表示するとの表現を用いるが、具体的には、ヘッドマウントディスプレイ装置２２の表示領域のうち、表示可能象限に対応する領域に字幕等の情報を表示することである。

表示画像生成手段２３５は、表示可能象限内に収まるように字幕等の情報の表示位置を決定する。また、例えば、表示画像生成手段２３５は、字幕等の情報の表示形態（例えば、文字の向きや色彩等）を含むレイアウトを決定する。

ここで、表示画像生成手段２３５が実行する処理の一例を示す。まず、カメラ２１が撮影する視野の画像の座標（以下、画像座標）と、ヘッドマウントディスプレイ装置２２が表示する画像の座標（以下、表示座標）とを、予め対応づけて記憶部に記憶させておく。そして、表示画像生成手段２３５は、画像座標において、表示可能象限から、字幕等の情報を表示する位置を特定する。次いで、表示画像生成手段２３５は、画像座標において特定した位置を、画像座標に対応づけた表示座標において特定する。そして、表示画像生成手段２３５は、表示座標において特定した位置に字幕等の情報を表示した表示画像を生成する。

表示画像出力手段２３６は、プログラムに従って動作する情報処理端末のＣＰＵ及びネットワークインターフェース部によって実現される。表示画像出力手段２３６は、ヘッドマウントディスプレイ装置２２に表示画像を出力する機能を備えている。

以上の各手段が処理を実行することにより、ウェアラブル端末２３は、カメラ２１が撮影した鑑賞者の目線方向の画像をｎ個の象限に切り分け、切り分けた象限ごとに人物検出を行い、人物が写っていない象限を特定する。次いで、ウェアラブル端末２３は、人物が写っていない象限が１つ以上ある場合には、人物が写っていないと判定した象限のいずれか又は全てを表示可能象限と決定する。そして、ウェアラブル端末２３は、表示可能象限の範囲内に字幕等の情報が表示される表示画像を生成し、ヘッドマウントディスプレイ装置に出力する。

なお、図３に示される構成に限らず、例えば、サーバ装置１１が、上記の人物検出手段２３３、情報表示可能象限決定手段２３４、表示画像生成手段２３５の一部又は全てを備えている構成であってもよい。この場合には、例えば、ウェアラブル端末２３は、カメラ２１から受信した目線画像をサーバ装置１１に送信する。すると、サーバ装置１１は、受信した目線画像に基づいて表示可能象限を決定し、決定した表示可能象限と表示情報とに基づいて表示画像を生成してウェアラブル端末２３に送信する。

また、例えば、ヘッドマウントディスプレイ装置２３が、上記の人物検出手段２３３、情報表示可能象限決定手段２３４、表示画像生成手段２３５の一部又は全てを備えている構成であってもよい。この場合には、例えば、ウェアラブル端末２３は、サーバ装置１１から受信した表示情報とともに、カメラ２１から受信した目線画像をヘッドマウントディスプレイ装置２３送信する。すると、ヘッドマウントディスプレイ装置２３は、受信した目線画像に基づいて表示可能象限を決定し、決定した表示可能象限と表示情報とに基づいて表示画像を生成して表示する。

次に、画像を象限に切り分ける例について図面を参照して説明する。図４は、鑑賞者の目線方向の画像を象限１から４までの４象限に切り分けた例を示す説明図である。図４に示す例では、便宜上４つの象限をそれぞれ四角形で囲っており、象限１から象限４までを合計した領域が鑑賞者の視野をあらわしている。なお、本実施形態では、４象限に切り分ける例について説明するが、これに限らず、２以上であれば象限の数はいくつであってもよい。

図４に示す画像から人物検出処理を行うと、象限１及び象限２からは人物像が検出できない。したがって、人物像が検出できない象限１及び象限２を表示可能領域として決定する。

次に、字幕等の情報の表示イメージについて図面を参照して説明する。図５は、図４に示す例において字幕を表示するイメージの一例を示す説明図である。

図５に示すように、人物がいない象限の範囲内に字幕を表示するため、鑑賞者は、鑑賞の妨げとなることなく、ヘッドマウントディスプレイ装置が表示する字幕を舞台上にいる人物と同時に見る事ができる。

なお、鑑賞者が舞台に近い場所に位置している場合には、図６に示すように、鑑賞者の目線方向の画像の全体に人物が写ってしまい、画像をｎ個の象限に切り分けて人物検出を行った結果、全て（ｎ個）の象限から人物像が検出されてしまうということが想定される。この場合には、例えば、ｎ個の象限の中から最も人物の少ない領域や、最も人物の動きが少ない領域を特定して表示可能象限と決定する。このように決定した表示可能象限に字幕を表示する事により、表示した字幕が鑑賞の妨げになるという可能性を最小限に抑えることができる。

また、ウェアラブル装置２３は、カメラ２１が撮影した鑑賞者の目線方向の画像の人物検出処理等を随時実行している。そのため、鑑賞者が首を動かした場合や舞台上の人物が移動した場合、すなわち、カメラ２１が撮影した鑑賞者の目線方向の画像が変化した場合には、字幕の表示位置は変更される。

次に、情報表示システムの動作について説明する。図７は、情報表示システムが実行する処理例を示す流れ図である。

鑑賞者が各装置を起動して舞台等の鑑賞を開始すると、カメラ２１は撮影を開始し、鑑賞者の目線方向を撮影した目線画像を画像情報受信手段２３２に出力する（ステップＳ１）。

次いで、画像情報受信手段２３２が目線画像を受信すると、人物検出手段２３３は、目線画像をｎ個の象限に切り分け（ステップＳ２）、象限ごとに人物検出処理を行う（ステップＳ３）。なお、字幕等の表示情報が常にあるものでない場合には、人物検出手段２３３は、サーバ装置１１から表示情報を受信した時のみ処理を実行するようにしてもよい。

次いで、情報表示可能象限決定手段２３４は、人物検出手段２３３の検出結果に基づいて、表示可能象限を決定する。具体的には、情報表示可能象限決定手段２３４は、人物が写っていない象限が１つ以上存在するか否かを判定する（ステップＳ４）。そして、存在すると判定した場合には、情報表示可能象限決定手段２３４は、人物が写っていない象限を表示可能象限と決定する（ステップＳ５）。

ここで、情報表示可能象限決定手段２３４は、人物が写っていないと判定した象限が複数存在すると判断した場合には、複数の象限のうちのいずれか又は全てを表示可能象限と決定する。例えば、情報表示可能象限決定手段２３４は、人物が写っていないと判定した複数の象限のうち、画像中の最も下部に位置する象限を表示可能象限と決定する。

また、ステップＳ４において存在しないと判定した場合には、情報表示可能象限決定手段２３４は、ｎ個の象限のうち最も人物の動きが少ない象限を特定する（ステップＳ６）。そして、情報表示可能象限決定手段２３４は、特定した象限を表示可能象限と決定する（ステップＳ５）。なお、情報表示可能象限決定手段２３４は、ステップＳ６において、ｎ個の象限のうち最も人物が少ない象限を特定するようにしてもよい。

また、上記処理と平行して、ウェアラブル端末２３の表示装置受信手段２３１は、サーバ装置１１が配信する字幕等の情報を随時受信する（ステップＳ７）。このように随時受信することで、鑑賞者のヘッドマウントディスプレイ装置２２が表示する字幕等の情報が切り替わる仕組みになっている。

次いで、表示画像生成手段２３５は、表示可能象限情報と字幕等の情報とに基づいて、ヘッドマウントディスプレイ装置２２の表示領域のうち、表示可能象限に対応する領域に字幕等の情報が表示される表示画像を生成する（ステップＳ８）。

具体的には、表示画像生成手段２３５は、画像座標において、表示可能象限から、字幕等の情報を表示する位置を特定する。次いで、表示画像生成手段２３５は、画像座標において特定した位置を、画像座標に対応づけた表示座標において特定する。そして、表示画像生成手段２３５は、表示座標において特定した位置に字幕等の情報を表示した表示画像を生成する。

その後、表示画像生成手段２３５が表示画像を生成すると、表示画像出力手段２３６は、ヘッドマウントディスプレイ装置２２に表示画像を出力する。そして、ヘッドマウントディスプレイ装置２２は、表示画像出力手段２３６が出力した表示画像を表示する（ステップＳ９）。

以上のように、本実施形態では、鑑賞者は、透過型のヘッドマウントディスプレイ装置とカメラと通信手段を有するウェアラブル端末とを装着する。そして、カメラが鑑賞者の目線方向を撮影すると、ウェアラブル端末は、カメラが撮影した目線方向の画像を複数の象限に切り分け、人物が写っていない象限を特定し、特定した象限内に字幕等の情報を表示する表示画像を生成する。次いで、ヘッドマウントディスプレイ装置は、ウェアラブル端末が生成した表示画像を表示する。

このように、本実施形態では、目線画像に含まれる舞台上の人物の位置に基づいて字幕等の情報の表示位置を定めるため、表示する字幕等の情報が舞台上の人物に重なることを回避することができる。そのため、劇場やコンサート会場のように鑑賞者が舞台上で行われる営為等を鑑賞する場において、鑑賞者に対して、鑑賞の妨げとならないように字幕等の情報を表示することができる。

また、本実施形態では、随時表示位置を定め直しているため、鑑賞者の目線の変化や舞台上の人物の位置の変化に対応することができ、常に鑑賞の妨げとならないように字幕等の情報を表示することができる。

次に、本発明による情報表示システムの最小構成について説明する。図８は、情報表示システムの最小の構成例を示すブロック図である。図８に示すように、情報表示システムは、最小の構成要素として、所定の情報を表示可能なヘッドマウントディスプレイ装置１と、ユーザの目線方向を撮影する撮影手段２と、人物検出手段３と、表示制御手段４とを含む。

図８に示す最小構成の情報表示システムでは、人物検出手段３は、撮影手段２が撮影したユーザの目線方向の画像から人物像の検出を行う。そして、表示制御手段４は、人物検出手段３の検出結果に基づいて、ヘッドマウントディスプレイ装置１の表示領域のうち、撮影手段が撮影した画像中の人物像が検出されなかった画像領域に対応する領域に所定の情報を表示するように制御する。

従って、最小構成の情報表示システムによれば、表示する字幕等の情報が舞台上の人物に重なることを回避することができ、鑑賞者に対して鑑賞の妨げとならないように字幕等の情報を表示することができる。

なお、本実施形態では、以下の（１）〜（５）に示すような情報表示システムの特徴的構成が示されている。

（１）情報表示システムは、所定の情報（例えば、字幕など）を表示可能なヘッドマウントディスプレイ装置（例えば、ヘッドマウントディスプレイ装置２２によって実現される）と、ユーザの目線方向を撮影する撮影手段（例えば、カメラ２１によって実現される）と、撮影手段が撮影したユーザの目線方向の画像から人物像の検出を行う人物検出手段（例えば、人物検出手段２３３によって実現される）と、人物検出手段の検出結果に基づいて、ヘッドマウントディスプレイ装置の表示領域のうち、撮影手段が撮影した画像中の人物像が検出されなかった画像領域（例えば、表示可能象限）に対応する領域に情報を表示するように制御する表示制御手段（例えば、情報表示可能象限決定手段２３４や、表示画像生成手段２３５、表示画像出力手段２３６によって実現される）とを含むことを特徴とする。

（２）情報表示システムにおいて、人物検出手段は、画像を複数の画像領域（例えば、ｎ個の象限）に分割して画像領域ごとに人物像の検出を行い、複数の画像領域のうち、人物像が検出されなかった画像領域を特定する領域特定手段（例えば、情報表示可能象限決定手段２３４によって実現される）を備え、表示制御手段は、ヘッドマウントディスプレイ装置の表示領域のうち、領域特定手段が特定した画像領域に対応する領域に所定の情報を表示するように制御するように構成されていてもよい。

（３）情報表示システムにおいて、領域特定手段は、人物検出手段が人物像を検出した画像領域ごとに画像の変化量を求め、検出した画像領域のうち、変化量が最も少ない画像領域を特定し、表示制御手段は、ヘッドマウントディスプレイ装置の表示領域のうち、領域特定手段が特定した画像領域に対応する領域に情報を表示するように制御するように構成されていてもよい。

（４）情報表示システムにおいて、ヘッドマウントディスプレイ装置の表示領域のうち、特定した画像領域に対応する領域に情報を表示する画像を生成する画像生成手段（例えば、表示画像生成手段２３５によって実現される）を備え、表示制御手段は、画像生成手段が生成した画像を表示するように制御するように構成されていてもよい。

（５）情報表示システムにおいて、画像中の座標を表す画像座標と、ヘッドマウントディスプレイ装置が表示する画像中の座標を表す表示座標とを対応づけて記憶する記憶手段を備え、画像生成手段は、記憶手段が記憶する撮影座標と表示座標とに基づいて、ヘッドマウントディスプレイ装置の表示領域のうち、特定した画像領域に対応する領域を特定するように構成されていてもよい。

本発明は、芝居やミュージカル、バレエ、コンサート、ライブなど、リアルタイムで鑑賞者に対して演目を披露するような場で字幕等を表示する用途に適用可能である。上記のような場においては、リアルタイムで演目が進行していくため、事前にヘッドマウントディスプレイ装置への字幕表示位置などをプログラミングする事は難しく、本発明のようにリアルタイムで字幕表示位置を決定するシステムが役立つと考えられる。

１ ヘッドマウントディスプレイ装置
２ 撮影手段
３ 人物検出手段
４ 表示制御手段
１１ サーバ装置
２１ カメラ
２２ ヘッドマウントディスプレイ装置
２３ ウェアラブル端末
２３１ 表示情報受信手段
２３２ 画像情報受信手段
２３３ 人物検出手段
２３４ 情報表示可能象限決定手段
２３５ 表示画像生成手段
２３６ 表示画像出力手段

Claims (9)

1. 所定の情報を表示可能なヘッドマウントディスプレイ装置と、
   ユーザの目線方向を撮影する撮影手段と、
   前記撮影手段が撮影したユーザの目線方向の画像から人物像の検出を行う人物検出手段と、
   前記人物検出手段の検出結果に基づいて、前記ヘッドマウントディスプレイ装置の表示領域のうち、前記撮影手段が撮影した画像中の人物像が検出されなかった画像領域に対応する領域に前記所定の情報を表示するように制御する表示制御手段とを
   含むことを特徴とする情報表示システム。
2. 人物検出手段は、画像を複数の画像領域に分割して画像領域ごとに人物像の検出を行い、
   前記複数の画像領域のうち、人物像が検出されなかった画像領域を特定する領域特定手段を備え、
   表示制御手段は、ヘッドマウントディスプレイ装置の表示領域のうち、前記領域特定手段が特定した画像領域に対応する領域に前記所定の情報を表示するように制御する
   請求項１記載の情報表示システム。
3. 領域特定手段は、人物検出手段が人物像を検出した画像領域ごとに画像の変化量を求め、前記検出した画像領域のうち、前記変化量が最も少ない画像領域を特定し、
   表示制御手段は、ヘッドマウントディスプレイ装置の表示領域のうち、前記領域特定手段が特定した画像領域に対応する領域に情報を表示するように制御する
   請求項２記載の情報表示システム。
4. ヘッドマウントディスプレイ装置の表示領域のうち、特定した画像領域に対応する領域に情報を表示する画像を生成する画像生成手段を備え、
   表示制御手段は、前記画像生成手段が生成した画像を表示するように制御する
   請求項１から請求項３のうちのいずれか１項に記載の情報表示システム。
5. 画像中の座標を表す画像座標と、ヘッドマウントディスプレイ装置が表示する画像中の座標を表す表示座標とを対応づけて記憶する記憶手段を備え、
   画像生成手段は、前記記憶手段が記憶する撮影座標と前記表示座標とに基づいて、ヘッドマウントディスプレイ装置の表示領域のうち、特定した画像領域に対応する領域を特定する
   請求項４記載の情報表示システム。
6. 撮影手段が撮影したユーザの目線方向の画像から人物像の検出を行う人物検出手段と、
   検出結果に基づいて、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、前記撮影手段が撮影した画像中の人物像が検出されなかった画像領域に対応する領域に前記所定の情報を表示するように制御する表示制御手段とを
   備えたことを特徴とするウェアラブル装置。
7. 所定の情報を表示可能なヘッドマウントディスプレイ装置であって、
   撮影手段が撮影したユーザの目線方向の画像から人物像の検出を行う人物検出手段と、
   検出結果に基づいて、当該ヘッドマウントディスプレイ装置の表示領域のうち、前記撮影手段が撮影した画像中の人物像が検出されなかった画像領域に対応する領域に前記所定の情報を表示するように制御する表示制御手段とを
   備えたことを特徴とするヘッドマウントディスプレイ装置。
8. 撮影手段が撮影したユーザの目線方向の画像から人物像の検出を行い、
   検出結果に基づいて、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、前記撮影手段が撮影した画像中の人物像が検出されなかった画像領域に対応する領域に前記所定の情報を表示するように制御する
   ことを特徴とする情報表示方法。
9. コンピュータに、
   撮影手段が撮影したユーザの目線方向の画像から人物像の検出を行う人物検出処理と、
   検出結果に基づいて、所定の情報を表示可能なヘッドマウントディスプレイ装置の表示領域のうち、前記撮影手段が撮影した画像中の人物像が検出されなかった画像領域に対応する領域に前記所定の情報を表示するように制御する表示制御処理とを
   実行させるための情報表示プログラム。