JP7731262B2 - 映像表示処理装置及びプログラム - Google Patents

Description

本発明は、フォトグラメトリーによる３ＤＣＧ（３次元コンピュータグラフィックス）モデルの映像及び３６０度映像を表示する映像表示処理装置及びプログラムに関する。

従来、フォトグラメトリーを用いて、災害現場等を３ＤＣＧモデル化する動きが加速している（例えば、非特許文献１を参照）。フォトグラメトリーは、大量の写真、映像等から抽出した連番静止画を用いて、立体的な３ＤＣＧモデルをコンピュータにて生成する手法である。

フォトグラメトリーでは、写真等から被写体の特徴点が抽出され、複数の写真等から抽出された同一の特徴点に対する三角測量によって、特徴点及び撮影地点の３次元位置が特定される。

このため、フォトグラメトリーは、複数の写真等における被写体の特徴点の位置が動いたり、見た目が変化したりする場合に、生成される３ＤＣＧモデルの一部が欠落または変形する等の欠点がある。特徴点の位置が動く被写体には、例えば旗、動物があり、見た目が変化する被写体には、例えば鏡等の反射物、水等の透過物がある。

一方、特にＶＲ（仮想現実）の分野では、３６０度カメラにより、ある１点から全方位的に撮影を行う全天球映像（３６０度映像）の撮影が盛んになっている。水平方向で１１Ｋ（単眼）または１０Ｋ（両眼、ステレオ視）の解像度にて、高精細な３６０度映像を撮影するカメラも販売されている（例えば、非特許文献２を参照）。

このようなカメラは、３６０度映像の撮影だけでなく、フォトグラメトリーによる３ＤＣＧモデルを生成するための撮影カメラとしても利用することができる。このようなカメラにより撮影された映像は、複数のレンズによって撮影された複数の映像が１つの映像に合成されるスティッチという処理が行われる。しかし、この映像は、基本的にはありのままの外界を映したものであり、見た目はフォトグラメトリーによる３ＤＣＧモデルと比べてより真実に近い。

３６０度映像は、フォトグラメトリーによる３ＤＣＧモデルの映像と異なり、視聴時には視点を上下左右前後に併進移動させることができない。このため、３６０度映像を視聴するユーザは、撮影位置に固定された視聴体験（後述する３ＤｏＦ（スリードフ、回転３自由度）の体験）をすることとなる。

"熱海の土石流災害、現場の３Ｄモデルを有志が公開 ドローン像を基に作成"、［online］、令和３年７月５日、アイティメディア株式会社、［令和３年１０月７日検索］、インターネット＜https://www.itmedia.co.jp/news/articles/2107/05/news154.html＞ "Ｉｎｓｔａ３６０ ＴＩＴＡＮ"、［online］、［令和３年１０月７日検索］、インターネット＜https://www.insta360.com/jp/product/insta360-titan＞

前述のとおり、フォトグラメトリーによる３ＤＣＧモデルの映像には、その一部が欠落したり変形したりするという欠点がある。

例えば災害等の報道において、フォトグラメトリーによる３ＤＣＧモデルの映像の一部が欠落等している場合、それがフォトグラメトリーの欠点によるものなのか、または被災によって実際にそのような状況になっているのかを判別することは困難である。

このような課題を解決するために、本発明者らは、フォトグラメトリーによる３ＤＣＧモデルの映像と、前述の３６０度映像とを提示することにより、３ＤＣＧモデルの映像の一部が欠落等するという欠点を補うことができるという着想を得た。

フォトグラメトリーによる３ＤＣＧモデルの映像を視聴するユーザは、６ＤｏＦ（シックスドフ、６自由度（回転３自由度＋併進３自由度））を体験することができ、３６０度映像を視聴するユーザは、３ＤｏＦを体験することができる。

しかしながら、フォトグラメトリーによる３ＤＣＧモデルの映像が配置されたバーチャル空間において、３６０度映像の撮影位置に単に当該３６０度映像を配置した場合には、両映像が幾何学的に一致せず、見た目の連続性がないという問題があった。

そこで、本発明は前記課題を解決するためになされたものであり、その目的は、フォトグラメトリーによる３ＤＣＧモデルの映像及び３６０度映像を相補的に提示することで、３ＤＣＧモデルの映像の一部が欠落等するという欠点を補い、両映像を幾何学的に一致させ、見た目の連続性を実現可能な映像表示処理装置及びプログラムを提供することにある。

前記課題を解決するために、請求項１の映像表示処理装置は、フォトグラメトリーによる複数の３ＤＣＧオブジェクトが配置されたバーチャル空間に、複数の球型オブジェクトを配置し、前記バーチャル空間内のユーザの視点位置及び視線方向に応じて、前記複数の３ＤＣＧオブジェクトのうち前記ユーザの視界に入る前記３ＤＣＧオブジェクトを含む３ＤＣＧモデル映像を表示すると共に、前記複数の球型オブジェクトのうち前記ユーザの視界に入る前記球型オブジェクトの３６０度映像をアイコンとして表示する映像表示処理装置であって、前記複数の球型オブジェクトのうち１つの対応する球型オブジェクトをアタッチしており、前記対応する球型オブジェクトのトランジションの状態を、待機Ｓ１、拡大中Ｓ２、拡大済みＳ３、縮小中Ｓ４及び縮小済みＳ５へ順次遷移させ、前記トランジションの状態に応じた所定データを当該球型オブジェクトに設定するトランジション機能部を複数備えると共に、前記複数のトランジション機能部のうち１つの対応するトランジション機能部にアタッチされており、前記対応するトランジション機能部により前記所定データが設定される球型オブジェクトを複数備え、さらに、前記複数の３ＤＣＧオブジェクトを含むオブジェクトであって、前記複数の３ＤＣＧオブジェクトのそれぞれについて所定データが設定される３ＤＣＧモデルオブジェクトと、前記ユーザの前記視点位置及び前記視線方向を含む所定データが設定されるカメラオブジェクトと、前記カメラオブジェクトに設定された前記ユーザの前記視点位置及び前記視線方向に基づいて、前記ユーザの視界に入る前記球型オブジェクト及び前記３ＤＣＧオブジェクトを特定し、特定された前記球型オブジェクトをレンダリングすると共に、特定された前記３ＤＣＧオブジェクトを含む前記３ＤＣＧモデルオブジェクトをレンダリングし、表示映像を生成して表示装置に出力するレンダラと、を備え、前記トランジション機能部が、前記ユーザが前記対応する球型オブジェクトから第１の所定距離以上離れている場合、前記トランジションの状態を前記待機Ｓ１に設定し、前記３６０度映像の静止画をサムネイルとして表示するためのデータを当該球型オブジェクトに設定し、前記ユーザが当該球型オブジェクトに対し、前記第１の所定距離よりも近づいた場合、前記トランジションの状態を前記待機Ｓ１から前記拡大中Ｓ２へ遷移させ、前記３６０度映像を徐々に拡大して最前面に表示するためのデータを当該球型オブジェクトに設定し、当該球型オブジェクトの大きさが第１の所定サイズに到達した場合、前記トランジションの状態を前記拡大中Ｓ２から前記拡大済みＳ３へ遷移させ、前記３６０度映像の拡大を停止するためのデータを当該球型オブジェクトに設定し、前記ユーザのキー入力があった場合、または前記３６０度映像の再生が完了した場合、前記トランジションの状態を前記拡大済みＳ３から前記縮小中Ｓ４へ遷移させ、前記３６０度映像を徐々に縮小して表示するためのデータを当該球型オブジェクトに設定し、当該球型オブジェクトの大きさが第２の所定サイズよりも小さくなった場合、前記トランジションの状態を前記縮小中Ｓ４から前記縮小済みＳ５へ遷移させ、前記３６０度映像の縮小を停止して最前面の表示の適用を解除するためのデータを当該球型オブジェクトに設定し、前記ユーザが前記対応する球型オブジェクトに対し、第２の所定距離よりも離れた場合、前記トランジションの状態を前記縮小済みＳ５から前記待機Ｓ１へ遷移させる、ことを特徴とする。

また、請求項２の映像表示処理装置は、請求項１に記載の映像表示処理装置において、前記球型オブジェクトが、前記複数のトランジション機能部のうち１つの対応するトランジション機能部にアタッチされており、前記対応する球型オブジェクトの前記３６０度映像の撮影位置を当該球型オブジェクトの配置位置とする球型オブジェクト位置、当該球型オブジェクトの映像の大きさ、当該球型オブジェクトが表示される映像を示す球型映像、当該球型オブジェクトのレンダリング規則を定めるマテリアル、及び、前記球型映像の表示または非表示を示す表示可否情報を含む前記所定データが設定され、前記３ＤＣＧモデルオブジェクトが、前記複数の３ＤＣＧオブジェクトを含むオブジェクトであって、前記複数の３ＤＣＧオブジェクトのそれぞれについて、当該３ＤＣＧオブジェクトの位置、及び、当該球型オブジェクトの映像の表示または非表示を示す表示可否情報を含む前記所定データが設定され、前記トランジション機能部が、前記ユーザが前記対応する球型オブジェクトから第１の所定距離以上離れている場合、前記トランジションの状態を前記待機Ｓ１に設定し、前記３６０度映像の冒頭フレームの静止画を示す前記球型映像を当該球型オブジェクトに設定し、前記ユーザが当該球型オブジェクトに対し、前記第１の所定距離よりも近づいた場合、前記トランジションの状態を前記待機Ｓ１から前記拡大中Ｓ２へ遷移させ、当該球型オブジェクトの映像を徐々に拡大させるための前記大きさ、再生された前記３６０度映像を再生３６０度映像とした場合の当該再生３６０度映像を示す前記球型映像、及び、前記再生３６０度映像が最前面に表示されることを示す最前面マテリアルを当該球型オブジェクトに設定すると共に、非表示を示す表示可否情報を、前記複数の球型オブジェクトのうち当該球型オブジェクト以外の前記球型オブジェクト及び前記複数の３ＤＣＧオブジェクトに設定し、当該球型オブジェクトの大きさが第１の所定サイズに到達した場合、前記トランジションの状態を前記拡大中Ｓ２から前記拡大済みＳ３へ遷移させ、当該球型オブジェクトの映像の拡大を停止させるための前記大きさを当該球型オブジェクトに設定し、前記ユーザのキー入力があった場合、または前記３６０度映像の再生が完了した場合、前記トランジションの状態を前記拡大済みＳ３から前記縮小中Ｓ４へ遷移させ、当該球型オブジェクトの映像を徐々に縮小させるための前記大きさを当該球型オブジェクトに設定すると共に、表示を示す表示可否情報を、前記複数の球型オブジェクトのうち当該球型オブジェクト以外の前記球型オブジェクト及び前記複数の３ＤＣＧオブジェクトに設定し、当該球型オブジェクトの大きさが第２の所定サイズよりも小さくなった場合、前記トランジションの状態を前記縮小中Ｓ４から前記縮小済みＳ５へ遷移させ、当該球型オブジェクトの映像の縮小を停止させるための前記大きさ、前記３６０度映像の冒頭フレームの静止画を示す前記球型映像、及び、前記最前面マテリアルの適用が解除されたアンリットマテリアルを当該球型オブジェクトに設定し、前記ユーザが前記対応する球型オブジェクトに対し、第２の所定距離よりも離れた場合、前記トランジションの状態を前記縮小済みＳ５から前記待機Ｓ１へ遷移させ、前記レンダラが、前記トランジションの状態が前記待機Ｓ１の場合、当該球型オブジェクトについて、球面の内側に前記静止画を張り付け、カリングにより前記球面の外側を対象外とし内側のみを対象として、前記カメラオブジェクトに設定された前記視点位置及び前記視線方向にてレンダリングすることで、前記ユーザの視点から見たアイコン球のサムネイルを生成し、前記アイコン球のサムネイルを含む前記表示映像を生成し、前記トランジションの状態が前記拡大中Ｓ２の場合、当該球型オブジェクトについて、前記球面の内側に前記再生３６０度映像を張り付け、前記カメラオブジェクトに設定された前記視点位置及び前記視線方向にてレンダリングすることで、前記大きさに応じて時間の経過と共に大きくなり、かつ前記最前面マテリアルに従い最前面に表示されるスクリーン球の映像を生成し、当該球型オブジェクト以外の前記球型オブジェクト及び前記複数の３ＤＣＧオブジェクトについて、前記非表示を示す表示可否情報に従ってレンダリングを行わず、前記スクリーン球の映像を含み、当該球型オブジェクト以外の前記球型オブジェクトの映像及び前記複数の３ＤＣＧオブジェクトの映像を含まず、前記スクリーン球の映像が最前面に表示される前記表示映像を生成し、前記トランジションの状態が前記拡大済みＳ３の場合、当該球型オブジェクトについてレンダリングすることで、前記拡大が停止し、かつ最前面に表示されるスクリーン球の映像を生成し、当該球型オブジェクト以外の前記球型オブジェクトの映像及び前記複数の３ＤＣＧオブジェクトの映像を含まず、前記スクリーン球の映像が最前面に表示される前記表示映像を生成し、前記トランジションの状態が前記縮小中Ｓ４の場合に、当該球型オブジェクトについて、前記球面の内側に前記再生３６０度映像の冒頭フレームを張り付け、前記カメラオブジェクトに設定された前記視点位置及び前記視線方向にてレンダリングすることで、前記大きさに応じて時間の経過と共に小さくなり、かつ最前面に表示されるスクリーン球の映像を生成し、特定された当該球型オブジェクト以外の前記球型オブジェクト及び前記複数の３ＤＣＧオブジェクトについて、前記表示を示す表示可否情報に従ってレンダリングを行い、特定された当該球型オブジェクト以外の前記球型オブジェクトの映像及び前記複数の３ＤＣＧオブジェクトの映像を含み、前記スクリーン球の映像が最前面に表示される前記表示映像を生成し、前記トランジションの状態が前記縮小済みＳ５の場合、当該球型オブジェクトについてレンダリングすることで、前記アイコン球のサムネイルを生成し、最前面の表示の適用が解除された前記アイコン球のサムネイルを含む前記表示映像を生成する、ことを特徴とする。

また、請求項３の映像表示処理装置は、請求項２に記載の映像表示処理装置において、前記トランジション機能部は、前記カメラオブジェクトに設定された前記ユーザの前記視点位置、及び当該球型オブジェクトに設定された前記球型オブジェクト位置を用いて、前記ユーザの前記視点位置と前記球型オブジェクト位置との間の距離distance(t)を算出する距離算出部と、前記ユーザによるキー操作に伴い、キー制御信号を出力するキー入力部と、前記スクリーン球の半径を予め設定された前記アイコン球の半径で除算することで、当該球型オブジェクトの映像の前記大きさとして拡大縮小率scale_magni(t)を算出する拡大縮小部と、前記距離算出部により算出された前記距離distance(t)が予め設定されたトランジション開始閾値dist_th_inよりも小さい場合、前記トランジションの状態を前記待機Ｓ１から前記拡大中Ｓ２へ遷移させ、前記拡大縮小部により算出された前記拡大縮小率scale_magni(t)が予め設定された拡大完了閾値max_scale_magni以上の場合、前記トランジションの状態を前記拡大中Ｓ２から前記拡大済みＳ３へ遷移させ、前記キー入力部から出力された前記キー制御信号を入力した場合、または、前記３６０度映像の再生が完了した場合、前記トランジションの状態を前記拡大済みＳ３から前記縮小中Ｓ４へ遷移させ、前記拡大縮小率scale_magni(t)が予め設定された縮小完了閾値min_scale_magniよりも小さい場合、前記トランジションの状態を前記縮小中Ｓ４から前記縮小済みＳ５へ遷移させ、前記距離distance(t)が予め設定されたトランジション完了閾値dist_th_outよりも大きい場合、前記トランジションの状態を前記縮小済みＳ５から前記待機Ｓ１へ遷移させる状態管理部と、を備えたことを特徴とする。

また、請求項４の映像表示処理装置は、請求項３に記載の映像表示処理装置において、前記トランジション完了閾値dist_th_outを、前記トランジション開始閾値dist_th_inよりも大きい値とする、ことを特徴とする。

また、請求項５の映像表示処理装置は、請求項３または４に記載の映像表示処理装置において、前記縮小完了閾値min_scale_magniを１．０とする、ことを特徴とする。

また、請求項６の映像表示処理装置は、請求項３から５までのいずれか一項に記載の映像表示処理装置において、前記トランジション機能部が、さらに、マテリアル変更部、映像再生処理部及び他オブジェクト表示制御部を備え、前記状態管理部が、前記トランジションの状態を前記待機Ｓ１から前記拡大中Ｓ２へ遷移させたときに、前記３６０度映像の開始を示す制御信号を前記映像再生処理部に、前記最前面マテリアルを示す制御信号を前記マテリアル変更部に、拡大を示す制御信号を前記拡大縮小部に、前記非表示を示す制御信号を前記他オブジェクト表示制御部にそれぞれ出力し、前記トランジションの状態を前記拡大中Ｓ２から前記拡大済みＳ３へ遷移させたときに、拡大停止を示す制御信号を前記拡大縮小部に出力し、前記トランジションの状態を前記拡大済みＳ３から前記縮小中Ｓ４へ遷移させたときに、前記３６０度映像の頭出しを示す制御信号を前記映像再生処理部に、縮小を示す制御信号を拡大縮小部に、前記表示を示す制御信号を前記他オブジェクト表示制御部にそれぞれ出力し、前記トランジションの状態を前記縮小中Ｓ４から前記縮小済みＳ５へ遷移させたときに、縮小停止を示す制御信号を前記拡大縮小部に、前記３６０度映像の終了を示す制御信号を前記映像再生処理部に、前記アンリットマテリアルを示す制御信号を前記マテリアル変更部にそれぞれ出力し、前記拡大縮小部が、前記状態管理部から前記拡大を示す制御信号を入力すると、当該球型オブジェクトの映像が徐々に拡大するように前記大きさを算出し、前記大きさを当該球型オブジェクトに設定し、前記拡大停止を示す制御信号を入力すると、当該球型オブジェクトの映像の拡大が停止するように前記大きさの算出を停止し、前記大きさを当該球型オブジェクトに設定し、前記縮小を示す制御信号を入力すると、当該球型オブジェクトの映像が徐々に縮小するように前記大きさを算出し、前記大きさを当該球型オブジェクトに設定し、前記縮小停止を示す制御信号を入力すると、当該球型オブジェクトの映像の縮小が停止するように前記大きさの算出を停止し、前記大きさを当該球型オブジェクトに設定し、前記マテリアル変更部が、前記状態管理部から前記最前面マテリアルを示す制御信号を入力すると、前記最前面マテリアルを当該球型オブジェクトに設定し、前記アンリットマテリアルを示す制御信号を入力すると、前記アンリットマテリアルを当該球型オブジェクトに設定し、前記映像再生処理部が、前記状態管理部から前記３６０度映像の開始を示す制御信号を入力すると、前記３６０度映像を再生し、前記再生３６０度映像を示す前記球型映像を当該球型オブジェクトに設定し、前記３６０度映像の頭出しを示す制御信号を入力すると、前記３６０度映像の頭出しを行い、前記再生３６０度映像の冒頭フレームを示す前記球型映像を当該球型オブジェクトに設定し、前記３６０度映像の終了を示す制御信号を入力すると、前記３６０度映像から冒頭フレームを抽出し、前記冒頭フレームの静止画を示す前記球型映像を当該球型オブジェクトに設定し、前記他オブジェクト表示制御部が、前記状態管理部から前記非表示を示す制御信号を入力すると、前記非表示を示す表示可否情報を、前記複数の球型オブジェクトのうち当該球型オブジェクト以外の前記球型オブジェクト及び前記複数の３ＤＣＧオブジェクトに設定し、前記状態管理部から前記表示を示す制御信号を入力すると、前記表示を示す表示可否情報を、前記複数の球型オブジェクトのうち当該球型オブジェクト以外の前記球型オブジェクト及び前記複数の３ＤＣＧオブジェクトに設定する、ことを特徴とする。

また、請求項７の映像表示処理装置は、請求項６に記載の映像表示処理装置において、前記映像再生処理部が、動作モードとして、ループ設定、停止設定及び終了設定のうちのいずれかが予め設定されており、前記ループ設定が予め設定されている場合、前記３６０度映像の再生が完了すると、前記３６０度映像の冒頭フレームから再生を継続し、前記停止設定が予め設定されている場合、前記３６０度映像の再生が完了すると、前記３６０度映像の最終フレームにて一時停止し、前記終了設定が予め設定されている場合、前記３６０度映像の再生が完了すると、再生完了の再生状態を前記状態管理部に出力し、前記状態管理部が、前記映像再生処理部から前記再生完了の再生状態を入力すると、前記トランジションの状態を前記縮小中Ｓ４に設定する、ことを特徴とする。

また、請求項８の映像表示処理装置は、請求項２に記載の映像表示処理装置において、前記トランジション機能部が、さらに、前記トランジションの状態または前記状態の遷移に応じた効果音を示す音声情報を当該球型オブジェクトに設定し、前記レンダラが、前記球型オブジェクトに設定された前記音声情報の前記効果音を再生する、ことを特徴とする。

また、請求項９の映像表示処理装置は、請求項２または８に記載の映像表示処理装置において、前記トランジション機能部が、さらに、前記トランジションの状態が前記待機Ｓ１の場合、動作を示す運動情報を当該球型オブジェクトに設定し、前記レンダラが、前記球型オブジェクトに設定された前記運動情報が前記動作を示している場合、前記アイコン球の表示を所定速度にて上下に移動させる、ことを特徴とする。

さらに、請求項１０のプログラムは、フォトグラメトリーによる複数の３ＤＣＧオブジェクトが配置されたバーチャル空間に、複数の球型オブジェクトを配置し、前記バーチャル空間内のユーザの視点位置及び視線方向に応じて、前記複数の３ＤＣＧオブジェクトのうち前記ユーザの視界に入る前記３ＤＣＧオブジェクトを含む３ＤＣＧモデル映像を表示すると共に、前記複数の球型オブジェクトのうち前記ユーザの視界に入る前記球型オブジェクトの３６０度映像をアイコンとして表示する映像表示処理装置を構成するコンピュータを、前記複数の球型オブジェクトのうち１つの対応する球型オブジェクトをアタッチしており、前記対応する球型オブジェクトのトランジションの状態を、待機Ｓ１、拡大中Ｓ２、拡大済みＳ３、縮小中Ｓ４及び縮小済みＳ５へ順次遷移させ、前記トランジションの状態に応じた所定データを当該球型オブジェクトに設定するトランジション機能部を複数備えた場合の前記複数のトランジション機能部、前記複数のトランジション機能部のうち１つの対応するトランジション機能部にアタッチされており、前記対応するトランジション機能部により前記所定データが設定される球型オブジェクトを複数備えた場合の前記複数の球型オブジェクト、前記複数の３ＤＣＧオブジェクトを含むオブジェクトであって、前記複数の３ＤＣＧオブジェクトのそれぞれについて所定データが設定される３ＤＣＧモデルオブジェクト、前記ユーザの前記視点位置及び前記視線方向を含む所定データが設定されるカメラオブジェクト、及び、前記カメラオブジェクトに設定された前記ユーザの前記視点位置及び前記視線方向に基づいて、前記ユーザの視界に入る前記球型オブジェクト及び前記３ＤＣＧオブジェクトを特定し、特定された前記球型オブジェクトをレンダリングすると共に、特定された前記３ＤＣＧオブジェクトを含む前記３ＤＣＧモデルオブジェクトをレンダリングし、表示映像を生成して表示装置に出力するレンダラとして機能させるためのプログラムであって、前記トランジション機能部が、前記ユーザが前記対応する球型オブジェクトから第１の所定距離以上離れている場合、前記トランジションの状態を前記待機Ｓ１に設定し、前記３６０度映像の静止画をサムネイルとして表示するためのデータを当該球型オブジェクトに設定し、前記ユーザが当該球型オブジェクトに対し、前記第１の所定距離よりも近づいた場合、前記トランジションの状態を前記待機Ｓ１から前記拡大中Ｓ２へ遷移させ、前記３６０度映像を徐々に拡大して最前面に表示するためのデータを当該球型オブジェクトに設定し、当該球型オブジェクトの大きさが第１の所定サイズに到達した場合、前記トランジションの状態を前記拡大中Ｓ２から前記拡大済みＳ３へ遷移させ、前記３６０度映像の拡大を停止するためのデータを当該球型オブジェクトに設定し、前記ユーザのキー入力があった場合、または前記３６０度映像の再生が完了した場合、前記トランジションの状態を前記拡大済みＳ３から前記縮小中Ｓ４へ遷移させ、前記３６０度映像を徐々に縮小して表示するためのデータを当該球型オブジェクトに設定し、当該球型オブジェクトの大きさが第２の所定サイズよりも小さくなった場合、前記トランジションの状態を前記縮小中Ｓ４から前記縮小済みＳ５へ遷移させ、前記３６０度映像の縮小を停止して最前面の表示の適用を解除するためのデータを当該球型オブジェクトに設定し、前記ユーザが前記対応する球型オブジェクトに対し、第２の所定距離よりも離れた場合、前記トランジションの状態を前記縮小済みＳ５から前記待機Ｓ１へ遷移させる、ことを特徴とする。

以上のように、本発明によれば、フォトグラメトリーによる３ＤＣＧモデルの映像及び３６０度映像を相補的に提示することで、３ＤＣＧモデルの映像の一部が欠落等するという欠点を補うことができる。また、両映像を幾何学的に一致させ、見た目の連続性を実現することができる。

本発明の実施形態による映像表示処理装置の構成例を示すブロック図である。 球型オブジェクトのデータ構成例を示す図である。 トランジション機能部の構成例を示すブロック図である。 球型オブジェクトの状態遷移を示す図である。 状態管理部の処理例を示すフローチャートである。 拡大中処理（ステップＳ５０５）の例を示すフローチャートである。 拡大済み処理（ステップＳ５０９）の例を示すフローチャートである。 縮小中処理（ステップＳ５１３）の例を示すフローチャートである。 縮小済み処理（ステップＳ５１７）の例を示すフローチャートである。 トランジション機能部の構成例における第１の変形例を示すブロック図である。 トランジション機能部の構成例における第２の変形例を示すブロック図である。 バーチャル空間におけるトランジション前後の状態を説明する図である。 ３６０度映像が表示されるアイコンを説明する図である。 ３ＤＣＧモデル映像の世界から３６０度映像の世界へ遷移する前後のアイコンの表示形態を説明する図である。 図１４の続きを説明する図である。 表示映像の例を説明する図である。 図１６の続きを説明する図である。 図１７の続きを説明する図である。

以下、本発明を実施するための形態について図面を用いて詳細に説明する。本発明の概要について説明する。本発明は、フォトグラメトリーによる３ＤＣＧモデルが配置されたバーチャル空間において、３６０度映像の撮影位置に相当する位置に、当該３６０度映像のアイコンを置く。そして、本発明は、バーチャル空間において、ユーザがアイコンに近づくと、３ＤＣＧモデルの映像（以下、「３ＤＣＧモデル映像」という。）の世界から３６０度映像の世界へ遷移（トランジション）し、３６０度映像を徐々に拡大表示する。本発明は、例えばユーザによるキー操作があると、拡大表示された３６０度映像を縮小表示し、３６０度映像の世界から元の３ＤＣＧモデル映像の世界へ遷移する。

これにより、ユーザは、３ＤＣＧモデル映像の世界において６ＤｏＦ体験することができ、３６０度映像の世界において３ＤｏＦ体験することができる。

このように、３ＤＣＧモデル映像及び３６０度映像を相補的に提示することで、３ＤＣＧモデル映像の一部が欠落等するという欠点を補うことができ、両映像を幾何学的に一致させ、見た目の連続性を実現することができる。つまり、バーチャル空間における３ＤＣＧモデル映像及び３６０度映像を視聴するユーザは、両映像を相補的に正しく理解することができる。

〔本発明の概要〕
まず、本発明の概要について説明する。バーチャル空間において、ユーザが３ＤＣＧモデル映像及び３６０度映像を相補的に正しく理解するためには、これらの２つの映像の見た目の連続性、すなわち両映像をシームレスに繋げることが必要である。

具体的には、ユーザがアイコンに近づいたときに３ＤＣＧモデル映像の世界から３６０度映像の世界へ遷移し、また、例えばキー操作があったときに３６０度映像の世界から３ＤＣＧモデル映像の世界へ遷移する場合、２つの映像の見た目の連続性を実現する必要がある。

２つの映像の見た目の連続性を実現するための条件としては、以下の（Ａ）～（Ｄ）が挙げられる。
（Ａ）２つの世界（３ＤＣＧモデル映像の世界及び３６０度映像の世界）が幾何学的に一致すること。
（Ｂ）２つの世界の時間的な重複及び欠落を回避すること。
（Ｃ）２つの世界が連続的に変化すること。
（Ｄ）３６０度映像を表示するアイコンが直感的なデザインで構成されていること。

＜（Ａ）２つの世界が幾何学的に一致すること＞
３ＤＣＧモデル映像の世界から３６０度映像の世界へのトランジション前後で、これらの世界が幾何学的に一致するためには、トランジション前において、３６０度映像の撮影位置と同じ見え方をする３ＤＣＧモデル映像の地点に、ユーザが存在することが必要である。

そこで、本発明の映像表示処理装置は、３ＤＣＧモデル映像の世界において、ユーザの位置（視点位置）が３６０度映像の撮影位置に近づいたときに、トランジションを開始する。尚、３６０度映像の向きは、３ＤＣＧモデル映像の向きと合わせておくものとする。

図１２は、バーチャル空間におけるトランジション前後の状態を説明する図である。図１２（１）は、３ＤＣＧモデル映像の世界を示しており、この世界には、ユーザ１００、及び２つの被写体（本例では２つの建物）の映像等が含まれている。図１２（２）は、３６０度映像の世界を示しており、この世界にも、ユーザ１００、及び２つの被写体の映像等が含まれている。

図１２（１）におけるユーザ１００の位置は、図１２（２）に示す３６０度映像の撮影位置に相当する位置にあるとする。また、図１２（２）におけるユーザ１００の位置は、３６０度映像の球面スクリーンの球（スクリーン球）の中心位置にあるとする。そうすると、ユーザ１００から見た２つの世界は、幾何学的に一致することとなる。

＜（Ｂ）２つの世界の時間的な重複及び欠落を回避すること＞
トランジションの役割は、３ＤＣＧモデル映像及び３６０度映像を差し替えることにあり、映像の差し替えの際に、タイミングが早すぎたり、遅すぎたりすると、同一の被写体が２つの映像で重複して見えたり（二重に見えたり）、どちらも欠落したりする可能性がある。

そこで、本発明の映像表示装置は、トランジション中に２つの映像を重複して表示する際に、ユーザ１００の視野内の各画素において提示制御を適切に行うことで、同一の被写体の重複及び欠落を回避する。また、本発明の映像表示処理装置は、３６０度映像を最前面に表示することで、同一の被写体の重複を回避する。

＜（Ｃ）２つの世界が連続的に変化すること。＞
ユーザ１００による２つの映像の認知的コストを下げるためには、２つの世界が連続的に変化することが必要である。

そこで、前記（Ａ）と同様に、本発明の映像表示処理装置は、３ＤＣＧモデル映像の世界において、ユーザ１００の位置（視点位置）が３６０度映像の撮影位置に近づいたときに、トランジションを開始する。この場合、本発明の映像表示処理装置は、トランジションを開始した時点で、３ＤＣＧモデル映像の全てを３６０度映像に即座に置き換えるのではなく、トランジションを開始する以前において、ユーザ１００が３６０度映像のアイコンに近づくほど、視野の一部が徐々に３６０度映像のアイコンに置き換わるようにする。また、トランジションについても、見た目の連続的な変化を実現する。

＜（Ｄ）３６０度映像を表示するアイコンが直感的なデザインで構成されていること＞
３ＤＣＧモデル映像の世界において、どこにどのような３６０度映像が存在しているかをユーザ１００に分かりやすく示すために、アフォーダンスのあるアイコンを用意する必要がある。

そこで、アイコンは、３ＤＣＧモデル映像の世界において、３６０度映像の撮影位置に相当する位置に置かれ、例えばゆっくりと上下に動いているようにする。また、アイコンには、３６０度映像の冒頭フレームの縮小画像がサムネイル（アイコンの絵柄）として表示されるようにする。

図１３は、３６０度映像が表示されるアイコンを説明する図である。図１３（１）は、３ＤＣＧモデル映像の世界を示しており、ユーザ１００、アイコン１０１及び２つの被写体等が示されている。図１３（２）は、アイコン１０１の表示例を示しており、図１３（３）は、球型オブジェクトのレンダリング処理を示している。

図１３（１）及び図１３（２）に示すように、アイコン１０１の形状は球であり、アイコン１０１の球（アイコン球）の内面には、３６０度映像の冒頭フレームの一部がサムネイルとして貼り付けられている。また、アイコン１０１は、３ＤＣＧモデル映像の世界において、３６０度映像の撮影位置に相当する位置に置かれる。

図１３（３）に示すように、アイコン１０１を表示するための球型オブジェクトは、アイコン球の内側のみを対象として、カリングの機能を用いてレンダリングされる。ユーザ１００の視点から見て、αは、レンダリングされる球型オブジェクトの球における内側の領域を示しており、βは、レンダリングされない球型オブジェクトの球における外側の領域を示している。つまり、球型オブジェクトのレンダリングによりアイコン１０１が表示される場合、３６０度映像の冒頭フレームである静止画のうち、球型オブジェクトの球の内側であるαの領域の画像のみが、アイコン１０１のサムネイルとして表示されることとなる。

ここで、アイコン１０１は、球の中心から見て、サムネイル及び３ＤＣＧモデル映像に対して、見た目の向きが重なるように回転した状態で表示される。すなわち、ユーザ１００の視点がアイコン１０１の球の中心にあるとき、視点から見て、球の内面に表示されるサムネイルに含まれる被写体と、３ＤＣＧモデル映像における同一の被写体とが同一方向にあるように、アイコン１０１は回転した状態で表示される。

（アイコンの表示形態）
次に、アイコン１０１の表示形態について説明する。図１４は、３ＤＣＧモデル映像の世界から３６０度映像の世界へ遷移する前後のアイコン１０１の表示形態を説明する図であり、図１５は、図１４の続きを説明する図である。

図１４（１）において、ユーザ１００から見て３ＤＣＧモデル映像の世界には、アイコン１０１、オブジェクト１０２－１，１０２－２が存在する。

また、アイコン１０１の内側には、３６０度映像の冒頭フレームが貼り付けられ、アイコン１０１は、カリングにより、球の外側を対象外とし球の内側のみ（本例の場合は、ほぼ半球）を対象としてレンダリングされ、ユーザ１００の視点から見た部分のみが表示される。ユーザ１００から見てアイコン１０１には、３６０度映像の冒頭フレームのうち（球の内側のα及びβの領域のうち）、αの領域の画像のみが表示される。αの領域の画像には、３ＤＣＧモデル映像の世界のオブジェクト１０２－２に対応するオブジェクト１０３－２が含まれる（同一の被写体が含まれる）。つまり、３ＤＣＧモデル映像の世界のオブジェクト１０２－２、及びアイコン１０１に含まれるオブジェクト１０３－２は、ユーザ１００の視点からすると、見た目の向きが重なるように表示される。

アイコン１０１の球の内側には、３６０度映像の冒頭フレームが表示され、ユーザ１００の視点から見た球の内側におけるαの領域の映像は、外界である３ＤＣＧモデル映像の世界を、球の中心へ投影したものに相当する。

図１４（２）において、ユーザ１００がアイコン１０１に近づけば近づくほど、ユーザ１００から見たアイコン１０１の表示と、外界の表示（３ＤＣＧモデル映像の表示）とが幾何学的に一致してくる。これは、ユーザ１００がアイコン１０１に近づくことで、ユーザ１００の視点から見てアイコン１０１の球のサイズが大きくなり（見た目が大きくなる）、球の内側の映像も大きく表示され、アイコン１０１の表示と３ＤＣＧモデル映像の表示の見た目の向きが一層重なるようになるからである。

また、アイコン１０１は、図１４（１）と同様に、カリングにより、球の内側の半球以上がレンダリングされており、図１４（１）よりもレンダリングされる部分が多くなっている。ユーザ１００から見てアイコン１０１には、３６０度映像の冒頭フレームのうち、図１４（１）よりも広いαの領域の画像が表示される。αの領域の画像には、３ＤＣＧモデル映像の世界のオブジェクト１０２－１，１０２－２に対応するオブジェクト１０３－１，１０３－２が含まれる。

図１４（３）において、ユーザ１００がアイコン１０１に近づき、ユーザ１００がアイコン１０１の球内に入ると（ユーザ１００とアイコン１０１との間の距離が所定の閾値よりも小さく（短く）なると）、その瞬間にトランジションが開始する。これにより、ユーザ１００は、３ＤＣＧモデル映像の世界から３６０度映像の世界へ移行することとなる。つまり、ユーザ１００の視野には、徐々に拡大される３６０度映像が表れるようになる。

具体的には、映像表示処理装置は、トランジションを開始すると、アイコン１０１の球であるアイコン球をスクリーン球として扱い、ユーザ１００の視点とアイコン１０１との間の距離に関わらず、最前面マテリアルを適用する（３６０度映像を最前面に表示する）と共に、スクリーン球が拡大するように、球型オブジェクトのレンダリングを行い、３６０度映像の再生表示の処理を開始する。

これにより、スクリーン球が拡大すると、視点からスクリーン球の内側に貼り付けられた３６０度映像までの距離が長くなるが、３６０度映像に最前面マテリアルを適用することで、３ＤＣＧモデル映像が３６０度映像よりも物理的に前面に存在する（視点の近くに存在する）場合であっても、３６０度映像は、３ＤＣＧモデル映像に上書きされることがなく、３６０度映像が３ＤＣＧモデル映像よりも前面に優先して表示されることとなる。

図１５（４）において、アイコン１０１のスクリーン球は、球面スクリーンの運動視差がなくなる程度まで拡大する。そして、その拡大縮小率が所定の拡大完了設定値に到達すると、図１５（５）に示すように、拡大を完了する。

図１５（４）及び（５）においては、３６０度映像に対し最前面マテリアルが適用される。このため、３６０度映像のオブジェクト１０３－１及び３ＤＣＧモデル映像のオブジェクト１０２－１が重複して表示されることがなく、３６０度映像のオブジェクト１０３－２及び３ＤＣＧモデル映像のオブジェクト１０２－２も重複して表示されることがない。３６０度映像のオブジェクト１０３－１，１０３－２は、３ＤＣＧモデル映像のオブジェクト１０２－１，１０２－２よりも前面に優先して表示される。尚、図１５（４）及び（５）において、３ＤＣＧモデル映像のオブジェクト１０２－１，１０２－２は、説明のために示されているが、実際には表示されることはない。また、スクリーン球が拡大すると、ユーザ１００の視点から見た３６０度映像の歪みは、徐々に小さくなる。

（映像表示例）
次に、具体的な表示映像の例について説明する。図１６は、表示映像の例を説明する図であり、図１７及び図１８は、その続きを説明する図である。

ユーザ１００は、３ＤＣＧモデル映像の世界において、６ＤｏＦのバーチャル体験をしているものとする。

図１６（１）を参照して、ユーザ１００は、３ＤＣＧモデル映像の世界に浮かぶ球上のアイコン１０１を見ることができる。アイコン１０１には、当該アイコン１０１の向こう側の世界を縮小したサムネイル、すなわち３６０度映像の冒頭フレームのうちユーザ１００の視点から見える画像のみが、カリングによりレンダリングされたサムネイルとして表示されている。この図１６（１）は、図１４（１）に対応している。

図１６（２）を参照して、ユーザ１００がコントローラの操作を行うと、ユーザ１００の視点位置及び視線方向が変化し、アイコン１０１のサムネイルの表示も変わる（視点から見た表示が変わる）。そして、ユーザ１００が、アイコン１０１に近づくと、アイコン１０１のサムネイルの表示と、向こう側の世界の表示（３ＤＣＧモデル映像の表示）とが幾何学的に一致してくる。これは、ユーザ１００がアイコン１０１に近づけば近づくほど、ユーザ１００の視野内におけるアイコン１０１の占有割合が高くなり、ユーザ１００の視点からアイコン１０１の見た目が大きくなり、アイコン球の内側の映像も大きく表示され、アイコン１０１の表示と３ＤＣＧモデル映像の表示の見た目の向きが一層重なるからである。この図１６（２）は、図１４（２）に対応している。

ユーザ１００が、コントローラの操作に従ってアイコン１０１に近づき、アイコン１０１の球内に入る場合を想定する。

図１７（３）を参照して、ユーザ１００がコントローラの操作に従ってアイコン１０１に近づき、アイコン１０１の球内に入る直前までは、アイコン１０１にはサムネイルが表示されている。また、アイコン１０１以外の個所には、３ＤＣＧモデル映像が表示されている。図１７（３）は、図１４（３）に対応している。

ユーザ１００がアイコン１０１の球内に入ると、その瞬間にトランジションが開始し、アイコン球がスクリーン球として扱われ、スクリーン球の拡大が開始し、３６０度映像が再生された状態でスクリーン球面に拡大表示される。これにより、ユーザ１００は、３ＤＣＧモデル映像の世界から３６０度映像の世界へ移行することとなる。

つまり、図１７（４）及び図１８（５）を参照して、アイコン球のサムネイルは、連続する３６０度映像の動画として再生されるように表示され、アイコン球は、３６０度映像が再生されたスクリーン球となる。図１７（４）及び図１８（５）は、図１５（４）及び（５）に対応している。

これにより、ユーザ１００は、３ＤＣＧモデル映像の被写体の近くに置かれたアイコン１０１に近づくことで、３ＤＣＧモデル映像の世界から３６０度映像の世界へ移行することができ、例えば当該被写体の詳細について、３６０度映像にて認識することができる。

ここで、トランジションの開始に伴い、３６０度映像には最前面マテリアルが適用されるため、視点を基準に３ＤＣＧモデル映像が３６０度映像の内側（視点に近い側）に存在する距離以上にスクリーン球が拡大したとしても、３ＤＣＧモデル映像が表示されることはない。つまり、スクリーン球が拡大することで、３ＤＣＧモデル映像の被写体がスクリーン球の内側に存在するようになったとしても、３６０度映像が３ＤＣＧモデル映像よりも優先して表示される。

そして、スクリーン球の拡大縮小率が所定の拡大完了設定値に到達すると、スクリーン球の拡大が完了する。その後、例えばユーザ１００のキー操作に従って、スクリーン球が縮小すると共に、３ＤＣＧモデル映像が表示され、スクリーン球の拡大縮小率が所定の縮小完了設定値よりも小さくなって元のサイズに戻ると、３６０度映像に対する最前面マテリアルの適用（最前面の表示の適用）が解除され、縮小を完了する。

ユーザ１００が、コントローラの操作に従ってアイコン１０１から離れ、アイコン１０１の球内から外へ出ると（その距離が所定の閾値を超えると）、図１４（１）及び（２）並びに図１６（１）及び（２）に示したような３ＤＣＧモデル映像の世界に戻る。

〔映像表示処理装置〕
次に、本発明の実施形態による映像表示処理装置について説明する。図１は、本発明の実施形態による映像表示処理装置の構成例を示すブロック図である。

この映像表示処理装置１は、トランジション機能部２－１，２－２，・・・，２－Ｎ、球型オブジェクト３－１，３－２，・・・，３－Ｎ、３ＤＣＧオブジェクト４－１，４－２，・・・，４－Ｍ等からなる３ＤＣＧモデルオブジェクト、カメラオブジェクト５、レンダラ６及び表示装置７を備えている。Ｎ，Ｍは、２以上の整数である。

映像表示処理装置１は、フォトグラメトリーによる３ＤＣＧオブジェクト４－１，４－２，・・・，４－Ｍ等からなる３ＤＣＧモデルオブジェクトが配置されたバーチャル空間に、球型オブジェクト３－１，３－２，・・・，３－Ｎを配置し、ユーザ１００の視界に入る３ＤＣＧモデルオブジェクトの３ＤＣＧモデル映像を表示すると共に、ユーザ１００の視界に入る球型オブジェクト３－１，３－２，・・・，３－Ｎの３６０度映像をアイコン１０１として表示する。

球型オブジェクト３－１，３－２，・・・，３－Ｎのそれぞれは、３６０度映像が表示されるアイコン１０１に関するデータにより構成され、対応するトランジション機能部２－１，２－２，・・・，２－Ｎにアタッチされている。つまり、球型オブジェクト３－１，３－２，・・・，３－Ｎのそれぞれのデータは、基本的に、対応するトランジション機能部２－１，２－２，・・・，２－Ｎにより設定される。

３ＤＣＧオブジェクト４－１，４－２，・・・，４－Ｍ等からなる３ＤＣＧモデルオブジェクトは、３ＤＣＧモデル映像が表示される際の構成要素であるオブジェクト等に関するデータにより構成される。

以下、トランジション機能部２－１，２－２，・・・，２－Ｎを総称してトランジション機能部２とし、球型オブジェクト３－１，３－２，・・・，３－Ｎを総称して球型オブジェクト３とする。また、３ＤＣＧオブジェクト４－１，４－２，・・・，４－Ｍを総称して３ＤＣＧオブジェクト４とする。

トランジション機能部２は、対応する球型オブジェクト３をアタッチしており、バーチャル空間の世界において、３ＤＣＧモデル映像の世界から３６０度映像の世界へ遷移する際、またはその逆へ遷移する際のトランジションの状態を管理し、当該球型オブジェクト３に、トランジションの状態に応じたデータを設定する。

具体的には、トランジション機能部２は、トランジションの状態に応じて、３６０度映像の冒頭フレームを静止画とし、静止画を示す球型映像を当該球型オブジェクト３に設定し、３６０度映像を再生し、これを再生３６０度映像とし、再生３６０度映像を示す球型映像を当該球型オブジェクト３に設定する。

また、トランジション機能部２は、トランジションの状態に応じて、３６０度映像が表示されるスクリーン球の拡大縮小率scale_magni(t)を算出し、これを当該球型オブジェクト３の大きさとして当該球型オブジェクト３に設定する。また、トランジション機能部２は、マテリアル（アンリット（Unlit（照明無効））マテリアルまたは最前面マテリアル）を変更して当該球型オブジェクト３に設定する。拡大縮小率scale_magni(t)のｔは、時間を示す。

また、トランジション機能部２は、トランジションの状態に応じて、当該球型オブジェクト３以外の全てのオブジェクト（他の球型オブジェクト３及び３ＤＣＧオブジェクト４）の表示の可否を判断し、非表示または表示を示す表示可否情報を他の球型オブジェクト３及び３ＤＣＧオブジェクト４に設定する。

ここで、トランジション機能部２は、初期設定として、アタッチされている球型オブジェクト３を除き、他の球型オブジェクト３、３ＤＣＧオブジェクト４及びカメラオブジェクト５のリストを所持している。トランジション機能部２は、他の球型オブジェクト３、３ＤＣＧオブジェクト４及びカメラオブジェクト５に設定されている位置及び方向等を取得することができると共に、これらのオブジェクトに設定されている表示可否情報等のデータを変更することができる。トランジション機能部２の処理の詳細な説明については後述する。

球型オブジェクト３は、対応するトランジション機能部２にアタッチされており、トランジション機能部２から出力された各種データが設定される。球型オブジェクト３は、初期設定として、バーチャル空間において、３６０映像の撮影位置に相当する位置に配置される。複数の球型オブジェクト３は、互いに重ならない距離に配置されている。

図２は、球型オブジェクト３のデータ構成例を示す図である。球型オブジェクト３は、図２に示す各種データを保持する。球型オブジェクト３を構成する各種データとしては、バーチャル空間の世界において、当該球型オブジェクト３が置かれている位置を示す球型オブジェクト位置（当該球型オブジェクト３の３６０度映像の撮影位置を当該球型オブジェクト３の配置位置とする球型オブジェクト位置、当該球型オブジェクト３の中心位置）、当該球型オブジェクト３の向いている方向、当該球型オブジェクト３が表示されるときの映像の大きさ（拡大縮小率scale_magni(t)）、当該球型オブジェクト３が表示される映像を示す球型映像（静止画を示す球型映像、または再生３６０度映像を示す球型映像）、マテリアル（アンリットマテリアルまたは最前面マテリアル）、非表示または表示を示す表示可否情報、音声情報及び運動情報等である。

３ＤＣＧオブジェクト４は、フォトグラメトリーによる３ＤＣＧモデルであり、３ＤＣＧモデル映像の世界におけるオブジェクトに関するデータが設定される。３ＤＣＧオブジェクト４は、初期設定として、バーチャル空間の所定位置に配置される。

３ＤＣＧオブジェクト４に設定されているデータとしては、例えばバーチャル空間の世界において、当該オブジェクトが置かれている位置、方向、当該オブジェクトの大きさ、形状、映像、及び前述の表示可否情報等である。オブジェクトの大きさとしては、例えば原寸大の大きさが設定される。

尚、球型オブジェクト３及び３ＤＣＧオブジェクト４について、単数及び複数のオブジェクトがグルーピングされることで、グループ毎に表示可否情報等をまとめて扱うようにしてもよい。

カメラオブジェクト５は、バーチャル空間の世界におけるユーザ１００の視点位置及び視線方向等のデータが設定される。

ここで、図示しないカメラ処理部は、図示しないコントローラに対するユーザ１００の操作に従って、バーチャル空間の世界におけるバーチャルカメラの位置及び方向を、ユーザ１００の視点位置及び視線方向として決定し、これらのデータをカメラオブジェクト５に設定する。

レンダラ６は、バーチャル空間において、バーチャルカメラにより撮影された３ＤＣＧオブジェクト４を特定し、特定した３ＤＣＧオブジェクト４等を含む３ＤＣＧモデルオブジェクトを描画（レンダリング）すると共に、バーチャルカメラにより撮影された球型オブジェクト３を特定してレンダリングし、表示映像を生成し、表示装置７に出力する。

具体的には、レンダラ６は、カメラオブジェクト５に設定されたユーザ１００の視点位置及び視線方向（バーチャルカメラの位置及び方向）に基づいて、バーチャルカメラが撮影している範囲内の（ユーザ１００の視界に入る）球型オブジェクト３及び３ＤＣＧオブジェクト４を、これらのオブジェクトに設定された位置等のデータを用いて特定する。

そして、レンダラ６は、特定された３ＤＣＧオブジェクト４について、当該３ＤＣＧオブジェクト４に設定された表示可否情報等のデータを用いて、画素単位でレンダリングすると共に、特定された球型オブジェクト３について、当該球型オブジェクト３に設定された大きさ、球型映像、マテリアル、表示可否情報等のデータを用いて、画素単位でレンダリングする。そして、レンダラ６は、レンダリングにより得られた両映像を結合した表示映像を生成し、表示装置７に出力する。

尚、レンダラ６は、球型オブジェクト３に非表示を示す表示可否情報が設定されている場合、当該球型オブジェクト３のレンダリングを行わず、表示を示す表示可否情報が設定されている場合、当該球型オブジェクト３のレンダリングを行う。３ＤＣＧオブジェクト４についても同様である。

また、レンダラ６は、球型オブジェクト３のレンダリングの際に、当該球型オブジェクト３に設定された球型映像を球面の内側に貼り付け、カメラオブジェクト５に設定された視点位置及び視線方向、並びに球型オブジェクト３に設定された大きさに従って、ユーザ１００の視点から見た球の映像を拡大または縮小し、アイコン球またはスクリーン球の映像を含む表示映像を生成する。

また、レンダラ６は、球型オブジェクト３のレンダリングの際に、当該球型オブジェクト３に設定されたマテリアルが最前面マテリアルの場合、他の球型オブジェクト３及び３ＤＣＧオブジェクト４の映像よりも優先して最前面に当該球型オブジェクト３の球型映像が表示されるように表示映像を生成する。

表示装置７は、例えばＨＭＤ（Head Mounted Display：ヘッドマウントディスプレイ）であり、レンダラ６から表示映像を入力し、表示映像を画面に表示する。

これにより、ユーザ１００の視点位置及び視線方向に応じた表示映像（例えば図１６（１）若しくは（２）、図１７（３）若しくは（４）、または図１８（５）に示した映像）が生成され、表示装置７に表示される。

尚、レンダラ６の処理は、Unity（ユニティ）等の一般的なゲームエンジンのＣＧ描画処理により実現される。

〔トランジション機能部２〕
次に、図１に示したトランジション機能部２について詳細に説明する。図３は、トランジション機能部２の構成例を示すブロック図である。

このトランジション機能部２は、距離算出部１０、キー入力部１１、状態管理部１２、拡大縮小部１３、マテリアル記録部１４、マテリアル変更部１５、３６０度映像記録部１６、映像再生制御部１７、静止画抽出部１８、映像選択部１９及び他オブジェクト表示制御部２０を備えている。３６０度映像記録部１６、映像再生制御部１７、静止画抽出部１８及び映像選択部１９により、映像再生処理部が構成される。

距離算出部１０は、カメラオブジェクト５に設定された視点位置を入力すると共に、当該トランジション機能部２に対応する球型オブジェクト３に設定された球型オブジェクト位置を入力する。

距離算出部１０は、視点位置の座標及び球型オブジェクト位置の座標を用いて、これらの位置の差の二乗和のルートを算出することで、ユーザ１００の視点位置と球型オブジェクト３の位置（アイコン球またはスクリーン球の中心位置）との間の距離distance(t)を算出する。距離distance(t)におけるｔは、時間を示す。距離算出部１０は、距離情報として距離distance(t)を状態管理部１２に出力する。

キー入力部１１は、ユーザ１００によるコントローラのキー操作に伴い、コントローラからのキー情報の入力を監視する。キー入力部１１は、コントローラからキー情報を入力すると、キー情報に対応するキー制御信号を生成し、キー制御信号を状態管理部１２に出力する。

状態管理部１２は、距離算出部１０から距離distance(t)を、キー入力部１１からキー制御信号を、拡大縮小部１３からスクリーン球の拡大縮小率scale_magni(t)を入力する。また、状態管理部１２は、映像再生制御部１７から３６０度映像の再生状態（未再生、再生完了、再生中、一時停止中、現在の再生時刻等）を入力する。

状態管理部１２は、後述する条件に従って、後述する図４に示す状態遷移のとおり、球型オブジェクト３のトランジションの状態（待機Ｓ１、拡大中Ｓ２、拡大済みＳ３、縮小中Ｓ４及び縮小済みＳ５）を順次遷移させる。

図４は、球型オブジェクト３の状態遷移を示す図である。図４に示すとおり、球型オブジェクト３のトランジションの状態には、待機Ｓ１、拡大中Ｓ２、拡大済みＳ３、縮小中Ｓ４及び縮小済みＳ５の５つがある。

前述のとおり、distance(t)は、ユーザ１００の視点位置と球型オブジェクト３の位置との間の距離であり、scale_magni(t)は、スクリーン球の拡大縮小率であり、スクリーン球の半径を予め設定されたアイコン球の半径で除算することで得られる。

dist_th_inは、スクリーン球の拡大が開始するトランジション開始閾値であり、予め設定される。トランジション開始閾値dist_th_inとしては、例えばアイコン球の半径が予め設定される。

また、dist_th_outは、トランジションを完了して待機Ｓ１の状態にするためのトランジション完了閾値であり、予め設定される。トランジション完了閾値dist_th_outとしては、トランジション開始閾値dist_th_inよりも大きい値、例えばアイコン球の半径の２倍の値が予め設定される。トランジション完了閾値dist_th_outとして、トランジション開始閾値dist_th_inよりも大きい値が設定されるのは、距離distance(t)がトランジション開始閾値dist_th_in及びトランジション完了閾値dist_th_outに近くなったときに、意図しない状態のチャタリングを防ぐためである。

max_scale_magniは、スクリーン球の拡大が完了するスクリーン球の拡大縮小率を示す拡大完了閾値であり、予め設定される。拡大完了閾値max_scale_magniとしては、例えば５０が予め設定される。

球型オブジェクト３のトランジションの状態が待機Ｓ１のときに、距離distance(t)＜トランジション開始閾値dist_th_inの条件を満たすと、トランジションの状態は、待機Ｓ１から拡大中Ｓ２へ遷移する。この条件は、ユーザ１００が球型オブジェクト３に対し、トランジション開始閾値dist_th_inよりも近づいた場合である。

尚、距離distance(t)≧トランジション開始閾値dist_th_inの条件を満たしている限り、トランジションの状態は、待機Ｓ１を保持する。この条件は、ユーザ１００が球型オブジェクト３からトランジション開始閾値dist_th_in以上離れている場合である。

球型オブジェクト３のトランジションの状態が拡大中Ｓ２のときに、拡大縮小率scale_magni(t)≧拡大完了閾値max_scale_magniの条件を満たすと、トランジションの状態は、拡大中Ｓ２から拡大済みＳ３へ遷移する。この条件は、球型オブジェクト３の大きさである拡大縮小率scale_magni(t)が拡大完了閾値max_scale_magniに到達した場合である。

球型オブジェクト３のトランジションの状態が拡大済みＳ３のときに、ユーザ１００によるキー入力があったという条件を満たすと、トランジションの状態は、拡大済みＳ３から縮小中Ｓ４へ遷移する。この場合のキー入力は、トランジションの状態を拡大済みＳ３から縮小中Ｓ４へ遷移させるためのキー入力である。

尚、球型オブジェクト３のトランジションの状態が拡大済みＳ３のときに、３６０度映像の再生が完了したという条件（状態管理部１２が再生完了の再生状態を入力するという条件）を満たすと、トランジションの状態は、拡大済みＳ３から縮小中Ｓ４へ遷移するようにしてもよい。

球型オブジェクト３のトランジションの状態が縮小中Ｓ４のときに、拡大縮小率scale_magni(t)＜１．０の条件を満たすと、トランジションの状態は、縮小中Ｓ４から縮小済みＳ５へ遷移する。この条件は、球型オブジェクト３の大きさである拡大縮小率scale_magni(t)が１．０よりも小さくなった場合である。

球型オブジェクト３のトランジションの状態が縮小済みＳ５のときに、距離distance(t)＞トランジション完了閾値dist_th_outの条件を満たすと、トランジションの状態は、縮小済みＳ５から待機Ｓ１へ遷移する。この条件は、ユーザ１００が球型オブジェクト３に対し、トランジション完了閾値dist_th_outよりも離れた場合である。

尚、球型オブジェクト３に非表示の表示可否情報が設定されている場合、図４に示した状態遷移は発生しないものとする。

図３へ戻って、状態管理部１２は、球型オブジェクト３のトランジションの状態に応じて制御信号を生成し、当該制御信号を拡大縮小部１３、マテリアル変更部１５、映像再生制御部１７及び他オブジェクト表示制御部２０に出力する。

具体的には、状態管理部１２は、球型オブジェクト３のトランジションの状態に応じて、拡大、拡大停止、縮小または縮小停止を示す制御信号を生成し、当該制御信号を拡大縮小部１３に出力する。

状態管理部１２は、球型オブジェクト３のトランジションの状態に応じて、アンリットマテリアルまたは最前面マテリアルを示す制御信号を生成し、当該制御信号をマテリアル変更部１５に出力する。

状態管理部１２は、球型オブジェクト３のトランジションの状態に応じて、３６０度映像の開始、３６０度映像の頭出しまたは３６０度映像の終了を示す制御信号を生成し、当該制御信号を映像再生制御部１７に出力する。

状態管理部１２は、球型オブジェクト３のトランジションの状態に応じて、当該球型オブジェクト３以外のオブジェクト（他の球型オブジェクト３及び３ＤＣＧオブジェクト４）のそれぞれについて、表示または非表示を示す制御信号を生成する。そして、状態管理部１２は、当該制御信号を他オブジェクト表示制御部２０に出力する。状態管理部１２の処理の詳細な説明については後述する。

拡大縮小部１３は、初期設定として、スクリーン球の半径を予め設定されたアイコン球の半径で除算することで得られる拡大縮小率scale_magni(t)を１とし、拡大縮小率scale_magni(t)を状態管理部１２に出力すると共に、拡大縮小率scale_magni(t)を当該球型オブジェクト３が表示されるときの映像の大きさとして、当該球型オブジェクト３に設定する。

拡大縮小部１３は、状態管理部１２から、拡大、拡大停止、縮小または縮小停止を示す制御信号を入力する。

拡大縮小部１３は、拡大を示す制御信号を入力すると、当該球型オブジェクト３のスクリーン球が拡大するように（スクリーン球の半径を時間の経過と共に徐々に大きくするために）、スクリーン球の半径を予め設定されたアイコン球の半径で除算することで、拡大縮小率scale_magni(t)を算出する。拡大縮小部１３は、拡大停止を示す制御信号を入力すると、当該球型オブジェクト３のスクリーン球の拡大が停止するように（スクリーン球の半径を大きくする処理を停止するために）、拡大縮小率scale_magni(t)の算出を停止する。これにより、拡大が停止したときの拡大縮小率scale_magni(t)は一定値となる。

拡大縮小部１３は、縮小を示す制御信号を入力すると、当該球型オブジェクト３が縮小するように（スクリーン球の半径を時間の経過と共に徐々に小さくするために）、拡大縮小率scale_magni(t)を算出する。拡大縮小部１３は、縮小停止を示す制御信号を入力すると、当該球型オブジェクト３のスクリーン球の縮小が停止するように（スクリーン球の半径を小さくする処理を停止するために）、拡大縮小率scale_magni(t)の算出を停止する。これにより、縮小が停止したときの拡大縮小率scale_magni(t)は一定値となる。

また、拡大縮小部１３は、算出した拡大縮小率scale_magni(t)を状態管理部１２に出力すると共に、拡大縮小率scale_magni(t)を当該球型オブジェクト３の大きさとして、当該球型オブジェクト３に設定する。これにより、当該球型オブジェクト３の大きさが、当該球型オブジェクト３に設定される。

マテリアル記録部１４には、アンリットマテリアル及び最前面マテリアルが記録されている。

マテリアルとは、バーチャル空間において、球面を含むＣＧ物体のレンダリング規則を定めるプログラム及び設定データ群である。アンリットマテリアルは、照明無効の場合（ライティングがない場合）の一般的なレンダリング規則を定めるプログラム等である。最前面マテリアルは、ユーザ１００の視点位置との間の距離に依存することなく常に映像を表示するために、当該映像に他の映像を上書きしないように、全ての映像のうち当該映像（本発明の実施形態では再生３６０度映像）を最前面に表示する場合のレンダリング規則を定めるプログラム等である。

マテリアル変更部１５は、初期設定として、マテリアル記録部１４からアンリットマテリアルを読み出し、アンリットマテリアルを当該球型オブジェクト３に設定する。

マテリアル変更部１５は、状態管理部１２から、アンリットマテリアルまたは最前面マテリアルを示す制御信号を入力する。

マテリアル変更部１５は、アンリットマテリアルを示す制御信号を入力すると、マテリアル記録部１４からアンリットマテリアルを読み出すことで、マテリアルをアンリットマテリアルに変更する。一方、マテリアル変更部１５は、最前面マテリアルを示す制御信号を入力すると、マテリアル記録部１４から最前面マテリアルを読み出すことで、マテリアルを最前面マテリアルに変更する。

マテリアル変更部１５は、変更したアンリットマテリアルまたは最前面マテリアルを当該球型オブジェクト３に設定する。これにより、アンリットマテリアルまたは最前面マテリアルが、当該球型オブジェクト３に設定される。

３６０度映像記録部１６には、当該球型オブジェクト３の３６０度映像が記録されている。

映像再生制御部１７は、初期設定として、３６０度映像記録部１６から３６０度映像を読み出し、３６０度映像の再生を最初から開始し、冒頭フレームにて再生を一時停止することで頭出しし、再生時刻を冒頭フレームの時刻に設定し、３６０度映像の再生状態を一時停止中とする。そして、映像再生制御部１７は、一時停止中の再生状態を状態管理部１２に出力する。この場合、状態管理部１２は、初期設定として、映像再生制御部１７から一時停止中の再生状態を入力すると、トランジションの状態を待機Ｓ１に設定する。

また、映像再生制御部１７は、３６０度映像を静止画抽出部１８に出力する。これにより、静止画抽出部１８において、３６０度映像から冒頭フレームが静止画として抽出される。

映像再生制御部１７は、状態管理部１２から、３６０度映像の開始、３６０度映像の頭出しまたは３６０度映像の終了を示す制御信号を入力する。

映像再生制御部１７は、３６０度映像の再生を示す制御信号を入力すると、冒頭フレームにて一時停止中の３６０度映像の再生を行い、３６０度映像の再生状態を再生中とする。そして、映像再生制御部１７は、再生中の再生状態を状態管理部１２に出力する。また、映像再生制御部１７は、再生された３６０度映像を再生３６０度映像として映像選択部１９に出力する。

映像再生制御部１７は、３６０度映像の頭出しを示す制御信号を入力すると、３６０度映像の再生を最初から開始し、冒頭フレームにて再生を一時停止することで頭出しし、再生時刻を冒頭フレームの時刻に設定し、３６０度映像の再生状態を一時停止中とする。そして、映像再生制御部１７は、一時停止中の再生状態を状態管理部１２に出力し、３６０度映像の冒頭フレームを再生３６０度映像の冒頭フレームとして映像選択部１９に出力する。

映像再生制御部１７は、３６０度映像の終了を示す制御信号を入力すると、再生３６０度映像を映像選択部１９に出力しないようにする。これにより、映像選択部１９は、静止画抽出部１８からの静止画のみを入力することとなる。

映像再生制御部１７は、３６０度映像の再生が完了したときに、３６０度映像の再生状態を再生完了とし、再生完了の再生状態を状態管理部１２に出力する。また、映像再生制御部１７は、３６０度映像が未再生のときに、３６０度映像の再生状態を未再生とし、未再生の再生状態を状態管理部１２に出力する。さらに、映像再生制御部１７は、現在の再生時刻等の再生状態を状態管理部１２に出力する。

静止画抽出部１８は、映像再生制御部１７から３６０度映像を入力し、３６０度映像から冒頭フレームを抽出し、冒頭フレームを静止画として映像選択部１９に出力する。静止画抽出部１８において、３６０度映像が入力されなくなったとしても、静止画の出力状態は保持される。これにより、映像選択部１９において、静止画は常に入力されている状態となる。

映像選択部１９は、静止画抽出部１８から静止画を入力し、映像再生制御部１７から再生３６０度映像を入力する。

映像選択部１９は、静止画を入力しており、再生３６０度映像（再生３６０度映像の冒頭フレーム等を含む）を入力していない場合、静止画を示す球型映像を選択して当該球型オブジェクト３に設定する。これにより、ユーザ１００から当該球型オブジェクト３を見ると、当該球型オブジェクト３はアイコン球として機能することとなる。つまり、レンダラ６により、当該球型オブジェクト３がレンダリングされることで、アイコン球に（アイコン１０１の球の内側に）静止画のサムネイルが表示される。

映像選択部１９は、静止画を入力しており、再生３６０度映像を入力している場合、再生３６０度映像を示す球型映像を選択して当該球型オブジェクト３に設定する。これにより、ユーザ１００から当該球型オブジェクト３を見ると、当該球型オブジェクト３はスクリーン球として機能することとなる。つまり、レンダラ６により、当該球型オブジェクト３がレンダリングされることで、スクリーン球に再生３６０度映像（再生された３６０度映像）が表示される。

他オブジェクト表示制御部２０は、初期設定として、当該球型オブジェクト３以外のオブジェクト（他の球型オブジェクト３及び３ＤＣＧオブジェクト４）のそれぞれについて、表示を示す表示可否情報を設定する。これにより、全ての球型オブジェクト３及び３ＤＣＧオブジェクト４のそれぞれについて、初期設定として、表示を示す表示可否情報が設定される。

他オブジェクト表示制御部２０は、状態管理部１２から、当該球型オブジェクト３以外のオブジェクト（他の球型オブジェクト３及び３ＤＣＧオブジェクト４）のそれぞれについて、表示または非表示を示す制御信号を入力する。

他オブジェクト表示制御部２０は、当該球型オブジェクト３以外のオブジェクトについての表示を示す制御信号を入力すると、表示を示す表示可否情報を、当該球型オブジェクト３以外のオブジェクトに設定する。他オブジェクト表示制御部２０は、当該球型オブジェクト３以外のオブジェクトについての非表示を示す制御信号を入力すると、非表示を示す表示可否情報を、当該球型オブジェクト３以外のオブジェクトに設定する。

（状態管理部１２の処理例）
次に、図３に示した状態管理部１２の処理について詳細に説明する。図５は、状態管理部１２の処理例を示すフローチャートである。

状態管理部１２は、映像再生制御部１７から、初期設定としての一時停止中の再生状態を入力すると、トランジションの状態ＳＳを待機Ｓ１に設定する（ステップＳ５０１）。この場合、距離算出部１０から入力したユーザ１００の視点位置と球型オブジェクト３の位置との間の距離distance(t)が、予め設定されたトランジション開始閾値dist_th_inよりも大きい（長い）ものとする。

この待機Ｓ１の状態ＳＳは、図１４（１）及び（２）、並びに図１６（１）及び（２）に示したとおり、ユーザ１００が、アイコン１０１からトランジション開始閾値dist_th_in以上離れていることを示している。

トランジションの状態ＳＳが待機Ｓ１の場合、当該球型オブジェクト３には、拡大縮小率scale_magni(t)＝１．０である当該球型オブジェクト３の大きさ、静止画を示す球型映像、アンリットマテリアル、表示を示す表示可否情報等が設定される。その他の球型オブジェクト３も同様である。また、３ＤＣＧオブジェクト４には、表示を示す表示可否情報等が設定される。

ここで、レンダラ６は、カメラオブジェクト５に設定されたユーザ１００の位置及び視点の方向に基づき、バーチャルカメラが撮影している範囲内の球型オブジェクト３等を特定する。そして、レンダラ６は、特定された球型オブジェクト３について、球面の内側に静止画を張り付け、カリングにより球面の外側を対象外とし内側のみを対象として、ユーザ１００の視点位置及び視線方向にてレンダリングすることで、ユーザ１００の視点から見た（アイコン球の内側に静止画を張り付けた）アイコン球のサムネイルであるアイコン１０１の映像を生成する。

また、レンダラ６は、バーチャルカメラが撮影している範囲内の３ＤＣＧオブジェクト４等を含む３ＤＣＧモデルオブジェクトをレンダリングすることで、３ＤＣＧモデル映像を生成する。そして、レンダラ６は、アイコン球のサムネイルであるアイコン１０１の映像及び３ＤＣＧモデル映像を結合することで表示映像を生成して表示装置７に出力する。

これにより、図１４（１）及び（２）、並びに図１６（１）及び（２）に示したように、サムネイルのアイコン１０１を含む３ＤＣＧモデル映像が表示される。

状態管理部１２は、距離算出部１０から入力したユーザ１００の視点位置と球型オブジェクト３の位置との間の距離distance(t)が、予め設定されたトランジション開始閾値dist_th_inよりも小さい（短い）か否かを判定する（ステップＳ５０２、distance(t)＜dist_th_in）。

状態管理部１２は、ステップＳ５０２において、距離distance(t)がトランジション開始閾値dist_th_inよりも小さくないと判定した場合（ステップＳ５０２：Ｎ）、一定時間経過後（ｔ←ｔ＋１）に（ステップＳ５０３）、ステップＳ５０２へ移行する。

状態管理部１２は、ステップＳ５０２において、距離distance(t)がトランジション開始閾値dist_th_inよりも小さいと判定した場合（ステップＳ５０２：Ｙ）、トランジションの状態ＳＳを拡大中Ｓ２に設定し（ステップＳ５０４）、拡大中処理を行う（ステップＳ５０５）。これにより、トランジションが開始し、スクリーン球の拡大が開始する。スクリーン球は、アイコン球と同じサイズから徐々に大きくなる。つまり、３ＤＣＧモデル映像の世界から３６０度映像の世界へ移行したときの見た目の連続性を実現することができる。

この拡大中Ｓ２の状態ＳＳにおいては、図１４（３）、図１５（４）及び（５）、図１７（３）及び（４）、並びに図１８（５）に示したとおり、ユーザ１００は、アイコン１０１からトランジション開始閾値dist_th_inよりも近くにいる。後述する拡大済みＳ３、縮小中Ｓ４及び縮小済みＳ５の状態ＳＳにおいても、ユーザ１００は、アイコン１０１からトランジション開始閾値dist_th_inよりも近くにいる。

図６は、拡大中処理（ステップＳ５０５）の例を示すフローチャートである。状態管理部１２は、図５に示したステップＳ５０４からステップＳ５０５へ移行すると、拡大中処理において、３６０度映像の開始を示す制御信号を生成し、当該制御信号を映像再生制御部１７に出力する（ステップＳ６０１）。

これにより、映像再生制御部１７において、冒頭フレームにて一時停止中の３６０度映像が再生され、映像選択部１９により、再生３６０度映像を示す球型映像が当該球型オブジェクト３に設定される。

状態管理部１２は、最前面マテリアルを示す制御信号を生成し、当該制御信号をマテリアル変更部１５に出力する（ステップＳ６０２）。

これにより、マテリアル変更部１５において、アンリットマテリアルから最前面マテリアルに変更され、最前面マテリアルが当該球型オブジェクト３に設定される。

状態管理部１２は、拡大を示す制御信号を生成し、当該制御信号を拡大縮小部１３に出力する（ステップＳ６０３）。

これにより、拡大縮小部１３において、当該球型オブジェクト３のスクリーン球の半径が時間の経過と共に徐々に大きくなるように、拡大縮小率scale_magni(t)が算出され、当該球型オブジェクト３の大きさとして当該球型オブジェクト３に設定される。

状態管理部１２は、他のオブジェクトである当該球型オブジェクト３以外のオブジェクト（他の球型オブジェクト３及び３ＤＣＧオブジェクト４）のそれぞれについて、非表示を示す制御信号を生成し、当該制御信号を他オブジェクト表示制御部２０に出力する（ステップＳ６０４）。

これにより、他オブジェクト表示制御部２０において、非表示を示す表示可否情報が他のオブジェクトに設定される。

このように、当該球型オブジェクト３のトランジションが拡大中Ｓ２の状態ＳＳの場合に、前述のデータが当該球型オブジェクト３及び他のオブジェクトに設定される。そして、レンダラ６により、表示を示す表示可否情報が設定された当該球型オブジェクト３のみのレンダリングが行われ、図１４（３）、図１５（４）及び（５）、図１７（３）及び（４）、並びに図１８（５）に示したように、徐々に拡大される再生３６０度映像が表示装置７に表示される。

ここで、レンダラ６は、当該球型オブジェクト３について、球面の内側に再生３６０度映像を張り付け、ユーザ１００の視点位置及び視線方向にてレンダリングすることで、当該球型オブジェクト３に設定された大きさに応じて時間の経過と共に大きくなり、かつ当該球型オブジェクト３に設定された最前面マテリアルに従い最前面に表示されるスクリーン球の映像を生成する。

また、レンダラ６は、バーチャルカメラが撮影している範囲内の当該球型オブジェクト３以外の球型オブジェクト３について、非表示を示す表示可否情報が設定されているため、レンダリングを行わない。バーチャルカメラが撮影している範囲内の３ＤＣＧオブジェクト４についても同様である。

レンダラ６は、スクリーン球の映像を含み、バーチャルカメラが撮影している範囲内の当該球型オブジェクト３以外の球型オブジェクト３及び３ＤＣＧオブジェクト４の映像を含まず、当該スクリーン球の映像が最前面に表示される表示映像を生成して表示装置７に出力する。

つまり、当該球型オブジェクト３には最前面マテリアルが設定されているため、再生３６０度映像は最前面に表示され、また、３ＤＣＧオブジェクト４には非表示を示す表示可否情報が設定されているため、３ＤＣＧオブジェクト４の映像は表示されない。これにより、３ＤＣＧモデルの映像の一部が欠落したり変形したりするという欠点を補うことができる。

尚、映像再生制御部１７において、３６０度映像の再生が完了したときの動作モードとして、ループ設定、停止設定及び終了設定のうちのいずれかが予め設定される。

映像再生制御部１７は、動作モードとしてループ設定が設定されている場合、３６０度映像の再生が完了すると、再生時刻を冒頭フレームの時刻に設定し、当該３６０度映像の冒頭フレームから再生を継続し、再生３６０度映像を継続して映像選択部１９に出力する。これにより、再生３６０度映像の冒頭フレームに戻ってレンダリングされ、表示装置７に表示される。

また、映像再生制御部１７は、動作モードが停止設定に設定されている場合、３６０度映像の再生が完了すると、最終フレームにて一時停止し、再生３６０度映像の最終フレームを映像選択部１９に出力する。これにより、再生３６０度映像の最終フレームがレンダリングされ、表示装置７に表示される。

また、映像再生制御部１７は、動作モードが終了設定に設定されている場合、３６０度映像の再生が完了すると、再生完了の再生状態を状態管理部１２に出力する。状態管理部１２は、映像再生制御部１７から再生完了の再生状態を入力すると、後述するステップＳ５１０，Ｓ５１１の処理を行うことなく、後述するステップＳ５１２へ移行し、トランジションの状態ＳＳを縮小中Ｓ４に設定する。これらの処理は、状態ＳＳが拡大済みＳ３のときも同様である。

図５に戻って、状態管理部１２は、ステップＳ５０５の拡大中処理から移行して、拡大縮小部１３から入力した拡大縮小率scale_magni(t)が予め設定された拡大完了閾値max_scale_magni以上であるか否かを判定する（ステップＳ５０６、scale_magni(t)≧max_scale_magni）。

状態管理部１２は、ステップＳ５０６において、拡大縮小率scale_magni(t)が拡大完了閾値max_scale_magniよりも小さいと判定した場合（ステップＳ５０６：Ｎ）、一定時間経過後（ｔ←ｔ＋１）に（ステップＳ５０７）、ステップＳ５０６へ移行する。

状態管理部１２は、ステップＳ５０６において、拡大縮小率scale_magni(t)が拡大完了閾値max_scale_magni以上であると判定した場合（ステップＳ５０６：Ｙ）、トランジションの状態ＳＳを拡大済みＳ３に設定し（ステップＳ５０８）、拡大済み処理を行う（ステップＳ５０９）。これにより、スクリーン球の拡大が終了する。

図７は、拡大済み処理（ステップＳ５０９）の例を示すフローチャートである。状態管理部１２は、図５に示したステップＳ５０８からステップＳ５０９へ移行すると、拡大済み処理において、拡大停止を示す制御信号を生成し、当該制御信号を拡大縮小部１３に出力する（ステップＳ７０１）。

これにより、拡大縮小部１３において、当該球型オブジェクト３のスクリーン球の半径が時間の経過と共に徐々に大きくなる処理が停止され、拡大縮小率scale_magni(t)が一定値となる。そして、この一定値である拡大縮小率scale_magni(t)が当該球型オブジェクト３の大きさとして当該球型オブジェクト３に設定される。

このように、当該球型オブジェクト３のトランジションが拡大済みＳ３の状態ＳＳの場合に、一定値の拡大縮小率scale_magni(t)が当該球型オブジェクト３の大きさとして当該球型オブジェクト３に設定されるため、レンダラ６により、拡大済みの再生３６０度映像が表示装置７に表示される。

ここで、レンダラ６は、当該球型オブジェクト３について、球面の内側に再生３６０度映像を張り付け、ユーザ１００の視点位置及び視線方向にてレンダリングすることで、当該球型オブジェクト３に設定された一定値の大きさであり、かつ当該球型オブジェクト３に設定された最前面マテリアルに従い最前面に表示されるスクリーン球の映像を生成する。

また、レンダラ６は、バーチャルカメラが撮影している範囲内の当該球型オブジェクト３以外の球型オブジェクト３について、非表示を示す表示可否情報が設定されているため、レンダリングを行わない。バーチャルカメラが撮影している範囲内の３ＤＣＧオブジェクト４についても同様である。

レンダラ６は、拡大が完了したスクリーン球の映像を含み、バーチャルカメラが撮影している範囲内の当該球型オブジェクト３以外の球型オブジェクト３及び３ＤＣＧオブジェクト４の映像を含まず、当該スクリーン球の映像が最前面に表示される表示映像を生成して表示装置７に出力する。

つまり、拡大中Ｓ２の状態ＳＳの場合と同様に、当該球型オブジェクト３には最前面マテリアルが設定されているため、再生３６０度映像は最前面に表示され、また、３ＤＣＧオブジェクト４には非表示を示す表示可否情報が設定されているため、３ＤＣＧオブジェクト４の映像は表示されない。これにより、３ＤＣＧモデルの映像の一部が欠落したり変形したりするという欠点を補うことができる。

図５に戻って、状態管理部１２は、ステップＳ５０９の拡大済み処理から移行して、キー入力部１１からキー制御信号が入力されたか否かを判定する（ステップＳ５１０）。このキー制御信号は、ユーザ１００がコントローラを用いて、状態ＳＳを拡大済みＳ３から縮小中Ｓ４へ遷移させるためのキー操作を行ったときに、キー入力部１１から出力される信号である。

状態管理部１２は、ステップＳ５１０において、キー制御信号を入力していないと判定した場合（ステップＳ５１０：Ｎ）、一定時間経過後（ｔ←ｔ＋１）に（ステップＳ５１１）、ステップＳ５１０へ移行する。

状態管理部１２は、ステップＳ５１０において、キー制御信号を入力したと判定した場合（ステップＳ５１０：Ｙ）、トランジションの状態ＳＳを縮小中Ｓ４に設定し（ステップＳ５１２）、縮小中処理を行う（ステップＳ５１３）。これにより、スクリーン球の縮小が開始する。

図８は、縮小中処理（ステップＳ５１３）の例を示すフローチャートである。状態管理部１２は、図５に示したステップＳ５１２からステップＳ５１３へ移行すると、縮小中処理において、３６０度映像の頭出しを示す制御信号を生成し、当該制御信号を映像再生制御部１７に出力する（ステップＳ８０１）。

これにより、映像再生制御部１７において、３６０度映像の再生が最初から開始され、冒頭フレームで一時停止して頭出しが行われ、映像選択部１９により、再生３６０度映像の冒頭フレームの球型映像が当該球型オブジェクト３に設定される。

状態管理部１２は、縮小を示す制御信号を生成し、当該制御信号を拡大縮小部１３に出力する（ステップＳ８０２）。

これにより、拡大縮小部１３において、当該球型オブジェクト３のスクリーン球の半径が時間の経過と共に徐々に小さくなるように、拡大縮小率scale_magni(t)が算出され、当該球型オブジェクト３の大きさとして当該球型オブジェクト３に設定される。

状態管理部１２は、他のオブジェクトである当該球型オブジェクト３以外のオブジェクト（他の球型オブジェクト３及び３ＤＣＧオブジェクト４）のそれぞれについて、表示を示す制御信号を生成し、当該制御信号を他オブジェクト表示制御部２０に出力する（ステップＳ８０３）。

これにより、他オブジェクト表示制御部２０において、表示を示す表示可否情報が他のオブジェクトに設定される。

このように、当該球型オブジェクト３のトランジションが縮小中Ｓ４の状態ＳＳの場合に、前述のデータが当該球型オブジェクト３及び他のオブジェクトに設定される。そして、カメラオブジェクト５に設定されたユーザ１００の視点位置及び視線方向により特定される、バーチャルカメラが撮影している範囲内の当該球型オブジェクト３及び他のオブジェクトについて、レンダラ６によりレンダリングが行われ、徐々に縮小する再生３６０度映像の冒頭フレームが表示装置７に表示されると共に、他のオブジェクトの映像が表示装置７に再表示される。

ここで、レンダラ６は、当該球型オブジェクト３について、球面の内側に再生３６０度映像の冒頭フレームを張り付け、ユーザ１００の視点位置及び視線方向にてレンダリングすることで、当該球型オブジェクト３に設定された大きさに応じて時間の経過と共に小さくなり、かつ当該球型オブジェクト３に設定された最前面マテリアルに従い最前面に表示されるスクリーン球の映像を生成する。

また、レンダラ６は、バーチャルカメラが撮影している範囲内の当該球型オブジェクト３以外の球型オブジェクト３について、表示を示す表示可否情報が設定されているため、レンダリングを行い、球型オブジェクト３の映像を生成する。レンダラ６は、バーチャルカメラが撮影している範囲内の３ＤＣＧオブジェクト４についても同様の処理を行い、３ＤＣＧオブジェクト４の映像を生成する。

レンダラ６は、スクリーン球の映像を含み、バーチャルカメラが撮影している範囲内の当該球型オブジェクト３以外の球型オブジェクト３の映像及び３ＤＣＧオブジェクト４の映像を含み、当該スクリーン球の映像が最前面に表示される表示映像を生成して表示装置７に出力する。つまり、拡大中Ｓ２及び拡大済みＳ３の状態ＳＳの場合と同様に、当該球型オブジェクト３には最前面マテリアルが設定されているため、再生３６０度映像は最前面に表示される。

図５に戻って、状態管理部１２は、ステップＳ５１３の縮小中処理から移行して、拡大縮小部１３から入力した拡大縮小率scale_magni(t)が予め設定された値１．０よりも小さいか否かを判定する（ステップＳ５１４、scale_magni(t)＜１．０）。

尚、予め設定された値１．０の代わりに、値１．０以外の予め設定された縮小完了閾値min_scale_magniを用いるようにしてもよい。この場合、状態管理部１２は、ステップＳ５１４において、拡大縮小率scale_magni(t)が予め設定された縮小完了閾値min_scale_magniよりも小さいか否かを判定する。

状態管理部１２は、ステップＳ５１４において、拡大縮小率scale_magni(t)が１．０よりも小さくないと判定した場合（ステップＳ５１４：Ｎ）、一定時間経過後（ｔ←ｔ＋１）に（ステップＳ５１５）、ステップＳ５１４へ移行する。

状態管理部１２は、ステップＳ５１４において、拡大縮小率scale_magni(t)が１．０よりも小さいと判定した場合（ステップＳ５１４：Ｙ）、トランジションの状態ＳＳを縮小済みＳ５に設定し（ステップＳ５１６）、縮小済み処理を行う（ステップＳ５１７）。これにより、スクリーン球の縮小が完了し、トランジションの状態ＳＳが待機Ｓ１のときのアイコン球とほぼ同じ大きさとなる。つまり、３６０度映像の世界から３ＤＣＧモデル映像の世界へ移行したときの見た目の連続性を実現することができる。

図９は、縮小済み処理（ステップＳ５１７）の例を示すフローチャートである。状態管理部１２は、図５に示したステップＳ５１６からステップＳ５１７へ移行すると、縮小済み処理において、縮小停止を示す制御信号を生成し、当該制御信号を拡大縮小部１３に出力する（ステップＳ９０１）。

これにより、拡大縮小部１３において、当該球型オブジェクト３のスクリーン球の半径が時間の経過と共に徐々に小さくなる処理が停止され、拡大縮小率scale_magni(t)が１．０よりも小さい値にて一定値となる。そして、この１．０よりも小さい一定値である拡大縮小率scale_magni(t)が当該球型オブジェクト３の大きさとして当該球型オブジェクト３に設定される。

状態管理部１２は、３６０度映像の終了を示す制御信号を生成し、当該制御信号を映像再生制御部１７に出力する（ステップＳ９０２）。

これにより、映像再生制御部１７において、再生３６０度映像の冒頭フレームの出力が停止され（出力がなくなり）、映像選択部１９により、サムネイルの球型映像が当該球型オブジェクト３に設定される。

状態管理部１２は、アンリットマテリアルを示す制御信号を生成し、当該制御信号をマテリアル変更部１５に出力する（ステップＳ９０３）。

これにより、マテリアル変更部１５において、最前面マテリアルからアンリットマテリアルに変更され、最前面マテリアルの適用が解除されたアンリットマテリアルが当該球型オブジェクト３に設定される。

このように、当該球型オブジェクト３のトランジションが縮小済みＳ５の状態ＳＳの場合に、表示装置７には、徐々に縮小するスクリーン球における再生３６０度映像の冒頭フレームの表示から抜けて、スクリーン球の半径がアイコン球よりも小さくなると、スクリーン球からアイコン球に代わり、サムネイルが表示される。

ここで、レンダラ６は、カメラオブジェクト５に設定されたユーザ１００の位置及び視点の方向に基づき、バーチャルカメラが撮影している範囲内の当該球型オブジェクト３等を、カリングによりレンダリングすることで、ユーザ１００の視点から見たアイコン球の内側に静止画を張り付けたアイコン１０１の映像（サムネイルの球型映像）を生成する。

また、レンダラ６は、バーチャルカメラが撮影している範囲内の３ＤＣＧオブジェクト４等を含む３ＤＣＧモデルオブジェクトをレンダリングすることで、３ＤＣＧモデル映像を生成する。そして、レンダラ６は、アイコン１０１の映像及び３ＤＣＧモデル映像を結合することで表示映像を生成し、表示映像を表示装置７に出力する。

図５に戻って、状態管理部１２は、ステップＳ５１７の縮小済み処理から移行して、距離算出部１０から入力した距離distance(t)が、予め設定されたトランジション完了閾値dist_th_outよりも大きい（長い）か否かを判定する（ステップＳ５１８、distance(t)＞dist_th_out）。

状態管理部１２は、ステップＳ５１８において、距離distance(t)がトランジション完了閾値dist_th_outよりも大きくないと判定した場合（ステップＳ５１８：Ｎ）、一定時間経過後（ｔ←ｔ＋１）に（ステップＳ５１９）、ステップＳ５１８へ移行する。

状態管理部１２は、ステップＳ５１８において、距離distance(t)がトランジション完了閾値dist_th_outよりも大きいと判定した場合（ステップＳ５１８：Ｙ）、ステップＳ５０１へ移行し、トランジションの状態ＳＳを待機Ｓ１に設定する。これにより、トランジションが終了する。

以上のように、本発明の実施形態の映像表示処理装置１によれば、状態管理部１２は、当該球型オブジェクト３のトランジションの状態ＳＳ（待機Ｓ１、拡大中Ｓ２、拡大済みＳ３、縮小中Ｓ４及び縮小済みＳ５）を管理し、トランジションの状態ＳＳに応じた制御信号を生成して拡大縮小部１３、マテリアル変更部１５、映像再生制御部１７及び他オブジェクト表示制御部２０に出力する。

具体的には、状態管理部１２は、距離distance(t)がトランジション開始閾値dist_th_inよりも小さくないと判定した場合、ユーザ１００がアイコン１０１の球内に入っていないと判断し、トランジションの状態ＳＳを待機Ｓ１に保持する。

この場合、当該球型オブジェクト３には、初期設定として、大きさである拡大縮小率scale_magni(t)＝１、静止画を示す球型映像及びアンリットマテリアル等が設定され、他のオブジェクトには、表示を示す表示可否情報等が設定される。

これにより、サムネイルのアイコン１０１を含む３ＤＣＧモデル映像が表示される。また、アイコン１０１には、ユーザ１００の視点から見たアイコン球の内側に３６０度映像の冒頭フレームの一部がサムネイルとして張り付けられているため、ユーザ１００がアイコン１０１に近づけば近づくほど、ユーザ１００から見たアイコン１０１の表示と、外界の３ＤＣＧモデル映像の表示とが幾何学的に一致することとなる。

また、状態管理部１２は、距離distance(t)がトランジション開始閾値dist_th_inよりも小さいと判定した場合、ユーザ１００がアイコン１０１の球内に入ったと判断し、トランジションの状態ＳＳを待機Ｓ１から拡大中Ｓ２へ遷移させる。そして、状態管理部１２は、３６０度映像の開始を示す制御信号、最前面マテリアルを示す制御信号、拡大を示す制御信号及び他のオブジェクトの非表示を示す制御信号を生成して出力する。

この場合、当該球型オブジェクト３には、徐々に大きくなる拡大縮小率scale_magni(t)が大きさとして設定されると共に、再生３６０度映像を示す球型映像及び最前面マテリアル等が設定され、他のオブジェクトには、非表示を示す表示可否情報等が設定される。

これにより、当該球型オブジェクト３には最前面マテリアルが設定されているため、再生３６０度映像は最前面に表示され、また、他の球型オブジェクト３及び３ＤＣＧオブジェクト４には非表示を示す表示可否情報が設定されているため、他の球型オブジェクト３及び３ＤＣＧオブジェクト４の映像は表示されない。これにより、３ＤＣＧモデルの映像の一部が欠落したり変形したりするという欠点を補うことができる。

また、状態管理部１２は、拡大縮小率scale_magni(t)が拡大完了閾値max_scale_magni以上であると判定した場合、スクリーン球の拡大が完了したと判断し、トランジションの状態ＳＳを拡大中Ｓ２から拡大済みＳ３へ遷移させる。そして、状態管理部１２は、拡大停止を示す制御信号を生成して出力する。

これにより、再生３６０度映像の拡大が完了し、拡大中Ｓ２へ遷移した場合と同様に、３ＤＣＧモデルの映像の一部が欠落したり変形したりするという欠点を補うことができる。

また、状態管理部１２は、ユーザ１００のキー操作があり、キー制御信号を入力したと判定した場合、トランジションの状態ＳＳを拡大済みＳ３から縮小中Ｓ４へ遷移させる。そして、状態管理部１２は、３６０度映像の頭出しを示す制御信号、縮小を示す制御信号及び他のオブジェクトの表示を示す制御信号を生成して出力する。

この場合、当該球型オブジェクト３には、徐々に小さくなる拡大縮小率scale_magni(t)が大きさとして設定されると共に、再生３６０度映像の冒頭フレームの球型映像等が設定され、他のオブジェクトには、表示を示す表示可否情報等が設定される。

これにより、当該球型オブジェクト３の再生３６０度映像の冒頭フレームが徐々に小さくなるように表示されると共に、他のオブジェクトの映像も表示される。また、拡大中Ｓ２及び拡大済みＳ３の場合と同様に、当該球型オブジェクト３には最前面マテリアルが設定されているため、再生３６０度映像は最前面に表示され、他のオブジェクト及び３６０度映像が重複することがない。

また、状態管理部１２は、拡大縮小率scale_magni(t)が１．０よりも小さいと判定した場合、スクリーン球の縮小が完了したと判断し、トランジションの状態ＳＳを縮小中Ｓ４から縮小済みＳ５へ遷移させる。そして、状態管理部１２は、縮小停止を示す制御信号、３６０度映像の終了を示す制御信号及びアンリットマテリアルを示す制御信号を生成して出力する。

この場合、当該球型オブジェクト３には、１．０よりも小さい値のscale_magni(t)が大きさとして設定されると共に、静止画を示す球型映像及びアンリットマテリアル等が設定される。

これにより、スクリーン球からアイコン球に代わり、サムネイルが表示される。また、当該球型オブジェクト３にはアンリットマテリアルが設定されているため、ユーザ１００の視点からの距離に応じて、サムネイル及び他のオブジェクトの映像が表示される。

また、状態管理部１２は、距離distance(t)がトランジション完了閾値dist_th_outよりも大きいと判定した場合、ユーザ１００がアイコン１０１の球内から出たと判断し、トランジションの状態ＳＳを縮小済みＳ５から待機Ｓ１へ遷移させる。

このように、３ＤＣＧモデル映像の世界において、３６０度映像の撮影位置に、３６０度映像の球を配置し、ユーザ１００の視点から見たアイコン球の内側に３６０度映像の冒頭フレームの一部がサムネイルとして張り付けられるため、アイコン球に近づくことで、６ＤｏＦの世界及び３ＤｏＦの世界の見た目が幾何学的に一致することとなる。

トランジションの状態ＳＳが拡大中Ｓ２のときに、視界の全てが、スクリーン球に徐々に覆われるようになるため、３ＤＣＧモデル映像及び３６０度映像の重複、並びに３ＤＣＧモデル映像の欠落の心配はない。

そして、拡大中Ｓ２、拡大済みＳ３及び縮小中Ｓ４のときには、３６０度映像について最前面マテリアルが適用されるため、３ＤＣＧモデル映像がスクリーン球の手前に表示されることがなく、３ＤＣＧモデル映像及び３６０度映像が重複することがない。

さらに、拡大中Ｓ２及び拡大済みＳ３のときには、３ＤＣＧモデル映像について非表示を示す表示可否情報が設定されており、縮小中Ｓ４、縮小済みＳ５及び待機Ｓ１のときに、３ＤＣＧモデル映像について表示を示す表示可否情報が設定されているため、縮小中のスクリーン球以外及び縮小完了後のアイコン球以外の個所に３ＤＣＧモデル映像が表示されることとなり、３ＤＣＧモデル映像が見えなくなるという不安が解消される。

また、ユーザ１００がアイコン１０１に近づくと、アイコン球の内部の見た目（サムネイル）が、その後ろの３ＤＣＧモデル映像と幾何学的に重なってくる。また、拡大中Ｓ２へ遷移してトランジションが開始すると、３６０度映像のサムネイルの代わりに連続的な動画が表示されるようになる。また、トランジションの状態ＳＳは、連続的に待機Ｓ１、拡大中Ｓ２、拡大済みＳ３、縮小中Ｓ４及び縮小済みＳ５へ遷移するため、見た目の連続性を実現することができる。縮小済みＳ５へ遷移したときも、ユーザ１００はアイコン１０１の近くに存在すると考えられるため、ユーザ１００は、見た目において３６０度映像の世界から３ＤＣＧモデル映像の世界へ戻ることができる。

また、アイコン１０１を、非現実的な球状をした直感的なデザインの物体として中空に存在させることで、ユーザ１００は、何らかのインタラクションを期待するアフォーダンスを持つことができる。また、３６０度映像の冒頭フレームをアイコンのサムネイルとして用いるようにしたため、ユーザ１００は、その映像の内容を容易に認識することができる。

したがって、フォトグラメトリーによる３ＤＣＧモデルの映像及び３６０度映像を相補的に提示することで、３ＤＣＧモデルの映像の一部が欠落等するという欠点を補うことができる。また、両映像を幾何学的に一致させ、見た目の連続性を実現することができる。

〔トランジション機能部２の他の例／第１の変形例〕
次に、図３に示したトランジション機能部２の他の例（第１の変形例）について説明する。図１０は、トランジション機能部２の構成例における第１の変形例を示すブロック図である。

このトランジション機能部２’は、距離算出部１０、キー入力部１１、状態管理部１２、拡大縮小部１３’、マテリアル記録部１４、マテリアル変更部１５、３６０度映像記録部１６、映像再生制御部１７、静止画抽出部１８、映像選択部１９、他オブジェクト表示制御部２０、音声記録部２１及び音声選択部２２を備えている。

図３に示したトランジション機能部２とこのトランジション機能部２’とを比較すると、両トランジション機能部２，２’は、距離算出部１０、キー入力部１１、状態管理部１２、マテリアル記録部１４、マテリアル変更部１５、３６０度映像記録部１６、映像再生制御部１７、静止画抽出部１８、映像選択部１９及び他オブジェクト表示制御部２０を備えている点で共通する。

これに対し、トランジション機能部２’は、トランジション機能部２に備えた拡大縮小部１３とは異なる拡大縮小部１３’を備え、さらに、音声記録部２１及び音声選択部２２を備えている点でトランジション機能部２と相違する。図１０において、図３と共通する部分には図３と同一の符号を付し、その詳しい説明は省略する。

拡大縮小部１３’は、図３に示した拡大縮小部１３と同様の処理を行い、さらに、拡大縮小率scale_magni(t)を当該球型オブジェクト３の大きさとして、音声選択部２２に出力する。

音声選択部２２は、拡大縮小部１３’から、当該球型オブジェクト３の大きさである拡大縮小率scale_magni(t)を入力する。

音声選択部２２は、一定値を継続していた拡大縮小率scale_magni(t)が当該一定値よりも大きい値に変化した場合、スクリーン球の拡大が開始したと判断し（トランジションの状態ＳＳが待機Ｓ１から拡大中Ｓ２へ遷移したと判断し）、音声記録部２１から拡大開始時の効果音（ＳＥ：Sound Effect）を読み出すことで、拡大開始時の効果音を選択し、当該効果音を示す音声情報を当該球型オブジェクト３に設定する。

また、音声選択部２２は、一定値を継続していた拡大縮小率scale_magni(t)が当該一定値よりも小さい値に変化した場合、スクリーン球の縮小が開始したと判断し（トランジションの状態ＳＳが拡大済みＳ３から縮小中Ｓ４へ遷移したと判断し）、音声記録部２１から縮小開始時の効果音を読み出すことで、縮小開始時の効果音を選択し、当該効果音を示す音声情報を当該球型オブジェクト３に設定する。

音声記録部２１には、スクリーン球の拡大が開始したときの（拡大開始時の）効果音、及びスクリーン球の縮小が開始したときの（縮小開始時の）効果音が記録されている。

この場合、レンダラ６は、球型オブジェクト３に設定された音声情報に従って、当該音声情報の示す効果音を再生する。

以上のように、本発明の実施形態の映像表示処理装置１によれば、トランジション機能部２’の音声選択部２２は、トランジションの状態ＳＳが待機Ｓ１から拡大中Ｓ２へ遷移したときに、スクリーン球の拡大が開始したことを示す効果音を選択し、当該効果音を示す音声情報を当該球型オブジェクト３に設定する。また、音声選択部２２は、トランジションの状態ＳＳが拡大済みＳ３から縮小中Ｓ４へ遷移したときに、スクリーン球の縮小が開始したことを示す効果音を選択し、当該効果音を示す音声情報を当該球型オブジェクト３に設定する。これにより、レンダラ６がこの効果音を再生することで、ユーザ１００は、スクリーン球の変化を効果音により認識することができる。

このように、図３に示したトランジション機能部２と同様に、フォトグラメトリーによる３ＤＣＧモデルの映像及び３６０度映像を相補的に提示することで、３ＤＣＧモデルの映像の一部が欠落等するという欠点を補い、かつ、両映像を幾何学的に一致させ、見た目の連続性を実現することができる。さらに、３６０度映像のスクリーン球の拡大中及び縮小中における一瞬歪むような見た目の違和感を、効果音により低減することができる。

尚、音声記録部２１には、スクリーン球の拡大開始時の効果音、及びスクリーン球の縮小開始時の効果音が記録されるようにしたが、これ以外のときの効果音（無音を含む）も記録されるようにしてもよい。例えば、音声記録部２１には、トランジションの状態ＳＳが遷移する毎の異なる効果音が記録されているようにしてもよい。また、音声記録部２１には、トランジションの状態ＳＳ毎の異なる効果音が記録されているようにしてもよい。この場合、音声選択部２２は、トランジションの状態ＳＳの遷移または状態ＳＳを判断すると、音声記録部２１から状態ＳＳの遷移または状態ＳＳに対応する効果音を読み出すことで、効果音を選択し、当該効果音の音声情報を当該球型オブジェクト３に設定する。これにより、ユーザ１００は、トランジションの状態ＳＳの遷移または状態ＳＳ自体を効果音により認識することができる。

〔トランジション機能部２の他の例／第２の変形例〕
次に、図３に示したトランジション機能部２の他の例（第２の変形例）について説明する。図１１は、トランジション機能部２の構成例における第２の変形例を示すブロック図である。

このトランジション機能部２”は、距離算出部１０、キー入力部１１、状態管理部１２’、拡大縮小部１３’、マテリアル記録部１４、マテリアル変更部１５、３６０度映像記録部１６、映像再生制御部１７、静止画抽出部１８、映像選択部１９、他オブジェクト表示制御部２０、音声記録部２１、音声選択部２２及び運動部２３を備えている。

図１０に示したトランジション機能部２’とこのトランジション機能部２”とを比較すると、両トランジション機能部２’，２”は、距離算出部１０、キー入力部１１、拡大縮小部１３’、マテリアル記録部１４、マテリアル変更部１５、３６０度映像記録部１６、映像再生制御部１７、静止画抽出部１８、映像選択部１９、他オブジェクト表示制御部２０、音声記録部２１及び音声選択部２２を備えている点で共通する。

これに対し、トランジション機能部２”は、トランジション機能部２’に備えた状態管理部１２とは異なる状態管理部１２’を備え、さらに、運動部２３を備えている点でトランジション機能部２’と相違する。図１１において、図１０と共通する部分には図１０と同一の符号を付し、その詳しい説明は省略する。

状態管理部１２’は、図３及び図１０に示した状態管理部１２と同様の処理を行い、さらに、トランジションの状態ＳＳが待機Ｓ１のときに、動作を示す制御信号を生成し、当該制御信号を運動部２３に出力する。また、状態管理部１２’は、トランジションの状態ＳＳが待機Ｓ１以外のときに、停止を示す制御信号を生成し、当該制御信号を運動部２３に出力する。

運動部２３は、状態管理部１２’から、動作または停止を示す制御信号を入力する。運動部２３は、動作を示す制御信号を入力すると、動作を示す運動情報を当該球型オブジェクト３に設定し、停止を示す制御信号を入力すると、停止を示す運動情報を当該球型オブジェクト３に設定する。

この場合、レンダラ６は、球型オブジェクト３をレンダリングする際に、当該球型オブジェクト３に設定された運動情報が動作を示している場合、当該球型オブジェクト３のアイコン１０１（アイコン球）が所定速度にて上下等にゆっくりと移動するように、アイコン球の映像を含む表示映像を生成し、表示装置７に出力する。

また、レンダラ６は、球型オブジェクト３に設定された運動情報が停止である場合、当該球型オブジェクト３のアイコン１０１が上下等に移動する動作を停止した（停止している）アイコン球の映像を含む表示映像を生成し、表示装置７に出力する。

以上のように、本発明の実施形態の映像表示処理装置１によれば、トランジション機能部２”の運動部２３は、トランジションの状態ＳＳが待機Ｓ１のときに、アイコン１０１を上下等に移動させる動作の運動情報を当該球型オブジェクト３に設定し、トランジションの状態ＳＳが待機Ｓ１以外のときに、アイコン１０１の移動を停止させる停止の運動情報を当該球型オブジェクト３に設定する。これにより、ユーザ１００は、トランジションの状態ＳＳが待機Ｓ１のときのバーチャル空間において、アイコン１０１が存在している位置を容易に認識することができる。

したがって、図１０に示したトランジション機能部２’と同様の効果に加え、３ＤＣＧモデル映像の世界において、アイコン１０１がどこに存在しているか、また、どのような３６０度映像が存在しているかを容易に認識することができる。

以上、実施形態を挙げて本発明を説明したが、本発明は前記実施形態に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。

例えば図１１に示した第２の変形例のトランジション機能部２”は、音声記録部２１、音声選択部２２及び運動部２３を備えているが、第３の変形例のトランジション機能部２は、音声記録部２１及び音声選択部２２を備えておらず、運動部２３を備えるようにしてもよい。この場合、第３の変形例のトランジション機能部２は、距離算出部１０、キー入力部１１、状態管理部１２’、拡大縮小部１３、マテリアル記録部１４、マテリアル変更部１５、３６０度映像記録部１６、映像再生制御部１７、静止画抽出部１８、映像選択部１９、他オブジェクト表示制御部２０及び運動部２３を備えている。

尚、本発明の実施形態による映像表示処理装置１のハードウェア構成としては、通常のコンピュータを使用することができる。映像表示処理装置１は、ＣＰＵ、ＲＡＭ等の揮発性の記憶媒体、ＲＯＭ等の不揮発性の記憶媒体、及びインターフェース等を備えたコンピュータによって構成される。

映像表示処理装置１に備えたトランジション機能部２－１，２－２，・・・，２－Ｎ、球型オブジェクト３－１，３－２，・・・，３－Ｎ、３ＤＣＧオブジェクト４－１，４－２，・・・，４－Ｍ等からなる３ＤＣＧモデルオブジェクト、カメラオブジェクト５、レンダラ６の各機能は、これらの機能を記述したプログラムをＣＰＵに実行させることによりそれぞれ実現される。

この場合のトランジション機能部２－１，２－２，・・・，２－Ｎは、図３に示したトランジション機能部２だけでなく、図１０に示した第１の変形例のトランジション機能部２’または図１１に示した第２の変形例のトランジション機能部２”であってもよい。

これらのプログラムは、前記記憶媒体に格納されており、ＣＰＵに読み出されて実行される。また、これらのプログラムは、磁気ディスク（フロッピー（登録商標）ディスク、ハードディスク等）、光ディスク（ＣＤ－ＲＯＭ、ＤＶＤ等）、半導体メモリ等の記憶媒体に格納して頒布することもでき、ネットワークを介して送受信することもできる。

１ 映像表示処理装置
２ トランジション機能部
３ 球型オブジェクト
４ ３ＤＣＧオブジェクト
５ カメラオブジェクト
６ レンダラ
７ 表示装置
１０ 距離算出部
１１ キー入力部
１２ 状態管理部
１３ 拡大縮小部
１４ マテリアル記録部
１５ マテリアル変更部
１６ ３６０度映像記録部
１７ 映像再生制御部
１８ 静止画抽出部
１９ 映像選択部
２０ 他オブジェクト表示制御部
２１ 音声記録部
２２ 音声選択部
２３ 運動部
１００ ユーザ
１０１ アイコン
１０２，１０３ オブジェクト
ＳＳ 状態
Ｓ１ 待機
Ｓ２ 拡大中
Ｓ３ 拡大済み
Ｓ４ 縮小中
Ｓ５ 縮小済み
distance(t) 距離
scale_magni(t) 拡大縮小率
max_scale_magni 拡大完了閾値
min_scale_magni 縮小完了閾値
dist_th_in トランジション開始閾値
dist_th_out トランジション完了閾値

Claims (10)

1. フォトグラメトリーによる複数の３ＤＣＧオブジェクトが配置されたバーチャル空間に、複数の球型オブジェクトを配置し、前記バーチャル空間内のユーザの視点位置及び視線方向に応じて、前記複数の３ＤＣＧオブジェクトのうち前記ユーザの視界に入る前記３ＤＣＧオブジェクトを含む３ＤＣＧモデル映像を表示すると共に、前記複数の球型オブジェクトのうち前記ユーザの視界に入る前記球型オブジェクトの３６０度映像をアイコンとして表示する映像表示処理装置であって、
   前記複数の球型オブジェクトのうち１つの対応する球型オブジェクトをアタッチしており、
   前記対応する球型オブジェクトのトランジションの状態を、待機Ｓ１、拡大中Ｓ２、拡大済みＳ３、縮小中Ｓ４及び縮小済みＳ５へ順次遷移させ、前記トランジションの状態に応じた所定データを当該球型オブジェクトに設定するトランジション機能部を複数備えると共に、
   前記複数のトランジション機能部のうち１つの対応するトランジション機能部にアタッチされており、前記対応するトランジション機能部により前記所定データが設定される球型オブジェクトを複数備え、さらに、
   前記複数の３ＤＣＧオブジェクトを含むオブジェクトであって、前記複数の３ＤＣＧオブジェクトのそれぞれについて所定データが設定される３ＤＣＧモデルオブジェクトと、
   前記ユーザの前記視点位置及び前記視線方向を含む所定データが設定されるカメラオブジェクトと、
   前記カメラオブジェクトに設定された前記ユーザの前記視点位置及び前記視線方向に基づいて、前記ユーザの視界に入る前記球型オブジェクト及び前記３ＤＣＧオブジェクトを特定し、特定された前記球型オブジェクトをレンダリングすると共に、特定された前記３ＤＣＧオブジェクトを含む前記３ＤＣＧモデルオブジェクトをレンダリングし、表示映像を生成して表示装置に出力するレンダラと、を備え、
   前記トランジション機能部は、
   前記ユーザが前記対応する球型オブジェクトから第１の所定距離以上離れている場合、前記トランジションの状態を前記待機Ｓ１に設定し、前記３６０度映像の静止画をサムネイルとして表示するためのデータを当該球型オブジェクトに設定し、
   前記ユーザが当該球型オブジェクトに対し、前記第１の所定距離よりも近づいた場合、前記トランジションの状態を前記待機Ｓ１から前記拡大中Ｓ２へ遷移させ、前記３６０度映像を徐々に拡大して最前面に表示するためのデータを当該球型オブジェクトに設定し、
   当該球型オブジェクトの大きさが第１の所定サイズに到達した場合、前記トランジションの状態を前記拡大中Ｓ２から前記拡大済みＳ３へ遷移させ、前記３６０度映像の拡大を停止するためのデータを当該球型オブジェクトに設定し、
   前記ユーザのキー入力があった場合、または前記３６０度映像の再生が完了した場合、前記トランジションの状態を前記拡大済みＳ３から前記縮小中Ｓ４へ遷移させ、前記３６０度映像を徐々に縮小して表示するためのデータを当該球型オブジェクトに設定し、
   当該球型オブジェクトの大きさが第２の所定サイズよりも小さくなった場合、前記トランジションの状態を前記縮小中Ｓ４から前記縮小済みＳ５へ遷移させ、前記３６０度映像の縮小を停止して最前面の表示の適用を解除するためのデータを当該球型オブジェクトに設定し、
   前記ユーザが前記対応する球型オブジェクトに対し、第２の所定距離よりも離れた場合、前記トランジションの状態を前記縮小済みＳ５から前記待機Ｓ１へ遷移させる、ことを特徴とする映像表示処理装置。
2. 請求項１に記載の映像表示処理装置において、
   前記球型オブジェクトは、
   前記複数のトランジション機能部のうち１つの対応するトランジション機能部にアタッチされており、
   前記対応する球型オブジェクトの前記３６０度映像の撮影位置を当該球型オブジェクトの配置位置とする球型オブジェクト位置、当該球型オブジェクトの映像の大きさ、当該球型オブジェクトが表示される映像を示す球型映像、当該球型オブジェクトのレンダリング規則を定めるマテリアル、及び、前記球型映像の表示または非表示を示す表示可否情報を含む前記所定データが設定され、
   前記３ＤＣＧモデルオブジェクトは、
   前記複数の３ＤＣＧオブジェクトを含むオブジェクトであって、前記複数の３ＤＣＧオブジェクトのそれぞれについて、当該３ＤＣＧオブジェクトの位置、及び、当該球型オブジェクトの映像の表示または非表示を示す表示可否情報を含む前記所定データが設定され、
   前記トランジション機能部は、
   前記ユーザが前記対応する球型オブジェクトから第１の所定距離以上離れている場合、前記トランジションの状態を前記待機Ｓ１に設定し、前記３６０度映像の冒頭フレームの静止画を示す前記球型映像を当該球型オブジェクトに設定し、
   前記ユーザが当該球型オブジェクトに対し、前記第１の所定距離よりも近づいた場合、前記トランジションの状態を前記待機Ｓ１から前記拡大中Ｓ２へ遷移させ、当該球型オブジェクトの映像を徐々に拡大させるための前記大きさ、再生された前記３６０度映像を再生３６０度映像とした場合の当該再生３６０度映像を示す前記球型映像、及び、前記再生３６０度映像が最前面に表示されることを示す最前面マテリアルを当該球型オブジェクトに設定すると共に、非表示を示す表示可否情報を、前記複数の球型オブジェクトのうち当該球型オブジェクト以外の前記球型オブジェクト及び前記複数の３ＤＣＧオブジェクトに設定し、
   当該球型オブジェクトの大きさが第１の所定サイズに到達した場合、前記トランジションの状態を前記拡大中Ｓ２から前記拡大済みＳ３へ遷移させ、当該球型オブジェクトの映像の拡大を停止させるための前記大きさを当該球型オブジェクトに設定し、
   前記ユーザのキー入力があった場合、または前記３６０度映像の再生が完了した場合、前記トランジションの状態を前記拡大済みＳ３から前記縮小中Ｓ４へ遷移させ、当該球型オブジェクトの映像を徐々に縮小させるための前記大きさを当該球型オブジェクトに設定すると共に、表示を示す表示可否情報を、前記複数の球型オブジェクトのうち当該球型オブジェクト以外の前記球型オブジェクト及び前記複数の３ＤＣＧオブジェクトに設定し、
   当該球型オブジェクトの大きさが第２の所定サイズよりも小さくなった場合、前記トランジションの状態を前記縮小中Ｓ４から前記縮小済みＳ５へ遷移させ、当該球型オブジェクトの映像の縮小を停止させるための前記大きさ、前記３６０度映像の冒頭フレームの静止画を示す前記球型映像、及び、前記最前面マテリアルの適用が解除されたアンリットマテリアルを当該球型オブジェクトに設定し、
   前記ユーザが前記対応する球型オブジェクトに対し、第２の所定距離よりも離れた場合、前記トランジションの状態を前記縮小済みＳ５から前記待機Ｓ１へ遷移させ、
   前記レンダラは、
   前記トランジションの状態が前記待機Ｓ１の場合、当該球型オブジェクトについて、球面の内側に前記静止画を張り付け、カリングにより前記球面の外側を対象外とし内側のみを対象として、前記カメラオブジェクトに設定された前記視点位置及び前記視線方向にてレンダリングすることで、前記ユーザの視点から見たアイコン球のサムネイルを生成し、前記アイコン球のサムネイルを含む前記表示映像を生成し、
   前記トランジションの状態が前記拡大中Ｓ２の場合、当該球型オブジェクトについて、前記球面の内側に前記再生３６０度映像を張り付け、前記カメラオブジェクトに設定された前記視点位置及び前記視線方向にてレンダリングすることで、前記大きさに応じて時間の経過と共に大きくなり、かつ前記最前面マテリアルに従い最前面に表示されるスクリーン球の映像を生成し、当該球型オブジェクト以外の前記球型オブジェクト及び前記複数の３ＤＣＧオブジェクトについて、前記非表示を示す表示可否情報に従ってレンダリングを行わず、前記スクリーン球の映像を含み、当該球型オブジェクト以外の前記球型オブジェクトの映像及び前記複数の３ＤＣＧオブジェクトの映像を含まず、前記スクリーン球の映像が最前面に表示される前記表示映像を生成し、
   前記トランジションの状態が前記拡大済みＳ３の場合、当該球型オブジェクトについてレンダリングすることで、前記拡大が停止し、かつ最前面に表示されるスクリーン球の映像を生成し、当該球型オブジェクト以外の前記球型オブジェクトの映像及び前記複数の３ＤＣＧオブジェクトの映像を含まず、前記スクリーン球の映像が最前面に表示される前記表示映像を生成し、
   前記トランジションの状態が前記縮小中Ｓ４の場合に、当該球型オブジェクトについて、前記球面の内側に前記再生３６０度映像の冒頭フレームを張り付け、前記カメラオブジェクトに設定された前記視点位置及び前記視線方向にてレンダリングすることで、前記大きさに応じて時間の経過と共に小さくなり、かつ最前面に表示されるスクリーン球の映像を生成し、特定された当該球型オブジェクト以外の前記球型オブジェクト及び前記複数の３ＤＣＧオブジェクトについて、前記表示を示す表示可否情報に従ってレンダリングを行い、特定された当該球型オブジェクト以外の前記球型オブジェクトの映像及び前記複数の３ＤＣＧオブジェクトの映像を含み、前記スクリーン球の映像が最前面に表示される前記表示映像を生成し、
   前記トランジションの状態が前記縮小済みＳ５の場合、当該球型オブジェクトについてレンダリングすることで、前記アイコン球のサムネイルを生成し、最前面の表示の適用が解除された前記アイコン球のサムネイルを含む前記表示映像を生成する、ことを特徴とする映像表示処理装置。
3. 請求項２に記載の映像表示処理装置において、
   前記トランジション機能部は、
   前記カメラオブジェクトに設定された前記ユーザの前記視点位置、及び当該球型オブジェクトに設定された前記球型オブジェクト位置を用いて、前記ユーザの前記視点位置と前記球型オブジェクト位置との間の距離distance(t)を算出する距離算出部と、
   前記ユーザによるキー操作に伴い、キー制御信号を出力するキー入力部と、
   前記スクリーン球の半径を予め設定された前記アイコン球の半径で除算することで、当該球型オブジェクトの映像の前記大きさとして拡大縮小率scale_magni(t)を算出する拡大縮小部と、
   前記距離算出部により算出された前記距離distance(t)が予め設定されたトランジション開始閾値dist_th_inよりも小さい場合、前記トランジションの状態を前記待機Ｓ１から前記拡大中Ｓ２へ遷移させ、
   前記拡大縮小部により算出された前記拡大縮小率scale_magni(t)が予め設定された拡大完了閾値max_scale_magni以上の場合、前記トランジションの状態を前記拡大中Ｓ２から前記拡大済みＳ３へ遷移させ、
   前記キー入力部から出力された前記キー制御信号を入力した場合、または、前記３６０度映像の再生が完了した場合、前記トランジションの状態を前記拡大済みＳ３から前記縮小中Ｓ４へ遷移させ、
   前記拡大縮小率scale_magni(t)が予め設定された縮小完了閾値min_scale_magniよりも小さい場合、前記トランジションの状態を前記縮小中Ｓ４から前記縮小済みＳ５へ遷移させ、
   前記距離distance(t)が予め設定されたトランジション完了閾値dist_th_outよりも大きい場合、前記トランジションの状態を前記縮小済みＳ５から前記待機Ｓ１へ遷移させる状態管理部と、
   を備えたことを特徴とする映像表示処理装置。
4. 請求項３に記載の映像表示処理装置において、
   前記トランジション完了閾値dist_th_outを、前記トランジション開始閾値dist_th_inよりも大きい値とする、ことを特徴とする映像表示処理装置。
5. 請求項３または４に記載の映像表示処理装置において、
   前記縮小完了閾値min_scale_magniを１．０とする、ことを特徴とする映像表示処理装置。
6. 請求項３から５までのいずれか一項に記載の映像表示処理装置において、
   前記トランジション機能部は、さらに、
   マテリアル変更部、映像再生処理部及び他オブジェクト表示制御部を備え、
   前記状態管理部は、
   前記トランジションの状態を前記待機Ｓ１から前記拡大中Ｓ２へ遷移させたときに、前記３６０度映像の開始を示す制御信号を前記映像再生処理部に、前記最前面マテリアルを示す制御信号を前記マテリアル変更部に、拡大を示す制御信号を前記拡大縮小部に、前記非表示を示す制御信号を前記他オブジェクト表示制御部にそれぞれ出力し、
   前記トランジションの状態を前記拡大中Ｓ２から前記拡大済みＳ３へ遷移させたときに、拡大停止を示す制御信号を前記拡大縮小部に出力し、
   前記トランジションの状態を前記拡大済みＳ３から前記縮小中Ｓ４へ遷移させたときに、前記３６０度映像の頭出しを示す制御信号を前記映像再生処理部に、縮小を示す制御信号を拡大縮小部に、前記表示を示す制御信号を前記他オブジェクト表示制御部にそれぞれ出力し、
   前記トランジションの状態を前記縮小中Ｓ４から前記縮小済みＳ５へ遷移させたときに、縮小停止を示す制御信号を前記拡大縮小部に、前記３６０度映像の終了を示す制御信号を前記映像再生処理部に、前記アンリットマテリアルを示す制御信号を前記マテリアル変更部にそれぞれ出力し、
   前記拡大縮小部は、
   前記状態管理部から前記拡大を示す制御信号を入力すると、当該球型オブジェクトの映像が徐々に拡大するように前記大きさを算出し、前記大きさを当該球型オブジェクトに設定し、
   前記拡大停止を示す制御信号を入力すると、当該球型オブジェクトの映像の拡大が停止するように前記大きさの算出を停止し、前記大きさを当該球型オブジェクトに設定し、
   前記縮小を示す制御信号を入力すると、当該球型オブジェクトの映像が徐々に縮小するように前記大きさを算出し、前記大きさを当該球型オブジェクトに設定し、
   前記縮小停止を示す制御信号を入力すると、当該球型オブジェクトの映像の縮小が停止するように前記大きさの算出を停止し、前記大きさを当該球型オブジェクトに設定し、
   前記マテリアル変更部は、
   前記状態管理部から前記最前面マテリアルを示す制御信号を入力すると、前記最前面マテリアルを当該球型オブジェクトに設定し、
   前記アンリットマテリアルを示す制御信号を入力すると、前記アンリットマテリアルを当該球型オブジェクトに設定し、
   前記映像再生処理部は、
   前記状態管理部から前記３６０度映像の開始を示す制御信号を入力すると、前記３６０度映像を再生し、前記再生３６０度映像を示す前記球型映像を当該球型オブジェクトに設定し、
   前記３６０度映像の頭出しを示す制御信号を入力すると、前記３６０度映像の頭出しを行い、前記再生３６０度映像の冒頭フレームを示す前記球型映像を当該球型オブジェクトに設定し、
   前記３６０度映像の終了を示す制御信号を入力すると、前記３６０度映像から冒頭フレームを抽出し、前記冒頭フレームの静止画を示す前記球型映像を当該球型オブジェクトに設定し、
   前記他オブジェクト表示制御部は、
   前記状態管理部から前記非表示を示す制御信号を入力すると、前記非表示を示す表示可否情報を、前記複数の球型オブジェクトのうち当該球型オブジェクト以外の前記球型オブジェクト及び前記複数の３ＤＣＧオブジェクトに設定し、
   前記状態管理部から前記表示を示す制御信号を入力すると、前記表示を示す表示可否情報を、前記複数の球型オブジェクトのうち当該球型オブジェクト以外の前記球型オブジェクト及び前記複数の３ＤＣＧオブジェクトに設定する、ことを特徴とする映像表示処理装置。
7. 請求項６に記載の映像表示処理装置において、
   前記映像再生処理部は、
   動作モードとして、ループ設定、停止設定及び終了設定のうちのいずれかが予め設定されており、
   前記ループ設定が予め設定されている場合、前記３６０度映像の再生が完了すると、前記３６０度映像の冒頭フレームから再生を継続し、
   前記停止設定が予め設定されている場合、前記３６０度映像の再生が完了すると、前記３６０度映像の最終フレームにて一時停止し、
   前記終了設定が予め設定されている場合、前記３６０度映像の再生が完了すると、再生完了の再生状態を前記状態管理部に出力し、
   前記状態管理部は、
   前記映像再生処理部から前記再生完了の再生状態を入力すると、前記トランジションの状態を前記縮小中Ｓ４に設定する、ことを特徴とする映像表示処理装置。
8. 請求項２に記載の映像表示処理装置において、
   前記トランジション機能部は、
   さらに、前記トランジションの状態または前記状態の遷移に応じた効果音を示す音声情報を当該球型オブジェクトに設定し、
   前記レンダラは、
   前記球型オブジェクトに設定された前記音声情報の前記効果音を再生する、ことを特徴とする映像表示処理装置。
9. 請求項２または８に記載の映像表示処理装置において、
   前記トランジション機能部は、
   さらに、前記トランジションの状態が前記待機Ｓ１の場合、動作を示す運動情報を当該球型オブジェクトに設定し、
   前記レンダラは、
   前記球型オブジェクトに設定された前記運動情報が前記動作を示している場合、前記アイコン球の表示を所定速度にて上下に移動させる、ことを特徴とする映像表示処理装置。
10. フォトグラメトリーによる複数の３ＤＣＧオブジェクトが配置されたバーチャル空間に、複数の球型オブジェクトを配置し、前記バーチャル空間内のユーザの視点位置及び視線方向に応じて、前記複数の３ＤＣＧオブジェクトのうち前記ユーザの視界に入る前記３ＤＣＧオブジェクトを含む３ＤＣＧモデル映像を表示すると共に、前記複数の球型オブジェクトのうち前記ユーザの視界に入る前記球型オブジェクトの３６０度映像をアイコンとして表示する映像表示処理装置を構成するコンピュータを、
    前記複数の球型オブジェクトのうち１つの対応する球型オブジェクトをアタッチしており、
    前記対応する球型オブジェクトのトランジションの状態を、待機Ｓ１、拡大中Ｓ２、拡大済みＳ３、縮小中Ｓ４及び縮小済みＳ５へ順次遷移させ、前記トランジションの状態に応じた所定データを当該球型オブジェクトに設定するトランジション機能部を複数備えた場合の前記複数のトランジション機能部、
    前記複数のトランジション機能部のうち１つの対応するトランジション機能部にアタッチされており、前記対応するトランジション機能部により前記所定データが設定される球型オブジェクトを複数備えた場合の前記複数の球型オブジェクト、
    前記複数の３ＤＣＧオブジェクトを含むオブジェクトであって、前記複数の３ＤＣＧオブジェクトのそれぞれについて所定データが設定される３ＤＣＧモデルオブジェクト、
    前記ユーザの前記視点位置及び前記視線方向を含む所定データが設定されるカメラオブジェクト、及び、
    前記カメラオブジェクトに設定された前記ユーザの前記視点位置及び前記視線方向に基づいて、前記ユーザの視界に入る前記球型オブジェクト及び前記３ＤＣＧオブジェクトを特定し、特定された前記球型オブジェクトをレンダリングすると共に、特定された前記３ＤＣＧオブジェクトを含む前記３ＤＣＧモデルオブジェクトをレンダリングし、表示映像を生成して表示装置に出力するレンダラとして機能させるためのプログラムであって、
    前記トランジション機能部は、
    前記ユーザが前記対応する球型オブジェクトから第１の所定距離以上離れている場合、前記トランジションの状態を前記待機Ｓ１に設定し、前記３６０度映像の静止画をサムネイルとして表示するためのデータを当該球型オブジェクトに設定し、
    前記ユーザが当該球型オブジェクトに対し、前記第１の所定距離よりも近づいた場合、前記トランジションの状態を前記待機Ｓ１から前記拡大中Ｓ２へ遷移させ、前記３６０度映像を徐々に拡大して最前面に表示するためのデータを当該球型オブジェクトに設定し、
    当該球型オブジェクトの大きさが第１の所定サイズに到達した場合、前記トランジションの状態を前記拡大中Ｓ２から前記拡大済みＳ３へ遷移させ、前記３６０度映像の拡大を停止するためのデータを当該球型オブジェクトに設定し、
    前記ユーザのキー入力があった場合、または前記３６０度映像の再生が完了した場合、前記トランジションの状態を前記拡大済みＳ３から前記縮小中Ｓ４へ遷移させ、前記３６０度映像を徐々に縮小して表示するためのデータを当該球型オブジェクトに設定し、
    当該球型オブジェクトの大きさが第２の所定サイズよりも小さくなった場合、前記トランジションの状態を前記縮小中Ｓ４から前記縮小済みＳ５へ遷移させ、前記３６０度映像の縮小を停止して最前面の表示の適用を解除するためのデータを当該球型オブジェクトに設定し、
    前記ユーザが前記対応する球型オブジェクトに対し、第２の所定距離よりも離れた場合、前記トランジションの状態を前記縮小済みＳ５から前記待機Ｓ１へ遷移させる、ことを特徴とするプログラム。