JP2003199074A - ビデオ映像提示システム、ビデオ映像送出装置、ビデオ映像提示装置、ビデオ映像処理プログラム - Google Patents

Abstract

(57)【要約】 【課題】 ウォークスルーする様子を記録したビデオ映
像を再生することで利用者に対して空間内の移動を提示
し、自由にかつ滑らかに視線移動を行い視野の変更がで
きるビデオ映像提示システムを提供する。 【解決手段】 ビデオ映像送出装置３からビデオ映像提
示装置１に対しビデオ映像を送出し、ビデオ映像提示装
置１によりビデオ映像を提示するビデオ映像提示システ
ムにおいて、ビデオ映像送出装置３が、ビデオ映像提示
装置１から通知されるビデオ映像を見る利用者の視線方
向の指定に基づいて、ビデオ映像中の視線方向に対応す
る切り出し範囲を算出し、ビデオ映像を切り出し範囲で
切り出して新たなビデオ映像としてビデオ映像提示装置
１に送出し、ビデオ映像提示装置１が送出されたビデオ
映像を受信して提示することを特徴とするビデオ映像提
示システム。

Description

【発明の詳細な説明】

【０００１】

【発明の属する技術分野】本発明は、ビデオ映像提示シ
ステムに関し、特に蓄積されたビデオ映像を提示する場
合でも利用者の視野変更要求に応じることが可能なビデ
オ映像提示システム、ビデオ映像送出装置、ビデオ映像
提示装置、ビデオ映像処理プログラムに関する。

【０００２】

【従来の技術】従来より、街路や建物内に移動経路を設
定し、その経路上を移動する様子を、人間が歩行しなが
ら観測した場合や、自動車で移動しながら観測した場合
と同じように連続的にビデオ映像に記録しておき、再生
にあたっては、記録したビデオ映像の中から利用者の位
置に応じたビデオ映像を再生し、あたかも人間が歩行し
て観測した場合や、自動車で移動した場合と同じような
映像を提供するビデオ映像提示装置が知られている。

【０００３】以下、街路や建物内を移動する様子を記録
したビデオ映像を、ウォークスルー映像と呼ぶ。

【０００４】ウォークスルー映像を提供するビデオ映像
提示装置の一例として、「NTT R&D、Vol.49、No.1 PP.2
5〜30、2000年発行」では、実際の街路や建物内を移動
するウォークスルー映像を提供するビデオ映像提示装置
の一例が報告されており、また特開平１０−２１４０６
９号公報には、３次元コンピュータグラフィックス技術
を用いて構築した仮想空間を移動するウォークスルー映
像を提供するビデオ映像提示装置の一例が報告されてい
る。

【０００５】更に、これらビデオ映像提示装置は、ＶＯ
Ｄ（Video On Demand：ビデオオンデマンド）システム
を利用することで、利用者にネットワーク越しにウォー
クスルー映像を提供することができる。

【０００６】ＶＯＤシステムとは、サーバマシンとクラ
イアントマシンがネットワークで結ばれた環境におい
て、サーバマシン内にビデオ映像を格納しておき、クラ
イントマシンからの要求に従ってサーバマシン内に格納
したビデオ映像をネットワーク経由で配信し、クライア
ントマシンでビデオ映像を提示するシステムであり、例
えば「ＮＥＣ技報、Vol.51、No.8、（1998年8月）」等
に開示されている。

【０００７】

【発明が解決しようとする課題】しかし、上述した従来
の技術では、以下に述べるような問題点があった。

【０００８】第１に、利用者が経路上を移動するウォー
クスルー映像の提示を受けている際に、視線方向を上下
左右に自由に動かして視野を変更することができないと
いう問題点があった。

【０００９】これは、予めビデオ映像を記録し、それを
再生することで利用者にウォークスルー映像を提示する
というシステムの特性に起因する問題点である。

【００１０】視線方向に自由度を持たせるために、同一
経路上を移動する際に様々な方向を観測したビデオ映像
を記録しておき、ウォークスルー映像を提示する際に
は、利用者の要求に従って再生するビデオ映像を切り替
えるという方法も考えられる。

【００１１】しかし、例えば水平方向に１８０度視線方
向を移動する場合に１度刻みでの視線移動を実現するた
めには、１８０個のビデオ映像を準備しなければならな
いため、ビデオ映像を記録する工数や、ビデオ映像の格
納場所などを考えると実現は事実上困難であるといえ
る。

【００１２】第２に、例えば、複数の経路を移動する様
子をその経路毎に分割してビデオ映像として格納し、利
用者の経路選択操作に応じてビデオ映像を切り替えて、
ウォークスルー映像を提示するという様に、複数のビデ
オ映像を組み合わせて利用者に対してサービスを行う場
合において、ビデオ映像を切り替える際に、その繋ぎ目
で映像が一時停止してしまい、利用者に不自然な印象を
与えてしまうという問題点があった。

【００１３】これは、ビデオ映像を表示開始するまで
に、まずビデオ映像の所在を確認し、ビデオ映像を読み
込んだ上で、再生を開始する必要があるためである。特
に、サーバマシン上に格納したビデオ映像に対して、ス
トリーミングビデオの形態でネットワークを介してビデ
オ映像を取得し表示する場合に顕著となる。

【００１４】これは、ストリーミングビデオ方式におい
ては、一般に１つのビデオ再生について１つの仮想コネ
クションをサーバとクライアントとの間で確立する必要
があるためで、ビデオ映像を切り替える際には、コネク
ションの廃棄、確立のオーバーヘッドを生じる事、更に
ストリーミングビデオ方式では、ネットワークの通信状
況が変化した場合にも円滑な再生を維持するために５秒
程度のバッファリング処理が行われるので、ビデオ映像
切り替え時に新たにビデオ再生を開始したとしても実際
の再生開始までにはバッファリング時間が経過するのを
待つ必要があることに起因している。

【００１５】本発明の第１の目的は、上記従来技術の欠
点を解決し、自由に、かつ滑らかに視線移動を行うこと
が可能なビデオ映像提示システム、ビデオ映像送出装
置、ビデオ映像提示装置、ビデオ映像処理プログラムを
提供することにある。

【００１６】本発明の第２の目的は、上記従来技術の欠
点を解決し、特にネットワークを介した場合に顕著にな
るこれらの問題を解決し、複数のビデオ映像を切り替え
る際に、利用者にビデオ映像間の繋ぎ目を意識させるこ
となく円滑にビデオ映像を表示可能なビデオ映像提示シ
ステム、ビデオ映像送出装置、ビデオ映像提示装置、ビ
デオ映像処理プログラムを提供することにある。

【００１７】

【課題を解決するための手段】上記目的を達成するため
本発明は、撮影したビデオ映像を提示するビデオ映像提
示システムにおいて、前記ビデオ映像を見る利用者の視
線方向の指定を受け付け、前記ビデオ映像中の、前記視
線方向に対応する切り出し範囲を算出し、前記ビデオ映
像を前記算出した切り出し範囲に基づいて切り出し、新
たなビデオ映像として提示することを特徴とする。

【００１８】請求項２の本発明のビデオ映像提示システ
ムは、前記ビデオ映像を提示する映像提示装置と、前記
ビデオ映像を切り出して、前記映像提示装置に対して新
たなビデオ映像を送出するビデオ映像送出装置を備える
ことを特徴とする。

【００１９】請求項３の本発明のビデオ映像提示システ
ムは、前記ビデオ映像送出装置が、前記映像提示装置か
ら通知された前記利用者の視線方向に対応する前記ビデ
オ映像中の前記切り出し範囲を算出し、前記ビデオ映像
を前記算出した切り出し範囲に基づいて切り出し、新た
なビデオ映像として前記映像提示装置に送出することを
特徴とする。

【００２０】請求項４の本発明のビデオ映像提示システ
ムは、前記映像提示装置が、前記利用者の視線方向に対
応する前記ビデオ映像中の前記切り出し範囲を算出し、
前記ビデオ映像送出装置からの前記ビデオ映像から、前
記切り出し範囲に基づいて新たなビデオ画像を切り出し
て提示することを特徴とする。

【００２１】請求項５の本発明のビデオ映像提示システ
ムは、前記ビデオ映像送出装置が、前記映像提示装置か
ら通知された前記利用者の視線方向に対応する前記ビデ
オ映像中の切り出し範囲を算出し、前記ビデオ映像の画
面を定められたサイズ毎に分割した各ブロックの内で、
前記ビデオ映像中の前記切り出し範囲を含む範囲の各前
記ブロックの領域を新たなビデオ映像として切り出して
前記映像提示装置に送出することを特徴とする。

【００２２】請求項６の本発明のビデオ映像提示システ
ムは、前記映像提示装置が、前記利用者の視線方向に対
応する前記ビデオ映像中の第１の切り出し範囲を算出
し、前記映像送出装置が、前記第１の切り出し範囲に基づ
いて、前記第１の切り出し範囲より大きい範囲の第２の
切り出し範囲を算出し、前記第２の切り出し範囲に基づ
いて、前記ビデオ映像を切り出し、新たなビデオ映像とし
て前記映像提示装置に送出し、前記新たなビデオ画像を
受けた前記映像提示装置が、前記新たなビデオ画像を前
記第１の切り出し範囲に基づいて切り出して提示するこ
とを特徴とする。

【００２３】請求項７の本発明のビデオ映像提示システ
ムは、前記映像提示装置が、前記第２の切り出し範囲を前
記画像送出装置から受け取り、前記第１の切り出し範囲
と前記第２の切り出し範囲を比較することにより、前記
第１の切り出し範囲が前記第２の切り出し範囲に含まれ
る場合に、前記新たなビデオ画像を前記第１の切り出し
範囲に基づいて切り出し、前記第１の切り出し範囲が前
記第２の切り出し範囲に含まれない場合には、前記第２
の切り出し範囲内に含まれるように前記第１の切り出し
範囲を変更し、前記新たなビデオ画像を変更した第１の
切り出し範囲に基づいて切り出すことを特徴とする。

【００２４】請求項８の本発明のビデオ映像提示システ
ムは、前記ビデオ映像送出装置が、前記ビデオ映像の送
出先の前記映像提示装置の台数に基づいて、前記映像提
示装置に送出する前記ビデオ映像の画像のサイズを所定
の拡大率に変更することにより、前記ビデオ映像送出装
置と前記映像提示装置との間の通信帯域以下に、前記ビ
デオ映像の通信量を抑制することを特徴とする。

【００２５】請求項９の本発明のビデオ映像提示システ
ムは、前記ビデオ映像送出装置が、前記映像提示装置に
送出する前記ビデオ映像の画像のサイズを、前記映像提
示装置からの指示に基づいて所定の拡大率に変更するこ
とにより、前記ビデオ映像送出装置と前記映像提示装置
との間の通信帯域以下に、前記ビデオ映像の通信量を抑
制することを特徴とする。

【００２６】請求項１０の本発明のビデオ映像提示シス
テムは、前記映像提示装置が、前記ビデオ映像送出装置
に対し、当該ビデオ映像送出装置が送出する前記ビデオ
映像の画像のサイズを、前記ビデオ映像の受信状態に基
づいて指示することを特徴とする。

【００２７】請求項１１の本発明のビデオ映像提示シス
テムは、前記映像提示装置が、前記ビデオ映像送出装置
に対し、当該ビデオ映像送出装置が送出する前記ビデオ
映像の画像のサイズを、受信した前記ビデオ映像の処理
状況に基づいて指定することを特徴とする。

【００２８】請求項１２の本発明のビデオ映像提示シス
テムは、前記映像提示装置から前記映像提示装置に、ネ
ットワークを介して前記ビデオ映像を送出することを特
徴とする。

【００２９】請求項１３の本発明のビデオ映像提示シス
テムは、前記映像提示装置が、送出する前記ビデオ映像
を圧縮した上で送出し、前記映像提示装置が、前記映像
提示装置から受信した前記圧縮されたビデオ映像を復号
した上で提示することを特徴とする。

【００３０】請求項１４の本発明のビデオ映像提示シス
テムは、前記映像送出装置から同時に複数の切り出した
前記ビデオ映像を受信し、各前記ビデオ映像を選択的に
切り替えて前記映像提示装置に対し、当該映像提示装置
との間のコネクションを変更することなく送信する切り
替え装置を備えることを特徴とする。

【００３１】請求項１５の本発明のビデオ映像提示シス
テムは、前記ビデオ映像が、街路や建物内を移動する様
子を記録したウォークスルー映像であることを特徴とす
る。

【００３２】請求項１６の本発明のビデオ映像提示シス
テムは、前記ビデオ映像が、前記利用者が視線移動する
範囲の映像を含む広視野ビデオ映像であることを特徴と
する。

【００３３】請求項１７の本発明は、映像提示装置に対
してビデオ映像を送出するビデオ映像送出装置におい
て、前記映像提示装置から通知された前記ビデオ映像を
見る利用者の視線方向に対応する前記ビデオ映像中の切
り出し範囲を算出する手段と、前記ビデオ映像の前記切
り出し範囲を新たなビデオ映像として切り出して前記映
像提示装置に送出する切り出し手段を備えることを特徴
とする。

【００３４】請求項１８の本発明のビデオ映像送出装置
は、前記ビデオ映像の画面を定められたサイズ毎に分割
した各ブロックの内で、前記ビデオ映像中の前記利用者
の視線方向に対応して算出した前記切り出し範囲を含む
範囲の各前記ブロックの領域を新たなビデオ映像として
切り出して前記映像提示装置に送出する手段を備えるこ
とを特徴とする。

【００３５】請求項１９の本発明のビデオ映像送出装置
は、前記ビデオ映像の送出先の前記映像提示装置の台数
に基づいて、前記映像提示装置に送出する前記ビデオ映
像の画像のサイズを所定の拡大率に変更する手段を備え
ることにより、前記映像提示装置との間の通信帯域以下
に、前記ビデオ映像の通信量を抑制することを特徴とす
る。

【００３６】請求項２０の本発明のビデオ映像送出装置
は、前記映像提示装置に送出する前記ビデオ映像の画像
のサイズを、前記映像提示装置からの指示に基づいて所
定の拡大率に変更する手段を備えることにより、前記映
像提示装置との間の通信帯域以下に、前記ビデオ映像の
通信量を抑制することを特徴とする。

【００３７】請求項２１の本発明のビデオ映像送出装置
は、前記ビデオ映像を圧縮した上で送出する手段を備え
ることを特徴とする。

【００３８】請求項２２の本発明のビデオ映像送出装置
は、前記映像提示装置に対し、ネットワークを介して前
記ビデオ映像を送出することを特徴とする。

【００３９】請求項２３の本発明は、ビデオ映像送出装
置から送出されるビデオ映像を提示する映像提示装置に
おいて、前記ビデオ映像を見る利用者の視線方向の指定
を前記ビデオ映像送出装置に指示する手段を備え、前記
ビデオ映像送出装置にて前記視線方向に対応した切り出
し範囲で前記ビデオ映像から切り出された新たなビデオ
映像を受信して提示することを特徴とする。

【００４０】請求項２４の本発明の映像提示装置は、前
記利用者の視線方向に対応する前記ビデオ映像中の第１
の切り出し範囲を算出する手段と、前記第１の切り出し
範囲に基づいて、前記映像送出装置で算出された前記第
１の切り出し範囲より大きい範囲の第２の切り出し範囲
で切り出された新たなビデオ映像を受け取り、前記新た
なビデオ画像を前記第１の切り出し範囲に基づいて切り
出して提示する切り出し手段を備えることを特徴とす
る。

【００４１】請求項２５の本発明の映像提示装置は、前
記切り出し手段が、記第１の切り出し範囲を前記画像送
出装置から受け取り、前記第１の切り出し範囲と前記第
２の切り出し範囲を比較することにより、前記第１の切
り出し範囲が前記第２の切り出し範囲に含まれる場合
に、前記新たなビデオ画像を前記第１の切り出し範囲に
基づいて切り出し、前記第１の切り出し範囲が前記第２
の切り出し範囲に含まれない場合には、前記第２の切り
出し範囲内に含まれるように前記第１の切り出し範囲を
変更し、前記新たなビデオ画像を変更した第１の切り出
し範囲に基づいて切り出すことを特徴とする。

【００４２】請求項２６の本発明の映像提示装置は、前
記ビデオ映像送出装置に対し、前記ビデオ映像の画像の
サイズを、前記ビデオ映像の受信状態に基づいて所定の
拡大率に変更する指示を行なう手段を備えることを特徴
とする。

【００４３】請求項２７の本発明の映像提示装置は、前
記ビデオ映像送出装置に対し、前記ビデオ映像の画像の
サイズを、受信した前記ビデオ映像の処理状況に基づい
て所定の拡大率に変更する指示を行なう手段を備えるこ
とを特徴とする。

【００４４】請求項２８の本発明の映像提示装置は、前
記ビデオ映像送出装置から、ネットワークを介して前記
ビデオ映像を受信することを特徴とする。

【００４５】請求項２９の本発明の映像提示装置は、前
記ビデオ映像送出装置から同時に複数の前記ビデオ映像
を受信し、各前記ビデオ映像を選択的に切り替えて提示
する手段を備えることを特徴とする。

【００４６】請求項３０の本発明の映像提示装置は、前
記ビデオ映像送出装置から圧縮されて送出された前記ビ
デオ映像を、復号した上で提示することを特徴とする。

【００４７】請求項３１の本発明は、コンピュータを制
御することにより、映像送出装置から映像提示装置に対
してビデオ映像を送出する映像処理プログラムにおい
て、前記映像提示装置から通知された前記ビデオ映像を
見る利用者の視線方向に対応する前記ビデオ映像中の切
り出し範囲を算出する機能と、前記ビデオ映像を前記算
出した切り出し範囲に基づいて切り出し、新たなビデオ
映像として前記映像提示装置に提示する機能を備えるこ
とを特徴とする。

【００４８】請求項３２の本発明は、コンピュータを制
御することにより、映像送出装置から映像提示装置に対
してビデオ映像を送出して提示する映像処理プログラム
において、前記ビデオ映像を見る利用者の視線方向の指
定を前記ビデオ映像送出装置に指示する機能を備え、前
記ビデオ映像送出装置にて前記視線方向に対応した切り
出し範囲で前記ビデオ映像から切り出された新たなビデ
オ映像を受信して提示する機能を備えることを特徴とす
る。

【００４９】請求項３３の本発明の映像処理プログラム
は、前記利用者の視線方向に対応する前記ビデオ映像中
の第１の切り出し範囲を算出する機能と、前記第１の切
り出し範囲に基づいて、前記映像送出装置で算出された
前記第１の切り出し範囲より大きい範囲の第２の切り出
し範囲で切り出された新たなビデオ映像を受け取り、前
記新たなビデオ画像を前記第１の切り出し範囲に基づい
て切り出して提示する機能を備えることを特徴とする。

【００５０】請求項３４の本発明の映像処理プログラム
は、前記切り出し機能は、前記第１の切り出し範囲を前記
画像送出装置から受け取り、前記第１の切り出し範囲と
前記第２の切り出し範囲を比較することにより、前記第
１の切り出し範囲が前記第２の切り出し範囲に含まれる
場合に、前記新たなビデオ画像を前記第１の切り出し範
囲に基づいて切り出し、前記第１の切り出し範囲が前記
第２の切り出し範囲に含まれない場合には、前記第２の
切り出し範囲内に含まれるように前記第１の切り出し範
囲を変更し、前記新たなビデオ画像を変更した第１の切
り出し範囲に基づいて切り出すことを特徴とする。

【００５１】本発明では、ビデオ映像を見る利用者の視
線方向の指定に基づいて、前記ビデオ映像から前記視線
方向に対応する領域を切り出して提示することにより、
視線方向の上下左右への連続的な変更と、その変更に応
じたビデオ映像の切り替えができる。

【００５２】また本発明では、ビデオ映像送出装置にお
いて前記ビデオ映像から前記視線方向に対応する領域を
ブロック単位に大まかに切り出して、前記大まかに切り
出されたビデオ映像を映像提示装置が受信して、精密な
視線方向に対応する範囲を切り出して表示することがで
きる。

【００５３】また本発明では、ビデオ映像送出装置と映
像提示装置との間のネットワーク帯域に基づいて、ビデ
オ映像の画像のサイズを制御して配信することができ
る。

【００５４】また本発明では、ネットワーク状況の変動
により生じたビデオ映像の送信の遅延やそのフレーム欠
損などを検知した場合に、それらの状況を緩和するため
にビデオ映像送出装置が送出するビデオ映像の画像のサ
イズを制御することにより、ＱｏＳ制御を実現すること
ができる。

【００５５】また本発明では、１つのコネクションにお
いてビデオ映像の切り換えを行うことにより、円滑な映
像切り換えを実現できる。

【００５６】

【発明の実施の形態】以下、本発明の実施の形態につい
て図面を参照して詳細に説明する。

【００５７】図１は、本発明の第１の実施の形態による
ビデオ映像提示システムの構成を示すブロック図であ
る。

【００５８】図１を参照すると、本実施の形態のビデオ
映像提示システムは、ウォークスルー映像を利用者に提
示するウォークスルー映像提示装置１（ウォークスルー
映像提示クライアント）と、街路や建物内を移動する様
子を連続的に記録したビデオ映像を格納するビデオ映像
格納装置２と、ビデオ映像格納装置２に格納されている
ビデオ映像に処理を施し、ウォークスルー映像提示装置
１で表示すべきビデオ映像を生成してウォークスルー映
像提示装置１に送出するビデオ映像送出装置３（ビデオ
映像送出サーバ）を備える。

【００５９】ウォークスルー映像提示装置１とビデオ映
像送出装置３は、図２に示すようにネットワーク１０を
介して互いに接続されており、ビデオ映像送出装置３か
ら送出されるウォークスルー映像を各ウォークスルー映
像提示装置１で受信して再生する。

【００６０】本実施の形態のウォークスルー映像提示装
置１は、プログラム制御されるＣＰＵ等で実現され、利
用者からの入力などに従って再生するビデオ映像を選択
するビデオ映像選択部１１と、利用者からの入力などに
従って観測する視線方向を決定する視線方向入力部１２
と、ビデオ映像送出装置３から受信したビデオ映像をエ
ンコード方式に合わせてデコードするビデオ映像デコー
ド部１３と、ビデオ映像デコード部１３によってデコー
ドされたビデオ映像を利用者に対して表示するビデオ映
像表示部１４を備える。

【００６１】本実施の形態のビデオ映像送出装置３は、
プログラム制御されるＣＰＵ等で実現され、ウォークス
ルー映像提示装置１から受信したビデオ映像名を保持
し、ビデオ映像格納装置２から該当するビデオ映像を連
続的に読み出すビデオ映像読み出し部３１と、ウォーク
スルー映像提示装置１から受信した視線方向に従ってビ
デオ映像中のどの部位を切り出して表示するかを算出す
る切り出し部位算出部３２と、切り出し部位算出部３２
で算出した切り出し部位情報Ｓ３を格納する切り出し部
位格納部３３と、切り出し部位格納部３３に格納した切
り出し部位に従ってビデオ映像読み出し部３１で読み出
したビデオ映像からウォークスルー映像提示装置１で表
示すべき部位の切り出しを行うブロック切り出し部３４
を備える。

【００６２】次に、本実施の形態によるビデオ映像提示
システムの動作について説明する。

【００６３】ビデオ映像格納装置２には、３次元コンピ
ュータグラフィックス技術を用いて構築した仮想空間内
をウォークスルーする様子を記録したビデオ映像、ある
いは実際の街路をウォークスルーする様子を記録したビ
デオ映像が格納されている。なお、ビデオ映像格納装置
２に格納されているビデオ映像は、利用者が視線方向を
移動させる上下左右の範囲をも含めた広視野のビデオ映
像とする。

【００６４】まず、ウォークスルー映像表示の流れにつ
いてビデオ映像送出装置３の処理を示す図３のフローチ
ャートを参照して説明する。

【００６５】ビデオ映像選択部１１において、利用者か
らの指示入力などに従って再生すべきビデオ映像（ビデ
オ映像名）を決定する。ビデオ映像の決定に際しては、
例えば、ビデオ映像名の一覧を提示し、その中からビデ
オ映像名を選択する決定方法や、ビデオ映像名のＵＲＬ
を直接指定する決定方法などの実施例が考えられるが、
決定の方法は何れでもよい。ビデオ映像選択部１１で選
択されたビデオ映像名は、ビデオ映像情報Ｓ１としてビ
デオ映像送出装置３へと伝えられる。

【００６６】ビデオ映像送出装置３においては、送られ
てきたビデオ映像情報Ｓ１がビデオ映像読み出し部３１
で保持され、このビデオ映像情報Ｓ１に従ってビデオ映
像格納装置２に格納されているビデオ映像をフレーム毎
に順次読み出すことにより（ステップ３０１）、ブロッ
ク切り出し部３４へと送る。

【００６７】ウォークスルー映像提示装置１の視線方法
入力部１２から利用者の視線方向が入力された場合（ス
テップ３０２）、入力された視線方向情報Ｓ２（すなわ
ち、利用者の視線の向いている方向）と、ビデオ映像表
示部１４から取得したビデオ映像表示領域の形状、サイ
ズを示す表示領域情報Ｓ５とに基づいて、切り出し部位
算出部３２により、ビデオ映像のどの部位を切り出して
ウォークスルー映像として表示するかを指定する切り出
し部位情報Ｓ３が算出される（ステップ３０３）。

【００６８】視線方向入力部１２には、利用者の視線の
向いている方向（視線方向）が入力される。視線方向
は、利用者がビデオ画像のどの部分を注視しているかを
示す値で、その指定方法は何れでもよいが、ビデオ画像
の中央からの差分値（横方向、縦方向のピクセル数）と
して指定する方法が一例として挙げられる。視線方向
は、視線方向情報Ｓ２として視線方向入力部１２から切
り出し部位算出部３２とへと送られる。

【００６９】また、視線方向入力部１２としては、例え
ばウォークスルー映像提示装置１のビデオ映像表示部１
４の表示画面上に利用者が操作して視線方向を入力する
十字の方向指示キー等を表示することでも実現可能であ
る。

【００７０】一方、切り出し部位格納部３３には、切り
出し部位算出部３２で算出された切り出し部位情報Ｓ３
が格納される（ステップ３０４）。

【００７１】また、視線方法入力部１２から視線方向が
入力されない場合（初期状態または視線方向に変更がな
い場合）（ステップ３０２）、切り出し部位算出部３２
において切り出し部位情報は算出されず、初期値として
予め切り出し部位格納部３３に格納されている切り出し
部位情報、または前回算出されて切り出し部位格納部３
３に格納されている切り出し部位情報が、後述するブロ
ック切り出し部３４に送られる。

【００７２】なお、初期値として切り出し部位格納部３
３に格納されている切り出し部位情報としては、例えば
ビデオ映像の予め決められた範囲（全体または一部）を
示す情報とする。

【００７３】切り出し部位格納部３３に格納する切り出
し部位情報Ｓ３としては、切り出すべき部位のビデオ映
像中での座標値（ピクセル値）や、切り出すべき部位の
ビデオ映像中での比率などが考えられるが、切り出し部
位を特定できる情報であれば、その他の情報であっても
よい。

【００７４】ブロック切り出し部３４では、ビデオ映像
読み出し部３１から送られてくるビデオ映像の各フレー
ムに対して、切り出し部位格納部３３に格納されている
切り出し部位情報Ｓ３に従って、表示すべきビデオ映像
の切り出し処理を行う（ステップ３０５）。切り出した
ビデオ映像は、ウォークスルー映像として、ストリーミ
ングビデオの形態でウォークスルー映像提示装置１へと
送出される（ステップ３０６）。

【００７５】ウォークスルー映像提示装置１では、送ら
れてきたウォークスルー映像（ビデオ映像）のエンコー
ド方式に応じて適宜デコードし、ビデオ映像表示部１４
へと送る。ビデオ映像表示部１４では、利用者に対して
ビデオ映像の提示を行う。

【００７６】図４と図５により、ビデオ映像格納装置２
に格納されているビデオ映像と利用者が実際に提示され
るウォークスルー映像との関係を示す。

【００７７】図４に示すビデオ映像１０１は、ビデオ映
像格納装置２に格納されているビデオ映像の一場面であ
る。ビデオ映像送出装置３では、利用者の視線方向に従
って切り出し範囲１０２（切り出し部位情報）を決定し
て、図５に示すようにビデオ映像１０３を切り出し、ウ
ォークスルー映像提示装置１へと送る。ウォークウォー
クスルー映像提示装置１では、ビデオ映像１０３をウォ
ークスルー映像として利用者に提示する。

【００７８】ここで、ブロック切り出し部３４における
ビデオ映像の切り出し方法の例について、ビデオ映像格
納装置２に格納されているビデオ映像の種類毎に説明す
る。

【００７９】（１） ビデオ映像格納装置２に格納され
ているビデオ映像が非圧縮形式である場合は、以下の方
法が考えれる。

【００８０】ビデオ映像読み出し部３１からブロック切
り出し部３４へと送られてくる各フレームのデータは、
非圧縮のビットマップ画像の列である。この場合、送ら
れてきた各フレームのビットマップ画像から、切り出し
部位格納部３３に格納されている部位を切り出す。

【００８１】（２） ビデオ映像格納装置２に格納され
ているビデオ映像が、ＭＰＥＧ４ビデオ映像である場合
は、以下の方法が考えられる。

【００８２】ＭＰＥＧ４ビデオ映像は、１６×１６ピク
セルのブロック（マクロブロック）単位でエンコードさ
れている。従って、切り出し単位をマクロブロックの単
位で切り出すこととすると、各フレーム毎にデコード、
切り出し、再エンコードすることなく切り出し処理を行
うことが可能である。切り出し時の計算量を軽減するた
めに、ＭＰＥＧ４ビデオ映像の場合には、切り出し処理
はマクロブロック単位で行うことを推奨する。なお、Ｍ
ＰＥＧ４形式と同様にマクロブロックに分割してエンコ
ードされたビデオ映像には、ＭＰＥＧ２やＨ．２６３な
どがある。これらのビデオ映像の場合も、ＭＰＥＧ４ビ
デオ映像と同様の方法で切り出し処理を行う。

【００８３】（３） ビデオ映像格納装置２に格納され
ているビデオ映像が、上記（１）、（２）に当てはまら
ない場合には、ブロック切り出し部３４では、送られて
きたビデオ映像をデコードし非圧縮画像としてから切り
出しを行い、再度エンコード処理を行う。

【００８４】次に、切り出し部位を変更する際の手順に
ついて説明する。

【００８５】視線方向入力部１２において、利用者から
の指示入力などに従って視線方向の変更が行われると、
変更された視線方向情報Ｓ２が、切り出し部位算出部３
２へと送られる。切り出し部位算出部３２では、送られ
てきた視線方向の変更情報に従って切り出し部位情報Ｓ
３を算出し、切り出し部位格納部３３に格納している切
り出し部位に関する情報を更新する（図３のステップ３
０３、３０４）。切り出し部位格納部３３に格納された
切り出し部位情報Ｓ３が変更されると、ブロック切り出
し部３４でビデオ映像から切り出されるビデオ映像の範
囲が変更される。

【００８６】これにより、ビデオ映像からウォークスル
ー映像として切り出される映像部位が変更されるため、
視線方向を変更したのと同様の視野の変化が得られ、利
用者の視線方向の変更に応じたビデオ映像の変更が可能
となる。

【００８７】図６〜８に、切り出し部位を変更した際の
ウォークスルー映像の変化の様子を示した模式図を示
す。ここでは、説明の簡単化のため、ビデオ映像読み出
し部３１からは常に同一のビデオ映像がブロック切り出
し部３４に送られてくるものとして図式化してある。

【００８８】図６において、ビデオ映像１１１はビデオ
映像読み出し部３１から送られてくるビデオ映像であ
る。今、切り出し部位格納部３３に、部位１１２で示す
切り出し部位情報Ｓ３が格納されているとする。このと
き、ブロック切り出し部３４により切り出され、ウォー
クスルー映像提示装置１で表示されるウォークスルー映
像は、図７に示すビデオ映像１１３となる。

【００８９】次に、切り出し部位格納部３３に格納され
た切り出し部位が部位１１４で示す切り出し部位に変更
されたとする。このとき、ブロック切り出し部３４によ
り切り出され、ウォークスルー映像提示装置１で表示さ
れるウォークスルー映像は、図８に示すビデオ映像１１
５となる。

【００９０】ウォークスルー映像提示装置１で提示され
るウォークスルー映像が、ビデオ映像１１３からビデオ
映像１１５に変化することにより、利用者はあたかも視
線方向を右に移動した様な表示を得ることができる。

【００９１】ここで、切り出し部位算出部３２において
切り出し部位格納部３３に格納されている切り出し部位
情報Ｓ３を変更する際に、変更前の切り出し部位から変
更後の切り出し部位にいきなり変更するのではなく、切
り出し部位を段階的に変更する機能を切り出し部位算出
部３２に備えることで、利用者に提示するウォークスル
ー映像を滑らかに移動させることが可能な実施例も考え
られる。

【００９２】図９は、この機能を実装した切り出し部位
算出部３２を用いた場合の切り出し部位の変化について
説明した模式図である。図９において、最初の状態でビ
デオ映像１１１に対して切り出し部位が部位１１６が設
定されているとする。

【００９３】このとき、視線方向入力部１２からの信号
によって切り出し部位格納部３３に格納されている切り
出し部位を部位１１７に変更する際に、切り出し部位算
出部３２では、切り出し部位を部位１１８、１１９、１
２０、１１７と４段階に順次変更する。すなわち、部位
１１７のビデオ映像が提示されるまでに、部位１１８、
１１９、１２０のように、少しずつ位置を移動させたビ
デオ映像が順次提示されるものである。これにより、ウ
ォークスルー映像提示装置１で表示するウォークスルー
映像を滑らかにスクロールさせることができる。

【００９４】なお、この例では、４段階に変更する場合
について説明したが、段階数は何段階であっても構わな
い。

【００９５】以上説明したように本実施の形態のビデオ
映像提示システムでは、ビデオ映像格納装置２に格納す
るビデオ映像を、利用者が視線移動する上下左右の範囲
をも含めた広視野ビデオ映像とし、ビデオ映像送出装置
３においては、広視野ビデオ映像の一部領域をウォーク
スルー映像として切り出して送出すると共に、利用者が
視線方向の変更操作を行った場合には、その都度、新た
な視線方向を中心とした領域に映像切り出し位置を変更
することによって、利用者がウォークスルーすると同時
に視線方向の上下左右への連続的な変更が可能である。

【００９６】次に、本発明の第２の実施の形態について
説明する。図１０は、本発明の第２の実施の形態による
ビデオ映像提示システムの構成を示すブロック図であ
る。

【００９７】図１０を参照すると本実施の形態のビデオ
映像提示システムは、ウォークスルー映像を利用者に提
示するウォークスルー映像提示装置（クライアント）１
ａと、街路や建物内を移動する様子を連続的に記録した
ビデオ映像を格納するビデオ映像格納装置２と、ビデオ
映像格納装置２に格納されているビデオ映像に処理を施
し、ウォークスルー映像提示装置１ａで表示すべきビデ
オ映像を生成して、ウォークスルー映像提示装置１ａに
送出するビデオ映像送出装置（サーバ）３を備える。こ
の実施の形態においても、ビデオ映像送出装置３とウォ
ークスルー映像提示装置１ａとは、図２に示すようにネ
ットワーク１０を介して互いに接続されている。

【００９８】本実施の形態のウォークスルー映像提示装
置１ａは、利用者からの入力などに従って再生するビデ
オ映像を選択するビデオ映像選択部１１と、利用者から
の入力などに従って観測する視線方向を決定する視線方
向入力部１２と、視線方向入力部１２で決定した視線方
向に従って表示すべき部位を算出する表示部位算出部１
５と、表示部位算出部１５で算出した切り出し部位情報
Ｓ３を格納する表示部位格納部１６と、ビデオ映像送出
装置３から受信したビデオ映像をエンコード形式に合わ
せてデコードするビデオ映像デコード部１３と、ビデオ
映像デコード部１３によってデコードされたビデオ映像
から表示部位格納部１６に格納した表示部位に従って表
示すべき部位の切り出しを行う表示部位切り出し部１７
と、表示部位切り出し部１７で切り出したビデオ映像を
利用者に対して表示するビデオ映像表示部１４を備え
る。

【００９９】本実施の形態のビデオ映像送出装置３は、
ウォークスルー映像提示装置１ａから受信したビデオ映
像情報Ｓ１（ビデオ映像名）を保持しておき、ビデオ映
像格納装置２から該当するビデオ映像を連続的に読み出
すビデオ映像読み出し部３１と、ウォークスルー映像提
示装置１ａで算出した表示部位に従ってウォークスルー
映像提示装置１ａに送出する部位を算出する切り出し部
位算出部３２と、切り出し部位算出部３２で算出した切
り出し部位を格納する切り出し部位格納部３３と、切り
出し部位格納部３３に格納した切り出し部位に従ってビ
デオ映像読み出し部３１で読み出したビデオ映像からウ
ォークスルー映像提示装置１ａに送出すべき部位の切り
出しを行うブロック切り出し部３４を備える。

【０１００】次に、本実施の形態によるビデオ映像提示
システムの動作について説明する。

【０１０１】ビデオ映像格納装置２には、３次元コンピ
ュータグラフィックス技術を用いて構築した仮想空間内
をウォークスルーする様子を記録したビデオ映像、ある
いは実際の街路をウォークスルーする様子を記録したビ
デオ映像が格納されている。なお、ビデオ映像格納装置
２に格納されているビデオ映像は、利用者が視線方向を
移動させる上下左右の範囲をも含めた広視野のビデオ映
像とする。

【０１０２】まず、ウォークスルー映像表示の流れにつ
いてビデオ映像送出装置３の処理を示す図１１及びウォ
ークスルー映像提示装置１ａの処理を示す図１２のフロ
ーチャートを参照して説明する。

【０１０３】ビデオ映像選択部１１において、利用者か
らの指示入力などに従って再生すべきビデオ映像（ビデ
オ映像名）を決定する。決定に際しては、例えば、第１
の実施の形態と同じように、ビデオ映像名の一覧からビ
デオ映像名を選択する決定方法や、ビデオ映像名のＵＲ
Ｌを直接指定する決定方法などが考えられる。ビデオ映
像選択部１１で選択されたビデオ映像名は、ビデオ映像
情報Ｓ１としてビデオ映像送出装置３へと伝えられる。

【０１０４】ビデオ映像送出装置３においては、送られ
てきたビデオ映像情報Ｓ１がビデオ映像読み出し部３１
で保持され、このビデオ映像情報Ｓ１に従ってビデオ映
像格納装置２に格納されているビデオ映像をフレーム毎
に順次読み出すことにより（ステップ１１０１）、ブロ
ック切り出し部３４へと送る。

【０１０５】一方、ウォークスルー映像提示装置１ａに
おいては、視線方向入力部１２で、利用者の視線の向い
ている方向（視線方向）が入力される（ステップ１２０
１）。視線方向は、利用者がビデオ画像のどの部分を注
視しているかを示す値で、その指定方法は何れでもよい
が、ビデオ画像の中央からの差分値（横方向、縦方向の
ピクセル数）として表す方法が一例として挙げられる。
視線方向は、視線方向情報Ｓ２として視線方向入力部１
２から表示部位算出部１５とへと送られる。

【０１０６】表示部位算出部１５では、視線方向入力部
１２から受信した視線方向情報Ｓ２と、ビデオ映像表示
部１４から取得したビデオ映像表示領域の形状、サイズ
を示す表示領域情報Ｓ５とに基づいて、表示部位情報Ｓ
４を算出し（ステップ１２０２）、表示部位格納部１６
に格納する（ステップ１２０３）。表示部位情報Ｓ４
は、視線方向、及びビデオ表示領域の形状、サイズの組
で表される。

【０１０７】これと合わせて、表示部位算出部１５で
は、表示部位外接矩形情報として表示部位情報の外接矩
形を算出し（ステップ１２０２）、表示部位外接矩形情
報Ｓ６としてビデオ映像送出装置３の切り出し部位算出
部３２へと送る（ステップ１２０３）。この表示部位外
接矩形情報Ｓ６は、視線方向と外接矩形の縦横の大きさ
とから構成される。

【０１０８】ビデオ映像送出装置３の切り出し部位算出
部３２では、表示部位算出部１５から表示部位外接矩形
情報Ｓ６が送られてきた場合（ステップ１１０２）、送
られてきた表示部位外接矩形情報Ｓ６を予め定められた
拡大率に合わせて横方向にα倍、並びに縦方向にβ倍拡
大する算出を行い（ステップ１１０３）、切り出し部位
情報Ｓ３として切り出し部位格納部３３に格納する（ス
テップ１１０４）。ここで、拡大率α及びβは１以上の
任意の値を設定できるが、それぞれ１．１〜１．５程度
の値が望ましい。

【０１０９】また、表示部位算出部１５から表示部位外
接矩形情報Ｓ６が入力されない場合（初期状態または視
線方向に変更がない場合）（ステップ１１０２）、切り
出し部位算出部３２において切り出し部位情報Ｓ３は算
出されず、初期値として予め切り出し部位格納部３３に
格納されている切り出し部位情報、または前回算出され
て切り出し部位格納部３３に格納されている切り出し部
位情報Ｓ３が、後述するブロック切り出し部３４に送ら
れる。

【０１１０】なお、初期値として切り出し部位格納部３
３に格納されている切り出し部位情報としては、例えば
ビデオ映像の予め決められた範囲（全体または一部）を
示す情報とする。

【０１１１】図１３は、視線方向、表示部位情報、表示
部位外接矩形情報、切り出し部位情報の関係についての
模式図である。

【０１１２】図１３の模式図において、点２００は視線
方向を表し、領域２０１は表示部位情報を表し、領域２
０２は領域２０１の外接矩形である表示部位外接情報を
表し、領域２０３は領域２０２を左右方向及び上下方向
にそれぞれα倍、β倍した切り出し部位を表している。
図１３の模式図では、ビデオ映像表示領域を楕円形状と
して図示しているが、ビデオ映像表示領域の形状は、矩
形など他の形状であっても構わない。

【０１１３】一方、ビデオ映像送出装置３のブロック切
り出し部３４では、ビデオ映像読み出し部３１から送ら
れてくるビデオ映像の各フレームに対して、切り出し部
位格納部３３に格納されている切り出し部位情報Ｓ３に
従って、表示すべきビデオ映像の切り出し処理を行う
（ステップ１１０５）。切り出したビデオ映像は、ウォ
ークスルー映像として、ストリーミングビデオの形態で
ウォークスルー映像提示装置１ａのビデオ映像デコード
部１３へと送出される（ステップ１１０６）。また同時
に、切り出し部位情報Ｓ３をブロック切り出し部３４か
ら表示部位切り出し部１７へと送る（ステップ１１０
７）。

【０１１４】ウォークスルー映像提示装置１ａのビデオ
映像デコード部１３では、ブロック切り出し部３４から
ビデオストリームとして次々と送られてくるビデオ映像
の各フレームを、そのエンコード形式に合わせてデコー
ドし、デコードしたビデオ映像を表示部位切り出し部１
７へと送る。

【０１１５】表示部位切り出し部１７では、ブロック切
り出し部３４から送られてきた切り出し部位情報Ｓ３
と、表示部位格納部１６に格納されている表示部位情報
Ｓ４とを基に、ビデオ映像デコード部１３から送られて
きたビデオ映像の中からどの部位を表示すべきかを算出
し（ステップ１２０４）、表示すべきビデオ映像の切り
出しを行う（ステップ１２０５）。切り出したビデオ映
像は、ビデオ映像表示部１４へと送られる。

【０１１６】ビデオ映像表示部１４では、ビデオ映像を
ウォークスルー映像として表示を行う（ステップ１２０
６）。

【０１１７】ここで、上述した表示部位切り出し部１７
の処理内容について、図１４のフローチャートを参照し
て詳細に説明する。

【０１１８】ビデオ映像デコード部１３からビデオ映像
を受信すると（ステップ１４０１）、表示部位格納部１
６から表示部位情報Ｓ４を取得しかつブロック切り出し
部３４から切り出し部位情報Ｓ３を取得する（ステップ
１４０２）。

【０１１９】次いで、表示部位情報Ｓ４と切り出し部位
情報Ｓ３とを比較することにより、切り出し部位情報Ｓ
３で示される領域の中に表示部位情報Ｓ４で示される領
域が完全に含まれるかどうかを判定する（ステップ１４
０３）。

【０１２０】完全に含まれる場合には、受信したビデオ
映像から表示部位情報Ｓ４で示される領域を切り出し
（ステップ１４０４）、その切り出したビデオ映像をビ
デオ映像表示部１４へ送る（ステップ１４０５）。

【０１２１】ステップ１４０３で切り出し部位情報Ｓ３
で示される領域の中に表示部位情報Ｓ４で示される領域
が完全に含まれない場合、表示部位情報Ｓ４で示される
領域を以下に述べる所定の規則に従って変更し（ステッ
プ１４０６）、変更した表示部位情報に基づいて受信し
たビデオ映像の切り出しを行う。

【０１２２】表示部位情報Ｓ４の変更は以下の規則
（１）、（２）に従って行われる。（１）領域の形状及
びサイズの変更は行わない。（２）領域の位置を、切り
出し部位情報で示される領域に収まり、かつ表示部位情
報で示される領域に最も近くなる位置に変更する。

【０１２３】図１５〜１７に、ビデオ映像格納装置２に
格納されているビデオ映像と、ブロック切り出し部３４
からビデオ映像デコード部１３を経て表示部位切り出し
部１７へと送られるビデオ映像と、ビデオ映像表示１４
上で利用者が実際に観測するウォークスルー映像との関
係を示す。

【０１２４】ビデオ映像２１１は、ビデオ映像格納装置
２に格納されているビデオ映像の一場面である。範囲２
１２は、表示部位算出部１５において算出された表示部
位情報Ｓ４で示される範囲、範囲２１３は、切り出し部
位算出部３２において算出された切り出し部位情報Ｓ３
で示される範囲である（図１５）。ビデオ映像２１４
は、範囲２１３を示す切り出し部位情報Ｓ３に従ってブ
ロック切り出し部３４で切り出されたビデオ映像である
（図１６）。

【０１２５】ブロック切り出し部３４では、範囲２１３
に基づいて図１５のビデオ映像２１１から図１６のビデ
オ映像２１４を切り出す。ビデオ映像２１５は、このビ
デオ映像２１４が表示部位切り出し部１７によってウォ
ークスルー映像として切り出されたビデオ映像である
（図１７）。

【０１２６】この例においては、表部部位情報Ｓ４の範
囲２１２が切り出し部位情報Ｓ３の範囲２１３に完全に
含まれているので、表示部位切り出し部１７では、範囲
２１２に基づいてビデオ映像２１５を切り出す。このビ
デオ映像２１５が、ビデオ映像表示部１４によって利用
者に提示される。

【０１２７】ここで、ビデオ映像格納装置２に格納され
ているビデオ映像がＭＰＥＧ４形式でエンコードされて
いる場合に、ブロック切り出し部３４で行われる切り出
しについて説明する。

【０１２８】ＭＰＥＧ４形式でエンコードされているビ
デオ映像は、１６ｘ１６ピクセルのブロック（マクロブ
ロックと呼ぶ）単位でエンコードされている。従ってブ
ロック切り出し部３４において切り出しをマクロブロッ
クの単位で切り出すことと規定すると、各フレーム毎に
デコード、切り出し、再エンコードすることなく切り出
し処理を行うことができ、計算量の軽減、処理の高速化
を図ることができる。

【０１２９】そこで、ＭＰＥＧ４形式のビデオ映像の場
合には、ブロック切り出し部３４では、切り出し部位格
納部３３に格納されている切り出し部位で示される領域
を含むマクロブロックを列挙し、列挙した全てのマクロ
ブロックを切り出すこととする。すなわち、切り出し部
位格納部３３に格納されている切り出し部位情報Ｓ３で
示される領域よりも若干大きい領域が切り出されること
となる。

【０１３０】図１８、図１９は、ビデオ画像をマクロブ
ロック単位で切り出した場合の切り出し領域を示す模式
図である。

【０１３１】領域２２１はビデオ映像格納装置２に格納
されているビデオ映像のある時刻におけるビデオ映像の
領域を示したものである。また、領域２２２は切り出し
部位格納部３３に格納された切り出し部位情報Ｓ３の領
域を示す。ビデオ映像のマクロブロックと切り出し領域
が図１８に示すような関係にある場合、ブロック切り出
し部３４が実際に切り出すビデオ映像の領域は、図１９
に示す領域２２４となる。すなわち、この例において
は、切り出し部位情報Ｓ３の領域２２２を含むマクロブ
ロックＭＢ５、ＭＢ６、ＭＢ７、ＭＢ９、ＭＢ１０、Ｍ
Ｂ１１で囲まれる領域２２４が切り出される。

【０１３２】なお、ＭＰＥＧ４形式と同様にマクロブロ
ックに分割してエンコードされたビデオ映像には、Ｈ．
２６３などがある。これらのビデオ映像の場合も、ＭＰ
ＥＧ４ビデオ映像と同様の方法で処理を行うことが可能
である。ビデオ映像格納装置２に格納するビデオ映像
は、この種の形式でエンコードされたものであることが
望ましい。

【０１３３】次に、視線方向入力部１２に入力される視
線方向が変更した場合の処理手順について説明する。

【０１３４】視線方向入力部１２において、利用者から
の指示入力などに従って視線方向の変更が行われると、
変更された視線方向情報Ｓ２が表示部位算出部１５へと
送られる。表示部位算出部１５では、送られてきた視線
方向の変更情報に従って前述の手順で表示部位情報Ｓ
４、表示部位外接矩形情報Ｓ６を算出し（図１２のステ
ップ１２０２）、それぞれを表示部位格納部１６、切り
出し部位算出部３２へと送る（図１２のステップ１２０
３）。

【０１３５】切り出し部位算出部３２では、送られてき
た表示部位外接矩形情報Ｓ６に従って、前述の手順で切
り出し部位情報Ｓ３を算出し（図１１のステップ１１０
３）、切り出し部位の変更を行う。切り出し部位情報Ｓ
３が変更されることにより、ブロック切り出し部３４で
ビデオ映像から切り出されるビデオ映像の範囲が変更さ
れる。

【０１３６】一方、表示部位格納部１６に格納されてい
る表示部位情報Ｓ４が変更されたことに伴い、表示部位
切り出し部１７で切り出されるビデオ映像が変更され
る。これにより、ビデオ映像からウォークスルー映像と
して切り出される映像部位が変更されるため、視線方向
を変更したのと同様の視野の変化が得られることとな
り、利用者の視線方向の変更に応じたビデオ映像の変更
が可能となる。

【０１３７】図２１〜図２３に、視線方向を変更した際
のウォークスルー映像の変化の様子を示した模式図を示
す。ここでは、説明の簡単化のため、ビデオ映像読み出
し部３１からは常に同一のビデオ映像がブロック切り出
し部３４に送られてくるものとして図式化してある。

【０１３８】図２１において、ビデオ映像２５１はビデ
オ映像読み出し部３１から送られてくるビデオ映像であ
る。今、表示部位格納部１６に格納されている表示部位
情報Ｓ４で示される部位が部位２５２、切り出し部位格
納部３３に格納されている切り出し部位情報Ｓ３で示さ
れる部位が部位２５３であったとき、ブロック切り出し
部３４、及び表示部位切り出し部１７を経て最終的にビ
デオ映像表示部１４で表示されるビデオ映像は、図２２
に示すビデオ映像２５４となる。

【０１３９】次に、視線方向入力部１２において視線方
向が変更され、図２１に示すように、表示部位格納部１
６に格納されている表示部位情報Ｓ４で示される部位が
が部位２５５、切り出し部位格納部３３に格納されてい
る切り出し部位情報Ｓ３で示される部位がが部位２５６
と変更されたとする。このとき、ブロック切り出し部３
４、及び表示部位切り出し部１７を経て最終的にビデオ
映像表示部１４で表示されるビデオ映像は、図２３に示
すビデオ映像２５７となる。

【０１４０】最後に、視線方向入力部１２において視線
方向が変更され、図２１に示すように、表示部位格納部
１６に格納されている表示部位情報Ｓ４で示される部位
がが部位２５８、切り出し部位格納部３３に格納されて
いる切り出し部位情報Ｓ３で示される部位がが部位２５
９と変更されたとする。このとき、ブロック切り出し部
３４、及び表示部位切り出し部１７を経て最終的にビデ
オ映像表示部１４で表示されるビデオ映像は、図２４に
示すビデオ映像２６０となる。

【０１４１】図２１〜図２４に示すように、ウォークス
ルー映像提示装置１ａで提示されるウォークスルー映像
が、ビデオ映像２５４からビデオ映像２５７、さらにビ
デオ映像２６０へと変化することにより、利用者はあた
かも視線方向を右に移動した様な表示を得ることができ
る。

【０１４２】図２５、図２６に、視線方向を変更した際
のウォークスルー映像の変化の他例示した模式図を示
す。ここでは、説明の簡単化のため、ビデオ映像読み出
し部３１からは常に同一のビデオ映像がブロック切り出
し部３４に送られてくるものとして図式化してある。

【０１４３】図２５において、ビデオ映像２５１はビデ
オ映像読み出し部３１から送られてくるビデオ映像であ
る。今、表示部位格納部１６に格納されている表示部位
情報Ｓ４で示される部位が部位２７１、切り出し部位格
納部３３に格納されている切り出し部位情報Ｓ３で示さ
れる部位が部位２７２であったとする。

【０１４４】この場合、表示部位情報Ｓ４で示される部
位２７１が、切り出し部位情報Ｓ３で示される部位２７
２に完全に含まれていないので、表示部位切り出し部１
７により前述した規則に従って表示部位情報Ｓ４が変更
される。その結果、変更後の表示部位情報Ｓ４で示され
る部位は、図２５の部位２７３となる。

【０１４５】これにより、表示部位切り出し部１７を経
て最終的にビデオ映像表示部１４で表示されるビデオ映
像は、図２６に示すビデオ映像２７４となる。

【０１４６】図２５、図２６に示すように、ビデオ映像
の切り出し部位の更新が遅れた場合においても、ウォー
クスルー映像提示装置１ａに送られてくるビデオ映像
が、表示部位格納部１６に格納されている表示部位より
も大きいサイズであるため、表示部位切り出し部１７で
の切り出しが遅れることなく視線移動を行なうことがで
きる。

【０１４７】なお、表示部位算出部１５において表示部
位を算出する際に、変更前の表示部位から変更後の表示
部位にいきなり変更するのではなく、表示部位を段階的
に変更する機能を表示部位算出部１５に備えることで、
視線変更に伴うウォークスルー映像の変化を滑らかに移
動させることが可能な実施例も考えられる。

【０１４８】図２０は、この機能を実装した表示部位切
り出し部１７を用いた場合の表示部位の変化について説
明した模式図である。図２０において、最初の状態でビ
デオ映像２４１に対して表示部位が部位２４２が設定さ
れているとする。

【０１４９】このとき、視線方向入力部１２からの信号
によって表示部位格納部１６に格納されている表示部位
を部位２４３に変更する際に、表示部位算出部１５で
は、表示部位２４２を部位２４４、２４５、２４６、２
４３と４段階に順次変更する。すなわち、部位２４３の
映像が提示されるまでに、部位２４４、２４５、２４６
のように、少しずつ位置を移動させた映像が順次提示さ
れるものである。これにより、ウォークスルー映像提示
装置１ａで表示するウォークスルー映像を滑らかにスク
ロールさせることができる。なお、この例では、４段階
に変更する場合について説明したが、段階数は何段階で
あっても構わない。

【０１５０】ここで、本実施の形態のビデオ映像提示シ
ステムを実施する際には、ウォークスルー映像提示装置
１ａとビデオ映像送出装置３とが、ＬＡＮやＷＡＮなど
のネットワークを介して接続されている実施例が考えら
れる。

【０１５１】この実施例の場合、サーバマシン上にビデ
オ映像送出装置３並びにビデオ映像格納装置２を設置
し、クライアントマシン上にウォークスルー映像提示装
置１ａを設けることで１台のサーバマシンで、複数のク
ライアントマシンにサービスを提供することが可能とな
る。

【０１５２】この様に、ウォークスルー映像提示装置１
ａとビデオ映像送出装置３とがネットワークを介して接
続している場合、表示部位算出部１５から切り出し部位
算出部３２へと表示部位外接矩形情報Ｓ６を伝える際に
若干の時間遅延が発生する場合があり、これに起因し、
ブロック切り出し部３４から送られてくるビデオ映像の
部位が変更されるのが遅れることが予想される。

【０１５３】つまり、表示部位格納部１６に格納されて
いる表示部位情報Ｓ４は更新されるが、ブロック切り出
し部３４から送られてくるビデオ映像の部位が変更前の
ままという事態が起こり得る。このような事態では、表
示部位情報Ｓ４が切り出し部位情報Ｓ３に含まれなくな
る可能性が発生するが、その場合表示部位切り出し部１
７が図１４で説明したように表示部位情報Ｓ４を変更し
て切り出しを行う。

【０１５４】このように送られてくるビデオ映像の部位
の更新が遅れた場合においても、本実施の形態によるビ
デオ映像提示システムでは、ウォークスルー映像提示装
置１ａに送られてくるビデオ映像（すなわち、ブロック
切り出し部３４で切り出されるビデオ映像）が、表示部
位格納部１６に格納されている表示部位よりも大きいサ
イズであるため、表示部位切り出し部１７での切り出し
が遅れることなく視線移動を実現することが可能であ
る。

【０１５５】以上説明したように本実施の形態によるビ
デオ映像提示システムは、第１の実施の形態の効果に加
えて、１つのビデオ映像送出装置３から複数のウォーク
スルー映像提示装置１ａに対して、ネットワークを介し
てビデオ映像を効率よく配信することができる。例え
ば、サーバマシン上にビデオ映像送出装置３並びにビデ
オ映像格納装置２を設置し、クライアントマシン上にウ
ォークスルー映像提示装置１ａを設けることで、１台の
サーバマシンから複数のクライアントマシンへビデオ映
像のサービスを効率よく提供することができる。

【０１５６】次に、本発明の第３の実施の形態を説明す
る。図２７は、本発明の第３の実施の形態によるビデオ
映像提示システムの構成を示すブロック図である。

【０１５７】本実施の形態のビデオ映像提示システム
は、図１０に示した第２の実施の形態におけるビデオ映
像提示システムの構成に加え、切り出し部位算出部３２
で表示部位外接矩形情報Ｓ６を拡大するために定められ
ている拡大率を変更する拡大率変更部３５をビデオ映像
送出装置３ａの中に新たに備えている。

【０１５８】拡大率変更部３５は、他のモジュールから
の信号などに従って、切り出し部位算出部３２に格納さ
れている表示部位外接矩形情報Ｓ６を拡大するための拡
大率の値を変更する。拡大率が変更されると、切り出し
部位算出部３２で算出される切り出し部位情報Ｓ３で示
される部位の大きさが変更される。そして、ブロック切
り出し部３４において切り出されるビデオ映像の大きさ
が変更される。

【０１５９】つまり、拡大率変更部３５によって、ビデ
オ映像送出装置３ａからウォークスルー映像提示装置１
ａへと送られるビデオ映像のサイズ、すなわち、ビデオ
映像送出装置３ａからウォークスルー映像提示装置１ａ
へと送られるデータ量を変更することができるので、ビ
デオ映像提示システムに必要なネットワーク帯域を変更
することが可能となる。

【０１６０】本実施の形態によるビデオ映像提示システ
ムの実施例の１つとして、ビデオ映像送出装置３ａを有
する１つのサーバマシンに接続するウォークスルー映像
提示装置１ａの台数に応じて、拡大率を変更する実施例
が挙げられる。

【０１６１】この実施例では、ウォークスルー映像提示
装置１ａの台数が多い場合には、拡大率を下げて１つの
セッションが使用するネットワーク帯域を少なく押さえ
る。また、セッション数が少ない場合には、拡大率を上
げて大きなサイズのビデオ映像をウォークスルー映像提
示装置１ａに対して送信し、視線方向入力部１２で受け
た視線方向変更要求に即座に反応できるようにする。

【０１６２】ただし、拡大率を下げる場合でも、第２の
実施の形態による効果を有効なものとするためには、で
きるだけ拡大率の下げ幅を小さくして切り出し部位をよ
り大きく保つことが好ましい。

【０１６３】以上説明したように本実施の形態では、第
１、第２の実施の形態の効果に加えて、拡大率を変更す
る拡大率変更部３５を設けることで、例えば、ビデオ映
像送出装置３ａが稼動しているサーバマシン側で利用で
きるネットワーク帯域を随時計算してその帯域幅に適合
するデータ通信量でビデオ映像を配信することができ、
様々な環境下でビデオ映像提示システムを稼動させるこ
とができる。

【０１６４】次に、本発明の第４の実施の形態を説明す
る。図２８は、本発明の第４の実施の形態によるビデオ
映像提示システムの構成を示すブロック図である。

【０１６５】第４の実施の形態においては、図２７に示
した第３の実施の形態におけるビデオ映像提示システム
の構成に加え、ウォークスルー映像提示装置１ｂに送信
されるビデオ映像の品質や、その処理状況等に基づいて
拡大率変更部３５に対し拡大率の変更を要求するＱｏＳ
制御部１８を新たに備える構成としている。

【０１６６】本実施の形態によるビデオ映像提示システ
ムの実施例の１つとして、次の例が挙げられる。

【０１６７】ＱｏＳ制御部１８が、ビデオ映像送出装置
３ａから送られてくるビデオ映像について、データ遅延
や、ビデオフレーム欠損等を監視し、データ遅延、ビデ
オフレーム欠損等がある程度の頻度で発生する場合に、
拡大率変更部３５に対して拡大率の低減を指示する。

【０１６８】これにより、ビデオ映像送出装置３ａから
ウォークスルー映像提示装置１ｂに送られてくるビデオ
映像のサイズが小さくなることで、ビデオ映像送出装置
３ａとウォークスルー映像提示装置１ｂとの間でビデオ
映像の送受信するのに要するネットワーク帯域が軽減さ
れる。すなわち、データ遅延やビデオフレーム欠損を防
ぐことが可能になる。

【０１６９】また、本実施の形態によるビデオ映像提示
システムの別の実施例として、次の例が挙げられる。

【０１７０】ＱｏＳ制御部１８が、表示部位切り出し部
１７における処理状況を監視し、表示部位切り出し部１
７における処理がビデオ映像のフレームレートを下回る
場合に、拡大率変更部３５に対して拡大率の低減を指示
する。

【０１７１】これにより、ビデオ映像送出装置３ａから
ウォークスルー映像提示装置１ｂに送られてくるビデオ
映像のサイズが小さくなることで表示部位切り出し部１
７における処理を軽減する。すなわち提示されるビデオ
映像のフレームレート低下を防ぐことが可能となる。

【０１７２】以上説明したように、本実施の形態による
ビデオ映像提示システムでは、第１〜第３の実施の形態
の効果に加えて、ウォークスルー映像提示装置１ｂにお
いて、ネットワーク状況の変動により生じた、サーバか
らのビデオ映像の遅延やフレーム欠損などを検知した場
合に、それらの現象を緩和することを目的に送出するビ
デオ映像のデータ通信量を制御するいわゆるネットワー
クのＱｏＳ（Qualityof Service）制御が可能となる。
つまり、ネットワークの状態に応じた品質で利用者に対
してビデオ映像提示システムを提供することが可能とな
る。

【０１７３】また更に、受信したビデオ映像に対する処
理がウォークスルー映像提示装置１ｂの処理能力を超過
した場合にも、同様にして、ビデオ映像の拡大率の低減
をビデオ映像送出装置３ａに指示することにより、ビデ
オ映像を安定して処理することができる。

【０１７４】次に、本発明の第５の実施の形態を説明す
る。図２９は、本発明の第５の実施の形態によるビデオ
映像提示システムの構成を示すブロック図である。

【０１７５】本実施の形態のビデオ映像提示システム
は、ウォークスルー映像を利用者に提示するウォークス
ルー映像提示装置１ｃと、街路や建物内を移動する様子
を連続的に記録したビデオ映像を格納するビデオ映像格
納装置２と、ビデオ映像格納装置２に格納されているビ
デオ映像に処理を施し、ウォークスルー映像提示装置１
ｃで表示すべきビデオ映像を生成して、ウォークスルー
映像提示装置１ｃに送出する２つ以上のｎ台のビデオ映
像送出装置３−１、３−２、…、３−ｎと、ウォークス
ルー映像提示装置１ｃとの間に常に１つの仮想コネクシ
ョンを確立しつつ、２つ以上のｎ台のビデオ映像送出装
置３−１、３−２、…、３−ｎからのビデオ映像を選択
的に切り替えて同一のコネクションを通してウォークス
ルー映像提示装置１ｃへと送るビデオ映像切り替え部４
と、ｎ台のビデオ映像送出装置３−１、３−２、…、３
−ｎで読み出されるビデオ映像の中から表示すべきビデ
オ映像をビデオ映像切り替え部４に指示するビデオ映像
決定部５を備える。

【０１７６】本実施の形態のウォークスルー映像提示装
置１ｃ、ビデオ映像格納装置２、並びにビデオ映像送出
装置３−１、３−２、…、３−ｎは、第１、第２、第
３、第４の実施の形態の何れかの構成を適用する。

【０１７７】つまり、本実施の形態のウォークスルー映
像提示装置１ｃとして、第１、第２、第３、第４の実施
の形態のウォークスルー映像提示装置１、１ａ、１ｂを
用いることができ、本実施の形態のビデオ映像送出装置
３−１、３−２、…、３−ｎとして、第１、第２、第
３、第４の実施の形態のビデオ映像送出装置３、３ａを
用いることができる。また、本実施の形態のビデオ映像
送出装置３−１、３−２、…、３−ｎの台数ｎは、特に
限定する必要はなく、２台以上の任意の台数により実施
することができる。

【０１７８】また、ビデオ映像送出装置３−１、３−
２、…、３−ｎとビデオ映像格納装置２がサーバマシン
上に設けれ、ウォークスルー映像提示装置１ｃとビデオ
映像決定部５がクライアントマシン上に設けられる。ビ
デオ映像切り替え部４については、サーバ及びクライア
ントマシンから独立してネットワーク上に位置してい
る。

【０１７９】次に、本実施の形態によるビデオ映像提示
システムの動作について図３０のフローチャートを参照
して説明する。

【０１８０】まず、ビデオ映像決定部５において、ウォ
ークスルー映像提示装置１ｃで表示するビデオ映像の候
補を複数決定し、そのビデオ映像名を別々のビデオ映像
送出装置３−１、３−２、…、３−ｎへと伝達する（ス
テップ３００１）。

【０１８１】ビデオ映像名を受信したビデオ映像送出装
置３−１、３−２、…、３−ｎでは、ビデオ映像格納装
置２からの該当ビデオ映像の読み出しとブロック切り出
し部３４での切り出し処理を含む送出の準備を行う（ス
テップ３００２）。ビデオ映像送出装置３−１、３−
２、…、３−ｎでの動作は、第１、第２、第３、第４の
実施の形態で説明したいずれかの方法に従って行なわれ
る。

【０１８２】一方、ビデオ映像決定部５では、ビデオ映
像の候補の中から最初に表示すべきビデオ映像を決定し
ビデオ映像切り替え部４に伝達する（ステップ３００
３）。ビデオ映像切り替え部４では、ビデオ映像決定部
５からの指示に従って該ビデオ映像をウォークスルー映
像提示装置１ｃへと伝達する（ステップ３００４）。ウ
ォークスルー映像提示装置１ｃでは、送られてきたビデ
オ映像を利用者に対して提示する（ステップ３００
５）。

【０１８３】ここで、ビデオ映像決定部５において表示
するビデオ映像を変更すると（ステップ３００６）、変
更したビデオ映像名がビデオ映像切り替え部４へと伝達
される。ビデオ映像決定部５からの信号を受けたビデオ
映像切り替え部４では、即座にウォークスルー映像提示
装置１ｃへと送信するビデオ映像を該ビデオ映像へと切
り替えて送信する（ステップ３００７）。

【０１８４】なお、本実施の形態によるビデオ映像提示
システムでは、切り替え後のビデオ映像は、既に送出準
備を終えた状態で待機しているので、ビデオ映像の切り
替えを行う際、切り替え前後のビデオ映像を繋ぎ目で途
切れることなく連続的に送出することができる。

【０１８５】また、ビデオ映像決定部５では、その時々
の状況に応じて候補となるビデオ映像を随時決定し、ビ
デオ映像送出装置３−１、３−２、…、３−ｎへとビデ
オ映像名を伝達し、ビデオ映像の送出準備を指示する。
同時に、再生候補から外れたビデオ映像に対しては、ビ
デオ映像送出装置３−１、３−２、…、３−ｎに準備終
了を指示する。

【０１８６】次に、本実施の形態における具体的な実施
例を幾つか挙げる。まず本実施の形態の第１の実施例を
説明する。

【０１８７】本実施例では、ビデオ映像決定部５で候補
として決定するビデオ映像を、異なるビットレートで同
一の場面を記録したビデオ映像とする。そして、ビデオ
映像切り替え部４とウォークスルー映像提示装置１ｃと
を結ぶネットワーク環境に応じて、送信に適したビット
レートのビデオ映像を選択し表示を行う。

【０１８８】このようにすることで、本実施例では、ネ
ットワークの利用可能帯域が広い場合には、高ビットレ
ートで詳細なビデオ映像を表示し、ネットワークの利用
可能帯域が狭まった場合には、即座に低ビットレートの
ビデオ映像に切り替えてビデオ映像の表示を行うことが
できる。

【０１８９】次に、本実施の形態の第２の実施例を説明
する。

【０１９０】ビデオ映像決定部５で候補として決定する
ビデオ映像を、同一経路を移動しているが、異なる方向
を記録したビデオ映像とする。例えば、同一経路につい
て、前方、後方、左方、右方を記録したビデオ映像を候
補として決定する。

【０１９１】このため本実施例では、利用者の指示入力
により、表示するビデオ映像を適宜切り替えることで、
利用者が視線方向を更に自由に移動することができる。

【０１９２】次に、本実施の形態の第３の実施例を説明
する。

【０１９３】図３１は、３次元空間における視点の移動
経路を説明する図である。ここでは、経路５１１は、地
点５１５において３つの経路、経路５１２、５１３、５
１４と接続している。これら、経路５１１、５１２、５
１３、５１４を移動する様子を記録したビデオ映像をそ
れぞれビデオ映像５２１、５２２、５２３、５２４とす
る。

【０１９４】このとき、ビデオ映像決定部５では、ビデ
オ映像５２１、５２２、５２３、５２４の４つのビデオ
を候補として決定し、そのそれぞれをビデオ映像送出装
置３−１、３−２、３−３、３−４に送り、ビデオ映像
送出装置３−１、３−２、３−３、３−４では該ビデオ
映像を読み出し、送出の準備を行う。

【０１９５】そして実際に利用者にウォークスルー映像
を提示するときには、まず、ビデオ映像決定部５におい
て、ビデオ映像５２１の再生を決定してビデオ映像切り
替え部４に伝達し、ウォークスルー映像提示装置１ｃに
おいてビデオ映像５２１の再生を行う。つまり、経路５
１１を歩いている様子を利用者に対して提示する。

【０１９６】次に、ビデオ映像５２１の再生が地点５１
５に至るまでに、経路５１１の次に通るべき経路を経路
５１２、５１３、５１４の中から選択する。

【０１９７】ここでは、経路５１２が選択されたものと
し、次に再生すべきビデオ映像がビデオ映像５２２であ
るとして説明する。ビデオ映像決定部５において決定さ
れたビデオ映像名は、ビデオ映像切り替え部４へと伝達
される。ビデオ映像切り替え部４では、ビデオ映像５２
１を最終フレームまで再生後、直ちにビデオ映像５２２
の再生を開始する。

【０１９８】このように、本実施例では、複数の経路を
連続的に、かつ選択的に移動する様子を利用者に対して
提示することができる。

【０１９９】以上説明したように本実施の形態のビデオ
映像提示システムでは、表示するビデオ映像を適宜切り
替えることにより、適切なビットレートによる表示や、
利用者が視線方向を更に自由に移動させることや、複数
の経路を連続的にかつ選択的に移動する様子を提示する
ことができる。

【０２００】また本実施の形態を、第１〜第４の各実施
の形態と組み合わせることにより（つまり、ウォークス
ルー映像提示装置１ｃや各ビデオ映像送出装置３−１、
３−２、…、３−ｎとして、その第１〜第４の実施の形
態のものを用いることにより）、第１〜第４の各実施の
形態の効果を合わせて実現することができる。

【０２０１】なお、上記各実施の形態のビデオ映像提示
システムは、ウォークスルー映像提示装置１におけるビ
デオ映像選択部１１、視線方向入力部１２、ビデオ映像
デコード部１３、ビデオ映像表示部１４、表示部位算出
部１５、表示部位格納部１６、表示部位切り出し部１
７、ＱｏＳ制御部１８の機能や、ビデオ映像送出装置
３、３ａ、３−１、３−２、…、３−ｎにおけるビデオ
映像読み出し部３１、切り出し部位算出部３２、切り出
し部位格納部３３、ブロック切り出し部３４、拡大率変
更部３５の機能や、ビデオ映像切り替え部４の機能や、
ビデオ映像決定部５の機能や、その他の機能をハードウ
ェア的に実現することは勿論として、各機能を備えるコ
ンピュータプログラムである映像処理プログラム９０、
９０ａ、９０ｂ、９０ｃ、９１、９１ａを、コンピュー
タ処理装置のメモリにロードされることで実現すること
ができる。この映像処理プログラム９０、９０ａ、９０
ｂ、９０ｃ、９１、９１ａは、磁気ディスク、半導体メ
モリその他の記録媒体に格納される。そして、その記録
媒体からコンピュータ処理装置にロードされ、コンピュ
ータ処理装置の動作を制御することにより、上述した各
機能を実現する。

【０２０２】以上好ましい実施の形態及び実施例をあげ
て本発明を説明したが、本発明は必ずしも上記実施の形
態及び実施例に限定されるものではなく、その技術的思
想の範囲内において様々に変形して実施することができ
る。

【０２０３】

【発明の効果】以上説明したように本発明によれば、以
下のような効果が達成される。

【０２０４】第１に、３次元コンピュータグラフィック
ス技術を用いて構築した仮想空間内をウォークスルーす
る様子を記録したビデオ映像、あるいは実際の街路をウ
ォークスルーする様子を記録したビデオ映像を再生する
ことで、利用者に対して空間内の移動を提示するシステ
ムにおいて、利用者の自由な、かつ滑らかな視線移動を
実現することができる。

【０２０５】第２に、複数のビデオ映像を組み合わせて
利用者に対して空間内の移動を提示するシステムにおい
て、利用者にビデオ映像間の繋ぎ目を意識させることな
く円滑にビデオ映像を表示することができる。つまり、
ビデオ映像間の接続を滑らかにすることで、利用者の自
然な空間移動を実現することができる。

【図面の簡単な説明】

【図１】 本発明の第１の実施の形態によるビデオ映像
提示システムの構成を示すブロック図である。

【図２】 本発明の第１の実施の形態によるビデオ映像
提示システムを適用したネットワーク構成を示すブロッ
ク図である。

【図３】 本発明の第１の実施の形態によるビデオ映像
提示システムのビデオ映像送出装置の動作を説明するフ
ローチャートである。

【図４】 本発明の第１の実施の形態のビデオ映像の一
例を示す模式図である。

【図５】 本発明の第１の実施の形態の図２のビデオ映
像による利用者提示映像を示す模式図である。

【図６】 本発明の第１の実施の形態における利用者の
視線移動時のビデオ映像変化を示す模式図である。

【図７】 本発明の第１の実施の形態における利用者の
視線移動時のビデオ映像変化を示す模式図である。

【図８】 本発明の第１の実施の形態における利用者の
視線移動時のビデオ映像変化を示す模式図である。

【図９】 本発明の第１の実施の形態における切り出し
部位の変化を示す模式図である。

【図１０】 本発明の第２の実施の形態によるビデオ映
像提示システムの構成を示すブロック図である。

【図１１】 本発明の第２の実施の形態におけるビデオ
映像送出装置の動作を説明するフローチャートである。

【図１２】 本発明の第２の実施の形態におけるウォー
クスルー映像提示装置の動作を説明するフローチャート
である。

【図１３】 本発明の第２の実施の形態における視線方
向、表示部位情報、表示部位外接矩形情報、切り出し部
位情報の関係についての模式図である。

【図１４】 本発明の第２の実施の形態における表示部
位切り出し部の動作を説明するフローチャートである。

【図１５】 本発明の第２の実施の形態におけるビデオ
映像と利用者提示映像を示す模式図である。

【図１６】 本発明の第２の実施の形態におけるビデオ
映像と利用者提示映像を示す模式図である。

【図１７】 本発明の第２の実施の形態におけるビデオ
映像と利用者提示映像を示す模式図である。

【図１８】 本発明の第２の実施の形態における切り出
し部位算出方法を示す模式図である。

【図１９】 本発明の第２の実施の形態における切り出
し部位算出方法を示す模式図である。

【図２０】 本発明の第２の実施の形態における切り出
し部位の変化を示す模式図である。

【図２１】 本発明の第２の実施の形態における利用者
の視線移動時のビデオ映像変化を示す模式図である。

【図２２】 本発明の第２の実施の形態における利用者
の視線移動時のビデオ映像変化を示す模式図である。

【図２３】 本発明の第２の実施の形態における利用者
の視線移動時のビデオ映像変化を示す模式図である。

【図２４】 本発明の第２の実施の形態における利用者
の視線移動時のビデオ映像変化を示す模式図である。

【図２５】 本発明の第２の実施の形態における利用者
の視線移動時のビデオ映像変化の他の例を示す模式図で
ある。

【図２６】 本発明の第２の実施の形態における利用者
の視線移動時のビデオ映像変化の他の例を示す模式図で
ある。

【図２７】 本発明の第３の実施の形態によるビデオ映
像提示システムの構成を示すブロック図である。

【図２８】 本発明の第４の実施の形態によるビデオ映
像提示システムの構成を示すブロック図である。

【図２９】 本発明の第５の実施の形態によるビデオ映
像提示システムの構成を示すブロック図である。

【図３０】 本発明の第５の実施の形態によるビデオ映
像提示システムの動作を説明するフローチャートであ
る。

【図３１】 本発明の第５の実施の形態における３次元
空間における視点の移動経路の説明図である。

【符号の説明】

１、１ａ、１ｂ、１ｃ ウォークスルー映像提示装置 １１ ビデオ映像選択部 １２ 視線方向入力部 １３ ビデオ映像デコード部 １４ ビデオ映像表示部 １５ 表示部位算出部 １６ 表示部位格納部 １７ 表示部位切り出し部 １８ ＱｏＳ制御部 ２ ビデオ映像格納装置 ３、３ａ、３−１、３−２、…、３−ｎ ビデオ映像送
出装置 ３１ ビデオ映像読み出し部 ３２ 切り出し部位算出部 ３３ 切り出し部位格納部 ３４ ブロック切り出し部 ３５ 拡大率変更部 ４ ビデオ映像切り替え部 ５ ビデオ映像決定部 ９０、９０ａ、９０ｂ、９０ｃ、９１、９１ａ 映像処
理プログラム Ｓ１ ビデオ映像情報 Ｓ２ 視線入力情報 Ｓ３ 切り出し部位情報 Ｓ４ 表示部位情報 Ｓ５ 表示領域情報 Ｓ６ 表示部位外接矩形情報

───────────────────────────────────────────────────── フロントページの続き (51)Int.Cl.⁷ 識別記号 ＦＩ テーマコート゛(参考） Ｇ０９Ｇ 5/36 ５１０ Ｇ０９Ｇ 5/36 ５２０Ｅ ５２０Ｐ Ｆターム(参考） 5C064 BA07 BB03 BC16 BC20 BD05 BD08 5C082 AA00 BA12 BA46 BB44 BB53 CA32 CA52 CA76 CA81 CB01 CB06 DA73 DA86 MM05 MM10 5E501 AA20 AC37 BA05 CA02 CC08 EB06 FA06 FA14

Claims (34)

【特許請求の範囲】
1. 【請求項１】 撮影したビデオ映像を提示するビデオ映
   像提示システムにおいて、 前記ビデオ映像を見る利用者の視線方向の指定を受け付
   け、 前記ビデオ映像中の、前記視線方向に対応する切り出し
   範囲を算出し、 前記ビデオ映像を前記算出した切り出し範囲に基づいて
   切り出し、新たなビデオ映像として提示することを特徴
   とするビデオ映像提示システム。
2. 【請求項２】 前記ビデオ映像を提示するビデオ映像提
   示装置と、 前記ビデオ映像を切り出して、前記ビデオ映像提示装置
   に対して新たなビデオ映像を送出するビデオ映像送出装
   置を備えることを特徴とする請求項１に記載のビデオ映
   像提示システム。
3. 【請求項３】 前記ビデオ映像送出装置が、 前記ビデオ映像提示装置から通知された前記利用者の視
   線方向に対応する前記ビデオ映像中の前記切り出し範囲
   を算出し、 前記ビデオ映像を前記算出した切り出し範囲に基づいて
   切り出し、新たなビデオ映像として前記ビデオ映像提示
   装置に送出することを特徴とする請求項２に記載のビデ
   オ映像提示システム。
4. 【請求項４】 前記ビデオ映像提示装置が、 前記利用者の視線方向に対応する前記ビデオ映像中の前
   記切り出し範囲を算出し、 前記ビデオ映像送出装置からの前記ビデオ映像から、前
   記切り出し範囲に基づいて新たなビデオ画像を切り出し
   て提示することを特徴とする請求項２に記載のビデオ映
   像提示システム。
5. 【請求項５】 前記ビデオ映像送出装置が、 前記ビデオ映像提示装置から通知された前記利用者の視
   線方向に対応する前記ビデオ映像中の切り出し範囲を算
   出し、 前記ビデオ映像の画面を定められたサイズ毎に分割した
   各ブロックの内で、前記ビデオ映像中の前記切り出し範
   囲を含む範囲の各前記ブロックの領域を新たなビデオ映
   像として切り出して前記ビデオ映像提示装置に送出する
   ことを特徴とする請求項２に記載のビデオ映像提示シス
   テム。
6. 【請求項６】 前記ビデオ映像提示装置が、 前記利用者の視線方向に対応する前記ビデオ映像中の第
   １の切り出し範囲を算出し、前記ビデオ映像送出装置が、
   前記第１の切り出し範囲に基づいて、前記第１の切り出
   し範囲より大きい範囲の第２の切り出し範囲を算出し、
   前記第２の切り出し範囲に基づいて、前記ビデオ映像を
   切り出し、新たなビデオ映像として前記ビデオ映像提示
   装置に送出し、前記新たなビデオ画像を受けた前記ビデ
   オ映像提示装置が、前記新たなビデオ画像を前記第１の
   切り出し範囲に基づいて切り出して提示することを特徴
   とする請求項２に記載のビデオ映像提示システム。
7. 【請求項７】 前記ビデオ映像提示装置が、前記第２の
   切り出し範囲を前記画像送出装置から受け取り、前記第
   １の切り出し範囲と前記第２の切り出し範囲を比較する
   ことにより、前記第１の切り出し範囲が前記第２の切り
   出し範囲に含まれる場合に、前記新たなビデオ画像を前
   記第１の切り出し範囲に基づいて切り出し、前記第１の
   切り出し範囲が前記第２の切り出し範囲に含まれない場
   合には、前記第２の切り出し範囲内に含まれるように前
   記第１の切り出し範囲を変更し、前記新たなビデオ画像
   を変更した第１の切り出し範囲に基づいて切り出すこと
   を特徴とする請求項６に記載のビデオ映像提示システ
   ム。
8. 【請求項８】 前記ビデオ映像送出装置が、 前記ビデオ映像の送出先の前記ビデオ映像提示装置の台
   数に基づいて、前記ビデオ映像提示装置に送出する前記
   ビデオ映像の画像のサイズを所定の拡大率に変更するこ
   とにより、前記ビデオ映像送出装置と前記ビデオ映像提
   示装置との間の通信帯域以下に、前記ビデオ映像の通信
   量を抑制することを特徴とする請求項１から請求項７の
   いずれか１つに記載のビデオ映像提示システム。
9. 【請求項９】 前記ビデオ映像送出装置が、 前記ビデオ映像提示装置に送出する前記ビデオ映像の画
   像のサイズを、前記ビデオ映像提示装置からの指示に基
   づいて所定の拡大率に変更することにより、前記ビデオ
   映像送出装置と前記ビデオ映像提示装置との間の通信帯
   域以下に、前記ビデオ映像の通信量を抑制することを特
   徴とする請求項１から請求項７のいずれか１つに記載の
   ビデオ映像提示システム。
10. 【請求項１０】 前記ビデオ映像提示装置が、前記ビデ
    オ映像送出装置に対し、当該ビデオ映像送出装置が送出
    する前記ビデオ映像の画像のサイズを、前記ビデオ映像
    の受信状態に基づいて指示することを特徴とする請求項
    ９に記載のビデオ映像提示システム。
11. 【請求項１１】 前記ビデオ映像提示装置が、前記ビデ
    オ映像送出装置に対し、当該ビデオ映像送出装置が送出
    する前記ビデオ映像の画像のサイズを、受信した前記ビ
    デオ映像の処理状況に基づいて指定することを特徴とす
    る請求項９に記載のビデオ映像提示システム。
12. 【請求項１２】 前記ビデオ映像提示装置から前記ビデ
    オ映像提示装置に、ネットワークを介して前記ビデオ映
    像を送出することを特徴とする請求項１から請求項１１
    のいずれか１つに記載のビデオ映像提示システム。
13. 【請求項１３】 前記ビデオ映像提示装置が、送出する
    前記ビデオ映像を圧縮した上で送出し、 前記ビデオ映像提示装置が、前記ビデオ映像提示装置か
    ら受信した前記圧縮されたビデオ映像を復号した上で提
    示することを特徴とする請求項１２に記載のビデオ映像
    提示システム。
14. 【請求項１４】 前記ビデオ映像送出装置から同時に複
    数の切り出した前記ビデオ映像を受信し、各前記ビデオ
    映像を選択的に切り替えて前記ビデオ映像提示装置に対
    し、当該ビデオ映像提示装置との間のコネクションを変
    更することなく送信する切り替え装置を備えることを特
    徴とする請求項１２又は請求項１３に記載のビデオ映像
    提示システム。
15. 【請求項１５】 前記ビデオ映像が、街路や建物内を移
    動する様子を記録したウォークスルー映像であることを
    特徴とする請求項１から請求項１４のいずれか１つに記
    載のビデオ映像提示システム。
16. 【請求項１６】 前記ビデオ映像が、前記利用者が視線
    移動する範囲の映像を含む広視野ビデオ映像であること
    を特徴とする請求項１５に記載のビデオ映像提示システ
    ム。
17. 【請求項１７】 ビデオ映像提示装置に対してビデオ映
    像を送出するビデオ映像送出装置において、 前記ビデオ映像提示装置から通知された前記ビデオ映像
    を見る利用者の視線方向に対応する前記ビデオ映像中の
    切り出し範囲を算出する手段と、 前記ビデオ映像の前記切り出し範囲を新たなビデオ映像
    として切り出して前記ビデオ映像提示装置に送出する切
    り出し手段を備えることを特徴とするビデオ映像送出装
    置。
18. 【請求項１８】 前記ビデオ映像の画面を定められたサ
    イズ毎に分割した各ブロックの内で、前記ビデオ映像中
    の前記利用者の視線方向に対応して算出した前記切り出
    し範囲を含む範囲の各前記ブロックの領域を新たなビデ
    オ映像として切り出して前記ビデオ映像提示装置に送出
    する手段を備えることを特徴とする請求項１７に記載の
    ビデオ映像送出装置。
19. 【請求項１９】 前記ビデオ映像の送出先の前記ビデオ
    映像提示装置の台数に基づいて、前記ビデオ映像提示装
    置に送出する前記ビデオ映像の画像のサイズを所定の拡
    大率に変更する手段を備えることにより、 前記ビデオ映像提示装置との間の通信帯域以下に、前記
    ビデオ映像の通信量を抑制することを特徴とする請求項
    １７又は請求項１８に記載のビデオ映像送出装置。
20. 【請求項２０】 前記ビデオ映像提示装置に送出する前
    記ビデオ映像の画像のサイズを、前記ビデオ映像提示装
    置からの指示に基づいて所定の拡大率に変更する手段を
    備えることにより、 前記ビデオ映像提示装置との間の通信帯域以下に、前記
    ビデオ映像の通信量を抑制することを特徴とする請求項
    １７又は請求項１８に記載のビデオ映像送出装置。
21. 【請求項２１】 前記ビデオ映像を圧縮した上で送出す
    る手段を備えることを特徴とする請求項１７から請求項
    ２０のいずれか１つに記載のビデオ映像送出装置。
22. 【請求項２２】 前記ビデオ映像提示装置に対し、ネッ
    トワークを介して前記ビデオ映像を送出することを特徴
    とする請求項１７から請求項２１のいずれか１つに記載
    のビデオ映像送出装置。
23. 【請求項２３】 ビデオ映像送出装置から送出されるビ
    デオ映像を提示するビデオ映像提示装置において、 前記ビデオ映像を見る利用者の視線方向の指定を前記ビ
    デオ映像送出装置に指示する手段を備え、 前記ビデオ映像送出装置にて前記視線方向に対応した切
    り出し範囲で前記ビデオ映像から切り出された新たなビ
    デオ映像を受信して提示することを特徴とするビデオ映
    像提示装置。
24. 【請求項２４】 前記利用者の視線方向に対応する前記
    ビデオ映像中の第１の切り出し範囲を算出する手段と、 前記第１の切り出し範囲に基づいて、前記ビデオ映像送
    出装置で算出された前記第１の切り出し範囲より大きい
    範囲の第２の切り出し範囲で切り出された新たなビデオ
    映像を受け取り、前記新たなビデオ画像を前記第１の切
    り出し範囲に基づいて切り出して提示する切り出し手段
    を備えることを特徴とする請求項２３に記載のビデオ映
    像提示装置。
25. 【請求項２５】 前記切り出し手段は、 前記第１の切り出し範囲を前記画像送出装置から受け取
    り、 前記第１の切り出し範囲と前記第２の切り出し範囲を比
    較することにより、前記第１の切り出し範囲が前記第２
    の切り出し範囲に含まれる場合に、前記新たなビデオ画
    像を前記第１の切り出し範囲に基づいて切り出し、前記
    第１の切り出し範囲が前記第２の切り出し範囲に含まれ
    ない場合には、前記第２の切り出し範囲内に含まれるよ
    うに前記第１の切り出し範囲を変更し、前記新たなビデ
    オ画像を変更した第１の切り出し範囲に基づいて切り出
    すことを特徴とする請求項２４に記載のビデオ映像提示
    装置。
26. 【請求項２６】 前記ビデオ映像送出装置に対し、前記
    ビデオ映像の画像のサイズを、前記ビデオ映像の受信状
    態に基づいて所定の拡大率に変更する指示を行なう手段
    を備えることを特徴とする請求項２４または請求項２５
    に記載のビデオ映像提示装置。
27. 【請求項２７】 前記ビデオ映像送出装置に対し、前記
    ビデオ映像の画像のサイズを、受信した前記ビデオ映像
    の処理状況に基づいて所定の拡大率に変更する指示を行
    なう手段を備えることを特徴とする請求項２４または請
    求項２５に記載のビデオ映像提示装置。
28. 【請求項２８】 前記ビデオ映像送出装置から、ネット
    ワークを介して前記ビデオ映像を受信することを特徴と
    する請求項２３から請求項２７のいずれか１つに記載の
    ビデオ映像提示装置。
29. 【請求項２９】 前記ビデオ映像送出装置から同時に複
    数の前記ビデオ映像を受信し、各前記ビデオ映像を選択
    的に切り替えて提示する手段を備えることを特徴とする
    請求項２８に記載のビデオ映像提示装置。
30. 【請求項３０】 前記ビデオ映像送出装置から圧縮され
    て送出された前記ビデオ映像を、復号した上で提示する
    ことを特徴とする請求項２３から請求項２９のいずれか
    １つに記載のビデオ映像提示装置。
31. 【請求項３１】 コンピュータを制御することにより、
    ビデオ映像送出装置からビデオ映像提示装置に対してビ
    デオ映像を送出するビデオ映像処理プログラムにおい
    て、 前記ビデオ映像提示装置から通知された前記ビデオ映像
    を見る利用者の視線方向に対応する前記ビデオ映像中の
    切り出し範囲を算出する機能と、 前記ビデオ映像を前記算出した切り出し範囲に基づいて
    切り出し、新たなビデオ映像として前記ビデオ映像提示
    装置に提示する機能を備えることを特徴とするビデオ映
    像処理プログラム。
32. 【請求項３２】 コンピュータを制御することにより、
    ビデオ映像送出装置からビデオ映像提示装置に対してビ
    デオ映像を送出して提示するビデオ映像処理プログラム
    において、 前記ビデオ映像を見る利用者の視線方向の指定を前記ビ
    デオ映像送出装置に指示する機能を備え、 前記ビデオ映像送出装置にて前記視線方向に対応した切
    り出し範囲で前記ビデオ映像から切り出された新たなビ
    デオ映像を受信して提示する機能を備えることを特徴と
    するビデオ映像処理プログラム。
33. 【請求項３３】 前記利用者の視線方向に対応する前記
    ビデオ映像中の第１の切り出し範囲を算出する機能と、
    前記第１の切り出し範囲に基づいて、前記ビデオ映像送
    出装置で算出された前記第１の切り出し範囲より大きい
    範囲の第２の切り出し範囲で切り出された新たなビデオ
    映像を受け取り、前記新たなビデオ画像を前記第１の切
    り出し範囲に基づいて切り出して提示する機能を備える
    ことを特徴とする請求項３２に記載のビデオ映像処理プ
    ログラム。
34. 【請求項３４】 前記切り出し機能は、前記第１の切り
    出し範囲を前記画像送出装置から受け取り、前記第１の
    切り出し範囲と前記第２の切り出し範囲を比較すること
    により、前記第１の切り出し範囲が前記第２の切り出し
    範囲に含まれる場合に、前記新たなビデオ画像を前記第
    １の切り出し範囲に基づいて切り出し、前記第１の切り
    出し範囲が前記第２の切り出し範囲に含まれない場合に
    は、前記第２の切り出し範囲内に含まれるように前記第
    １の切り出し範囲を変更し、前記新たなビデオ画像を変
    更した第１の切り出し範囲に基づいて切り出すことを特
    徴とする請求項３３に記載のビデオ映像処理プログラ
    ム。