JP2013183249A - 動画提示装置 - Google Patents

動画提示装置 Download PDF

Info

Publication number
JP2013183249A
JP2013183249A JP2012045064A JP2012045064A JP2013183249A JP 2013183249 A JP2013183249 A JP 2013183249A JP 2012045064 A JP2012045064 A JP 2012045064A JP 2012045064 A JP2012045064 A JP 2012045064A JP 2013183249 A JP2013183249 A JP 2013183249A
Authority
JP
Japan
Prior art keywords
moving
route
video
switching
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
JP2012045064A
Other languages
English (en)
Other versions
JP5861499B2 (ja
Inventor
Takahiro Matsubara
孝博 松原
Naoki Kawai
直樹 河合
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Dai Nippon Printing Co Ltd
Original Assignee
Dai Nippon Printing Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Dai Nippon Printing Co Ltd filed Critical Dai Nippon Printing Co Ltd
Priority to JP2012045064A priority Critical patent/JP5861499B2/ja
Publication of JP2013183249A publication Critical patent/JP2013183249A/ja
Application granted granted Critical
Publication of JP5861499B2 publication Critical patent/JP5861499B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Stereoscopic And Panoramic Photography (AREA)
  • Studio Circuits (AREA)
  • Television Signal Processing For Recording (AREA)
  • Studio Devices (AREA)

Abstract

【課題】複数の経路を含む実在の場所について、視聴者に画像の不連続に起因した違和感を感じさせない態様で動画提示を行う。
【解決手段】動画データ格納部110内に、各経路R1〜R6上を移動する全方位カメラで撮影した動画データM1〜M6を格納し、基本情報格納部120内に、経路に関するルート情報RTと経路と動画データを対応させる動画データ対応情報MCを格納する。ユーザの指示に基づいて、位置方向更新部141は、経路上の視点位置Pおよび視線方向φを逐次更新する。経路移動中は、移動動画再生部131が、移動中の経路に対応する動画データを再生する。旧経路から新経路に移行する際は、切替動画再生部132が、旧経路の動画の最後のシーンから新経路の動画の最初のシーンへと徐々にブレンドしてゆく切替動画を、視線方向が旧経路から新経路の方向へと徐々に移動してゆくパン映像として再生する。
【選択図】図10

Description

本発明は、動画提示装置に関し、特に、実在の場所について、所定経路に沿って移動する視点から見た視界を動画として提示する装置に関する。
魚眼レンズや全方位ミラーを装着したカメラを用いると、周囲360°の視界をもつ全方位画像を撮影することができる。予め、このような全方位画像を用意しておけば、視聴者の希望する任意の視点位置から任意の方向を観察した画像を提示するサービスを提供することができる。
たとえば、下記の特許文献1には、情報提供センターに全方位画像を用意しておき、視聴者の求めに応じて、端末装置の画面上に任意視点から任意方向を観察した画像を表示させるための画像データを送信する技術が開示されている。また、グーグル株式会社(本社:米国カリフォルニア州のGoogle Inc. )は、「ストリートビュー」と称して、インターネットを利用して道路上の任意視点から任意方向を観察した景色を表示するサービスを提供している。一方、特許文献2には、車載カメラによって撮影した市街地のビデオ映像から、歩行者、電柱、街路樹などの障害物を除去し、動体などの前景物を含まない市街地映像を提示する装置が開示されている。
特開2001−008232号公報 特開2011−118495号公報
前掲の各特許文献に開示されているシステムやグーグル社の提供する「ストリートビュー」で利用されている方法によって、実在の場所についての動画提示を行う場合、前述したように、予め、当該場所の全景を全方位カメラを用いて撮影しておく必要がある。通常、このような撮影は、ノードを介して接続された個々の経路単位で行われることになるので、動画提示装置は、視点がノードを通過するたびに、経路単位で撮影された動画を繋ぎ合わせて再生し、視聴者に提示することになる。
ところが、それぞれ別々のシーンとして撮影された経路単位の動画を繋ぎ合わせて再生した場合、繋ぎ目における画像が不連続になり、視聴者に違和感を与えるおそれがある。たとえば、第1の経路と第2の経路とがノード(たとえば、曲がり角や分岐点)を介して接続されている場合、全方位カメラを第1の経路に沿って移動させて撮影した第1の動画と、全方位カメラを第2の経路に沿って移動させて撮影した第2の動画とが得られる。そして、視点を第1の経路から第2の経路へと移動させた動画提示を行う場合、第1の動画に引き続いて第2の動画を提示することになるが、その繋ぎ目において画像の不連続が生じやすい。
このように、画像に不連続が生じる理由は、第1の動画と第2の動画とが、そもそも別々の撮影作業で得られた動画になるため、たとえ同じノード位置で撮影されたシーンであっても、幾何学的な位置ずれが生じたり、照明環境の変動が生じたりするためである。すなわち、第1の動画に第2の動画を繋ぎ合わせて再生した場合、第1の動画の最後のシーンと第2の動画の最初のシーンとの間に、位置ずれや輝度変動といった画像の不連続が生じ、見ている視聴者に違和感を与えることになる。
そこで本発明は、複数の経路を含む実在の場所について、視聴者に画像の不連続に起因した違和感を感じさせない態様で動画提示を行うことができる動画提示装置を提供することを目的とする。
(1) 本発明の第1の態様は、ノードを介して接続された複数の経路を含む実在の場所について、所定の経路に沿って移動する視点から見た所定の視線方向の視界を動画として提示する動画提示装置において、
予め定められた撮影方向に沿って経路を移動する全方位カメラを用いた撮影によって得られた動画データであって、360°の視界をもつ全方位画像をフレーム単位で並べることにより構成される動画データを、個々の経路について格納する動画データ格納部と、
ノードを介した各経路の接続状態および各経路の基準方向を示すルート情報と、各経路に対応する動画データを示す動画データ対応情報と、を格納する基本情報格納部と、
視点位置および視線方向を更新する位置方向更新部と、更新によって視点が経路上を移動しているときに、移動中の視点から見た移動動画の再生を指示する移動動画再生指示部と、視点がノードを介して旧経路から新経路へ遷移するときに、当該ノードに静止中の視点から見た切替動画の再生を指示する切替動画再生指示部と、を有する再生指示部と、
移動動画再生指示部から与えられる指示に基づいて移動動画の再生を行う移動動画再生部と、切替動画再生指示部から与えられる指示に基づいて切替動画の再生を行う切替動画再生部と、を有する動画再生部と、
を設け、
位置方向更新部は、ルート情報に基づいて、所定の経路に沿って視点が移動するように視点位置の更新を行うとともに、必要に応じて視線方向の更新を行い、視点がノードを介して旧経路から新経路へ遷移するときに、視点を当該ノード上で一旦静止させ、切替動画再生部による切替動画の再生が完了した後に、新経路上で視点の移動を再開し、
移動動画再生指示部は、動画データ対応情報を参照して、移動中の経路に対応する動画データを再生対象動画データと認識し、この再生対象動画データを視点の移動方向に応じたフレーム順に、位置方向更新部が示す所定の視線方向に応じた切り出しを行って再生することを示す移動動画再生指示を移動動画再生部に与え、
移動動画再生部は、移動動画再生指示に基づいて、動画データ格納部に格納されている再生対象動画データの各フレームを構成する全方位画像を、指示されたフレーム順に読み出し、読み出した全方位画像から、指示された所定の視線方向の視界を構成する視野画像を切り出し、得られた一連の視野画像を動画として出力し、
位置方向更新部は、視点がノードを介して旧経路から新経路へ遷移するときに、新経路の基準方向を参照することにより切替後の視線方向を定め、切替前の視線方向から切替後の視線方向へと視線方向を徐々に更新する処理を行い、
切替動画再生指示部は、動画データ対応情報を参照して、旧経路の動画から新経路の動画に、切替前の視線方向から切替後の視線方向への変化を伴う切替が行われるような切替動画再生指示を切替動画再生部に与え、
切替動画再生部は、切替動画再生指示に基づいて、動画データ格納部に格納されている旧経路の動画データの移動動画再生時のフレーム順における最後のフレームを切替前全方位画像として読み出し、動画データ格納部に格納されている新経路の動画データの移動動画再生時のフレーム順における最初のフレームを切替後全方位画像として読み出し、読み出した2つの全方位画像から、共通視線方向の視界を構成する視野画像をそれぞれ切り出し、切り出した2つの視野画像を所定のブレンド比率で合成したブレンド画像を生成する処理を、共通視線方向を切替前の視線方向から切替後の視線方向まで徐々に変化させながら、かつ、切替後全方位画像から切り出した視野画像の比率が徐々に増加するように変化させながら、繰り返し実行し、生成された一連のブレンド画像を動画として出力するようにしたものである。
(2) 本発明の第2の態様は、上述した第1の態様に係る動画提示装置において、
動画データ格納部が、魚眼レンズもしくは全方位ミラーを装着した全方位カメラを用いて、所定の水平面より上方に位置する半球状視界を撮影して得られる歪曲円形画像から、仰角が所定の基準値以下の領域を切り出し、これに歪み補正を施すことにより得られる矩形状のパノラマ画像をフレーム単位で並べることにより構成される動画データを格納するようにしたものである。
(3) 本発明の第3の態様は、上述した第1または第2の態様に係る動画提示装置において、
基本情報格納部に格納されているルート情報が、各経路の両端に位置するノードの二次元座標系上での座標値を示す位置情報を含み、個々の経路の基準方向が、当該経路の両端に位置する2つのノード間を結ぶ直線の方向により定義されているようにしたものである。
(4) 本発明の第4の態様は、上述した第1〜第3の態様に係る動画提示装置において、
基本情報格納部に格納されている動画データ対応情報が、個々の経路についての撮影方向を示す情報を含んでおり、
移動動画再生指示部が、視点の移動方向が撮影方向に対して順方向の場合は、動画データを撮影時のフレーム順で再生することを示す移動動画再生指示を与え、視点の移動方向が撮影方向に対して逆方向の場合は、動画データを撮影時とは逆のフレーム順で再生することを示す移動動画再生指示を与えるようにしたものである。
(5) 本発明の第5の態様は、上述した第1〜第4の態様に係る動画提示装置において、
基本情報格納部が、二次元座標系上における個々のノードの座標値を示す位置情報と、全ノード中の任意の2ノードの組み合わせについて、それぞれ相互間を接続する経路が存在するか否かを示す接続情報と、によって構成されるルート情報を格納しているようにしたものである。
(6) 本発明の第6の態様は、上述した第1〜第5の態様に係る動画提示装置において、
基本情報格納部が、二次元平面上に定義された経路を示すルート情報を格納しており、
位置方向更新部が、この二次元平面上の所定の基準軸に対する方位角φ(0°≦φ<360°)を視線方向を示すパラメータとして用いるようにしたものである。
(7) 本発明の第7の態様は、上述した第6の態様に係る動画提示装置において、
位置方向更新部が、移動中の経路の基準方向に対応する方位角Dを視線方向を示す方位角φとする更新を行い、
切替動画再生指示部が、旧経路の基準方向に対応する方位角Dold を切替前の視線方向を示す方位角φold とし、新経路の基準方向に対応する方位角Dnew を切替後の視線方向を示す方位角φnew とする切替動画再生指示を与えるようにしたものである。
(8) 本発明の第8の態様は、上述した第1〜第5の態様に係る動画提示装置において、
ユーザの指示を入力する指示入力部を更に備え、
位置方向更新部が、指示入力部に対するユーザの指示に応じて、視点位置および視線方向を更新する機能を有するようにしたものである。
(9) 本発明の第9の態様は、上述した第8の態様に係る動画提示装置において、
基本情報格納部が、二次元平面上に定義された経路を示すルート情報を格納しており、
位置方向更新部が、この二次元平面上の所定の基準軸に対する方位角φ(0°≦φ<360°)を視線方向を示すパラメータとして用い、
指示入力部が、この二次元平面上における移動方向に対する視線方向のオフセット角θを設定する指示を入力する機能を有し、
位置方向更新部が、移動中の経路の基準方向に対応する方位角Dに基づいて、視線方向を示す方位角φを、φ=D+θなる式に基づいて決定するようにしたものである。
(10) 本発明の第10の態様は、上述した第9の態様に係る動画提示装置において、
位置方向更新部が、旧経路の基準方向に対応する方位角Dold に基づいて、切替前の視線方向を示す方位角φold を、φold =Dold +θなる式に基づいて決定し、新経路の基準方向に対応する方位角Dnew に基づいて、切替後の視線方向を示す方位角φnew を、φnew =Dnew +θなる式に基づいて決定するようにしたものである。
(11) 本発明の第11の態様は、上述した第9の態様に係る動画提示装置において、
位置方向更新部が、旧経路の基準方向に対応する方位角Dold に基づいて、切替前の視線方向を示す方位角φold を、φold =Dold +θなる式に基づいて決定し、新経路の基準方向に対応する方位角Dnew に基づいて、切替後の視線方向を示す方位角φnew を、φnew =Dnew なる式に基づいて決定するようにしたものである。
(12) 本発明の第12の態様は、上述した第8〜第11の態様に係る動画提示装置において、
位置方向更新部が、視点がノードに到達したときに、当該ノードに接続されている個々の経路を示すマーカを画面に表示させるマーカ表示指示を移動動画再生部に与える機能を有し、
移動動画再生部が、マーカ表示指示に基づいて、ノード到達時の視野画像上に個々のマーカを重畳する処理を行い、
指示入力部が、特定のマーカを選択するユーザの指示を入力する機能を有し、
位置方向更新部が、選択されたマーカに対応する経路を新経路と認識するようにしたものである。
(13) 本発明の第13の態様は、上述した第6、第7、第9〜第11の態様に係る動画提示装置において、
切替前全方位画像から切り出した方位角φで示される方向の視野画像の画素値をQ(Fold (φ))、切替後全方位画像から切り出した方位角φで示される方向の視野画像の画素値をQ(Fnew (φ))としたときに、
G=(1−α)・Q(Fold (φ))+α・Q(Fnew (φ))
なる式に基づいて、ブレンド画像の画素値Gを定義してブレンド画像を生成する処理を、方位角φをφold からφnew まで徐々に変化させながら、かつ、ブレンド比率αを0から1まで徐々に変化させながら、繰り返し実行し、生成された一連のブレンド画像を動画として出力するようにしたものである。
(14) 本発明の第14の態様は、上述した第6、第7、第9〜第11、第13の態様に係る動画提示装置において、
移動動画再生部および切替動画再生部が、読み出した全方位画像から、方位角「φ−Δ/2」〜「φ+Δ/2」の範囲内の視界(ただし、Δは所定の切出角度)を構成する視野画像を切り出すようにしたものである。
(15) 本発明の第15の態様は、上述した第1〜第7の態様に係る動画提示装置において、
位置方向更新部が、視点位置および視線方向を、予め設定された所定の規則に基づいて自動更新するようにしたものである。
(16) 本発明の第16の態様は、上述した第1〜第15の態様に係る動画提示装置を、コンピュータに専用のプログラムを組み込むことにより構成したものである。
(17) 本発明の第17の態様は、ノードを介して接続された第1の経路および第2の経路を有する場所について、第1の経路からノードを介して第2の経路へと移動する視点から見た所定の視線方向の視界を動画として提示する動画提示方法において、
コンピュータが、第1の経路に沿って撮影された第1の全方位動画に基づいて、第1の経路に沿ってノードに向かう視点から見た第1の視線方向の視界を示す第1の移動動画を再生する第1の移動動画再生段階と、
コンピュータが、視点をノードに静止させた状態において、視線方向を徐々に変化させたときに得られる視界を示す切替動画を再生する切替動画再生段階と、
コンピュータが、第2の経路に沿って撮影された第2の全方位動画に基づいて、第2の経路に沿ってノードから離れる視点から見た第2の視線方向の視界を示す第2の移動動画を再生する第2の移動動画再生段階と、
を行い、
切替動画再生段階において、第1の全方位動画の最後のフレームを構成する切替前全方位画像について、視線方向を第1の視線方向から第2の視線方向へと徐々に変化させることによって得られる第1のパン動画と、第2の全方位動画の最初のフレームを構成する切替後全方位画像について、視線方向を第1の視線方向から第2の視線方向へと徐々に変化させることによって得られる第2のパン動画とを、第2のパン動画の比率が徐々に増加するような所定比率でブレンドすることにより得られる動画を切替動画として再生するようにしたものである。
本発明によれば、視点がノードを介して旧経路から新経路に遷移する際に、旧経路の動画の最後のシーンから新経路の動画の最初のシーンへと、ブレンド比率が徐々に変遷してゆく切替動画が提示されることになり、しかも、当該切替動画では、旧経路の視線方向から新経路の視線方向へと徐々に変遷してゆくパン映像が提示されることになる。したがって、複数の経路を含む実在の場所について、視聴者に画像の不連続に起因した違和感を感じさせない態様で動画提示を行うことができる。
本発明に係る動画提示装置による提示対象となる美術館の平面図である(ハッチングは壁面を示す)。 図1に示す美術館の参観路を構成する各ノードと各経路を示す平面図である。 1本の経路Rに沿った撮影により得られた動画を構成する各フレームを示す動画フレームチャートである。 図3に示す動画を撮影するために利用される全方位カメラの一例を示す側面図である。 図4に示す全方位カメラを用いて撮影された歪曲円形画像の平面図である。 図5に示す歪曲円形画像に基づいて作成された矩形状のパノラマ画像(全方位画像)の一例を示す平面図である。 経路R上の地点P(i)における視線方向(方位角)φ(i)の定義例を示す平面図である。 図6に示すパノラマ画像(全方位画像)から、方位角φ=90°の視線方向に対応する視野画像Q(P(i),φ(i))を切り出す作業を示す平面図である。 ユーザの指示を入力するコントローラの上面図である。 本発明の基本的な実施形態に係る動画提示装置100の構成を示すブロック図である。 図2に示すノードと経路をXY二次元座標上に表した例を示す平面図である。 図10に示す動画提示装置100における基本情報格納部120内に格納されるルート情報RTの一例を示す図である。 図10に示す動画提示装置100における基本情報格納部120内に格納される動画データ対応情報MCの一例を示す図である。 図2に示す参観路において、ノードN1からノードN2へ到着した時点で表示される画像(図(a) )およびノードN5へ向けて出発した時点で表示される画像(図(b) )を示す平面図である。 図14に示す2つの視野画像QA,QBを切り出す元になった切替前全方位画像Foldおよび切替後全方位画像Fnewを示す平面図である。 本発明における旧経路から新経路へと変遷する際の切替処理のプロセスを示すタイムチャートである。 切替画像を生成するための第1の基本手法を示す平面図である。 切替画像を生成するための第2の基本手法を示す平面図である。 全方位画像Fold およびFnew から、共通の視線方向である方位角φ=90°についての視野画像QAおよびQBを切り出し、1:0のブレンド比率で合成してブレンド画像G(90°)を生成する処理を示す平面図である。 全方位画像Fold およびFnew から、共通の視線方向である方位角φ=120°についての視野画像QCおよびQDを切り出し、2/3:1/3のブレンド比率で合成してブレンド画像G(120°)を生成する処理を示す平面図である。 全方位画像Fold およびFnew から、共通の視線方向である方位角φ=150°についての視野画像QEおよびQFを切り出し、1/3:2/3のブレンド比率で合成してブレンド画像G(150°)を生成する処理を示す平面図である。 全方位画像Fold およびFnew から、共通の視線方向である方位角φ=180°についての視野画像QYおよびQZを切り出し、0:1のブレンド比率で合成してブレンド画像G(180°)を生成する処理を示す平面図である。 本発明における旧経路から新経路へと変遷する際の切替処理の具体的なプロセスを示すタイムチャートである。 視線方向を移動方向に一致させる設定を行った場合の経路遷移による視線方向の変遷を示す平面図である。 視線方向を任意に設定した場合の経路遷移による視線方向の変遷を示す平面図である。 ノードを介した切替前後の視線方向を定める式を示す図である。 曲線状の経路を用いた変形例を示す平面図である。
以下、本発明を図示する実施形態に基づいて説明する。
<<< §1. 動画提示の基本手法 >>>
ここでは、まず、本発明に係る動画提示装置が採用する動画提示の基本手法を説明する。本発明に係る動画提示装置は、実在の場所について、その経路に沿って移動する視点から見た視界を動画として提示する装置であり、提示対象となる場所は、屋外であっても、屋内であってもかまわない。したがって、この装置は、たとえば、様々な史跡や観光地の景色をディスプレイ画面上に提示し、ユーザ(視聴者)に、あたかも当該史跡や観光地内を自由に歩き回って見学しているような体験をさせることが可能である。以下の説明では、便宜上、図1に示すような平面図で示される間取りをもった美術館の館内を歩きまわっている状態の動画をユーザに提示する単純な例を説明する。
図1に示す美術館は、絵画と彫刻を展示するための実在の施設であり、図示のとおり、入口から入館した参観者は、内部の回廊を自由に歩き回りながら展示物を鑑賞し、出口から退館することができる。図1にハッチングを施した部分は、回廊の壁面を示しており、絵画は、この壁面に提示されているものとする。また、回廊の床には、適宜、彫刻が置かれているものとする。この実施形態に係る動画提示装置は、基本的には、この実在の美術館の館内を撮影した画像をユーザに提示するための装置ということになるが、ユーザが、館内を自由に歩き回りながら、視線を任意の方向に向けて観察した状態をシミュレートし、動画として提示する機能を有している。
ここでは、このような美術館の参観路を、複数のノードとこれらノード間を接続する経路とによって表現し、参観路全体を、各ノードと各経路の情報をもったルート情報によって表現することにする。図2は、図1に示す美術館の参観路を構成するノードと経路を示す平面図であり、個々の黒点はノード、個々の直線は経路、個々の破線は実際の参観路の輪郭を示している。図示のとおり、この例では、6個のノードN1〜N6と、6本の経路R1〜R6とが定義されている。各経路は、一対のノードを端点として、これら端点間を結ぶ直線として定義される。
参観路上のどの位置にノードを定義し、どのノード間に経路を定義するかは、装置設計者の判断に委ねられるが、一般的には、参観路の分岐点、曲がり角、始端点、終端点にノードを定義し、実際の参観路に応じて、必要なノード間に経路を定義すればよい。図示の例の場合、各経路R1〜R6はいずれも直線をなすが、実在の経路が曲線を含む場合には、ベジェ曲線などを利用して曲線からなる経路を定義してもかまわない。ただ、各経路が直線であれば、その両端点のノードを特定するだけで当該経路も特定されるので、実用上は、すべての経路を直線によって構成するのが好ましい。
参観路全体を示すルート情報は、個々のノードの位置を示す情報(たとえば、XY座標系上の座標値)と、一対のノード間の経路を示す情報(たとえば、「ノードN1,N2:経路R1」のような情報)とによって構成することができる。ルート情報の具体的な構成例については後述する。
このような参観路についての動画提示を行うためには、個々の経路R1〜R6に沿って移動しながら撮影した動画をそれぞれ用意しておけばよい。図3は、1本の経路Rに沿った撮影により得られた動画データMを構成するフレーム群を示す動画フレームチャートである。図示の例は、一対のノードA,Bを結ぶ経路Rに沿って、ノードAからノードBに移動しながら撮影を行うことにより得られた動画のフレーム構成を示している。
図示のとおり、この動画データMは、経路R上に離散的に定義された各地点P(1),P(2),... ,P(i),... ,P(n−1),P(n)において撮影されたフレーム画像F(1),F(2),... ,F(i),... ,F(n−1),F(n)の集合体によって構成される。ここで、地点P(1)はノードAに一致し、地点P(n)はノードBに一致し、合計n個の地点について、それぞれ固有のフレーム画像が撮影されることになる。個々のフレーム画像は静止画像であるが、これを順送りに再生することにより、動画の提示を行うことができる。各地点の間隔は、撮影装置の1秒間のフレーム数と撮影装置の移動速度によって定まる。たとえば、30フレーム/秒の撮影装置を150mm/秒の速度で移動させながら撮影を行えば、各地点の間隔は5mmになる。
ここに示す例の場合、動画撮影を行う装置として、図4に示すような撮影装置を用いている。この撮影装置は、図示のとおり、魚眼レンズ10、ビデオカメラ20、データ処理ユニット30、台車40によって構成され、360°の視界をもつ画像を撮影可能な全方位カメラとして機能する。図4に示すように、魚眼レンズ10は、この装置の最上部に配置され、所定の水平面より上方に位置する半球状視界の像をビデオカメラ20の撮像面に形成する。このような構成を採ると、ビデオカメラ20の撮像面には、図5に示すような歪曲円形画像が結像する(ハッチングを施したドーナツ状部分とその内部の白地の円形部分との両方が、魚眼レンズ10で撮影した歪曲円形画像になる。)。この歪曲円形画像の中心にある天頂点Oは、図4に示す撮影装置の鉛直上方の位置にある点(回廊の天井に相当)になり、この歪曲円形画像の外周は、図4に示す撮影装置による撮影視野(周囲360°の視野)の下端位置に相当する。
この例の場合、絵画と彫刻を展示した美術館の館内が表示対象となっているため、天頂点Oの近傍にある白地の円形部分の画像(回廊の天井部分の画像に相当)は利用せず、図にハッチングを施したドーナツ状の領域のみを利用することにする。図6は、図5に示す歪曲円形画像から、仰角が所定の基準値以下の領域(図にハッチングを施した領域)を切り出し、これに歪み補正を施すことにより得られる矩形状のパノラマ画像を示す平面図である。このパノラマ画像が、地点P(i)で撮影された歪曲円形画像に基づいて得られた画像であるとすると、当該画像は、動画データMの第i番目のフレームF(i)を構成することになる。このパノラマ画像の下辺に示す0°〜360°の方位角は、図5の歪曲円形画像の円周上に示された0°〜360°の方位角に対応する。すなわち、この図6に示すパノラマ画像は、図4に示す魚眼レンズ10の位置に視点をおき、周囲360°を眺めた画像ということになる。
ビデオカメラ20で撮影された歪曲円形画像のデータは、データ処理ユニット30へ送られる。データ処理ユニット30は、コンピュータによって構成され、歪曲円形画像のデータは、ハードディスク装置内に格納される。また、ここに示す例の場合、データ処理ユニット30は、この歪曲円形画像からパノラマ画像を作成する処理を行う機能を有している。したがって、図5に示すような歪曲円形画像は、データ処理ユニット30内で図6に示すようなパノラマ画像に変換され、ハードディスク装置内に格納される。ここに示す例の場合、このようにして得られたパノラマ画像を、動画データMの個々のフレームを構成する全方位画像として用いることになる。
図5に示す歪曲円形画像が歪んだドーナツ状の画像であるのに対して、図6に示すパノラマ画像は矩形状の画像であるため、データ処理ユニット30は、歪み補正を伴う画像変換処理を行う必要がある。このような画像変換処理は公知の技術であるため、ここでは詳しい説明は省略する。なお、通常、このような歪み補正を伴う画像変換処理を行っても、歪みを完全に除去することは困難であるので、得られるパノラマ画像にも若干の歪みが残ることになるが、実用上支障のないレベルまでの歪み補正が可能である。
以上、図4に示す撮影装置を経路R上の1地点に設置し、その周囲のパノラマ画像を得る手順を説明したが、この撮影装置を経路Rに沿って移動させながら、ビデオカメラ20により動画撮影を行えば、図6に示すようなパノラマ画像(全方位画像)を1フレームとして、連続した複数フレームから構成される動画データMが得られることになる。図3に示すn枚のフレームF(1)〜F(n)からなる動画データMは、このような撮影によって得られたものである。
もっとも、ユーザに動画を提示する際には、図6に示すパノラマ画像をそのまま1フレームの画像として表示するのは好ましくない。このパノラマ画像(全方位画像)は、周囲360°の全情報を含む特異な画像であり、一般的な人間の視野に入る画像とはかけ離れている。そこで、実際には、特定の視線方向を定め、当該視線方向の視野に入る一部分のみを切り出してユーザに提示する必要がある。
図7は、経路R上の特定地点P(i)における視線方向の定義例を示す平面図である。視線方向は、地点P(i)から伸びる視線ベクトルE(i)の方向として定義される。ここに示す例の場合、経路Rを含む二次元平面上において、視線ベクトルE(i)の向きを方位角φを用いて定義している。すなわち、図示の例では、地点P(i)から図の上方に向かう方向を0°とし、時計回りに0°から360°の方位角φ(i)を定義している。要するに、0°方向を向いた軸を基準軸として、視線ベクトルE(i)のなす角φ(i)(ただし、0°≦φ(i)<360°)が方位角として定義されることになる。
視線方向を示す方位角φ(i)は、経路R上の第i番目の地点P(i)に位置する仮想ユーザが、どの方向に視線を向けているかを示すパラメータである。図示の例の場合、経路Rは、図における左右方向(水平方向)に伸びる直線であるので、方位角φ(i)=90°は、ノードBへ向かう方向を示し、方位角φ(i)=270°は、ノードAへ向かう方向を示すことになる。
このように、仮想ユーザの現在位置を示す地点P(i)と視線方向を示す方位角φ(i)とが定まれば、当該仮想ユーザからみた視野画像Q(P(i),φ(i))を抽出することができる。図8は、このような視野画像Q(P(i),φ(i))を切り出す作業を示す平面図である。図に太線で囲って示す視野画像Q(P(i),φ(i))は、図3に示す経路R上の地点P(i)に位置する仮想ユーザが、視線を方位角φ(i)=90°で示される方向(ノードBに向かう方向)に向けている場合に、当該仮想ユーザの視野に現れるべき画像である。
このような画像を得るには、第i番目のフレーム画像F(i)から、方位角「φ(i)−Δ/2」〜「φ(i)+Δ/2」の範囲内の視界を構成する部分を切り出す処理を行えばよい。ここで、Δは所定の切出角度であり、切り出された視野画像Q(P(i),φ(i))の横幅に相当する角度になる。図示の例の場合、方位角φ=90°という設定であるため、φ=90°の位置を中心にして、横幅Δに相当する視野画像の切り出しが行われている。
図7に示す地点P(i)からノードBへ向かって移動中の仮想ユーザが、移動方向(ノードBに向かう方向)に視線を向けている場合に、その視界に入る動画を提示するには、各フレーム画像F(i),F(i+1),F(i+2),... から方位角φ=90°で示される視野画像を切り出し、これら視野画像を順番に(撮影順どおりに)表示させる処理を行えばよい。そうすれば、図8の太枠内に示されている景色において、方位角90°の近傍位置に置かれている彫刻像が徐々に近づいてくる動画が提示されることになる。
もちろん、仮想ユーザは、必要に応じて、移動中に視線方向(方位角φ)を変えることができる。視線方向(方位角φ)に変化が生じた場合、図8に太枠で示されている切出位置が左右に動くことになる。仮想ユーザは、視線方向を移動方向に対して逆向きにすることもできる。たとえば、図7に示す地点P(i)からノードBへ向かって移動中の仮想ユーザが、方位角φ=270°という設定を行うと、移動方向はノードBに向かう方向であるのに、視線方向はノードAに向かう方向ということになり、図8に示すようなフレーム画像から、φ=270°の位置を中心にして、横幅Δに相当する視野画像の切り出しが行われる。その結果、方位角270°の近傍に位置するドアが徐々に遠ざかってゆく動画が提示されることになる。
一方、ユーザは、移動方向を任意の方向に設定することもできる。たとえば、図7に示す地点P(i)に位置する仮想ユーザについて、移動方向をノードAに向かう方向に設定し、視線方向を方位角φ=270°とする設定を行った場合、図8において、方位角270°の近傍に位置するドアが徐々に近づいてくる動画が提示されることになる。このような動画を提示するには、各フレーム画像F(i),F(i−1),F(i−2),... から方位角φ=270°で示される視野画像を切り出し、これら視野画像を順番に(撮影順とは逆の順番に)表示させる処理を行えばよい。
以上、図7に示す1本の経路R(ノードA,B間の経路)上を仮想ユーザが移動した場合の動画提示の基本手法を説明したが、複数の経路が存在する場合も、個々の経路について同様の動画提示処理を行えばよい。たとえば、図2に示す美術館の参観路は、6本の経路R1〜R6によって構成されているが、個々の経路R1〜R6のそれぞれについて、上述の例と同様に動画撮影を行っておけば、仮想ユーザが、この参観路上のどの位置をどの方向に進み、視線をどの方向に向けていたとしても、適切な動画提示を行うことができる。
このように、仮想ユーザを、参観路上の所望の方向に移動させ、その視線を所望の方向に向けさせる指示入力を効率的に行うために、図9に示すようなコントローラ50を用意しておくのが好ましい。このコントローラ50は、コンピュータゲーム用の入力機器として利用されている一般的な装置であり、右側に5つのボタンB1〜B5、中央に3つのボタンB6〜B8、左側に1つのボタンB9が設けられている。ここで、図示のボタンB1は前進ボタン、ボタンB2は後退ボタン、ボタンB3は左向きボタン、ボタンB4は右向きボタン、ボタンB5は停止ボタンとして機能する。
ここで、前進ボタンB1は、仮想ユーザを経路上の第1の方向に移動させる動作を開始させる指示を与えるボタンとして機能し、後退ボタンB2は、仮想ユーザを経路上の第2の方向に移動させる動作を開始させる指示を与えるボタンとして機能し、停止ボタンB5は、仮想ユーザを停止させる指示を与えるボタンとして機能する。
たとえば、仮想ユーザが、図7に示す経路R上の地点P(i)の位置に停止状態にあるときに、前進ボタンB1が押されると、当該仮想ユーザが、所定速度でノードBに向けて移動してゆく動画の再生が開始する。すなわち、各フレーム画像F(i),F(i+1),F(i+2),... から所定の方位角φで示される視野画像の切り出しが行われ、これら視野画像が順送り(撮影された順)で表示される。そして、停止ボタンB5が押された時点で、動画の再生は中止され、その時点で表示されていたフレーム画像が静止画として表示されることになる。
一方、仮想ユーザが、図7に示す経路R上の地点P(i)の位置に停止状態にあるときに、後退ボタンB2が押されると、当該仮想ユーザが、所定速度でノードAに向けて移動してゆく動画の再生が開始する。すなわち、各フレーム画像F(i),F(i−1),F(i−2),... から所定の方位角φで示される視野画像の切り出しが行われ、これら視野画像が逆送り(撮影された順とは逆順)で表示される。そして、停止ボタンB5が押された時点で、動画の再生は中止され、その時点で表示されていたフレーム画像が静止画として表示されることになる。
また、前進ボタンB1を押すことにより、仮想ユーザが所定速度でノードBに向けて移動してゆく動画の再生が行われている状態において、後退ボタンB2を押すと、その時点で、仮想ユーザの移動方向はノードAに向けた方向に反転することになる。同様に、後退ボタンB2を押すことにより、仮想ユーザが所定速度でノードAに向けて移動してゆく動画の再生が行われている状態において、前進ボタンB1を押すと、その時点で、仮想ユーザの移動方向はノードBに向けた方向に反転することになる。
なお、ここでは説明の便宜上、前進ボタンB1,後退ボタンB2と呼んでいるが、仮想ユーザの視線方向は360°の任意の方向に向けることができるので、ここで言う「前進」あるいは「後退」とは、必ずしも「視線方向に進む」あるいは「視線方向とは逆方向に進む」という視線方向に沿った前後を示すものではなく、「経路Rに沿った2方向のうち、視線方向に近い方向(仮想ユーザが顔を向けている方向に近い方向)に向けて進む」ことを意味するものである。たとえば、図7に示す例の場合、視線ベクトルE(i)は、ノードAよりもノードBに近い方向を向いているので、前進ボタンB1は、図の右方向(ノードBに向かう方向)へ進む指示を与えることになる。
仮想ユーザの視線方向を変えるには、左向きボタンB3もしくは右向きボタンB4を押す操作を行えばよい。仮想ユーザが移動中であれ、停止中であれ、左向きボタンB3が押されている間、視線方向が所定速度で左向きに変化するように方位角φが更新され、右向きボタンB4が押されている間、視線方向が所定速度で右向きに変化するように方位角φが更新される。たとえば、視線方向を示す方位角φが90°に設定されていた場合、左向きボタンB3が押されている間、方位角φを89°,88°,87°,... と減少させる処理(0°に達した場合は、360°から減少させる処理)が行われ、右向きボタンB4が押されている間、方位角φを91°,92°,93°,... と増加させる処理(360°に達した場合は、0°から増加させる処理)が行われる。
こうして、ユーザは、ボタンB1〜B5を操作することにより、美術館の回廊を構成する仮想空間内を自由に歩き回り、任意の方向に視線を向けることができる。そして、ディスプレイ画面上には、このユーザの指示に基づいて、仮想ユーザから見た視野画像が動画として表示されることになる。
この美術館の参観路は、図2に示すように、ノードを両端点とする複数の経路R1〜R6によって構成されている。そこで、本発明に係る動画提示装置では、仮想ユーザがいずれかのノード位置に到達した場合には、自動的に仮想ユーザを当該ノードで停止させ、ディスプレイ画面上に新経路を選択するためのマーカを表示させるようにしている。すなわち、ユーザに、到達ノードを始点とする新たな経路を選択させる処理を行い、ユーザが新経路の選択指示を入力したら、仮想ユーザが当該新経路へと移動する状態を示す動画再生を行うようにしている。このような方法を採ることにより、図2に示すノードN2やN5の近傍のように、分岐を含む経路が存在する場合にも、ユーザは、所望の方向へと進む指示を与えることができる。
<<< §2. 本発明に係る動画提示装置の基本構成 >>>
さて、§1では、本発明に係る動画提示装置が採用する動画提示の基本手法を説明した。この基本手法を用いて動画提示を行えば、ディスプレイ画面上には、たとえば、図8の太枠内に示す視野画像Q(P(i),φ(i))のような画像が表示されることになる。しかも仮想ユーザの移動や視線向きの変更に応じた動画の提示が行われることになる。ここでは、このような動画提示を行う機能をもった動画提示装置の基本構成を説明する。
図10は、本発明の基本的な実施形態に係る動画提示装置100の構成を示すブロック図である。図示のとおり、この動画提示装置100は、動画データ格納部110、基本情報格納部120、動画再生部130、再生指示部140、指示入力部150によって構成されており、ノードを介して接続された複数の経路を含む実在の場所について、所定の経路に沿って移動する視点から見た所定の視線方向の視界を動画として提示する機能を果たす。動画は、この動画提示装置100から与えられる表示信号に基づいて、ディスプレイ装置200の画面上に表示されることになる。
動画データ格納部110は、予め定められた撮影方向に沿って移動しながら全方位カメラを用いて撮影した動画データを、個々の経路について格納する構成要素である。図示の例では、図2に示す6つの経路R1〜R6についての動画データM1〜M6がそれぞれ格納されている。各動画データは、360°の視界をもつ全方位画像を1フレームとして、多数のフレームを時間軸に沿って並べることにより構成されている。たとえば、動画データM1は、図2に示すノードN1からN2まで、図4に示すような全方位カメラを経路R1に沿って移動させながら撮影することにより得られるn枚のフレームの集合体F(1)〜F(n)によって構成されている。
具体的には、§1で述べたように、図4に示すような魚眼レンズもしくは全方位ミラーを装着した全方位カメラを用いて、所定の水平面より上方に位置する半球状視界を撮影して図5に示すような歪曲円形画像を取り込み、この歪曲円形画像から、仰角が所定の基準値以下の領域(図5にハッチングを施したドーナツ状の領域)を切り出し、これに歪み補正を施すことにより矩形状のパノラマ画像(図6のような全方位画像)を生成する処理を行えばよい。全方位カメラを経路に沿って移動しながら撮影することにより多数のパノラマ画像が得られたら、個々のパノラマ画像を1フレームとして、これをフレーム単位で並べることにより動画データを構成することができる。動画データ格納部110には、こうして得られた経路ごとの動画データを格納しておけばよい。もちろん、通常撮影用のカメラを複数台搭載した全方位カメラを用いて撮影を行い、得られた複数の画像を合成してパノラマ画像を作成するようなシステムを利用して、動画データ格納部110に格納する動画データを用意することも可能である。
基本情報格納部120は、図2に示すような参観路について、ルート情報RTと動画データ対応情報MCとを格納する構成要素である。ここで、ルート情報RTは、ノードを介した各経路の接続状態および各経路の基準方向を示す情報であり、いわば図2に示すような複数の経路の幾何学的な構造を定義する情報である。このルート情報RTを参照すれば、ノードN1,N2間には経路R1が存在し、ノードN2には、3つの経路R1,R2,R6が接続されており、経路R1,R2は図の水平方向に伸び、経路R6はこれに直交している、といった事項を把握することができる。
ここに示す実施例の場合、図2に示す参観路は、図11に示すようなXY二次元座標系上に定義される。すなわち、ノードN1〜N6は、この二次元座標系上の座標値(x,y)をもつ点で表され、経路R1〜R6は、それぞれ特定のノード間を結ぶ経路として表される。図示の例の場合、たとえば、ノードN1は、座標値(10,60)をもつ点として定義され、ノードN2は、座標値(30,60)をもつ点として定義され、経路R1は、ノードN1,N2を結ぶ直線として定義されている。
また、このXY二次元座標系上には、図11の上部に示すように、Y軸正方向を0°、X軸正方向を90°、Y軸負方向を180°、X軸負方向を270°とする方位角が定義されており、任意の向きを0°〜360°の方位角で示すことができる。したがって、各経路の方向も、この方位角で示すことができる。ここでは、移動方向を考慮した経路の方向を当該経路の基準方向と呼ぶことにする。たとえば、図示の経路R1の場合、ノードN1からN2に向けて移動する場合の基準方向は90°、ノードN2からN1に向けて移動する場合の基準方向は270°という方位角で表すことができる。
図12は、図11に示す具体的な経路についてのルート情報RTを示す図である。このルート情報RTは、個々のノードN1〜N6の位置を示す位置情報と、これらノード間を接続する経路を示す接続情報と、によって構成される。上述したとおり、ノードの位置情報は、XY二次元座標系上における座標値(x,y)を示す情報によって構成される。すなわち、図12の上段に示す位置情報は、図11の各ノードN1〜N6のXY座標値を示している。
一方、経路の接続情報は、全ノード中の任意の2ノードの組み合わせについて、それぞれ相互間を接続する経路が存在するか否かを示す情報によって構成されている。たとえば、図12の下段に示す接続情報は、横方向に6つのノードN1〜N6の欄が設けられ、縦方向にも6つのノードN1〜N6の欄が設けられ、合計36個の要素をもつ行列に「0」または「1」なる数字が記載されている。ここで、「0」は、当該2ノードの組み合わせについて相互間を接続する経路が存在しないことを示し、「1」は、そのような経路が存在することを示している。
たとえば、第1行目には、「010000」なる数字が記載されているが、これは、ノード「N1−N2」という組み合わせについては相互間を接続する経路が存在するが、ノード「N1−N1」,「N1−N3」,「N1−N4」,「N1−N5」,「N1−N6」という組み合わせについては相互間を接続する経路が存在しないことを示している。ここで、行列の対角要素は、同一ノードの組み合わせを示しているので必ず「0」になる。図11に示す経路における各ノードの経路を介した接続関係を参照すれば、図12の下段に示す接続情報が、図11の経路を示していることが容易に理解できよう。
このように、図12の下段に示す接続情報の各欄における「1」は、特定の2ノードを両端点とする経路を示しており、しかも、図12の上段に示す位置情報には、個々のノードの座標値が含まれているので、結局、ルート情報RTには、各経路の基準方向を示す情報が含まれていることになる。たとえば、ノードN1からN2に向けて移動する場合の経路R1の基準方向は、座標値(10,60)の点から座標値(30,60)の点に向かう方向であるから、幾何学的に方位角90°であることが認識できる。
図10に示す基本情報格納部120には、この図12に示すようなルート情報RTが格納されている。結局、この例の場合、ルート情報RTは、各経路の両端に位置するノードの二次元座標系上での座標値を示す位置情報を含んでおり、個々の経路の基準方向は、当該経路の両端に位置する2つのノード間を結ぶ直線の方向により定義されることになる。また、各経路の接続状態は、全ノード中の任意の2ノードの組み合わせについて、それぞれ相互間を接続する経路が存在するか否かを示す接続情報によって定義されることになる。
一方、基本情報格納部120に格納される動画データ対応情報MCは、各経路に対応する動画データを示す情報である。図13は、動画データ対応情報MCの一例を示す図である。この例の場合、動画データ対応情報MCは、6つの経路R1〜R6について、それぞれ動画データM1〜M6が対応することを示すとともに、各動画データについて、撮影方向を示す役割も果たしている。すなわち、図示の表における撮影方向欄を参照すれば、たとえば、経路R1についての動画データM1が、ノードN1からN2へ向かって全方位カメラを移動させながら撮影された動画であることが認識できる。この撮影方向を示す情報は、移動動画を再生する際のフレーム順を決定する際に利用される。
この動画データ対応情報MCを参照すれば、たとえば、経路R1を移動中の動画を提示するには、動画データ格納部110内の動画データM1を再生すればよいことが認識できる。しかも、当該動画データM1の撮影方向が「N1→N2」であることが認識できるので、視点がノードN1からN2に向かって移動中の場合は、動画データM1を撮影時のフレーム順で再生すればよいことが認識でき、視点がノードN2からN1に向かって移動中の場合は、動画データM1を撮影時とは逆のフレーム順で再生すればよいことが認識できる。
なお、図13に示す表には、説明の便宜上、経路記号「R1〜R6」を示すための「経路」欄が設けられているが、「撮影方向」欄の情報により両端のノードが特定され、その結果、経路も特定されるので、実用上は「経路」欄は省略してもかまわない。もちろん、図12の下段に示す接続情報の欄の「1」の代わりに、対応する経路の経路記号「R1〜R6」を記載するようにすれば、図13に示す「経路」欄に記載した経路記号「R1〜R6」によって、図12の下段に示す接続情報上の各経路との対応づけを行うこともできる。
あるいは、図12の下段に示す接続情報の欄の「1」の代わりに、対応する経路についての動画データおよび撮影方向を示す情報を直接記載するようにすれば、ルート情報RTを構成する接続情報の中に動画データ対応情報MCを埋め込むことができるので、図13に示すような動画データ対応情報MCを別個に用意する必要はなくなる。たとえば、図12の下段に示す接続情報において、表の左側に垂直方向に並んだN1〜N6を出発ノード、表の上側に水平方向に並んだN1〜N6を到着ノードと定義すれば、第1行目第2列目の欄の「1」は、ノードN1からN2に向かう方向の経路R1を示し、第2行目第1列目の欄の「1」は、ノードN2からN1に向かう方向の経路R1を示すことになる。
そこで、図12の下段に示す接続情報において、第1行目第2列目の欄については「M1(+)」なる情報(動画データM1を撮影時のフレーム順で再生することを示す情報)を書込み、第2行目第1列目の欄については「M1(−)」なる情報(動画データM1を撮影時とは逆のフレーム順で再生することを示す情報)を書込むようにしておけば、当該接続情報の表は、動画データ対応情報MCを含んだ表ということになる。したがって、図13に示すような動画データ対応情報MCを別個に用意しなくても、各経路に対応する動画データおよびその撮影方向を認識することができるようになる。
以上、基本情報格納部120に格納するルート情報RTおよび動画データ対応情報MCの具体的なデータ構造例をいくつか述べたが、もちろん、本発明を実施するにあたり、ルート情報RTおよび動画データ対応情報MCのデータ構造は、上述した例に限定されるものではない。
続いて、図10に示す動画提示装置100内の動画再生部130について説明する。動画再生部130は、動画データ格納部110に格納されている各動画データM1〜M6に基づいて動画再生を行う構成要素であり、基本的には、動画データ格納部110から、特定の動画データMjの特定のフレームF(i)を読み出し、図8に示すように、この特定のフレームF(i)から特定の視野画像Q(P(i),φ(i))を切り出し、切り出した視野画像Qをディスプレイ装置200へ提供する処理を所定周期で繰り返し実行する。たとえば、1秒間に30回といった周期で新たな視野画像Qを作成して提供する処理を行えば、ディスプレイ装置200の画面上に滑らかな動画が提示されることになる。
本発明に係る装置の重要な特徴は、この動画再生部130内に、移動動画再生部131と切替動画再生部132とが設けられている点である。ここで、移動動画再生部131は、特定の経路を移動中の視点からみた動画(ここでは、移動動画と呼ぶ)を提示するための構成要素であり、切替動画再生部132は、視点がノードを介して旧経路から新経路へ遷移するときに当該ノードに静止中の視点から見た動画(ここでは、切替動画と呼ぶ)を提示するための構成要素である。これら各構成要素の具体的な機能については後に詳述する。
再生指示部140は、視点位置および視線方向を管理しながら、基本情報格納部120内のルート情報RTおよび動画データ対応情報MCを参照して、動画再生部130に対して再生指示を行う構成要素であり、図示のとおり、位置方向更新部141、移動動画再生指示部142、切替動画再生指示部143を有している。
位置方向更新部141は、仮想ユーザ(視聴者)の経路上の視点位置および視線方向を示すデータを保持し、これを逐次更新する処理を行う構成要素である。この位置方向更新部141によって更新された視点位置および視線方向(現在の視点位置および視線方向)に基づいて、ディスプレイ装置200の画面上に特定の視野画像が表示されることになる。
移動動画再生指示部142は、位置方向更新部141による更新によって視点が経路上を移動しているときに、移動中の視点から見た移動動画の再生指示を移動動画再生部131に対して与える機能を有し、切替動画再生指示部143は、位置方向更新部141による更新によって視点がノードを介して旧経路から新経路へ遷移するときに、当該ノードに静止中の視点から見た切替動画の再生指示を切替動画再生部132に対して与える機能を有する。移動動画再生部131は、移動動画再生指示部142から与えられる指示に基づいて移動動画の再生を行い、切替動画再生部132は、切替動画再生指示部143から与えられる指示に基づいて切替動画の再生を行う。
一方、指示入力部150は、ユーザの指示を入力する構成要素であり、具体的には、たとえば、図9に示すようなコントローラ50と、このコントローラ50を介してユーザの指示を受け付ける入力インターフェイスとによって構成することができる。位置方向更新部141は、この指示入力部150が入力したユーザの指示に応じて、視点位置および視線方向を更新する。
ここに示す実施例の場合、視点位置は、XY二次元座標系上の点の座標値P(x,y)によって定義され、視線方向は、XY二次元座標系上の方位角φによって定義される。したがって、位置方向更新部141は、視点位置を示す座標値P(x,y)と視線方向を示す方位角φとを格納し、これらを逐次更新する処理を行うことになる。視点位置P(x,y)および視線方向φの更新は、指示入力部150から与えられるユーザの指示と、基本情報格納部120内に格納されているルート情報RTとに基づいて行われる。
たとえば、図1に示す参観路において、入口の位置を出発点として設定する場合を考えてみよう。この場合、位置方向更新部141には、初期視点位置として座標値P(10,60)、初期視線方向として方位角φ=90°を設定しておけばよい。このような設定は、図11において、ノードN1(10,60)の位置を初期視点位置として、ノードN2へ向かう方向を初期視線方向とするものになる。
この状態で、ユーザが、図9に示すコントローラ50の前進ボタンB1を押すと、位置方向更新部141は、ユーザから前進指示が与えられたことを認識し、これに応じた更新処理を行うことになる。すなわち、ルート情報RTを参照すれば、現在、経路R1上に居ることがわかり、視点位置のX座標値を徐々に増加させれば前進できることがわかるので、現視点位置を示す座標値P(10,60)を、P(11,60),P(12,60),P(13,60),... と順次更新する処理を行うことになる。そして、視点がノードに到着すると、位置方向更新部141は、一旦、視点の移動を停止する。たとえば、上例の場合、視点位置が座標値P(30,60)になると、ノードN2に到達したことになるので、視点位置の更新は一旦停止する。
なお、ユーザは、移動中や静止中に、視線方向を変える指示を与えることも可能である。たとえば、ユーザが、図9に示すコントローラ50の右向きボタンB4を押すと、位置方向更新部141は、ユーザから右向指示が与えられたことを認識し、これに応じた更新処理を行うことになる。すなわち、現視線方向を示す方位角φ=90°を、91°,92°,93°,... と順次更新する処理を行うことになる。
さて、ここでは、図11に示す参観路において、視線方向をφ=90°に固定した状態で、視点をノードN1からN2まで移動させた場合を考えてみる。この場合、位置方向更新部141は、視点位置をP(10,60)〜P(30,60)へと更新する処理を行うことになる。移動動画再生指示部142は、当該更新処理によって視点が経路R1上を移動していることを認識し、経路R1を移動中の視点から見た移動動画の再生指示を移動動画再生部131に与える。具体的には、画像データM1を撮影時のフレーム順で読み出し、φ=90°の視線方向に対応する視野領域を切り出して再生する旨の指示を与えることになる。その結果、ディスプレイ装置200の画面上には、φ=90°の方向を向いてノードN1からノードN2へと移動したときの視界を示す動画が提示される。
なお、移動動画再生部131による移動動画の再生速度は、位置方向更新部141による視点の移動速度に同期するように調整される。したがって、ディスプレイ装置200の画面上には、常に、各時点における視点位置Pから見た視界に対応する視野画像Qが表示されることになり、視点がノードN2に到着した時点では、ノードN2から見た視界に対応する視野画像が表示されることになる。もちろん、ユーザは、経路移動中に一時停止の指示を与えることもできる。この場合、移動動画再生部131は、移動動画再生指示部142からの指示に基づいて、動画再生を一時停止させるので、ディスプレイ装置200の画面上には、停止した視点位置Pから見た視界を示す静止画が表示されることになる。
図14(a) は、ノードN2へ到着した時点でディスプレイ装置200の画面上に表示される視野画像QAを示す平面図であり、ノードN2においてノードN3方向を見た視界を示す画像に相当する。この時点では、位置方向更新部141には、視点位置P(30,60)、視線方向φ=90°なる情報が格納されており、移動動画再生部131は、動画データM1の最後のフレームF(n)を構成するパノラマ画像(全方位画像)から、図8に示すように、φ=90°を中心とした視野画像QAを切り出し、これを提示する処理を行うことになる。なお、ここに示す例では、パノラマ画像(全方位画像)から視野画像QAを切り出す際にも歪み補正を行っているため、図14(a) に示す視野画像QAは、ほぼ歪みのない正則画像になっている。
ここに示す実施例の場合、位置方向更新部141は、視点がノードに到達したときに、視点を一旦停止させるとともに、当該ノードに接続されている個々の経路を示すマーカを画面に表示させるためのマーカ表示指示を、移動動画再生部131に与える機能を有している。そして、移動動画再生部131は、このマーカ表示指示に基づいて、ノード到達時の視野画像上に個々のマーカを重畳する処理を行う機能を有している。図14(a) の視野画像QA上には、このようにして重畳表示されたマーカmk1〜mk3が示されている。
図11に示すように、ノードN2には3本の経路が接続されており、マーカmk1〜mk3は、これら各経路に対応している。すなわち、マーカmk1は経路R2に対応し、マーカmk2は経路R1に対応し、マーカmk3は経路R6に対応している。ルート情報RTを参照すれば、各ノードや各経路の幾何学的な位置関係を認識することができるので、位置方向更新部141は、各マーカを視野画像QA上のどの位置に表示すべきかを決めることができる。したがって、図14(a) では、マーカmk1は経路R2への進行方向(このまま直進する方向)に適した位置に表示され、マーカmk2は経路R1への進行方向(これまで進んできた経路を戻る方向:この場合は、旧経路R1がそのまま新経路になる)に適した位置に表示され、マーカmk2は経路R6への進行方向(ノードN2を右折して進む方向)に適した位置に表示されている。
しかも、指示入力部150は、特定のマーカを選択するユーザの指示を入力する機能を有しており、位置方向更新部141は、選択されたマーカに対応する経路を新経路と認識する機能を有している。たとえば、指示入力部150として、図9に示すコントローラ50を用いた場合、上下左右のボタンB1〜B4を、視野画像QA上に表示された上下左右のマーカを選択するボタンに対応させておけば、いずれかのボタンが押された場合に、当該ボタンに対応するマーカが選択されたものと判断することができる。
ここでは、ユーザがボタンB4を押して、マーカmk3を選択する操作を行った場合を考えてみよう。このユーザの操作は、経路R6を新経路として選択する指示ということになる。このような指示を受けて、位置方向更新部141は、視点を新経路R6に遷移させ、この新経路R6に沿って移動させる処理を開始する。具体的には、まず、視点位置をノードN2上に静止させたまま視線方向を新経路R6の基準方向に更新した上で、視点位置を新経路R6に沿ってノードN5に向けて移動させる処理を行う。この例の場合、新経路R6の基準方向(ノードN2からN5へ向かう場合の基準方向)は、ルート情報RTを参照することにより、方位角φ=180°の方向であることが認識できるので、位置方向更新部141は、視線方向φを、90°から180°に更新することになる。
一方、移動動画再生指示部142は、経路R6が新経路として選択されたことを受けて、当該新経路R6に対応する動画データM6を、撮影時のフレーム順で、方位角φ=180°に応じた視線方向を中心として切り出して再生すべき指示を移動動画再生部131に与える。かくして、ディスプレイ装置200の画面上には、φ=180°の方向を向いてノードN2からノードN5へと移動したときの視界を示す動画が提示されることになる。
図14(b) は、ノードN2を出発した時点でディスプレイ装置200の画面上に表示される視野画像QZを示す平面図であり、ノードN2においてノードN5方向を見た視界を示す画像に相当する。この時点では、位置方向更新部141には、視点位置P(30,60)、視線方向φ=180°なる情報が格納されており、移動動画再生部131は、動画データM6の最初のフレームF(1)を構成するパノラマ画像(全方位画像)から、φ=180°を中心とした視野画像QZを切り出し、これを提示する処理を行うことになる。なお、前述したとおり、パノラマ画像(全方位画像)から視野画像QZを切り出す際に歪み補正を行っているため、図14(b) に示す視野画像QZも、ほぼ歪みのない正則画像になっている。
このように、本発明に係る動画提示装置では、視点がノードに到着した時点で、再生対象となる動画データの切替が行われる。たとえば、図14に示す例の場合、図14(a) に示す視野画像QAは、旧経路R1に対応する動画データM1の最後のフレームF(n)から切り出した画像であり、動画M1の最後のシーンであるのに対して、図14(b) に示す視野画像QZは、新経路R6に対応する動画データM6の最初のフレームF(1)から切り出した画像であり、動画M6の最初のシーンである。したがって、仮想ユーザがノードN2を介して旧経路R1から新経路R6へと移動するシーンを動画として提示するためには、図14(a) に示すシーンから図14(b) に示すシーンへの切替が必要である。
図10に示す動画提示装置100における切替動画再生部132は、このようなシーンの切替をスムーズに行うための切替動画を再生する構成要素であり、切替動画再生指示部143は、切替動画再生部132に対して、切替動画を再生する指示を与える構成要素である。いずれも、本発明にとって重要な構成要素であるため、その具体的な機能については、§4において詳述する。
以上、図10のブロック図を参照しながら、本発明の基本的な実施形態に係る動画提示装置100の構成を説明したが、実際には、これらの各構成要素はコンピュータおよびその周辺機器を利用して構成することができる。たとえば、動画データ格納部110および基本情報格納部120は、コンピュータ用のメモリやディスク装置などの記憶装置によって構成することができ、動画再生部130や再生指示部140は、所定のプログラムに基づいて動作するコンピュータのプロセッサや一時記憶メモリによって構成することができ、指示入力部150は、ユーザインターフェイスを備えたコンピュータ用の入力装置によって構成することができる。したがって、実用上は、この動画提示装置100は、コンピュータ機器に所定のプログラムを組み込むことによって構成される。
<<< §3. 本発明における切替動画の役割 >>>
ここでは、図10に示す動画提示装置100における切替動画再生指示部143および切替動画再生部132によって提示される切替動画の役割を実例に即して説明する。
既に§2で述べたように、位置方向更新部141は、指示入力部150が入力したユーザの指示および基本情報格納部120に格納されているルート情報RTに基づいて、所定の経路に沿って視点が移動するように視点位置の更新を行うとともに、必要に応じて視線方向の更新を行う。また、移動動画再生指示部142は、視点が経路上を移動しているときに、基本情報格納部120に格納されている動画データ対応情報MCを参照して、移動中の経路に対応する動画データを再生対象動画データと認識し、この再生対象動画データについての移動動画再生指示を移動動画再生部に与える。この移動動画再生指示には、再生対象動画データを示す情報とともに、視点の移動方向に応じたフレーム順を示す情報と、視線方向を示す情報とが含まれている。
ここで、視点の移動方向に応じたフレーム順を示す情報とは、撮影時のフレーム順か、撮影時とは逆のフレーム順か、のいずれかを示す情報である。図13に例示したように、基本情報格納部120に格納されている動画データ対応情報MCには、個々の経路についての撮影方向を示す情報が含まれている。したがって、移動動画再生指示部142は、視点の移動方向が撮影方向に対して順方向の場合は、再生対象動画データを撮影時のフレーム順で再生することを示す移動動画再生指示を与え、視点の移動方向が撮影方向に対して逆方向の場合は、再生対象動画データを撮影時とは逆のフレーム順で再生することを示す移動動画再生指示を与えることができる。
一方、視線方向を示す情報は、位置方向更新部141によって更新された最新の視線方向を示すものであり、方位角φとして与えられる。もちろん、経路移動中にユーザの指示によって視線方向が更新された場合は、移動動画再生部131に与えられる移動動画再生指示内の方位角φの値も逐次更新されることになる。結局、移動動画再生指示部142から移動動画再生部131に与えられる移動動画再生指示は、特定の再生対象動画データを視点の移動方向に応じたフレーム順に、所定の視線方向に応じた切り出しを行って再生することを示す指示ということになる。
図10において、移動動画再生指示部142から移動動画再生部131へ向けた矢印に付記された「Mj(±)」および「φ」なる記号は、この移動動画再生指示に含まれる情報を示すものである。ここで、記号「Mj」は、動画データ格納部110内に格納されている第j番目の動画データが再生対象動画データであることを示す情報であり、記号「(±)」は撮影時のフレーム順「+」もしくは撮影時とは逆のフレーム順「−」のいずれかを示す情報であり、記号「φ」は視線方向(方位角)を示す情報である。具体例を示せば、図11において、ノードN1からN2に向けて経路R1を視線を正面に向けて移動している場合は、「M1(+),φ=90°」なる移動動画再生指示が与えられ、ノードN2からN5に向けて経路R6を視線を正面に向けて移動している場合は、「M6(+),φ=180°」なる移動動画再生指示が与えられることになる。一方、ノードN4からN5に向けて経路R4を視線を正面に向けて移動している場合は、「M4(+),φ=270°」なる移動動画再生指示が与えられ、ノードN5からN2に向けて経路R6を視線を正面に向けて移動している場合は、「M6(−),φ=0°」なる移動動画再生指示が与えられることになる。
移動動画再生部131は、このような移動動画再生指示に基づいて、動画データ格納部110に格納されている再生対象動画データMjの各フレームF(1)〜F(n)を構成する全方位画像を、指示されたフレーム順に読み出し、読み出した全方位画像から、指示された所定の視線方向(方位角φ)の視界を構成する視野画像Qを切り出し、得られた一連の視野画像Qを動画として出力する処理を行う。
なお、移動動画再生指示として、一時停止や一時停止解除の指示を与えることも可能である。一時停止の指示が与えられた場合には、移動動画再生部131は、一時停止解除の指示が与えられるまでの間、現在読出中の同一フレームから得られる視野画像Qを連続して出力する処理を行えばよい。また、ユーザの指示に基づいて移動速度を可変にする形態を採る場合には、移動動画再生指示に移動速度を示す情報を含ませておくようにし、移動動画再生部131が移動速度に応じた速度でフレームの読み出しを行うようにすればよい。
このように、移動動画再生指示部142および移動動画再生部131の機能によって提示される「移動動画」とは、ある1つの経路上を移動中の視点から見た動画であるので、視点が異なる経路へと遷移した場合には、旧経路の移動動画再生から新経路の移動動画再生へと切り替える必要がある。切替動画再生指示部143および切替動画再生部132の機能によって提示される「切替動画」とは、この切替時に提示される動画である。位置方向更新部141は、視点がノードを介して旧経路から新経路へ遷移するときには、視点を当該ノード上で一旦静止させ、切替動画再生部132による切替動画の再生が完了した後に、新経路上で視点の移動を再開することになる。
以下、§2で述べた実例、すなわち、図11に示す参観路において、ノードN1からN2へと視線を正面に向けた状態(φ=90°)で経路R1を進み、ここで右折して、ノードN2からN5へと視線を正面に向けた状態(φ=180°)で経路R6を進む例について、ノードN2において提示すべき具体的な切替動画の内容を説明する。
上例の場合、ノードN2に到達した時点で、図14(a) に示すような視野画像QAが提示され、ノードN2を出発する時点で、図14(b) に示すような視野画像QZが提示される。ここで、視野画像QAが、旧経路R1に対応する動画データM1の最後のフレームF(n)から切り出した画像であるのに対して、視野画像QZは、新経路R6に対応する動画データM6の最初のフレームF(1)から切り出した画像である。
図15は、図14に示す2つの視野画像QA,QZを切り出す元になったパノラマ画像(全方位画像)を示す平面図である。まず、図15(a) は、視野画像QAを切り出す元になったパノラマ画像(全方位画像)であり、旧経路R1の動画データM1の最後のフレームF(n)を構成する画像である。以下、当該フレームを構成する全方位画像を切替前全方位画像Fold と呼ぶことにする。一方、図15(b) は、視野画像QZを切り出す元になったパノラマ画像(全方位画像)であり、新経路R6の動画データM6の最初のフレームF(1)を構成する画像である。以下、当該フレームを構成する全方位画像を切替後全方位画像Fnew と呼ぶことにする。
なお、ここで言う「最初」や「最後」とは、移動動画の「再生時のフレーム順」に関する「最初」や「最後」を意味するものである。したがって、撮影時とは逆のフレーム順で移動動画を再生する場合には、撮影時の「最初」のフレームが再生時の「最後」のフレームになり、撮影時の「最後」のフレームが再生時の「最初」のフレームになる。
結局、図14(a) に示す視野画像QAは、図15(a) に示す切替前全方位画像Fold から視線方向である方位角φ=90°を中心として切り出した画像に相当し、図14(b) に示す視野画像QZは、図15(b) に示す切替後全方位画像Fnew から視線方向である方位角φ=180°を中心として切り出した画像に相当する。具体的には、図8に例示したように、読み出した全方位画像から、方位角「φ−Δ/2」〜「φ+Δ/2」の範囲内の視界(ただし、Δは所定の切出角度)を構成する視野画像を切り出す処理が行われる。
なお、ここに示す例では、パノラマ画像(全方位画像)から矩形状の視野画像を切り出す際に歪み補正を行っているため、図14(a) ,(b) に示す視野画像QA,QZ(ほぼ歪みのない正則な矩形画像)は、図15(a) ,(b) に示す切出対象領域内の画像(厳密に言えば、矩形画像ではない)と若干異なるが、以下の説明では、便宜上、切替前全方位画像Fold および切替後全方位画像Fnew 上の切出対象領域内の画像も、視野画像QA,QZと呼ぶことにする。もちろん、パノラマ画像(全方位画像)から切り出した画像の歪みが、実用上問題のない程度であれば、歪み補正を省略し、切り出した画像をそのまま視野画像として提示してもかまわない。あるいは、必要に応じて、切出対象領域の大きさを任意に設定することにより、視野画像の倍率を可変にすることも可能である。
図15(a) に示すように、視野画像QAは、切替前全方位画像Fold から方位角φ=90°に視線を向けた視界を切り出した画像であるのに対して、図15(b) に示すように、視野画像QZは、切替後全方位画像Fnew から方位角φ=180°に視線を向けた視界を切り出した画像になっている。したがって、ユーザが、指示入力部150に対して、ノードN2を右折する指示(新経路として、経路R6を選択する指示)を行ったときに、図15(a) (図14(a) )に示す視野画像QAから、図15(b) (図14(b) )に示す視野画像QZに急に切り替わってしまうと、視聴者に画像の不連続に起因した違和感を感じさせてしまうことになる。
本発明では、このような違和感を緩和するための切替処理が行われる。図16は、このような切替処理のプロセスを示すタイムチャートである。図のt軸は左から右へと流れる時間を示す時間軸であり、この時間軸t上の点t1は視点がノードN2に到着した時点を示し、点t2は視点がノードN2を出発した時点を示す。ここでは、時点t1〜t2の間の期間を切替期間Tと呼ぶことにする。一方、図のP軸は参観路上の位置を示す位置軸であり、R1と記された区間は経路R1上の位置(左がノードN1側)を示し、R6と記された区間は経路R6上の位置(右がノードN5側)を示し、N2と記された区間はノードN2に留まっていることを示している。
結局、このチャートは、ノードN1から移動してきた視点が時点t1でノードN2に到着し、切替期間Tの間、ノードN2に留まり、時点t2でノードN2を出発して、ノードN5へ向かった、という事項を示していることになる。
このチャートの上段に示す矩形の升目は、各時点で移動動画再生部131によって読み出される動画データの個々のフレームを示している。たとえば、視点がノードN2に到達するまでは、動画データM1の最後直前のフレームF(n−2),F(n−1)が読み出され、時点t1でノードN2に到達すると、最後のフレームF(n)が読み出される。移動動画再生部131は、こうして読み出された各フレーム(全方位画像)から、方位角φ=90°の視線方向に対応する視野画像を切り出して提示することになる。一方、視点がノードN2を出発する際には、動画データM6のフレームF(1),F(2),F(3)が読み出され、移動動画再生部131は、こうして読み出された各フレーム(全方位画像)から、方位角φ=180°の視線方向に対応する視野画像を切り出して提示することになる。
前述したとおり、このタイムチャートにおける動画データM1の最後のフレームF(n)は、切替前全方位画像Fold を構成するフレームであり、図15(a) に示すように、このフレームから視野画像QAが切り出されることになる。同様に、動画データM6の最初のフレームF(1)は、切替後全方位画像Fnew を構成するフレームであり、図15(b) に示すように、このフレームから視野画像QZが切り出されることになる。切替動画再生指示部143および切替動画再生部132によって提示される切替動画は、切替期間Tにおいて、視野画像QAから視野画像QZへのスムーズな切替を行うために提示される動画である。
本発明における切替動画の主たる役割は、旧経路から新経路へと変遷する際に視線方向のスムーズな切替を視聴者に認識させることである。図15(a) に示す視野画像QAは方位角φ=90°の視線方向を切り出した画像であるのに対して、図15(b) に示す視野画像QZは方位角φ=180°の視線方向を切り出した画像であるため、視野画像QAから視野画像QZへ急な切替を行ってしまうと、ユーザの方向感覚を惑わすことになる。そこで、本発明では、切替動画として、旧経路の視線方向から新経路の視線方向へと徐々に変遷してゆくパン映像を提示することにする。上例の場合、視点位置をノードN2に静止させた状態にして、視線方向を方位角φ=90°から180°まで徐々に変化させることにより切り出される中間的な視野画像QB,QC,QD,... を生成し、これら中間的な視野画像を視野画像QAとQZとの間に挿入することにより切替動画を生成すればよい。
<<< §4. 本発明における切替動画の特徴 >>>
§3で述べたように、視線方向のスムーズな切替を視聴者に認識させる役割を担う切替動画を生成するには、いくつかの具体的な手法を採ることができる。図17は、その第1の基本手法を示す平面図である。ここで、図17(a) は切替前全方位画像Fold を示し、図17(b) は切替後全方位画像Fnew を示している。まず、切替動画を構成する最初の画像として、図17(a) に示すような視野画像QA(図15(a) に示す視野画像QAと同じ)を提示する。次に、切替動画の2番目の画像として、図17(b) に示すような視野画像QBを提示する。ここで、視野画像QAも視野画像QBも、方位角φ=90°に基づく切り出しを行って得られる画像である点は共通するが、視野画像QAが切替前全方位画像Fold から切り出された画像であるのに対して、視野画像QBが切替後全方位画像Fnew から切り出された画像である点が異なる。
続いて、切替動画の3番目の画像として、切替後全方位画像Fnew から方位角φ=91°に基づく切り出しを行って得られる視野画像QCを提示し、切替動画の4番目の画像として、切替後全方位画像Fnew から方位角φ=92°に基づく切り出しを行って得られる視野画像QDを提示し、... というように、方位角φを90°から180°に向けて徐々に変化させながら、切替後全方位画像Fnew から切り出した視野画像を順次提示してゆく。そして、最後に、図15(b) に示す視野画像QZ(φ=180°で切り出した画像)を提示する。要するに、この第1の基本手法は、まず、図17(a) に示す視野画像QAを図17(b) に示す視野画像QBに切り替え、続いて、図17(b) に示す視野画像QBの切出枠を徐々に右へと移動させてゆき、最終的に、図15(b) に示す視野画像QZの位置までもってゆく手法ということができる。
一方、図18は、第2の基本手法を示す平面図である。ここで、図18(a) は切替前全方位画像Fold を示し、図18(b) は切替後全方位画像Fnew を示している。この手法では、まず、切替動画を構成する最初の画像として、図15(a) に示す視野画像QAを提示する。次に、切替動画の2番目の画像として、図15(a) に示す切替前全方位画像Fold から方位角φ=91°に基づく切り出しを行って得られる視野画像QBを提示し、切替動画の3番目の画像として、切替前全方位画像Fold から方位角φ=92°に基づく切り出しを行って得られる視野画像QCを提示し、... というように、方位角φを90°から180°に向けて徐々に変化させながら、切替前全方位画像Fold から切り出した視野画像を順次提示してゆき、図18(a) に示すように、切替前全方位画像Fold をから方位角φ=180°に基づく切り出しを行って得られる視野画像QYを提示する。
そして、最後に、図18(b) に示す視野画像QZ(図15(b) に示す視野画像QZと同じ)を提示する。ここで、視野画像QYも視野画像QZも、方位角φ=180°に基づく切り出しを行って得られる画像である点は共通するが、視野画像QYが切替前全方位画像Fold から切り出された画像であるのに対して、視野画像QZが切替後全方位画像Fnew から切り出された画像である点が異なる。要するに、この第2の基本手法は、図15(a) に示す視野画像QAの切出枠を徐々に右へと移動させてゆき、最終的に、図18(a) に示す視野画像QYの位置までもってゆき、最後に図18(b) に示す視野画像QZに切り替える手法ということができる。
上述した2通りの手法は、いずれも「視線方向のスムーズな切替」という効果をもった切替動画を生成できるので、視線方向の不連続性に起因してユーザが抱く違和感を取り除くことは可能である。しかしながら、本発明では、この2通りの手法のいずれも採用しない。なぜなら、これらの手法では、位置ずれや輝度変動といった不連続性に起因してユーザが抱く違和感を取り除くことができないからである。まず、その理由を以下に説明しよう。
上述した第1の手法の場合、図17(a) に示す視野画像QAに続いて、図17(b) に示す視野画像QBが提示されることになる。ここで、図17(a) に示す切替前全方位画像Fold も図17(b) に示す切替後全方位画像Fnew も、同じノードN2の位置で撮影された全方位画像であるため、本来は、全く同一の画像になるべきものであり、実際、図においても同一の画像が示されている。しかしながら、実際には、両画像は同一にはならず、相互に微妙な位置ずれや輝度ずれが生じてしまう。これは、各経路の動画データが、実在の場所において、それぞれ別個の撮影作業によって得られるためである。
たとえば、図2に示す参観路についての動画データを撮影する場合、通常、経路R1〜R6についての撮影が別個の撮影作業として行われる。もちろん、撮影作業を工夫して、ノードN1からノードN2を経てノードN3に至る経路を1回の作業で撮影し、得られた一連の撮影データに基づいて動画データM1とM2とを作成するような方法を採れば、動画データM1の最後のフレームを構成する全方位画像と動画データM2の最初のフレームを構成する全方位画像とを完全に一致させることは可能である。
しかしながら、実際には、撮影対象となる経路上から一般通行人を排除するなどの準備作業も必要になるため、すべての経路を1回の作業で撮影することは困難である。このため、実用上は、複数の撮影作業に分けて個々の動画データを作成せざるを得ない(理論的には、一筆書きでトレースできない限り、全経路を1回の作業で撮影することはできない)。
しかも、撮影対象となる経路上に撮影用のレールを敷設するなどの方法を採らない限り(一般的な施設の場合、このようなレールの敷設は困難である)、同一のノード位置で撮影したつもりの全方位画像であっても、微妙な位置ずれが生じることは避けられない。また、撮影時間も異なるため、照明環境にも差が生じることになり(特に、屋外での撮影の場合は、差が顕著になる)、輝度ずれが生じることも避けられない。このように、実在の施設や場所を対象として、全方位カメラによる撮影を行うという手法を採る以上、同一ノードでの撮影結果に差が生じることは避けられず、幾何学的な位置ずれが生じたり、照明環境の変動が生じたりすることになる。
上例の場合、図17(a) に示す切替前全方位画像Fold は、動画データM1の撮影時に得られた画像であり、図17(b) に示す切替後全方位画像Fnew は、動画データM6の撮影時に得られた画像であるから、同じノードN2の位置で撮影された全方位画像であったとしても、相互に位置ずれや輝度ずれが生じていることになる。したがって、切替動画として、視野画像QAに続いて視野画像QBを提示すると、位置ずれや輝度変動といった画像の不連続が生じ、見ている視聴者に違和感を与えることになる。
このような事情は、上述した第2の手法の場合も同様である。すなわち、図18(a) に示す切替前全方位画像Fold と図18(b) に示す切替後全方位画像Fnew とは、相互に位置ずれや輝度ずれが生じているため、切替動画として、視野画像QYに続いて視野画像QZを提示すると、位置ずれや輝度変動といった画像の不連続が生じ、見ている視聴者に違和感を与えることになる。
このような問題は、CGの手法を利用して仮想の動画データを作成する場合には決して生じない問題であり、実在の施設や場所を撮影対象とする場合に固有の問題というべきものである。
本発明で提示される切替動画によれば、旧経路について撮影された動画データから、新経路について撮影された動画データへのスムーズな切替が可能になる。そのために、本発明では、切替前全方位画像Fold から切り出した視野画像と切替後全方位画像Fnew から切り出した視野画像とを所定のブレンド比率で合成したブレンド画像を生成する処理を行い、生成された一連のブレンド画像を切替動画として出力するという手法を採る。このとき、切替前全方位画像Fold と切替後全方位画像Fnew とについて共通視線方向を設定するようにし、同一の視線方向について切り出した視野画像について合成を行うようにする。
たとえば、図19(a) および(b) は、切替前全方位画像Fold および切替後全方位画像Fnew から、共通の視線方向である方位角φ=90°についての視野画像QAおよびQBを切り出し、両者を1:0の比率で合成してブレンド画像G(90°)を生成する処理を示す平面図である。画像QBの比率は0であるため、実質的には、ブレンド画像G(90°)は視野画像QAと同じ画像になる。
同様に、図20(a) および(b) は、画像Fold ,Fnew から、共通の方位角φ=120°についての視野画像QC,QDを切り出し、両者を2/3:1/3の比率で合成してブレンド画像G(120°)を生成する処理を示す平面図であり、図21(a) および(b) は、画像Fold ,Fnew から、共通の方位角φ=150°についての視野画像QE,QFを切り出し、両者を1/3:2/3の比率で合成してブレンド画像G(150°)を生成する処理を示す平面図である。そして、図22(a) および(b) は、画像Fold ,Fnew から、共通の方位角φ=180°についての視野画像QY,QZを切り出し、両者を0:1の比率で合成してブレンド画像G(180°)を生成する処理を示す平面図である。画像QYの比率は0であるため、実質的には、ブレンド画像G(180°)は視野画像QZと同じ画像になる。
ここでは、説明の便宜上、方位角φの刻み幅を30°に設定し、4通りのブレンド画像G(90°),G(120°),G(150°),G(180°)を生成する例を示したが、実際には、方位角φの刻み幅をより細かくすれば、視線方向のスムーズな切替を表現した切替動画の提示が可能になる。たとえば、方位角φの刻み幅を1°に設定すれば、共通視線方向は、切替前の視線方向φ=90°から切替後の視線方向φ=180°まで、1°単位で徐々に変化することになり、ブレンド画像G(90°),G(91°),G(92°),... ,G(179°),G(180°)によって構成される切替画像が提示されることになる。
しかも、ブレンド画像を生成する処理において、切替後全方位画像Fnew から切り出した視野画像が占める割合をブレンド比率αと定義し、このブレンド比率αが0〜1へと徐々に増加するようにすれば、旧経路についての動画データから、新経路についての動画データへのスムーズな切替も同時に行われることになる。これが本発明における切替処理の基本原理である。
図23は、このような切替処理の具体的なプロセスを示すタイムチャートである。図16に示すチャートと同様に、t軸およびP軸は、時間軸tおよび位置軸Pであり、チャートの上段に示す矩形の升目は、各時点で移動動画再生部131もしくは切替動画再生部132によって読み出される動画データの個々のフレームを示している。このチャートも、ノードN1から移動してきた視点が時点t1でノードN2に到着し、切替期間Tの間、ノードN2に留まり、時点t2でノードN2を出発して、ノードN5へ向かった場合の例であるが、切替期間Tの間に提示される切替動画の生成プロセスがより詳細に示されている。
チャート上段には、2行に渡って動画データを構成するフレームの升目が描かれている。ここで、1行目の升目は、旧経路R1についての動画データM1を構成するフレームを示し、2行目の升目は、新経路R6についての動画データM6を構成するフレームを示している。動画データM1,M6を構成するフレームは、切替期間Tにおいて重複しており、上述したように、2つの視野画像を合成してブレンド画像を生成する処理が行われることになる。
すなわち、切替期間Tに着目すると、1行目の升目は、いずれも旧経路R1についての動画データM1を構成する最後のフレームF(n)、すなわち、切替前全方位画像Fold であり、2行目の升目は、いずれも新経路R6についての動画データM6を構成する最初のフレームF(1)、すなわち、切替後全方位画像Fnew である。また、これら升目の上部にはブレンド比率αの値が記載されており、これら升目の下部には共通の視線方向(方位角φ)の値が記載されており、更にその下には、合成処理により生成されるブレンド画像の記号G(90°),G(91°),... が示されている。
ここに示す例は、方位角φの刻み幅を1°に設定したものであり、切替期間Tの間に、方位角φは90°〜180°まで1°単位で徐々に増加することになり、合計91通りのブレンド画像G(90°),G(91°),G(92°),... ,G(179°),G(180°)によって切替画像が構成されることになる。しかも、ブレンド比率αは、0〜1まで徐々に増加してゆくので、ブレンド画像Gにおける画像Fold の成分に対する画像Fnew の成分の比率は、徐々に増加してゆくことになる。
図23の下段に示す式
G=(1−α)・Q(Fold (φ))+α・Q(Fnew (φ))
は、切替前全方位画像Fold から切り出した方位角φで示される方向の視野画像の画素値をQ(Fold (φ))、切替後全方位画像Fnew から切り出した方位角φで示される方向の視野画像の画素値をQ(Fnew (φ))、ブレンド比率をα(0≦α≦1)としたときに、ブレンド画像の画素値Gを求める式である。各視野画像の対応位置にある画素の画素値について、上記式を適用して画素値を求める演算を行えば(カラー画像の場合は、個々の原色ごとに演算を行えば)、ブレンド画像Gを得ることができる。
このようにして、ブレンド画像Gを生成する処理を、方位角φをφold からφnew まで徐々に変化させながら(上例の場合は、90°から180°まで1°刻みで変化させながら)、かつ、ブレンド比率αを0から1まで徐々に変化させながら、繰り返し実行し、生成された一連のブレンド画像G(90°)〜G(180°)を動画として出力すれば、切替動画の提示が可能になる。
結局、図10に示す動画提示装置100における位置方向更新部141は、視点がノードを介して旧経路から新経路へ遷移するときに、新経路の基準方向を参照することにより切替後の視線方向φnew を定め、切替前の視線方向φold から切替後の視線方向φnew へと、視線方向を示す方位角φを徐々に更新する処理を行う。一方、切替動画再生指示部143は、動画データ対応情報MCを参照して、旧経路の動画から新経路の動画に、切替前の視線方向φold から切替後の視線方向φnew への変化を伴う切替が行われるような切替動画再生指示を切替動画再生部132に与える処理を行うことになる。
図10において、切替動画再生指示部143から切替動画再生部132へ向けた矢印に付記された「Fold 」,「Fnew 」,「φold →φnew 」なる記号は、この切替動画再生指示に含まれる情報を示している。すなわち、「Fold 」,「Fnew 」なる記号は、切替前全方位画像Fold および切替後全方位画像Fnew を特定するための情報を示すものである。具体的には、上例の場合、切替前全方位画像Fold を特定する情報とは「動画データR1の最後のフレームF(n)」を示す情報であり、切替後全方位画像Fnew を特定する情報とは「動画データR6の最初のフレームF(1)」を示す情報ということになる。また、「φold →φnew 」なる記号は、切替動画再生部132に対して、切替前の視線方向φold から切替後の視線方向φnew へと徐々に変化してゆく方位角φの値が与えられることを示している。
切替動画再生部132は、このような切替動画再生指示に基づいて、動画データ格納部110に格納されている動画データの中から、切替前全方位画像Fold および切替後全方位画像Fnew を読み出し、上述したような手順により一連のブレンド画像を生成し、これを切替動画として出力する処理を行うことになる。ここで、切替前全方位画像Fold として読み出されるフレームは、結局、旧経路の動画データの移動動画再生時のフレーム順における最後のフレーム(上例の場合、旧経路R1の動画データM1の最後のフレームF(n))ということになり、切替後全方位画像Fnew として読み出されるフレームは、結局、新経路の動画データの移動動画再生時のフレーム順における最初のフレーム(上例の場合、新経路R6の動画データM6の最初のフレームF(1))ということになる。
ブレンド画像の生成は、既に述べたとおり、読み出した2つの全方位画像Fold ,Fnew から、共通視線方向(共通の方位角φ)の視界を構成する視野画像をそれぞれ切り出し、切り出した2つの視野画像を所定のブレンド比率αで合成することにより行われる。しかも、このようなブレンド画像の生成処理は、共通視線方向(方位角φ)を切替前の視線方向φold から切替後の視線方向φnew まで徐々に変化させながら、かつ、切替後全方位画像Fnew から切り出した視野画像の比率が徐々に増加するように変化させながら、繰り返し実行され、生成された一連のブレンド画像が動画として出力されることになる。
結局、本発明を、ある1つのノードを介して接続された第1の経路および第2の経路を有する場所について、第1の経路から当該ノードを介して第2の経路へと移動する視点から見た所定の視線方向の視界を動画として提示する動画提示方法として捉えると、本発明に係る動画提示方法は、次のような各段階によって構成されることになる。
(1)コンピュータが、第1の経路に沿って撮影された第1の全方位動画に基づいて、第1の経路に沿ってノードに向かう視点から見た第1の視線方向φold の視界を示す第1の移動動画を再生する第1の移動動画再生段階。
(2)コンピュータが、視点をノードに静止させた状態において、視線方向を徐々に変化させたときに得られる視界を示す切替動画を再生する切替動画再生段階。
(3)コンピュータが、第2の経路に沿って撮影された第2の全方位動画に基づいて、第2の経路に沿ってノードから離れる視点から見た第2の視線方向φnew の視界を示す第2の移動動画を再生する第2の移動動画再生段階。
ここで、切替動画再生段階では、第1の全方位動画の最後のフレームを構成する切替前全方位画像Fold について、視線方向を第1の視線方向φold から第2の視線方向φnew へと徐々に変化させることによって得られる第1のパン動画と、第2の全方位動画の最初のフレームを構成する切替後全方位画像Fnew について、視線方向を第1の視線方向φold から第2の視線方向φnew へと徐々に変化させることによって得られる第2のパン動画とを、第2のパン動画の比率が徐々に増加するような所定比率でブレンドすることにより得られる動画を切替動画として再生する処理が行われる。
このように本発明によれば、視点がノードを介して旧経路から新経路に遷移する際に、旧経路の視線方向から新経路の視線方向へと徐々に変遷してゆくパン映像が切替動画として提示され、しかも旧経路の動画と新経路の動画とをブレンドした画像が、ブレンド比率を徐々に変えながら提示されることになる。したがって、旧経路の動画と新経路の動画との間に、位置ずれや輝度変動が生じていたとしても、視聴者に画像の不連続に起因した違和感を感じさせない態様で動画提示を行うことができるようになる。
<<< §5. 本発明の変形例 >>>
これまで、図10に示すブロック図を参照しながら、本発明に係る動画提示装置の基本的な実施形態を述べてきた。しかしながら、本発明はこの基本的な実施形態に限定されるものではなく、この他にも種々の態様で実施可能である。そこで、ここでは、本発明に係る動画提示装置のいくつかの変形例を述べておく。
<5−1:視線方向の設定に関する変形例>
これまで述べてきた実施形態では、仮想ユーザが視線を常に正面(移動方向)に向けて経路上を移動するという前提で説明を行った。たとえば、図11に示す参観路において、視点がノードN1からノードN2へ向かって経路R1を移動している場合の視線方向は方位角φ=90°の方向とし、視点がノードN2からノードN5へ向かって経路R6を移動している場合の視線方向は方位角φ=180°の方向とする例を述べ、ノードN2で提示する切替画像として、切替前の視線方向φold =90°から切替後の視線方向φnew =180°へと徐々に変化するパン映像を提示する例を説明した。
図24は、このように、視線方向を移動方向に一致させる設定を行った場合の経路遷移による視線方向の変遷を示す平面図である。ここでは、経路R1からノードNを経て経路R2へと遷移する例が示されている。この場合、経路R1を移動中には移動動画M1が提示され、ノードNで一時停止中には切替動画Mtが提示され、経路R2を移動中には移動動画M2が提示される。図の破線の矢印は、各経路の基準方向(すなわち、視点の移動方向)を示している。たとえば、Dold は経路R1をノードNに向かって移動する場合の基準方向を示し、Dnew は経路R2をノードNから離れる方向に移動する場合の基準方向を示す。
視線方向を常に移動方向に一致させる設定では、経路R1を移動中の視線方向は基準方向Dold に一致し、経路R2を移動中の視線方向は基準方向Dnew に一致する。したがって、移動動画M1は基準方向Dold を視線方向として切り出しを行った一連の視野画像によって構成すればよいし、移動動画M2は基準方向Dnew を視線方向として切り出しを行った一連の視野画像によって構成すればよい。要するに、図10に示す位置方向更新部141は、常に、移動中の経路の基準方向に対応する方位角Dを視線方向を示す方位角φとする更新を行えばよい。
また、ノードNでは、切替動画Mtを提示することになるが、図10に示す位置方向更新部141は、旧経路R1の基準方向に対応する方位角Dold を切替前の視線方向を示す方位角φold とし、新経路R2の基準方向に対応する方位角Dnew を切替後の視線方向を示す方位角φnew として、方位角φをφold からφnew へと徐々に変化させる更新処理を行えばよい。そうすれば、ノードNにおいて、方位角Dold の視界から方位角Dnew の視界へと徐々に変化するパン映像が切替動画として提示されることになる。
このように、視線方向を常に移動方向に一致させる設定を行えば、仮想ユーザが常に正面を向いて移動してゆく状態が動画として提示されるので、一般的な用途であれば十分に利用可能である。しかしながら、ユーザに対してより自由度の高い見学体験を提供するには、ユーザの意思に応じて視線方向を自由に設定できるようにするのが好ましい。特に、上述したような美術館の参観路や史跡の参観路の見学体験を与える装置の場合、ユーザは興味のある特定の方向に視線を向けて注視したいと考えるであろう。
図10に示す動画提示装置は、§2で述べたとおり、ユーザの指示に応じて視線方向を任意に設定する機能を有している。すなわち、位置方向更新部141は、現時点の視線方向を示す情報を方位角φのデータとして保持しており、この方位角φのデータは、ノードにおいて切替動画を提示する際に更新されるが、ユーザの指示に応じて、視線方向を任意の方向に設定する際にも更新されることになる。§2では、図9に示すコントローラ50の左向きボタンB3もしくは右向きボタンB4を押す操作により、ユーザが視線方向を自由に変える例を述べた。
ここでは、経路が定義された二次元平面上において、移動方向と視線方向とのなす角をオフセット角θ(−180°<θ≦+180°)と呼ぶことにする。指示入力部150に、オフセット角θを設定する指示を入力する機能をもたせておけば、ユーザは視線方向を任意に設定することが可能になる。
たとえば、図9に示すコントローラ50の場合、左向きボタンB3はオフセット角θを減少させる指示、右向きボタンB4はオフセット角θを増加させる指示を与えるボタンとして機能させればよい(θが−180°より小さくなる場合は360°を加え、θが+180°より大きくなる場合は360°を減じるようにすればよい)。位置方向更新部141は、このオフセット角θの値を保持し、指示入力部150(コントローラ50)からの指示に応じて、これを逐次更新する処理を行うようにする。
この場合、視線方向を示す方位角φは、移動中の経路の基準方向を示す方位角をDとすれば、φ=D+θなる式で与えられるので、位置方向更新部141は、現在移動中の経路の基準方向を示す方位角Dとオフセット角θとに基づいて、視線方向を示す方位角φを求めることができる。結局、移動動画再生指示部142は、φ=D+θなる式に基づいて設定された方位角φの情報を含む移動動画再生指示を移動動画再生部131に与えることになる。図24に示す例は、オフセット角θを、常に0°に固定した例ということができる。
図25は、視線方向を任意に設定した場合の経路遷移による視線方向の変遷を示す平面図である。この図25に示す例は、図24に示す例と同様に、経路R1からノードNを経て経路R2へと遷移する例であるが、視線方向は移動方向に一致していない。ここでは、経路R1を移動中に、ユーザが所望のオフセット角θ(図示の例の場合、θ=+30°)を設定した場合を考えてみよう。この場合、視線方向は移動方向に対して斜め右方向ということになり、仮想ユーザが顔をやや右に向けて経路R1を前進している状態に相当する。
いま、図示のとおり、視点が旧経路R1上の所定位置P1にある場合の視線方向を考えると、視線方向を示す方位角φold は、旧経路R1の基準方向に対応する方位角をDold として、φold =Dold +θで表される。したがって、移動動画再生部131は、視点が旧経路R1を移動中に、この方位角φold によって示される視線方向の視野画像を切り出すことになり、ユーザに対しては、ノードNに向かってやや右向きの視界を示す移動動画M1が提示される。
ここで、仮想ユーザ(視点)が、オフセット角θを一定に維持したままノードNに到達したものとしよう。ノードNでは、切替動画Mtの提示が行われるが、このとき、位置方向更新部141は、切替前の視線方向を示す方位角φold と切替後の視線方向を示す方位角φnew とを定める必要がある。切替前の視線方向を示す方位角φold は、ノードNに到着した時点の視線方向を示すものであるから、図示の例の場合、φold =Dold +θとすればよい。これに対して、切替後の視線方向を示す方位角φnew については、いくつかの決定方法を採用できる。ここでは、2通りの決定方法を例示しておくことにする。
第1の決定方法は、新経路に遷移した後も、旧経路で設定されていたオフセット角θをそのまま維持させる、という基本方針に基づく方法である。図25では、この第1の決定方法で決定した方位角φnew が示されている。すなわち、図示する新経路R2上の位置P2には、新経路R2の基準方向を示す方位角Dnew に対して、オフセット角θ(旧経路R1において設定されていたオフセット角θと同じもの)を加えることにより定まる方位角φnew を新たな視線方向とする例が示されている。
この第1の決定方法を採用した場合、旧経路を移動中の仮想ユーザの顔の向きが、新経路においても維持されることになる。すなわち、図25に示す例の場合、旧経路R1において、仮想ユーザは斜め右方向に顔を向けながらノードNへ向けて進行しており、移動動画M1としては、φold =Dold +θで示される視線方向の視界が提示される。一方、新経路R2においても、仮想ユーザは斜め右方向に顔を向けながらノードNを出発することになり、移動動画M2としては、φnew =Dnew +θで示される視線方向の視界が提示される。したがって、ノードNにおいて提示される切替動画Mtは、このようにして決定された方位角φold からφnew へ視線方向が徐々に変化するようなパン映像になる。
図26(a) は、この第1の決定方法を採用した場合について、ノードNを介した切替前後の視線方向を定める式を示す図である。この式によれば、切替前の視線方向を示す方位角φold は、旧経路R1の基準方向に対応する方位角Dold に基づいて、φold =Dold +θなる式に基づいて決定され、切替後の視線方向を示す方位角φnew は、新経路R2の基準方向に対応する方位角Dnew に基づいて、φnew =Dnew +θなる式に基づいて決定される。すなわち、位置方向更新部141は、これらの式に基づいてφold ,φnew をそれぞれ決定することになり、切替動画再生指示部143は、方位角φがφold からφnew へと徐々に変化してゆく切替動画再生指示を切替動画再生部132に与えることになる。
一方、第2の決定方法は、新経路に遷移した時に、旧経路で設定されていたオフセット角θを0にリセットする、という基本方針に基づく方法である。図26(b) は、この第2の決定方法を採用した場合について、ノードNを介した切替前後の視線方向を定める式を示す図である。この式によれば、切替前の視線方向を示す方位角φold は、上述した第1の決定方法と同様に、旧経路R1の基準方向に対応する方位角Dold に基づいて、φold =Dold +θなる式に基づいて決定される。ところが、切替後の視線方向を示す方位角φnew は、新経路R2の基準方向に対応する方位角Dnew のみに基づいて、φnew =Dnew なる式に基づいて決定される。すなわち、位置方向更新部141は、これらの式に基づいてφold ,φnew をそれぞれ決定することになり、切替動画再生指示部143は、方位角φがφold からφnew へと徐々に変化してゆく切替動画再生指示を切替動画再生部132に与えることになる。
この第2の決定方法を採用した場合、旧経路を移動中の仮想ユーザの顔の向きがどの方向であろうが、新経路における顔の向きは常に正面(すなわち、移動方向)を向いたものになる。図25において、仮想ユーザが旧経路R1を斜め右方向に顔を向けながら進行すれば、移動動画M1としては、φold =Dold +θで示される視線方向の視界が提示されるが、新経路R2では、仮想ユーザは正面を向いて進行することになり、移動動画M2としては、φnew =Dnew で示される視線方向の視界が提示されることになる。ノードNにおいて提示される切替動画Mtは、このようにして決定された方位角φold からφnew へ視線方向が徐々に変化するようなパン映像になる。
第1の決定方法を採用すれば、経路の変遷が生じた場合でも、常にオフセット角θが維持されるので、仮想ユーザの進行方向に対する顔の向きが常に一定となる。したがって、図2に示す美術館の参観路などにおいて、仮想ユーザが、常に右側の壁の展示品を眺めながら順路に沿って絵画を鑑賞してゆくような参観方法を採る場合には好都合である。これに対して第2の決定方法を採用すれば、新たな経路に進入した初期状態では、常に進行方向正面向きの映像が提示されるので、ユーザは経路の空間的な位置関係を理解しやすくなり、仮想の街や史跡などを巡る情景を提示する場合に好都合である。
このように、視線方向に関する第1の決定方法や第2の決定方法には、それぞれ固有の特徴があり、提示対象となる場所や施設の性質やユーザへの動画の提示目的などを考慮して、適宜、最適な決定方法を採用するようにすればよい。もちろん、本発明を実施するにあたり、経路遷移時の視線方向を決定する方法は、上述した2通りの決定方法に限定されるものではなく、この他にも様々な決定方法を採用することができる。
なお、切替動画の再生中に、オフセット角θを増減させるユーザの指示があった場合には、指示に応じてθを変更してφnew を再計算するようにしてもよいが、切替動画再生中には、オフセット角θを変更するユーザからの指示を受け付けないようにしてもよい。
<5−2:切替動画のパン方向に関する変形例>
これまで述べたとおり、切替動画は、切替前の視線方向(方位角φold )から切替後の視線方向(方位角φnew )への変化を伴うパン映像として提示されるが、ここで、方位角φold から方位角φnew へ至るまでの回転方向は任意の方向でかまわない。たとえば、図24や図25に示す例では、ノードNを中心として、方位角φold から方位角φnew へと視線方向を回転させたパン映像からなる切替動画Mtを提示することになるが、このときの視線方向の回転方向は、時計回りでも反時計回りでもかまわない。ただ、一般的には、回転角がより小さくなる回転方向を選択するのが好ましく、図24や図25に示す例の場合は、時計回りに回転させるのが好ましい。
図23に示す例において、切替前の視線方向φ=90°から切替後の視線方向φ=180°まで変化させるのに、φ=91°,92°,93°,... ,と時計回りに変化させているのは、回転角のスパンがより小さくなる回転方向を選択したためであるが、もちろん、特殊な効果を演出する場合には、回転角のスパンがより大きくなる回転方向を選択するようにしてもかまわない。この場合、切替動画における視線方向は、φ=90°,89°,88°,... ,0°,359°,358°,... ,181°,180°と反時計回りに変化することになる。
また、演出効果として必要な場合には、まず、360°に渡って1回転させた後、最終的に切替後の視線方向に向くように更に回転を加えるようにすることも可能である。要するに、最初の画像として切替前の視線方向(方位角φold )を向いた視界が提示され、最後の画像として切替後の視線方向(方位角φnew )を向いた視界が提示されるようなパン映像が切替動画として提示されれば、その間に視線方向をどのように動かしてもかまわない。
更に、これまで述べた実施形態では、個々の経路を同一の二次元平面上に定義しているが、各経路を、三次元空間上に定義することも可能である。そうすれば、スロープや階段など高低差のある経路を定義することができる。経路を三次元空間上に定義した場合、経路の基準方向も三次元空間内のベクトルとして定義されることになるので、切替前の視線方向や切替後の視線方向は、三次元ベクトルの方向を示す立体方位角として与えられることになり、切替動画として提示されるパン映像は、いわゆる水平パンのみではなく、垂直パン(チルト)も組み合わせた三次元空間上での視線変化を示す映像になる。図8では、視野画像Q(P(i),φ(i))の縦幅をパノラマ画像F(i)の縦幅に一致させた切出例を示したが、視野画像Qの領域を小さくし縦幅を小さくすれば、視野画像Qの位置は方位角φおよび仰角Ψによって規定されることになるので、仰角Ψを変化させれば、チルトの効果をもった移動動画や切替動画を再生することも可能である。
<5−3:曲線状経路を用いた変形例>
これまで述べた実施形態では、個々の経路が直線である例を述べたが、実在の場所に存在する経路は、必ずしも直線の経路であるとは限らない。たとえば、円周上の回廊を有する美術館の参観路は、円弧状の経路によって構成されることになる。このように、実在の経路が曲線状経路である場合、全方位カメラによる撮影経路も当該曲線状経路にならざるを得ず、得られる動画データも、この曲線状経路に沿った撮影データということになる。
この場合、ルート情報RTとしては、たとえば、ベジェ曲線などを利用して曲線からなる経路を定義する情報を用意すればよい。あるいは、実在の曲線状経路上に複数のノードと、これらノード間を結ぶ直線状の経路を定義し、折れ線によって擬似的に曲線状経路を近似することもできる。
いずれにしても、ある1つの経路を、その両端点となる2つのノードによって定義するようにすれば、当該経路の基準方向は、当該経路の両端に位置する2つのノード間を結ぶ直線の方向により定義できる。たとえば、図27に示すように、2つのノードN1,N2間にベジェ曲線などによって曲線状の経路Rが定義されていた場合、この曲線状の経路Rに沿って移動する視点の移動方向は逐次変化することになるが、経路Rの基準方向としては、図に破線で示すように、ノードN1からN2に向かうベクトルの方向Dを採用すれば、本発明を実施する上で、実用上の支障は生じない。
このように、実在の経路が曲線状であった場合にも、両端点を結ぶ直線として当該経路の基準方向を定義することができるので、図24や図25に示すような方法で切替前の視線方向(方位角φold )や切替後の視線方向(方位角φnew )を決定する際にも、何ら支障は生じない。
<5−4:コントローラの変形例>
図9に示すコントローラ50は、指示入力部150の一部を構成する機器としての一例を示すものであり、実用上は、この他にも様々な形態の機器をコントローラとして利用することが可能である。特に、操作ボタンなどの形態や配置は、設計上、自由に設定可能である。§2では、ボタンB6〜B9の役割についての説明はなされていないが、これらのボタンには、たとえば、移動速度を設定する機能や、表示倍率を設定する機能など、様々な機能を割り当てることができる。
また、ボタンの代わりに、ジョイスティックを用いることも可能である。たとえば、1本のジョイスティックを前方に倒すと前進指示、後方に倒すと後退指示、左方に倒すと左向き指示、右方に倒すと右向き指示を与えるようにすれば、ボタンB1〜B4の代わりに用いることができる。更に、スティックの傾斜角度に基づいて、移動速度を変化させるような使い方もできる。
<5−5:指示入力部を省略する変形例>
図10に示す動画提示装置100には、ユーザからの指示を入力するための指示入力部150が備わっているが、本発明を実施するにあたり、指示入力部150は必ずしも必要な構成要素ではなく、利用形態によっては、指示入力部150を省略することも可能である。
すなわち、位置方向更新部141が、視点位置および視線方向を、予め設定された所定の規則に基づいて自動更新する機能を備えていれば、ユーザの指示入力なしに動画提示が可能である。たとえば、図2に示す参観路について、経路R2,R3,R4,R6によって構成される正方形の巡回ルートを設定しておき、位置方向更新部141が、この巡回ルートに沿って自動的に視点位置および視線方向の更新を行うようにすれば、いわゆるデモ映像として、当該巡回ルートに沿った視界を示す動画の提示が可能になる。
この場合、経路R2を移動中には動画データM2に基づく移動動画が提示され、ノードN3に到達すると新経路R3へ移行するための切替動画が提示され、新経路R3を移動中には動画データM3に基づく移動動画が提示され、ノードN4に到達すると新経路R4へ移行するための切替動画が提示され、... という具合に、移動動画と切替動画が交互に自動的に提示されることになる。
10:魚眼レンズ
20:ビデオカメラ
30:データ処理ユニット
40:台車
50:コントローラ
100:動画提示装置
110:動画データ格納部
120:基本情報格納部
130:動画再生部
131:移動動画再生部
132:切替動画再生部
140:再生指示部
141:位置方向更新部
142:移動動画再生指示部
143:切替動画再生指示部
150:指示入力部
200:ディスプレイ装置
A:経路の端点となるノード
B:経路の端点となるノード
B1〜B9:ボタン
D,D1,D2:経路の基準方向
Dnew :新経路の基準方向に対応する方位角
Dold :旧経路の基準方向に対応する方位角
E(i):視線ベクトル
F(1),F(2),F(i−1),F(i),F(i+1),F(n−1),F(n):動画データを構成する個々のフレーム(全方位画像)
Fnew :切替後全方位画像(新経路の動画データの最初のフレーム)
Fold :切替前全方位画像(旧経路の動画データの最後のフレーム)
G:ブレンド画像の画素値
G(φ):方位角φについてのブレンド画像
i:フレーム番号
j:動画データ番号
M,M1〜M6:動画データ/移動動画
MC:動画データ対応情報
Mt:切替動画
mk1〜mk3:マーカ
N,N1〜N6:ノード
n:動画データに含まれるフレーム数
O:天頂点/二次元座標系の原点
P,P1,P2:経路上の位置
P(1),P(2),P(i−1),P(i),P(i+1),P(n−1),P(n):経路上の地点
Q,Q(P(i),φ(i)):視野画像
QA〜QZ:視野画像
Q(Fnew (φ)):切替後全方位画像Fnew から切り出した方位角φで示される方向の視野画像の画素値
Q(Fold (φ)):切替前全方位画像Fold から切り出した方位角φで示される方向の視野画像の画素値
R,R1〜R6:経路
RT:ルート情報
T:切替期間
t:時間
t1,t2:特定の時点
X:二次元座標系の座標軸
Y:二次元座標系の座標軸
α:ブレンド比率
Δ:切出角度
φ,φ1,φ2,φ(i):視線方向(方位角)
φnew :切替後の視線方向を示す方位角
φold :切替前の視線方向を示す方位角
θ:オフセット角

Claims (17)

  1. ノードを介して接続された複数の経路を含む実在の場所について、所定の経路に沿って移動する視点から見た所定の視線方向の視界を動画として提示する動画提示装置であって、
    予め定められた撮影方向に沿って経路を移動する全方位カメラを用いた撮影によって得られた動画データであって、360°の視界をもつ全方位画像をフレーム単位で並べることにより構成される動画データを、個々の経路について格納する動画データ格納部と、
    ノードを介した各経路の接続状態および各経路の基準方向を示すルート情報と、各経路に対応する動画データを示す動画データ対応情報と、を格納する基本情報格納部と、
    視点位置および視線方向を更新する位置方向更新部と、更新によって視点が経路上を移動しているときに、移動中の視点から見た移動動画の再生を指示する移動動画再生指示部と、視点がノードを介して旧経路から新経路へ遷移するときに、当該ノードに静止中の視点から見た切替動画の再生を指示する切替動画再生指示部と、を有する再生指示部と、
    前記移動動画再生指示部から与えられる指示に基づいて移動動画の再生を行う移動動画再生部と、前記切替動画再生指示部から与えられる指示に基づいて切替動画の再生を行う切替動画再生部と、を有する動画再生部と、
    を備え、
    前記位置方向更新部は、前記ルート情報に基づいて、所定の経路に沿って視点が移動するように視点位置の更新を行うとともに、必要に応じて視線方向の更新を行い、視点がノードを介して旧経路から新経路へ遷移するときに、視点を当該ノード上で一旦静止させ、前記切替動画再生部による切替動画の再生が完了した後に、新経路上で視点の移動を再開し、
    前記移動動画再生指示部は、前記動画データ対応情報を参照して、移動中の経路に対応する動画データを再生対象動画データと認識し、この再生対象動画データを視点の移動方向に応じたフレーム順に、前記位置方向更新部が示す所定の視線方向に応じた切り出しを行って再生することを示す移動動画再生指示を前記移動動画再生部に与え、
    前記移動動画再生部は、前記移動動画再生指示に基づいて、前記動画データ格納部に格納されている前記再生対象動画データの各フレームを構成する全方位画像を、指示されたフレーム順に読み出し、読み出した全方位画像から、指示された所定の視線方向の視界を構成する視野画像を切り出し、得られた一連の視野画像を動画として出力し、
    前記位置方向更新部は、視点がノードを介して旧経路から新経路へ遷移するときに、新経路の基準方向を参照することにより切替後の視線方向を定め、切替前の視線方向から切替後の視線方向へと視線方向を徐々に更新する処理を行い、
    前記切替動画再生指示部は、前記動画データ対応情報を参照して、旧経路の動画から新経路の動画に、前記切替前の視線方向から前記切替後の視線方向への変化を伴う切替が行われるような切替動画再生指示を前記切替動画再生部に与え、
    前記切替動画再生部は、前記切替動画再生指示に基づいて、前記動画データ格納部に格納されている旧経路の動画データの移動動画再生時のフレーム順における最後のフレームを切替前全方位画像として読み出し、前記動画データ格納部に格納されている新経路の動画データの移動動画再生時のフレーム順における最初のフレームを切替後全方位画像として読み出し、読み出した2つの全方位画像から、共通視線方向の視界を構成する視野画像をそれぞれ切り出し、切り出した2つの視野画像を所定のブレンド比率で合成したブレンド画像を生成する処理を、前記共通視線方向を前記切替前の視線方向から前記切替後の視線方向まで徐々に変化させながら、かつ、前記切替後全方位画像から切り出した視野画像の比率が徐々に増加するように変化させながら、繰り返し実行し、生成された一連のブレンド画像を動画として出力することを特徴とする動画提示装置。
  2. 請求項1に記載の動画提示装置において、
    動画データ格納部が、魚眼レンズもしくは全方位ミラーを装着した全方位カメラを用いて、所定の水平面より上方に位置する半球状視界を撮影して得られる歪曲円形画像から、仰角が所定の基準値以下の領域を切り出し、これに歪み補正を施すことにより得られる矩形状のパノラマ画像をフレーム単位で並べることにより構成される動画データを格納することを特徴とする動画提示装置。
  3. 請求項1または2に記載の動画提示装置において、
    基本情報格納部に格納されているルート情報が、各経路の両端に位置するノードの二次元座標系上での座標値を示す位置情報を含み、個々の経路の基準方向が、当該経路の両端に位置する2つのノード間を結ぶ直線の方向により定義されていることを特徴とする動画提示装置。
  4. 請求項1〜3のいずれかに記載の動画提示装置において、
    基本情報格納部に格納されている動画データ対応情報が、個々の経路についての撮影方向を示す情報を含んでおり、
    移動動画再生指示部が、視点の移動方向が撮影方向に対して順方向の場合は、動画データを撮影時のフレーム順で再生することを示す移動動画再生指示を与え、視点の移動方向が撮影方向に対して逆方向の場合は、動画データを撮影時とは逆のフレーム順で再生することを示す移動動画再生指示を与えることを特徴とする動画提示装置。
  5. 請求項1〜4のいずれかに記載の動画提示装置において、
    基本情報格納部が、二次元座標系上における個々のノードの座標値を示す位置情報と、全ノード中の任意の2ノードの組み合わせについて、それぞれ相互間を接続する経路が存在するか否かを示す接続情報と、によって構成されるルート情報を格納していることを特徴とする動画提示装置。
  6. 請求項1〜5のいずれかに記載の動画提示装置において、
    基本情報格納部が、二次元平面上に定義された経路を示すルート情報を格納しており、
    位置方向更新部が、前記二次元平面上の所定の基準軸に対する方位角φ(0°≦φ<360°)を視線方向を示すパラメータとして用いることを特徴とする動画提示装置。
  7. 請求項6に記載の動画提示装置において、
    位置方向更新部が、移動中の経路の基準方向に対応する方位角Dを視線方向を示す方位角φとする更新を行い、
    切替動画再生指示部が、旧経路の基準方向に対応する方位角Dold を切替前の視線方向を示す方位角φold とし、新経路の基準方向に対応する方位角Dnew を切替後の視線方向を示す方位角φnew とする切替動画再生指示を与えることを特徴とする動画提示装置。
  8. 請求項1〜5のいずれかに記載の動画提示装置において、
    ユーザの指示を入力する指示入力部を更に備え、
    位置方向更新部が、前記指示入力部に対するユーザの指示に応じて、視点位置および視線方向を更新する機能を有することを特徴とする動画提示装置。
  9. 請求項8に記載の動画提示装置において、
    基本情報格納部が、二次元平面上に定義された経路を示すルート情報を格納しており、
    位置方向更新部が、前記二次元平面上の所定の基準軸に対する方位角φ(0°≦φ<360°)を視線方向を示すパラメータとして用い、
    指示入力部が、前記二次元平面上における移動方向に対する視線方向のオフセット角θを設定する指示を入力する機能を有し、
    位置方向更新部が、移動中の経路の基準方向に対応する方位角Dに基づいて、視線方向を示す方位角φを、φ=D+θなる式に基づいて決定することを特徴とする動画提示装置
  10. 請求項9に記載の動画提示装置において、
    位置方向更新部が、旧経路の基準方向に対応する方位角Dold に基づいて、切替前の視線方向を示す方位角φold を、φold =Dold +θなる式に基づいて決定し、新経路の基準方向に対応する方位角Dnew に基づいて、切替後の視線方向を示す方位角φnew を、φnew =Dnew +θなる式に基づいて決定することを特徴とする動画提示装置。
  11. 請求項9に記載の動画提示装置において、
    位置方向更新部が、旧経路の基準方向に対応する方位角Dold に基づいて、切替前の視線方向を示す方位角φold を、φold =Dold +θなる式に基づいて決定し、新経路の基準方向に対応する方位角Dnew に基づいて、切替後の視線方向を示す方位角φnew を、φnew =Dnew なる式に基づいて決定することを特徴とする動画提示装置。
  12. 請求項8〜11のいずれかに記載の動画提示装置において、
    位置方向更新部が、視点がノードに到達したときに、当該ノードに接続されている個々の経路を示すマーカを画面に表示させるマーカ表示指示を移動動画再生部に与える機能を有し、
    移動動画再生部が、前記マーカ表示指示に基づいて、ノード到達時の視野画像上に個々のマーカを重畳する処理を行い、
    指示入力部が、特定のマーカを選択するユーザの指示を入力する機能を有し、
    位置方向更新部が、選択されたマーカに対応する経路を新経路と認識することを特徴とする動画提示装置。
  13. 請求項6、7、9〜11のいずれかに記載の動画提示装置において、
    切替前全方位画像から切り出した方位角φで示される方向の視野画像の画素値をQ(Fold (φ))、切替後全方位画像から切り出した方位角φで示される方向の視野画像の画素値をQ(Fnew (φ))としたときに、
    G=(1−α)・Q(Fold (φ))+α・Q(Fnew (φ))
    なる式に基づいて、ブレンド画像の画素値Gを定義してブレンド画像を生成する処理を、方位角φをφold からφnew まで徐々に変化させながら、かつ、ブレンド比率αを0から1まで徐々に変化させながら、繰り返し実行し、生成された一連のブレンド画像を動画として出力することを特徴とする動画提示装置。
  14. 請求項6、7、9〜11、13のいずれかに記載の動画提示装置において、
    移動動画再生部および切替動画再生部が、読み出した全方位画像から、方位角「φ−Δ/2」〜「φ+Δ/2」の範囲内の視界(ただし、Δは所定の切出角度)を構成する視野画像を切り出すことを特徴とする動画提示装置。
  15. 請求項1〜7のいずれかに記載の動画提示装置において、
    位置方向更新部が、視点位置および視線方向を、予め設定された所定の規則に基づいて自動更新することを特徴とする動画提示装置。
  16. 請求項1〜15のいずれかに記載の動画提示装置としてコンピュータを機能させるプログラム。
  17. ノードを介して接続された第1の経路および第2の経路を有する場所について、前記第1の経路から前記ノードを介して前記第2の経路へと移動する視点から見た所定の視線方向の視界を動画として提示する動画提示方法であって、
    コンピュータが、前記第1の経路に沿って撮影された第1の全方位動画に基づいて、前記第1の経路に沿って前記ノードに向かう視点から見た第1の視線方向の視界を示す第1の移動動画を再生する第1の移動動画再生段階と、
    コンピュータが、視点を前記ノードに静止させた状態において、視線方向を徐々に変化させたときに得られる視界を示す切替動画を再生する切替動画再生段階と、
    コンピュータが、前記第2の経路に沿って撮影された第2の全方位動画に基づいて、前記第2の経路に沿って前記ノードから離れる視点から見た第2の視線方向の視界を示す第2の移動動画を再生する第2の移動動画再生段階と、
    を有し、
    前記切替動画再生段階において、前記第1の全方位動画の最後のフレームを構成する切替前全方位画像について、視線方向を前記第1の視線方向から前記第2の視線方向へと徐々に変化させることによって得られる第1のパン動画と、前記第2の全方位動画の最初のフレームを構成する切替後全方位画像について、視線方向を前記第1の視線方向から前記第2の視線方向へと徐々に変化させることによって得られる第2のパン動画とを、前記第2のパン動画の比率が徐々に増加するような所定比率でブレンドすることにより得られる動画を切替動画として再生することを特徴とする動画提示方法。
JP2012045064A 2012-03-01 2012-03-01 動画提示装置 Active JP5861499B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2012045064A JP5861499B2 (ja) 2012-03-01 2012-03-01 動画提示装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2012045064A JP5861499B2 (ja) 2012-03-01 2012-03-01 動画提示装置

Publications (2)

Publication Number Publication Date
JP2013183249A true JP2013183249A (ja) 2013-09-12
JP5861499B2 JP5861499B2 (ja) 2016-02-16

Family

ID=49273632

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2012045064A Active JP5861499B2 (ja) 2012-03-01 2012-03-01 動画提示装置

Country Status (1)

Country Link
JP (1) JP5861499B2 (ja)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015070346A (ja) * 2013-09-27 2015-04-13 株式会社Jvcケンウッド 映像連結再生装置、映像連結再生方法、映像連結再生プログラム
JP2016134651A (ja) * 2015-01-15 2016-07-25 大日本印刷株式会社 撮影システム、編集装置、編集方法、及びプログラム
WO2016167160A1 (ja) * 2015-04-17 2016-10-20 シャープ株式会社 データ生成装置および再生装置
JP2017063276A (ja) * 2015-09-24 2017-03-30 カシオ計算機株式会社 映像表示装置、映像表示方法、及びプログラム
WO2018002968A1 (ja) * 2016-06-30 2018-01-04 株式会社ハシラス 全天球映像視聴装置
WO2018052259A1 (ko) * 2016-02-19 2018-03-22 알카크루즈 인코포레이티드 가상 현실 비디오 변환 및 스트리밍을 위한 시스템 및 방법
JP2019080094A (ja) * 2017-10-20 2019-05-23 株式会社カーメイト 撮像手段搭載型走行装置
JP2019145161A (ja) * 2019-04-25 2019-08-29 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法
JP2019201307A (ja) * 2018-05-16 2019-11-21 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
CN112150554A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 画面显示方法、装置、终端和存储介质
JP2021034897A (ja) * 2019-08-26 2021-03-01 株式会社リコー 画像処理装置、画像通信システム、画像処理方法、及びプログラム
CN114827574A (zh) * 2022-04-26 2022-07-29 北京城市网邻信息技术有限公司 图像处理方法及装置、电子设备及存储介质
CN119987919A (zh) * 2024-07-31 2025-05-13 华为技术有限公司 显示方法和电子设备

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7608826B2 (ja) * 2020-12-25 2025-01-07 株式会社リコー 動画生成装置、動画生成方法、プログラム、記憶媒体
AT527033B1 (de) * 2023-05-09 2024-10-15 Frequentis Ag Verfahren zur Darstellung und Aktualisierung eines Panoramabildes einer Landschaft

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0596062A (ja) * 1991-10-04 1993-04-20 Dainippon Printing Co Ltd 見物施設の仮想体験装置
JP2001008232A (ja) * 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
JP2001351126A (ja) * 2000-06-05 2001-12-21 Square Co Ltd ゲームのプログラムを記録したコンピュータ読み取り可能な記録媒体、ゲームのプログラム、ゲーム処理方法およびゲーム処理装置
JP2004120299A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像編集装置
JP2013098816A (ja) * 2011-11-02 2013-05-20 Dainippon Printing Co Ltd 動画提示装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0596062A (ja) * 1991-10-04 1993-04-20 Dainippon Printing Co Ltd 見物施設の仮想体験装置
JP2001008232A (ja) * 1999-06-25 2001-01-12 Matsushita Electric Ind Co Ltd 全方位映像出力方法と装置
JP2001351126A (ja) * 2000-06-05 2001-12-21 Square Co Ltd ゲームのプログラムを記録したコンピュータ読み取り可能な記録媒体、ゲームのプログラム、ゲーム処理方法およびゲーム処理装置
JP2004120299A (ja) * 2002-09-26 2004-04-15 Fuji Photo Film Co Ltd 画像編集装置
JP2013098816A (ja) * 2011-11-02 2013-05-20 Dainippon Printing Co Ltd 動画提示装置

Cited By (17)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2015070346A (ja) * 2013-09-27 2015-04-13 株式会社Jvcケンウッド 映像連結再生装置、映像連結再生方法、映像連結再生プログラム
JP2016134651A (ja) * 2015-01-15 2016-07-25 大日本印刷株式会社 撮影システム、編集装置、編集方法、及びプログラム
WO2016167160A1 (ja) * 2015-04-17 2016-10-20 シャープ株式会社 データ生成装置および再生装置
JP2017063276A (ja) * 2015-09-24 2017-03-30 カシオ計算機株式会社 映像表示装置、映像表示方法、及びプログラム
WO2018052259A1 (ko) * 2016-02-19 2018-03-22 알카크루즈 인코포레이티드 가상 현실 비디오 변환 및 스트리밍을 위한 시스템 및 방법
WO2018002968A1 (ja) * 2016-06-30 2018-01-04 株式会社ハシラス 全天球映像視聴装置
JP2019080094A (ja) * 2017-10-20 2019-05-23 株式会社カーメイト 撮像手段搭載型走行装置
JP2019201307A (ja) * 2018-05-16 2019-11-21 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP7077132B2 (ja) 2018-05-16 2022-05-30 キヤノン株式会社 電子機器、電子機器の制御方法、プログラム、及び、記憶媒体
JP2019145161A (ja) * 2019-04-25 2019-08-29 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法
JP7030075B2 (ja) 2019-04-25 2022-03-04 株式会社コロプラ プログラム、情報処理装置、及び情報処理方法
CN112150554A (zh) * 2019-06-28 2020-12-29 杭州海康威视数字技术股份有限公司 画面显示方法、装置、终端和存储介质
CN112150554B (zh) * 2019-06-28 2023-08-04 杭州海康威视数字技术股份有限公司 画面显示方法、装置、终端和存储介质
JP2021034897A (ja) * 2019-08-26 2021-03-01 株式会社リコー 画像処理装置、画像通信システム、画像処理方法、及びプログラム
JP7368699B2 (ja) 2019-08-26 2023-10-25 株式会社リコー 画像処理装置、画像通信システム、画像処理方法、及びプログラム
CN114827574A (zh) * 2022-04-26 2022-07-29 北京城市网邻信息技术有限公司 图像处理方法及装置、电子设备及存储介质
CN119987919A (zh) * 2024-07-31 2025-05-13 华为技术有限公司 显示方法和电子设备

Also Published As

Publication number Publication date
JP5861499B2 (ja) 2016-02-16

Similar Documents

Publication Publication Date Title
JP5861499B2 (ja) 動画提示装置
CN109889914B (zh) 视频画面推送方法、装置、计算机设备及存储介质
US10805530B2 (en) Image processing for 360-degree camera
US8395711B2 (en) Method and system for fusing video streams
JP7459341B2 (ja) 情報処理装置、情報処理装置の制御方法、及びプログラム
US10277890B2 (en) System and method for capturing and viewing panoramic images having motion parallax depth perception without image stitching
WO2024084943A1 (ja) 情報処理装置、情報処理方法、プログラム
CN106157359A (zh) 一种虚拟场景体验系统的设计方法
WO1995007590A1 (en) Time-varying image processor and display device
CN107852476A (zh) 动画播放装置、动画播放方法、动画播放程序、动画播放系统以及动画发送装置
CN104658032A (zh) 用于图像处理的方法、设备和系统
JP5870618B2 (ja) 自由視点映像表示装置
CN105069827A (zh) 一种采用三维模型处理视频转场的方法
JP7406528B2 (ja) 画像処理装置、画像処理方法、及びプログラム
CN104094318A (zh) 适用于拍摄视频电影的系统
JP2009010915A (ja) 映像表示方法及び映像システム
CN106296589A (zh) 全景图像的处理方法及装置
JP5845819B2 (ja) 動画提示装置
JP2022179583A (ja) 3darコンテンツ作成装置、3darコンテンツ再生装置、及び、3darコンテンツ作成システム
AU2021330970A1 (en) Previsualization devices and systems for the film industry
JP5457668B2 (ja) 映像表示方法及び映像システム
JPWO2020066008A1 (ja) 画像データ出力装置、コンテンツ作成装置、コンテンツ再生装置、画像データ出力方法、コンテンツ作成方法、およびコンテンツ再生方法
KR20120048343A (ko) 파노라마 영상 제공 방법 및 장치
JP2022050305A (ja) 処理システム及びその制御方法及びプログラム
JP2002271692A (ja) 画像処理方法、画像処理装置、スタジオ装置、スタジオシステム及びプログラム

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20150116

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20150812

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20150915

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20151102

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20151124

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20151207

R150 Certificate of patent or registration of utility model

Ref document number: 5861499

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150