JP4017436B2 - ３次元動画像データの提供方法とその表示方法、該提供システムと該表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体 - Google Patents
３次元動画像データの提供方法とその表示方法、該提供システムと該表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体 Download PDFInfo
- Publication number
- JP4017436B2 JP4017436B2 JP2002120310A JP2002120310A JP4017436B2 JP 4017436 B2 JP4017436 B2 JP 4017436B2 JP 2002120310 A JP2002120310 A JP 2002120310A JP 2002120310 A JP2002120310 A JP 2002120310A JP 4017436 B2 JP4017436 B2 JP 4017436B2
- Authority
- JP
- Japan
- Prior art keywords
- moving image
- information
- image data
- dimensional
- content
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Expired - Fee Related
Links
Images
Landscapes
- Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
- Processing Or Creating Images (AREA)
- Studio Circuits (AREA)
Description
【０００１】
【発明の属する技術分野】
この発明は、３次元動画像データを提供し表示する方法と装置に関わり、テキスト、音声、動画像などの多種多様なマルチメディア情報を一つのコンテンツに統合して提供する提供方法、表示方法、提供システムおよび表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体に関するものである。ただし、３次元動画像とは多視点動画像、全方位動画像、パノラマ動画像など、様々な視点位置と視線方向に関する映像を記録したものであり、２次元動画像とは一つの視点位置と視線方向に関する映像を記録したものであり、従来から“動画像”と呼ばれているものである。また、本発明によって３次元動画像データが提供される形態としては、放送、ネットワークを介した通信、あるいは蓄積媒体を利用した提供がある。
【０００２】
【従来の技術】
テキスト、音声、動画像等のマルチメディア情報を一つのコンテンツに統合してインターネットやデジタル放送で配信するためのファイル・フォーマット（以下、マルチメディア統合ファイル・フォーマット）が開発され、実用化されている。この技術によれば、コンテンツの受信側の画面に様々なマルチメディアをレイアウト、同期化して表示することができる。マルチメディア統合ファイル・フォーマットにおいては、動画像や音やテキスト等のマルチメディア情報と、マルチメディア情報間の空間的位置関係や同期情報等を記述するマルチメディア統合情報で構成される。特に動画像に関しては、マルチメディア統合情報として、マルチメディア情報を識別するＩＤ情報（例えばＨＴＴＰにおけるＵＲＬなど）、それらが画面に配置される位置に関する情報、再生時刻、再生期間を示す。このファイル・フォーマットで構成されるコンテンツの配信ではマルチメディア統合情報と、動画像等のマルチメディア情報が受信側に送信される。
【０００３】
２次元動画像のマルチメディア統合情報の一例としては、ＳＭＩＬ（Synchronized Multimedia Integration Language）がある。ＳＭＩＬはテキストで記述され、基本的にはテキスト・エディタさえあればコンテンツの編集が可能である。ＳＭＩＬで記述されるマルチメディア統合情報としては、例えば２次元動画像ファイルが置かれているＵＲＬ、２次元動画像の表示位置、再生開始のタイミング、再生期間、表示領域の大きさがある。さらに、ＳＭＩＬでは２次元動画像だけではなく２次元静止画像やテキストを、同期しつつ２次元画面内にレイアウト表示することができる。従って、複数のマルチメディア情報の同期や画面内レイアウトをテキスト編集によって変更しコンテンツを作成できるという特徴を持っている。
【０００４】
一方、画像の表示については２次元投影面に投影するのが一般的である。そのため３次元画像をディスプレイに表示させる場合には、視点位置と視線方向を何らかの方法で指定し、指定された視点位置、視線方向における２次元画像が生成されて表示される。３次元動画像は時間的に連続した３次元画像で構成され、表示するディスプレイ上では２次元動画像として表示される。３次元動画像の技術を用いると、スポーツ、コンサートや風景などを様々な視点から鑑賞でき、臨場感の高い映像通信が可能になる。コンテンツ作成者の立場から考えると、一つの３次元動画像から様々な２次元動画像を作成できるので、コンテンツを編集する上での自由度が高いというメリットがある。
【０００５】
【発明が解決しようとする課題】
従来のマルチメディア統合ファイル・フォーマットの技術を用いて３次元動画像から生成された２次元動画像を受信側に表示させる場合、コンテンツ作成者が事前に２次元動画像を作成しておき、そのファイルのＵＲＬ等が記述されたマルチメディア統合情報ファイルとともに配信することになる。
【０００６】
一方、コンテンツ提供側のコンテンツ作成者としては、コンテンツ編集時の非効率はできる限り避けたいという要求がある。しかし、３次元動画像から２次元動画像を受信側に表示させるときの視点位置、視線方向を変更する場合、３次元動画像から所望の視点位置、視線方向における２次元動画像を作成し直す必要があった。従って、コンテンツ編集の段階で視点位置や視線方向に小さな変更を加えるだけでも手間がかかっていた。
【０００７】
本発明は、上記の課題に鑑み創作されたものであり、３次元動画像を表示する際の視点位置と視線方向をマルチメディア統合情報ファイルの編集のみで修正できるような３次元動画像データの提供方法とその表示方法、該提供システムと該表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、上記の目的を達成するために、以下に述べるような特徴を有する手段を採用している。
【０００９】
請求項１の発明にあっては、３次元動画像データを有するコンテンツ提供者の編集用端末で、３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中で、どれに該当するかを表す３次元動画像フォーマット情報を指定し、３次元動画像データを２次元投影面に投影するために利用される視点位置情報を指定し、３次元動画像データを２次元投影面に投影するために利用される視線方向情報を指定し、３次元動画像フォーマット情報，視点位置情報，視線方向情報を含むマルチメディア統合情報を編集する手順と、コンテンツ提供者のサーバ装置が、該３次元動画像データと共に該編集されたマルチメディア統合情報をコンテンツ表示者の端末に提供する手順とを有することを特徴とする３次元動画像データの提供方法。
【００１０】
請求項２の発明にあっては、マルチメディア統合情報を編集する手順では、マルチメディア統合情報として、３次元動画像データを２次元投影面に投影し表示する表示開始時刻情報または表示位置情報を指定することを特徴とする請求項１に記載の３次元動画像データの提供方法。
【００１１】
請求項３の発明にあっては、マルチメディア統合情報を編集する手順では、同一３次元動画像データに対して、複数のマルチメディア統合情報によって複数の視点位置情報と視線方向情報を指定することを特徴とする請求項１または請求項２に記載の３次元動画像データの提供方法。
【００１２】
請求項４の発明にあっては、マルチメディア統合情報を編集する手順では、マルチメディア統合情報として、表示開始時刻と表示開始時刻における視点位置情報と視線方向情報と、終了時刻と終了時刻における視点位置情報と視線方向情報と、表示開始時刻と終了時刻の間の任意の時刻における視点位置情報と視線方向情報を求める補間方法を指定することを特徴とする請求項１から請求項３のいずれかに記載の３次元動画像データの提供方法。
【００１６】
請求項５の発明にあっては、マルチメディア統合情報をコンテンツ表示者の端末に提供する手順では、コンテンツ提供者のサーバ装置が、３次元動画像データを指定するＩＤ情報を有するマルチメディア統合情報をコンテンツ表示者の端末に通信手段で送信するかまたは蓄積媒体で配布するかして提供する手順と、該コンテンツ表示者の端末が、該ＩＤ情報に対応した３次元動画像データを該コンテンツ提供者のサーバ装置に通信手段で要求するかまたは該蓄積媒体にアクセスした場合、コンテンツ提供者のサーバ装置が、該要求されたＩＤ情報に対応した３次元動画像データを送信するかまたは該アクセスされた蓄積媒体が提供する手順とを有することを特徴とする請求項１から請求項４のいずれかに記載の３次元動画像データの提供方法。
【００１７】
請求項６の発明にあっては、コンテンツ表示者の端末が、３次元動画像データと、該３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中で、どれに該当するかを表す３次元動画像フォーマット情報および３次元動画像データを２次元投影面に投影するために利用される視点位置情報，視線方向情報を含むマルチメディア統合情報とを、コンテンツ提供者のサーバ装置またはコンテンツ提供者から提供された蓄積媒体から取得する手順と、該マルチメディア統合情報で指定される３次元動画像フォーマット情報に基づいて３次元動画像データを復号する手順と、該復号された３次元動画像データから該マルチメディア統合情報で指定される視点位置情報と視線方向情報または視点位置情報と視線方向情報と表示開始時刻情報もしくは表示位置情報に基づいて２次元動画像を生成する手順と、該生成された２次元動画像をディスプレイに表示する手順とを有することを特徴とする３次元動画像データの表示方法。
【００１８】
請求項７の発明にあっては、コンテンツ表示者の端末が、３次元動画像データと、該３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中で、どれに該当するかを表す３次元動画像フォーマット情報および３次元動画像データを２次元投影面に投影するために利用される視点位置情報，視線方向情報を含むマルチメディア統合情報とを、コンテンツ提供者のサーバ装置またはコンテンツ提供者から提供された蓄積媒体から取得する手順と、該マルチメディア統合情報で指定される３次元動画像フォーマット情報に基づいて３次元動画像データを復号する手順と、該マルチメディア統合情報で指定される表示開始時刻と終了時刻、それらの時刻における視点位置情報と視線方向情報、および補間方法情報に基づいて、視点位置情報と視線方向情報の補間値を求める手順と、該復号された３次元動画像データから該視点位置情報と視線方向情報とその補間値に基づいて２次元動画像を生成する手順と、該生成された２次元動画像をディスプレイに表示する手順とを有することを特徴とする３次元動画像データの表示方法。
【００１９】
請求項８の発明にあっては、マルチメディア統合情報と３次元動画像データを取得する手順では、コンテンツ提供者のサーバ装置から、３次元動画像データを指定するＩＤ情報を有するマルチメディア統合情報を通信手段で受信するかまたは蓄積媒体で提供を受けるかして取得する手順と、該ＩＤ情報に対応した３次元動画像データを該コンテンツ提供者のサーバ装置に通信手段で要求するかまたは該蓄積媒体にアクセスする手順と、コンテンツ提供者のサーバ装置から、該要求したＩＤ情報に対応した３次元動画像データを受信して取得するかまたは該アクセスした蓄積媒体から取得する手順とを有することを特徴とする請求項６または請求項７に記載の３次元動画像データの表示方法。
【００２０】
請求項９の発明にあっては、マルチメディア情報、およびこのマルチメディア情報に関する３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中でどれに該当するかを表す３次元動画像フォーマット情報を指定し、３次元動画像データを２次元投影面に投影するために利用される視点位置情報を指定し、３次元動画像データを２次元投影面に投影するために利用される視線方向情報を指定し、３次元動画像フォーマット情報，視点位置情報，視線方向情報を含むマルチメディア統合情報を記憶し、表示者の端末に提供するサーバ装置と、該マルチメディア情報に関するマルチメディア統合情報を編集する編集手段、および該編集されたマルチメディア統合情報に基づいて該マルチメディア情報を生成し表示する再生、表示手段を有する編集用端末とを備えることを特徴とする３次元動画像データの提供システム。
【００２２】
請求項１０の発明にあっては、３次元動画像データと、該３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中で、どれに該当するかを表す３次元動画像フォーマット情報および３次元動画像データを２次元投影面に投影するために利用される視点位置情報，視線方向情報を含むマルチメディア統合情報とを、コンテンツ提供者のサーバ装置から取得し、該マルチメディア統合情報で指定される３次元動画像フォーマット情報と視点位置情報と視線方向情報または３次元動画像フォーマット情報と視点位置情報と視線方向情報と表示開始時刻情報もしくは表示位置情報とを取得し、該３次元動画像フォーマット情報に基づいて３次元動画像データを復号し、該視点位置情報と視線方向情報または該視点位置情報と視線方向情報と表示開始時刻情報もしくは表示位置情報に基づいて２次元動画像を生成する再生手段と、該生成された２次元動画像をディスプレイに表示するプレゼンテーション手段とを備えることを特徴とする３次元動画像データの表示端末。
【００２３】
請求項１１の発明にあっては、３次元動画像データと、該３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中で、どれに該当するかを表す３次元動画像フォーマット情報および３次元動画像データを２次元投影面に投影するために利用される視点位置情報，視線方向情報を含むマルチメディア統合情報とを、コンテンツ提供者のサーバ装置から取得し、該マルチメディア統合情報で指定される該３次元動画像フォーマット情報、表示開始時刻と終了時刻、それらの時刻における視点位置情報と視線方向情報、および補間方法情報を取得し、該３次元動画像フォーマット情報に基づいて３次元動画像データを復号し、該表示開始時刻と終了時刻、それらの時刻における視点位置情報と視線方向情報、および補間方法情報に基づいて視点位置情報と視線方向情報の補間値を求め、該視点位置情報と視線方向情報の補間値に基づいて２次元動画像を生成する再生手段と、該生成された２次元動画像をディスプレイに表示するプレゼンテーション手段とを備えることを特徴とする３次元動画像データの表示端末。
【００２４】
請求項１２の発明にあっては、２次元動画像を生成する再生手段が、マルチメディア統合情報と３次元動画像データを取得するのに際して、コンテンツ提供者のサーバ装置から、３次元動画像データを指定するＩＤ情報を有するマルチメディア統合情報を通信手段で受信するかまたは蓄積媒体で提供を受けるかして取得し、該ＩＤ情報に対応した３次元動画像データを該コンテンツ提供者のサーバ装置に通信手段で要求するかまたは該蓄積媒体にアクセスし、コンテンツ提供者のサーバ装置から、該要求したＩＤ情報に対応した３次元動画像データを受信して取得するかまたは該アクセスした蓄積媒体から取得するものであることを特徴とする請求項１０または請求項１１に記載の３次元動画像データの表示端末。
【００２５】
請求項１３の発明にあっては、請求項１から請求項５のいずれかに記載の３次元動画像データの提供方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする３次元動画像データの提供方法の実行プログラム。
【００２６】
請求項１４の発明にあっては、請求項６から請求項８のいずれかに記載の３次元動画像データの表示方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする３次元動画像データの表示方法の実行プログラム。
【００２７】
請求項１５の発明にあっては、請求項１から請求項５のいずれかに記載の３次元動画像データの提供方法における手順を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする３次元動画像データの提供方法の実行プログラムを記録した記録媒体。
【００２８】
請求項１６の発明にあっては、請求項６から請求項８のいずれかに記載の３次元動画像データの表示方法における手順を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする３次元動画像データの表示方法の実行プログラムを記録した記録媒体。
【００２９】
ただし、請求項１から請求項６の発明では、マルチメディア統合情報が視点位置情報や視線方向情報を指定する順番は任意である。具体的には、マルチメディア統合情報のデータ構造上での順番、あるいはコンテンツ提供者がマルチメディア統合情報を指定する際の動作上の順番は任意である。例えば、マルチメディア統合情報がテキストで記述されている場合、テキスト・ファイル内で視点位置、視線方向、３次元動画像フォーマット情報の順序でマルチメディア統合情報が記述されていても、３次元動画像フォーマット、視線方向、視点位置の順番で記述されていても良い。あるいは、コンテンツ提供者がコンテンツ編集の際、テキスト・エディタ等で視点位置、視線方向、３次元動画像フォーマット情報の順番で入力しても、３次元動画像フォーマット、視線方向、視点位置の順番で入力しても良い。
【００３０】
請求項１と請求項９の発明によれば、コンテンツ表示者のディスプレイに表示する２次元動画像を３次元動画像から生成する際、視点位置情報と視線方向情報の指定、修正をマルチメディア統合情報の指定、修正のみで実行できる。
【００３１】
請求項２の発明によれば、３次元動画像から生成された２次元動画像を生成し再生する際、３次元動画像の中での表示開始時刻を指定できる。また、３次元動画像から生成された２次元動画像をディスプレイに表示する際の表示位置を指定できるため、所望のレイアウトで他のマルチメディア情報と並べて表示することができる。
【００３２】
請求項３の発明によれば、３次元動画像から２次元動画像を生成する際の視点位置と視線方向が時刻に応じて切り替わるという効果を演出することができる。
【００３３】
請求項４の発明によれば、３次元動画像から２次元動画像を生成する際の視点位置と視線方向が時刻に応じて連続的に変化するという効果を演出することができる。
【００３４】
なお、例えば請求項１乃至４の発明のマルチメディア統合情報の編集において、マルチメディア統合情報をテキストで記述する場合には、上述の３次元動画像に関するマルチメディア統合情報をテキストで記述することが可能になり、テキスト・エデイタ等で容易に編集することが可能になる。
【００３５】
なお、例えば請求項１乃至４、９の発明のマルチメディア統合情報の編集において、編集用端末が、他の編集用端末との間で、マルチメディア統合情報を送受信してマルチメディア情報を編集する場合には、コンテンツ提供者が提供するコンテンツを複数のコンテンツ編集者が編集する際、コンテンツ編集者の間でマルチメディア統合情報のみを送受信すればコンテンツの編集が行える。
【００３６】
請求項５の発明によれば、コンテンツ提供者は上述の方法や手段で構成されたマルチメディア統合情報と３次元動画像をコンテンツ表示者に提供することにより、コンテンツ表示者にコンテンツを閲覧させることができる。
【００３７】
請求項６乃至請求項８と請求項１０乃至請求項１２の発明によれば、コンテンツ提供者がネットワークや蓄積媒体を介して提供したコンテンツを、コンテンツ表示者が取得してコンテンツの表示を行うことができる。
【００３８】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００３９】
コンテンツが提供される方法としては、蓄積媒体やネットワークを介した方法などが考えられるが、コンテンツの提供に先立って行われるコンテンツ編集の動作はいずれの場合も同様である。従って、コンテンツを編集してコンテンツがコンテンツ提供者のサーバ装置に蓄積されるまでの動作を最初に示す。その後に、ネットワークを介してコンテンツの提供を行った場合のデータの送受信動作などについて、いくつかの実施形態例を示す。また、以下の実施形態例ではマルチメディア統合情報はテキスト・データで構成され、テキストによる記述におけるシンタックスとセマンティクスに関してはＳＭＩＬを応用する。具体的には、ＳＭＩＬで従来から用いられているマルチメディア統合情報に関しては引用し、３次元動画像に対応したエレメントと視点位置情報などに対応したアトリビュートを本実施形態例で新たに導入する。また、コンテンツを構成するファイルは、マルチメディア統合情報が記述されたテキスト・ファイル（以下、PLUS3Dファイル）とコンテンツに導入されるテキスト、オーディオ、動画像データなどの各々のマルチメディア情報に関するファイルである。
【００４０】
以下にて、コンテンツを編集する際の動作について述べる。コンテンツが編集される際の構成としては２通り示す（構成Ａ、構成Ｂ）。構成Ａではコンテンツ提供者がコンテンツ編集と提供の両方を行い、構成Ｂでは２つのコンテンツ編集者とコンテンツ提供者とがそれぞれ個別に存在し、通信回線を介して接続されている。
【００４１】
図１は本発明の構成Ａの実施形態例における構成を示している。図１において、コンテンツ提供者はコンテンツ配信を行うためのサーバ装置１０を有している。サーバ装置１０には種々のマルチメディア情報を格納したマルチメディア情報記憶手段１０−１とマルチメディア統合情報ファイルを格納したマルチメディア統合情報記憶手段１０−２を備えている。さらに、コンテンツ提供者は端末２０を有しており、端末２０にはマルチメディア統合情報編集手段２０−１、コンテンツ再生手段２０−２、プレゼンテーション手段２０−３を備えている。マルチメディア統合情報編集手段２０−１はPLUS3Dファイルに記述されたテキストをディスプレイに表示し、PLUS3Dファイルを編集するための機能を持っている。具体的には、この実施形態例ではマルチメディア統合情報編集手段２０−１はテキスト・エディタであるとする。一方、コンテンツ再生手段２０−２はマルチメディア情報とPLUS3Dファイルを入力とし、圧縮符号化されたマルチメディア情報の復号化を行い、PLUS3Dファイルの記述に従って生成した画像データとオーディオ・データをプレゼンテーション手段２０−３に送る機能を持つ。プレゼンテーション手段２０−３はディスプレイとスピーカーを備えており、コンテンツの鑑賞に利用される。
【００４２】
構成Ａの実施形態例ではコンテンツ提供者のサーバ装置１０に備えられたマルチメディア情報記憶手段１０−１に記録された３次元動画像ファイルは、artist.3dvというファイル名が付けられているとする。そして、コンテンツを鑑賞する際のディスプレイにはある視点位置と視線方向から眺めた２次元動画像（２次元動画像１）と、別の視点位置と視線方向から眺めた２次元動画像（２次元動画像２）をそれぞれ、図２の（ａ）のように配置して表示するとする。さらに、このコンテンツには２次元静止画像logo.gifとオーディオbgm.wavも含まれており、３次元動画像が再生された後に２次元静止画像は図２の（ｂ）のように表示されてオーディオもスピーカーから出力されるとする。さらに、このコンテンツに対応したPLUS3Dファイルexample1.plus3dには図３に示すような記述がなされているとする。図３において、点線の四角の中が３次元動画像に関する記述である。“3dvideo”が３次元動画像に関するエレメント名であり、アトリビュートの“src”、“id”、“region”、“title”に関してはＳＭＩＬにおける定義を引用する。さらに、本発明に対応した新たなアトリビュートとして、３次元動画像フォーマット、視点位置、視線方向に関するアトリビュートが記述されている。まず、ここでは３次元動画像フォーマットのアトリビュートをformatと名づけた。これは３次元動画像が多視点動画像、全方位動画像、光線空間動画像などの形式のうち、どの形式を取るかを表す。なお、図３での“format=“multi””はartist.3dvが多視点動画像であることを示している。一方、視点位置のアトリビュートをfocusx、focusy、focuszとした。ここでは、３次元動画像において撮影されている３次元空間に３次直交座標系が定義されていると仮定しており、focusx、focusy、focuszはそれぞれｘ軸、ｙ軸、ｚ軸の値であるとした。また、視線方向のアトリビュートをaxistheta、axisphiとし、視線方向に関しては極座標表現を導入している。なお、focusx、focusy、focusz、axistheta、axisphiの概念図を図４に示した。以下のコンテンツ提供者の動作例では、example.plus3dに視点位置情報と視点方向情報を記述した後、example.plus3dにおける視点位置情報に修正を加えることとする。
【００４３】
構成Ａにおいてのコンテンツ提供者側のコンテンツ編集における動作例を以下に示す。図１０、１１は、視点位置情報と視点方向情報により３次元動画像から２次元動画像を提供する場合の基本的な処理手順を示し、図１２、１３はその具体的な処理手順を示し、図１４は図１２、１３における２次元動画像の生成、表示過程（Ｓ２）の詳細な処理手順を示す。また、視点位置情報と視点方向情報と表示位置情報により３次元動画像から２次元動画像を提供する場合の基本的な処理手順を図１５、図１６に、その具体的な処理手順を図１７、１８に示す。図１９、２０は図１７、１８における２次元動画像の生成、表示過程（Ｓ３）のオプション１の詳細な処理手順を示し（ただし、図２０は図１９の一過程（Ｓ３）の詳細フローを示す）、図２１、２２は図１７、１８における２次元動画像の生成、表示過程（Ｓ３）のオプション２の詳細な処理手順を示す（ただし、図２２は図２１の一過程（Ｓ３）の詳細フローを示す）。なお、図中の（注１）、（注２）は以下を表す。
【００４４】
（注１）２次元動画像の表示過程（Ｓ２）の処理、及び以降の図のフローチャートにおいて、コンテンツ提供者側で３次元動画像から２次元動画像を生成、表示する場合、これはプレビューを行っている処理にあたる。つまり、入力された視点位置情報と視線方向情報によって生成される２次元動画像がどのようになるかを確認している。
【００４５】
（注２）３次元動画像からの２次元動画像の生成は従来技術を用いて実行できる。これらの従来技術は、下記の公知文献に記載されており、これらの改良技術は多数存在する。
・S.E.Chen and L.Williams,“View interpolation for Image Synthesis,”in Proc.SlGGRAPH'93,pp.279-288.1993（多視点画像）
・S.E.Chen,“Quicktime VR-An Image-based Approach to Virtual Environment Navigation,”In Proc.SlGGRAPH'95,pp.29-38（全方位画像）
・J.D.Foley,A.V.Dam,S.K Feiner,J.F.Hughes,Computer Graphics:Principles and Practice,Addison-Wesley Publishing,1996（３次元ＣＧアニメーション）
まず、コンテンツ提供者は、テキスト・エディタ２０−１によりマルチメディア統合情報記憶装置１０−２に図３の左右の図のようなPLUS3Dファイルexample1.plus3dを書き込み、視点位置情報、視線方向情報、表示位置情報（以降、表示位置情報は省略可能であり、表示位置情報を用いない場合の処理手順は図１０〜図１４、用いる場合の処理手順は図１５〜図２２となる）を入力する。視点位置情報、視線方向情報、表示位置情報の追加が必要であれば、プレゼンテーション手段２０−３により図３の左右の図を表示しながら、テキスト・エディタ２０−１により追加する。
【００４６】
ここで、必要に応じてコンテンツをディスプレイに表示するという動作が行われる。まず、example.plus3d、artist.3dv、logo.gif、bgm.wavがコンテンツ再生手段２０−２に入力される。次に、example.plus3dの記述内容に従い、formatに対応した方法で３次元動画像artist.3dvが復号化される。次に、復号化されたartist.3dvからfocusx、focusy、focusz、axistheta、axisphiの数値に従って２次元動画像が生成され、図２の（ａ）に示したような映像がプレゼンテーション手段２０−３のディスプレイに表示される。artist.3dvから生成された２次元動画像の再生が終了すると、２次元静止画像logo.gifが図２の（ｂ）のようにディスプレイに表示され、プレゼンテーション手段２０−３のスピーカーからオーディオが出力される。
【００４７】
コンテンツ提供者は表示された２次元動画像により、入力あるいは追加した視点位置情報、視線方向情報、表示位置情報が現状のままでよいか判断し、修正や追加が必要であれば、マルチメディア統合情報記憶装置１０−２に格納されたPLUS3Dファイルexample1.plus3dをテキスト・エディタ２０−１に読み込んで、テキストをプレゼンテーション手段２０−３のディスプレイに表示する。すると、入力された図３の左右の図がディスプレイに表示される（ただし、点線の四角と矢印は表示されない）。コンテンツ提供者は、例えば、視点位置座標のｚ軸の値focusz＝０をfocusz＝１０に修正するため、テキスト・エディタ２０−１を用いて修正する。
【００４８】
以上のコンテンツ提供者の編集動作は必要に応じて繰り返される。最後に、example.plus3d、artist.3dv、logo.gif、bgm.wavがネットワークを介して送信され（図１０、１２、１５、１７）、あるいは蓄積媒体に記録（図１１、１３、１６、１８）されて配布されるなどの過程を経てコンテンツ表示者に提供される。
【００４９】
なお、本実施形態例では視点位置と視線方向に関する情報としては簡単なものを用いたが、請求項４，５によれば、コンテンツの再生が進行している中で視点位置が変化するなどの効果も演出できる。ここでは、このような効果を演出するための実施形態例を示す。この実施形態例のコンテンツでは図２の（ａ）のように、３次元動画像から生成された二つの２次元動画像を表示する。図２においての２次元動画像１はartist.3dvから生成されたものであり、視点位置と視線方向がコンテンツ再生の進行とともに変化するようにする。一方、２次元動画像２はartist2.3dvというファイル名が付けられた３次元動画像から生成され、視点位置と視線方向は時間に関して不変であるとする。
【００５０】
本実施形態例では、コンテンツ提供者はテキスト・エディタ２０−１を用いて、PLUS3Dファイルに図５に示すような記述を行う（ファイル名はexample2.plus3dとする）。図５においては、interpolationというアトリビュートによって視点位置と視線方向の補間の有無が指定される。ここではinterpolation＝“true”であり、補間が行われる（デフォルトの値は“false”、すなわち補間が行われない）。そして、interpolation＝“true”であった場合、コンテンツ編集者は以下に述べるアトリビュートに関して値を定める。interpolationTypeというアトリビュートは補間方法を現しており、ここでは線形補間“linear”によって補間を行う（その他の補間方法としてはスプライン補間などが考えられる）。さらに、コンテンツ提供者は３次元動画像の開始時刻（clipBegin：３次元動画像artist2.3dvの最初から何秒後の時点から再生を行うかを表す）と終了時刻（clipEnd：３次元動画像artist2.3dvの最初から何秒後の時点で再生を終了するかを表す）、およびそれぞれの時刻における視点位置と視線方向（focusxBegin、focusyBegin、focuszBegin、axisthetaBegin、axisphiBegin、およびfocusxEnd、focusyEnd、focuszEnd、axisthetaEnd、axisphiEnd）を図５の通りにexample2.plus3dに記述する。
【００５１】
コンテンツをプレゼンテーション手段２０−３のディスプレイに表示する際には、まずコンテンツ再生手段２０−２にexample2.plus3d、artist.3dv、artist2.3dvが読み込まれ、formatに従ってartist.3dvとartist2.3dvが復号化される、そして、artist2.3dvは視点位置と視線方向が固定された状態で２次元動画像が生成され、ディスプレイに表示される。一方、artist2.3dvについては、開始時刻と終了時刻においての視点位置と視線方向しか定められていない。従って、開始、終了時刻の間の時間帯においてはinterpolationTypeアトリビュートで指定された方法によって開始、終了時刻の視点位置と視線方向による補間値が用いられる。つまり、コンテンツ再生手段２０−２においてこれら補間値が計算され、補間値をもとにartist.3dvから２次元動画像が生成される。最後にプレゼンテーション手段２０−３のディスプレイに図２の（ａ）のように、ここで生成された２次元動画像が表示される。
【００５２】
続いて、構成Ｂの実施形態例を示す。図６は構成Ｂの実施形態例においての全体構成を示している。
【００５３】
図６に示されているように、コンテンツ提供者とコンテンツ編集者Ａとコンテンツ編集者Ｂは通信回線を介して接続されている。コンテンツ提供者はサーバ装置１０を有しており、これは構成Ａの場合と同様の手段を備えている。一方、コンテンツ編集者Ａは端末３０においてマルチメディア統合情報編集手段３０−１、コンテンツ再生手段３０−２、プレゼンテーション手段３０−３、マルチメディア統合情報記憶手段３０−４を、コンテンツ編集者Ｂは端末４０においてマルチメディア統合情報編集手段４０−１、コンテンツ再生手段４０−２、プレゼンテーション４０−３、マルチメディア統合情報記憶手段４０−４を有しているが、これらが果たす機能は図１において示した同名の手段と同様である。また、構成Ｂにおいてはexample.plus3dを用いたコンテンツを編集する場合を示すとする。なお、example2.plus3dによるコンテンツの編集も以下に示す動作例と同様に行える。
【００５４】
上記構成Ｂにおいてのコンテンツ編集の動作例を示す。本動作例においても、編集者端末間でマルチメディア統合情報を送受信して編集する点を除けば、各端末での処理手順は基本的に図１０〜図２２に示したフローチャートに示した処理手順を行う。
【００５５】
以下の動作例が始まる段階では、コンテンツ編集者Ａが図３に示した記述をexample.plus3dにすでに行っているとする。また、コンテンツ編集者Ａのマルチメディア統合情報記憶手段３０−４にはexample.plus3dが格納されているが、コンテンツ提供者とコンテンツ編集者Ｂのマルチメディア統合情報記憶手段にはexample.plus3dは格納されていないとする。一方、コンテンツ提供者のマルチメディア情報記憶手段１０−１にはartist.3dv、logo.gif、bgm.wavが格納されているとする。動作例の大まかな流れとしては、コンテンツ編集者Ｂがこのコンテンツを一度鑑賞し、修正を加え、最後にコンテンツ提供者のサーバ装置１０にコンテンツが蓄積される。
【００５６】
構成Ｂにおいてのコンテンツ編集の動作例では、まずコンテンツ編集者Ａはマルチメディア統合情報記憶手段３０−４に格納されたexample.plus3dをコンテンツ編集者Ｂに送信する。コンテンツ編集者Ｂはexample.plus3dを受信すると、artist.3dv、logo.gif、bgm.wavをコンテンツ提供者のサーバ装置１０に要求する。コンテンツ編集者Ｂがartist.3dv、logo.gif、bgm.wavを受信し、コンテンツを構成する一連のファイルが揃うと、これらのファイルはコンテンツ再生手段４０−２に入力される。すると、プレゼンテーション手段４０−３によりコンテンツが表示されるが、ここでの動作は構成Ａの場合と同様である。次にコンテンツ編集者Ｂはexample.plus3dをマルチメディア統合情報編集手段４０−１に入力し、コンテンツの修正を行う。最後に、コンテンツ編集者Ｂはexample.plus3dをコンテンツ提供者のサーバ装置１０に送信し、example.plus3dはマルチメディア統合情報記憶手段１０−２に記録される。なお、コンテンツ編集者Ａとコンテンツ編集者Ｂの間でのexample.plus3dの送受信や修正は必要に応じて繰り返されてもよい。
【００５７】
ここで、ネットワークを介した通信などでコンテンツを提供したとき、このサービスを受ける（コンテンツを取得して閲覧する）立場のコンテンツ表示者とコンテンツ提供者の動作について述べる。ここでは、３通りの提供方法（方法Ａ，Ｂ，Ｃ）について示す。図７は方法Ａ、図８は方法Ｂ，Ｃにおいての構成図を示す。コンテンツ提供者のサーバ装置１０とコンテンツ表示者の端末５０は通信回線（インターネット）を介して接続しており、図における矢印は情報の流れを表している。サーバ装置１０におけるＨＴＭＬ文書記憶手段１０−３にはＨＴＭＬ文書が格納されており、このＨＴＭＬ文書にはコンテンツ提供者が保有しているコンテンツに関する情報などが含まれている。また、端末５０におけるＨＴＭＬコンテンツ表示手段はＨＴＭＬ文書の記述に従ってＨＴＭＬコンテンツ画像をプレゼンテーション手段５０−３に送る、あるいはハイパーリンクに対応したファイルの要求を送信する機能を果たす。端末５０のコンテンツ再生手段５０−１とプレゼンテーション手段５０−３は図１に示した手段と同様の機能を果たすものである。
【００５８】
以下にコンテンツ表示者側の動作例を示す。図２３、２４は、視点位置情報と視点方向情報により３次元動画像から２次元動画像を表示する場合の基本的な処理手順を示す。また、視点位置情報と視点方向情報と表示位置情報により３次元動画像から２次元動画像を表示する場合の基本的な処理手順を図２５、図２６に示し、図２５、図２６における２次元動画像の表示過程（Ｓ２）の詳細な処理手順を図２９に示す。また、３次元動画像から２次元動画像を表示する場合の別の基本的な処理手順を図２７、図２８に示し、図２７、図２８における２次元動画像の表示過程（Ｓ２）の詳細な処理手順を図３０に示す。なお、図中の（注２）は、前述のとおりである。
【００５９】
コンテンツ表示者がコンテンツ提供者のサーバ装置１０のＨＴＭＬ文書記憶装置１０−３に格納されたＨＴＭＬ文書を取得すると、ＨＴＭＬコンテンツ表示手段５０−２によりＨＴＭＬコンテンツが図９のように表示される。この図では“LIVE3D”という文字の下に３つの静止画像が表示されており、コンテンツ表示者は所望のコンテンツに対応した静止画像を、マウス等を用いて指定する。すると、コンテンツ表示者の選択に関する情報がコンテンツ提供者のサーバ装置１０に送信される。以降の動作に関しては３通り（方法Ａ，Ｂ，Ｃ）あり、以下にてそれぞれについて述べる。
【００６０】
方法Ａにおいては、コンテンツ提供者のサーバ装置１０はPLUS3Dファイルexample.plus3d、artist.3dv、logo.gif、bgm.wavをコンテンツ表示者に送信する。example.plus3d、artist.3dv、logo.gif、bgm.wavがコンテンツ表示者側で受信されると、これらのファイルはコンテンツ再生手段５０−１に入力されて前記の種々の処理が施される（図２３、図２５）。最後に、プレゼンテーション手段５０−３によってコンテンツ表示者はコンテンツを鑑賞できる。コンテンツが蓄積媒体として配布された場合には、蓄積媒体からPLUS3Dファイルを読み込んで同様に処理する（図２４、図２６）。
【００６１】
一方、方法Ｂにおいては、コンテンツ提供者のサーバ装置１０はPLUS3Dファイルexample.plus3dのみをコンテンツ表示者に送信する。コンテンツ表示者がexample.plus3dを受信すると、このファイルはコンテンツ再生手段５０−１に入力され、このコンテンツに含まれるマルチメディア情報のＵＲＬが探索される。図３ではＵＲＬは相対ＵＲＬとして記述されており、artist.3dv、logo.gif、bgm.wavがそれにあたる。次に、artist.3dv、logo.gif、bgm.wavのＵＲＬを指定した情報がコンテンツ提供者に送信される。これを受信したコンテンツ提供者のサーバ装置１０はartist.3dv、logo.gif、bgm.wavをコンテンツ表示者に送信する。すると、コンテンツを構成する全てのファイルが揃うため、方法Ａと同様の方法でプレゼンテーション手段５０−３によりコンテンツの鑑賞ができる（図２７）。コンテンツが蓄積媒体として配布された場合には、蓄積媒体からPLUS3Dファイルを読み込んで同様にアクセスと読み込みの処理をする（図２８）。
【００６２】
最後に方法Ｃについて述べる。まず、方法Ｂと同様に、コンテンツ提供者のサーバ装置１０はPLUS3Dファイルexample.plus3dをコンテンツ表示者に送信されてコンテンツ表示者はartist.3dv、logo.gif、bgm.wavをコンテンツ提供者に要求するが、これらのファイルはコンテンツの再生中の必要なときに要求される。具体的には、本実施形態例のコンテンツではartist.3dvが最初にディスプレイに表示されるため、まずartist.3dvのＵＲＬを指定した情報がコンテンツ提供者に送信され、この情報を受け取ったコンテンツ提供者がartist.3dvをコンテンツ表示者に送信する。artist.3dvをコンテンツ提供者が受信すると、example.plus3dにおいて記述されたマルチメディア統合情報に従って２次元動画像が生成され、ディスプレイに図２の（ａ）のように表示される。一方、logo.gifがディスプレイに表示され、bgm.wavが再生される時刻が近づくと、コンテンツ表示者のコンテンツ再生手段５０−１がlogo.gif、bgm.wavのＵＲＬを指定した情報を送信し、これらのファイルを要求する。コンテンツ提供者は、この情報を受信するとlogo.gifとbgm.wavを送信し、これを受信したコンテンツ提供者側ではコンテンツ再生手段５０−１がプレゼンテーション手段５０−３のディスプレイに図２の（ｂ）の通りに画像を表示させ、スピーカーにオーディオを出力させる（図２７）。コンテンツが蓄積媒体として配布された場合には、蓄積媒体からPLUS3Dファイルを読み込んで同様にアクセスと読み込みの処理をする（図２８）。
【００６３】
なお、３次元動画像データのアトリビュートにclipBeginとclipEndを記述した場合には以下のような処理が行われる。方法Ａで、このようなマルチメディア統合情報をコンテンツ表示者が受信した時には、受信する３次元動画像データのうちclipBeginとclipEndで指定される区間のみ表示する。方法ＢおよびＣでは、３次元動画像データartist.3dv全体をサーバ装置１０に要求する場合と、clipBeginとclipEndで指定される３次元動画像データのみをサーバ装置１０に要求する場合がある。後者の場合は、clipBeginとclipEndで指定される３次元動画像データのみ、あるいは３次元動画像データ全体を受信し、clipBeginとclipEndで指定される区間のみ表示する。
【００６４】
本発明ではコンテンツ表示者の作業を簡略化するために、３次元動画像自体をコンテンツ表示者に提供するという方法をとっている。これは一見冗長であるが、従来の３次元動画像技術を用いれば受信者が視点位置などをコンテンツ閲覧時に実時間で変更するなどが可能であり、冗長な部分は有効に利用されうる。
【００６５】
また、ネットワークを介してコンテンツが提供されている際にコンテンツ表示者側の通信回線の帯域が狭い場合や、コンテンツ再生手段が３次元動画像から２次元動画像を生成するプログラムを備えていない場合、コンテンツ送信時にのみ実時間でコンテンツを変換することが考えうる。この場合、コンテンツ提供者、あるいは別のサービス提供者がコンテンツ変換手段を持ち、コンテンツを構成するファイルexample.plus3d、artist,3dv、logo.gif、bgm.wavはコンテンツ表示者に届く前にコンテンツ変換手段に入力される。コンテンツ変換手段は、example.plus3dに記述された視点位置情報と視線方向情報をもとにartist.3dvから二つの２次元動画像（ファイル名をartistA.mpg、artistB.mpgとする）を生成してコンテンツ表示者に送信すると同時に、example.plus3dをartistA.mpg、artistB.mpgに対応するように変換してexample.plus3d、artistA.mpg、artistB.mpg、logo.gif、bgm.wavをコンテンツ表示者に送信する。この方法によれば、コンテンツ表示者は２次元動画像を受信して再生すればよい。また、コンテンツ変換は実時間で送信時のみに行う処理なので、コンテンツ編集を行った度にコンテンツ変換を施したPLUS3Dファイルとマルチメディア情報を作成しておく必要はない。
【００６６】
プレゼンテーション手段は、ＨＴＭＬコンテンツ表示手段からの出力とコンテンツ再生手段からの出力を表示する。しかし、プレゼンテーション手段を複数備え、ＨＴＭＬコンテンツ表示手段からの出力とコンテンツ再生手段からの出力を別々に、例えば別々のディスプレイやウィンドウで表示することも可能である。
【００６７】
なお、マルチメディア統合情報はテキストではなくバイナリ化しても良い。バイナリ化には可変長符号化や算術符号化を適用することが出来る。
【００６８】
また、本実施形態例では、１つのサーバから配信される例を示したが、マルチメディア情報は複数サーバに蓄積しておいて配信する構成も可能である。また動画像データについては、実時間でカメラから撮影された動画像を実時間で符号化して配信してもよい。
【００６９】
また、図６のようにマルチメディア統合情報とマルチメディア情報を同時に配信する構成では、マルチメディア統合情報またはマルチメディア情報の提供方法として、通信ではなく放送やＤＶＤ等の蓄積媒体による方法も可能である。更に、マルチメディア情報とマルチメディア統合情報を別々の方法で提供することも可能である。例えばマルチメディア情報を放送で提供しマルチメディア統合情報を通信で提供することも可能である。この場合には、複数のコンテンツ表示者に対して、それぞれ個別に適したレイアウトでマルチメディア情報を表示することができる。
【００７０】
本発明では、マルチメディア統合情報の編集・修正のみで、３次元動画像コンテンツをディスプレイに表示するときの見え方を設定できる。すなわち、ポイントとしてはコンテンツ提供者がコンテンツを編集するときの作業を効率化できるところにある。具体例をあげると、例えば以下のような場面で効率化をはかることができる。複数の人数でコンテンツを編集している場合（それぞれの編集者が３次元動画像データを保持しているとする）、それぞれの編集者の間で各人が編集したコンテンツのやり取りがネットワークを介して行われると思われる。このとき、送受信すればよいのはマルチメディア統合情報のみであり、編集を行って送信する都度２次元動画像を生成して圧縮符号化を施すという作業や、やりとりするデータの量の意味で効率化をはかることができる。
【００７１】
ＳＭＩＬに代表される、従来のマルチメディア統合情報を利用したコンテンツの提供方法においては、符号化された３次元動画像データを保有するコンテンツ提供者（あるいはコンテンツ編集者）が３次元動画像データから生成される２次元動画像を提供する場合、次の動作を行う。コンテンツ提供者（あるいはコンテンツ編集者）は３次元動画像データの復号化、視点位置情報と視線方向情報の指定を行い、２次元動画像を生成してそれを符号化する。コンテンツ提供者は、この符号化された２次元動画像データとマルチメディア統合情報を蓄積媒体、あるいはネットワークを介して提供する。すなわち、コンテンツが提供される前に視点位置と視線方向を変更するということを行うとすると、その都度２次元動画像を符号化することになる。一方、本発明では、事前に保有していた３次元動画像データとマルチメディア統合情報を提供すればよく、前記の従来技術の動作に含まれていた２次元動画像を符号化するという動作がなくなり、コンテンツ提供者（あるいはコンテンツ編集者）の作業量を削減できる。
【００７２】
また、図６を用いて説明した実施形態例に関し、従来の方法ではコンテンツ編集者Ａはコンテンツ編集者Ｂにマルチメディア統合情報と２次元動画像データを送信しなければならなかった。一般的には二人以上のコンテンツ編集者の各々が編集したコンテンツを幾度も送受信し合うことが考えられるため、そのたびに各々のコンテンツ編集者は２次元動画像を符号化して送信する必要があった。一方、本発明によればコンテンツ編集者はマルチメディア統合情報のみを送受信すればよいので、各々のコンテンツ編集者が２次元動画像を符号化して送信するという動作を必要としない。
【００７３】
なお、図１、図６〜図８で示したコンテンツの提供装置やコンテンツの表示端末における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図１１〜図３０で示したコンテンツの提供方法やコンテンツの表示方法における処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００７４】
【発明の効果】
本発明によればマルチメディア統合情報を３次元動画像データと共に提供することが可能となるため、コンテンツ提供者は、３次元動画像データから２次元動画像を生成する際の視点位置や視線方向の修正で、マルチメディア統合情報の編集を行えばよく、２次元動画像を生成し３次元動画像データを再符号化する作業は必要ない。従って、コンテンツ提供者が３次元動画像データを編集する際の作業の効率化を図ることができる。
【図面の簡単な説明】
【図１】コンテンツ編集時の構成Ａにおけるコンテンツ提供者の構成を示す図である。
【図２】（ａ），（ｂ）は、ディスプレイにおいてのコンテンツ表示例を示す図である。
【図３】ＳＭＩＬファイルの記述例を示す図である。
【図４】視点位置と視線方向情報の一定義例における概念図である。
【図５】ＳＭＩＬファイルの他の記述例を示す図である。
【図６】コンテンツ編集時の構成Ｂにおけるコンテンツ提供者の構成を示す図である。
【図７】コンテンツ提供者がコンテンツをコンテンツ表示者に提供する際の一方法（方法Ａ）においての全体構成図である。
【図８】コンテンツ提供者がコンテンツをコンテンツ表示者に提供する際の一方法（方法Ｂ，Ｃ）においての全体構成図である。
【図９】コンテンツ表示者のディスプレイに表示されるＨＴＭＬコンテンツの一例を示す図である。
【図１０】本発明の通信によるコンテンツ提供方法の基本的な実施形態例を示すフローチャートである。
【図１１】本発明の蓄積媒体によるコンテンツ提供方法の基本的な実施形態例を示すフローチャートである。
【図１２】本発明の通信によるコンテンツ提供方法の具体的な実施形態例を示すフローチャートである。
【図１３】本発明の蓄積媒体によるコンテンツ提供方法の具体的な実施形態例を示すフローチャートである。
【図１４】図１２、図１３の２次元動画像の生成、表示過程の詳細手順を示すフローチャートである。
【図１５】本発明の通信によるコンテンツ提供方法で表示位置情報を追加した場合の基本的な実施形態例を示すフローチャートである。
【図１６】本発明の蓄積媒体によるコンテンツ提供方法で表示位置情報を追加した場合の基本的な実施形態例を示すフローチャートである。
【図１７】本発明の通信によるコンテンツ提供方法で表示位置情報を追加した場合の具体的な実施形態例を示すフローチャートである。
【図１８】本発明の蓄積媒体によるコンテンツ提供方法で表示位置情報を追加した場合の具体的な実施形態例を示すフローチャートである。
【図１９】図１７、図１８の２次元動画像の生成、表示過程の詳細手順（オプション１）を示すフローチャートである。
【図２０】図１９の２次元動画像の生成、表示過程の詳細手順を示すフローチャートである。
【図２１】図１７、図１８の２次元動画像の生成、表示過程の詳細手順（オプション２）を示すフローチャートである。
【図２２】図２１の２次元動画像の生成、表示過程の詳細手順を示すフローチャートである。
【図２３】本発明の通信によるコンテンツ表示方法Ａの実施形態例を示すフローチャートである。
【図２４】本発明の蓄積媒体によるコンテンツ表示方法Ａの実施形態例を示すフローチャートである。
【図２５】本発明の通信によるコンテンツ表示方法Ａで表示位置情報を追加した場合の実施形態例を示すフローチャートである。
【図２６】本発明の蓄積媒体によるコンテンツ表示方法Ａで表示位置情報を追加した場合の実施形態例を示すフローチャートである。
【図２７】本発明の通信によるコンテンツ提供方法Ｂ，Ｃの実施形態例を示すフローチャートである。
【図２８】本発明の蓄積媒体によるコンテンツ提供方法でＢ，Ｃで表示位置情報を追加した場合の実施形態例を示すフローチャートである。
【図２９】図２５、図２６の２次元動画像の生成、表示過程の詳細手順を示すフローチャートである。
【図３０】図２７、図２８の２次元動画像の生成、表示過程の詳細手順を示すフローチャートである。
【符号の説明】
１０…コンテンツ提供者のサーバ装置
１０−１…マルチメディア情報記憶手段
１０−２…マルチメディア統合情報記憶手段
１０−３…ＨＴＭＬ文書記憶手段
２０…コンテンツ提供者の端末
２０−１…マルチメディア統合情報編集手段
２０−２…コンテンツ再生手段
２０−３…プレゼンテーション手段
３０…コンテンツ編集者Ａの端末
３０−１…マルチメディア統合情報編集手段
３０−２…コンテンツ再生手段
３０−３…プレゼンテーション手段
３０−４…マルチメディア統合情報記憶手段
４０…コンテンツ編集者Ｂの端末
４０−１…マルチメディア統合情報編集手段
４０−２…コンテンツ再生手段
４０−３…プレゼンテーション手段
４０−４…マルチメディア統合情報記憶手段
５０…コンテンツ表示者の端末
５０−１…コンテンツ再生手段
５０−２…ＨＴＭＬコンテンツ表示手段
５０−３…プレゼンテーション手段
【発明の属する技術分野】
この発明は、３次元動画像データを提供し表示する方法と装置に関わり、テキスト、音声、動画像などの多種多様なマルチメディア情報を一つのコンテンツに統合して提供する提供方法、表示方法、提供システムおよび表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体に関するものである。ただし、３次元動画像とは多視点動画像、全方位動画像、パノラマ動画像など、様々な視点位置と視線方向に関する映像を記録したものであり、２次元動画像とは一つの視点位置と視線方向に関する映像を記録したものであり、従来から“動画像”と呼ばれているものである。また、本発明によって３次元動画像データが提供される形態としては、放送、ネットワークを介した通信、あるいは蓄積媒体を利用した提供がある。
【０００２】
【従来の技術】
テキスト、音声、動画像等のマルチメディア情報を一つのコンテンツに統合してインターネットやデジタル放送で配信するためのファイル・フォーマット（以下、マルチメディア統合ファイル・フォーマット）が開発され、実用化されている。この技術によれば、コンテンツの受信側の画面に様々なマルチメディアをレイアウト、同期化して表示することができる。マルチメディア統合ファイル・フォーマットにおいては、動画像や音やテキスト等のマルチメディア情報と、マルチメディア情報間の空間的位置関係や同期情報等を記述するマルチメディア統合情報で構成される。特に動画像に関しては、マルチメディア統合情報として、マルチメディア情報を識別するＩＤ情報（例えばＨＴＴＰにおけるＵＲＬなど）、それらが画面に配置される位置に関する情報、再生時刻、再生期間を示す。このファイル・フォーマットで構成されるコンテンツの配信ではマルチメディア統合情報と、動画像等のマルチメディア情報が受信側に送信される。
【０００３】
２次元動画像のマルチメディア統合情報の一例としては、ＳＭＩＬ（Synchronized Multimedia Integration Language）がある。ＳＭＩＬはテキストで記述され、基本的にはテキスト・エディタさえあればコンテンツの編集が可能である。ＳＭＩＬで記述されるマルチメディア統合情報としては、例えば２次元動画像ファイルが置かれているＵＲＬ、２次元動画像の表示位置、再生開始のタイミング、再生期間、表示領域の大きさがある。さらに、ＳＭＩＬでは２次元動画像だけではなく２次元静止画像やテキストを、同期しつつ２次元画面内にレイアウト表示することができる。従って、複数のマルチメディア情報の同期や画面内レイアウトをテキスト編集によって変更しコンテンツを作成できるという特徴を持っている。
【０００４】
一方、画像の表示については２次元投影面に投影するのが一般的である。そのため３次元画像をディスプレイに表示させる場合には、視点位置と視線方向を何らかの方法で指定し、指定された視点位置、視線方向における２次元画像が生成されて表示される。３次元動画像は時間的に連続した３次元画像で構成され、表示するディスプレイ上では２次元動画像として表示される。３次元動画像の技術を用いると、スポーツ、コンサートや風景などを様々な視点から鑑賞でき、臨場感の高い映像通信が可能になる。コンテンツ作成者の立場から考えると、一つの３次元動画像から様々な２次元動画像を作成できるので、コンテンツを編集する上での自由度が高いというメリットがある。
【０００５】
【発明が解決しようとする課題】
従来のマルチメディア統合ファイル・フォーマットの技術を用いて３次元動画像から生成された２次元動画像を受信側に表示させる場合、コンテンツ作成者が事前に２次元動画像を作成しておき、そのファイルのＵＲＬ等が記述されたマルチメディア統合情報ファイルとともに配信することになる。
【０００６】
一方、コンテンツ提供側のコンテンツ作成者としては、コンテンツ編集時の非効率はできる限り避けたいという要求がある。しかし、３次元動画像から２次元動画像を受信側に表示させるときの視点位置、視線方向を変更する場合、３次元動画像から所望の視点位置、視線方向における２次元動画像を作成し直す必要があった。従って、コンテンツ編集の段階で視点位置や視線方向に小さな変更を加えるだけでも手間がかかっていた。
【０００７】
本発明は、上記の課題に鑑み創作されたものであり、３次元動画像を表示する際の視点位置と視線方向をマルチメディア統合情報ファイルの編集のみで修正できるような３次元動画像データの提供方法とその表示方法、該提供システムと該表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体を提供することを目的とする。
【０００８】
【課題を解決するための手段】
本発明は、上記の目的を達成するために、以下に述べるような特徴を有する手段を採用している。
【０００９】
請求項１の発明にあっては、３次元動画像データを有するコンテンツ提供者の編集用端末で、３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中で、どれに該当するかを表す３次元動画像フォーマット情報を指定し、３次元動画像データを２次元投影面に投影するために利用される視点位置情報を指定し、３次元動画像データを２次元投影面に投影するために利用される視線方向情報を指定し、３次元動画像フォーマット情報，視点位置情報，視線方向情報を含むマルチメディア統合情報を編集する手順と、コンテンツ提供者のサーバ装置が、該３次元動画像データと共に該編集されたマルチメディア統合情報をコンテンツ表示者の端末に提供する手順とを有することを特徴とする３次元動画像データの提供方法。
【００１０】
請求項２の発明にあっては、マルチメディア統合情報を編集する手順では、マルチメディア統合情報として、３次元動画像データを２次元投影面に投影し表示する表示開始時刻情報または表示位置情報を指定することを特徴とする請求項１に記載の３次元動画像データの提供方法。
【００１１】
請求項３の発明にあっては、マルチメディア統合情報を編集する手順では、同一３次元動画像データに対して、複数のマルチメディア統合情報によって複数の視点位置情報と視線方向情報を指定することを特徴とする請求項１または請求項２に記載の３次元動画像データの提供方法。
【００１２】
請求項４の発明にあっては、マルチメディア統合情報を編集する手順では、マルチメディア統合情報として、表示開始時刻と表示開始時刻における視点位置情報と視線方向情報と、終了時刻と終了時刻における視点位置情報と視線方向情報と、表示開始時刻と終了時刻の間の任意の時刻における視点位置情報と視線方向情報を求める補間方法を指定することを特徴とする請求項１から請求項３のいずれかに記載の３次元動画像データの提供方法。
【００１６】
請求項５の発明にあっては、マルチメディア統合情報をコンテンツ表示者の端末に提供する手順では、コンテンツ提供者のサーバ装置が、３次元動画像データを指定するＩＤ情報を有するマルチメディア統合情報をコンテンツ表示者の端末に通信手段で送信するかまたは蓄積媒体で配布するかして提供する手順と、該コンテンツ表示者の端末が、該ＩＤ情報に対応した３次元動画像データを該コンテンツ提供者のサーバ装置に通信手段で要求するかまたは該蓄積媒体にアクセスした場合、コンテンツ提供者のサーバ装置が、該要求されたＩＤ情報に対応した３次元動画像データを送信するかまたは該アクセスされた蓄積媒体が提供する手順とを有することを特徴とする請求項１から請求項４のいずれかに記載の３次元動画像データの提供方法。
【００１７】
請求項６の発明にあっては、コンテンツ表示者の端末が、３次元動画像データと、該３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中で、どれに該当するかを表す３次元動画像フォーマット情報および３次元動画像データを２次元投影面に投影するために利用される視点位置情報，視線方向情報を含むマルチメディア統合情報とを、コンテンツ提供者のサーバ装置またはコンテンツ提供者から提供された蓄積媒体から取得する手順と、該マルチメディア統合情報で指定される３次元動画像フォーマット情報に基づいて３次元動画像データを復号する手順と、該復号された３次元動画像データから該マルチメディア統合情報で指定される視点位置情報と視線方向情報または視点位置情報と視線方向情報と表示開始時刻情報もしくは表示位置情報に基づいて２次元動画像を生成する手順と、該生成された２次元動画像をディスプレイに表示する手順とを有することを特徴とする３次元動画像データの表示方法。
【００１８】
請求項７の発明にあっては、コンテンツ表示者の端末が、３次元動画像データと、該３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中で、どれに該当するかを表す３次元動画像フォーマット情報および３次元動画像データを２次元投影面に投影するために利用される視点位置情報，視線方向情報を含むマルチメディア統合情報とを、コンテンツ提供者のサーバ装置またはコンテンツ提供者から提供された蓄積媒体から取得する手順と、該マルチメディア統合情報で指定される３次元動画像フォーマット情報に基づいて３次元動画像データを復号する手順と、該マルチメディア統合情報で指定される表示開始時刻と終了時刻、それらの時刻における視点位置情報と視線方向情報、および補間方法情報に基づいて、視点位置情報と視線方向情報の補間値を求める手順と、該復号された３次元動画像データから該視点位置情報と視線方向情報とその補間値に基づいて２次元動画像を生成する手順と、該生成された２次元動画像をディスプレイに表示する手順とを有することを特徴とする３次元動画像データの表示方法。
【００１９】
請求項８の発明にあっては、マルチメディア統合情報と３次元動画像データを取得する手順では、コンテンツ提供者のサーバ装置から、３次元動画像データを指定するＩＤ情報を有するマルチメディア統合情報を通信手段で受信するかまたは蓄積媒体で提供を受けるかして取得する手順と、該ＩＤ情報に対応した３次元動画像データを該コンテンツ提供者のサーバ装置に通信手段で要求するかまたは該蓄積媒体にアクセスする手順と、コンテンツ提供者のサーバ装置から、該要求したＩＤ情報に対応した３次元動画像データを受信して取得するかまたは該アクセスした蓄積媒体から取得する手順とを有することを特徴とする請求項６または請求項７に記載の３次元動画像データの表示方法。
【００２０】
請求項９の発明にあっては、マルチメディア情報、およびこのマルチメディア情報に関する３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中でどれに該当するかを表す３次元動画像フォーマット情報を指定し、３次元動画像データを２次元投影面に投影するために利用される視点位置情報を指定し、３次元動画像データを２次元投影面に投影するために利用される視線方向情報を指定し、３次元動画像フォーマット情報，視点位置情報，視線方向情報を含むマルチメディア統合情報を記憶し、表示者の端末に提供するサーバ装置と、該マルチメディア情報に関するマルチメディア統合情報を編集する編集手段、および該編集されたマルチメディア統合情報に基づいて該マルチメディア情報を生成し表示する再生、表示手段を有する編集用端末とを備えることを特徴とする３次元動画像データの提供システム。
【００２２】
請求項１０の発明にあっては、３次元動画像データと、該３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中で、どれに該当するかを表す３次元動画像フォーマット情報および３次元動画像データを２次元投影面に投影するために利用される視点位置情報，視線方向情報を含むマルチメディア統合情報とを、コンテンツ提供者のサーバ装置から取得し、該マルチメディア統合情報で指定される３次元動画像フォーマット情報と視点位置情報と視線方向情報または３次元動画像フォーマット情報と視点位置情報と視線方向情報と表示開始時刻情報もしくは表示位置情報とを取得し、該３次元動画像フォーマット情報に基づいて３次元動画像データを復号し、該視点位置情報と視線方向情報または該視点位置情報と視線方向情報と表示開始時刻情報もしくは表示位置情報に基づいて２次元動画像を生成する再生手段と、該生成された２次元動画像をディスプレイに表示するプレゼンテーション手段とを備えることを特徴とする３次元動画像データの表示端末。
【００２３】
請求項１１の発明にあっては、３次元動画像データと、該３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中で、どれに該当するかを表す３次元動画像フォーマット情報および３次元動画像データを２次元投影面に投影するために利用される視点位置情報，視線方向情報を含むマルチメディア統合情報とを、コンテンツ提供者のサーバ装置から取得し、該マルチメディア統合情報で指定される該３次元動画像フォーマット情報、表示開始時刻と終了時刻、それらの時刻における視点位置情報と視線方向情報、および補間方法情報を取得し、該３次元動画像フォーマット情報に基づいて３次元動画像データを復号し、該表示開始時刻と終了時刻、それらの時刻における視点位置情報と視線方向情報、および補間方法情報に基づいて視点位置情報と視線方向情報の補間値を求め、該視点位置情報と視線方向情報の補間値に基づいて２次元動画像を生成する再生手段と、該生成された２次元動画像をディスプレイに表示するプレゼンテーション手段とを備えることを特徴とする３次元動画像データの表示端末。
【００２４】
請求項１２の発明にあっては、２次元動画像を生成する再生手段が、マルチメディア統合情報と３次元動画像データを取得するのに際して、コンテンツ提供者のサーバ装置から、３次元動画像データを指定するＩＤ情報を有するマルチメディア統合情報を通信手段で受信するかまたは蓄積媒体で提供を受けるかして取得し、該ＩＤ情報に対応した３次元動画像データを該コンテンツ提供者のサーバ装置に通信手段で要求するかまたは該蓄積媒体にアクセスし、コンテンツ提供者のサーバ装置から、該要求したＩＤ情報に対応した３次元動画像データを受信して取得するかまたは該アクセスした蓄積媒体から取得するものであることを特徴とする請求項１０または請求項１１に記載の３次元動画像データの表示端末。
【００２５】
請求項１３の発明にあっては、請求項１から請求項５のいずれかに記載の３次元動画像データの提供方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする３次元動画像データの提供方法の実行プログラム。
【００２６】
請求項１４の発明にあっては、請求項６から請求項８のいずれかに記載の３次元動画像データの表示方法における手順を、コンピュータに実行させるためのプログラムとしたことを特徴とする３次元動画像データの表示方法の実行プログラム。
【００２７】
請求項１５の発明にあっては、請求項１から請求項５のいずれかに記載の３次元動画像データの提供方法における手順を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする３次元動画像データの提供方法の実行プログラムを記録した記録媒体。
【００２８】
請求項１６の発明にあっては、請求項６から請求項８のいずれかに記載の３次元動画像データの表示方法における手順を、コンピュータに実行させるためのプログラムとし、該プログラムを、該コンピュータが読み取りできる記録媒体に記録したことを特徴とする３次元動画像データの表示方法の実行プログラムを記録した記録媒体。
【００２９】
ただし、請求項１から請求項６の発明では、マルチメディア統合情報が視点位置情報や視線方向情報を指定する順番は任意である。具体的には、マルチメディア統合情報のデータ構造上での順番、あるいはコンテンツ提供者がマルチメディア統合情報を指定する際の動作上の順番は任意である。例えば、マルチメディア統合情報がテキストで記述されている場合、テキスト・ファイル内で視点位置、視線方向、３次元動画像フォーマット情報の順序でマルチメディア統合情報が記述されていても、３次元動画像フォーマット、視線方向、視点位置の順番で記述されていても良い。あるいは、コンテンツ提供者がコンテンツ編集の際、テキスト・エディタ等で視点位置、視線方向、３次元動画像フォーマット情報の順番で入力しても、３次元動画像フォーマット、視線方向、視点位置の順番で入力しても良い。
【００３０】
請求項１と請求項９の発明によれば、コンテンツ表示者のディスプレイに表示する２次元動画像を３次元動画像から生成する際、視点位置情報と視線方向情報の指定、修正をマルチメディア統合情報の指定、修正のみで実行できる。
【００３１】
請求項２の発明によれば、３次元動画像から生成された２次元動画像を生成し再生する際、３次元動画像の中での表示開始時刻を指定できる。また、３次元動画像から生成された２次元動画像をディスプレイに表示する際の表示位置を指定できるため、所望のレイアウトで他のマルチメディア情報と並べて表示することができる。
【００３２】
請求項３の発明によれば、３次元動画像から２次元動画像を生成する際の視点位置と視線方向が時刻に応じて切り替わるという効果を演出することができる。
【００３３】
請求項４の発明によれば、３次元動画像から２次元動画像を生成する際の視点位置と視線方向が時刻に応じて連続的に変化するという効果を演出することができる。
【００３４】
なお、例えば請求項１乃至４の発明のマルチメディア統合情報の編集において、マルチメディア統合情報をテキストで記述する場合には、上述の３次元動画像に関するマルチメディア統合情報をテキストで記述することが可能になり、テキスト・エデイタ等で容易に編集することが可能になる。
【００３５】
なお、例えば請求項１乃至４、９の発明のマルチメディア統合情報の編集において、編集用端末が、他の編集用端末との間で、マルチメディア統合情報を送受信してマルチメディア情報を編集する場合には、コンテンツ提供者が提供するコンテンツを複数のコンテンツ編集者が編集する際、コンテンツ編集者の間でマルチメディア統合情報のみを送受信すればコンテンツの編集が行える。
【００３６】
請求項５の発明によれば、コンテンツ提供者は上述の方法や手段で構成されたマルチメディア統合情報と３次元動画像をコンテンツ表示者に提供することにより、コンテンツ表示者にコンテンツを閲覧させることができる。
【００３７】
請求項６乃至請求項８と請求項１０乃至請求項１２の発明によれば、コンテンツ提供者がネットワークや蓄積媒体を介して提供したコンテンツを、コンテンツ表示者が取得してコンテンツの表示を行うことができる。
【００３８】
【発明の実施の形態】
以下、本発明の実施の形態について図を用いて詳細に説明する。
【００３９】
コンテンツが提供される方法としては、蓄積媒体やネットワークを介した方法などが考えられるが、コンテンツの提供に先立って行われるコンテンツ編集の動作はいずれの場合も同様である。従って、コンテンツを編集してコンテンツがコンテンツ提供者のサーバ装置に蓄積されるまでの動作を最初に示す。その後に、ネットワークを介してコンテンツの提供を行った場合のデータの送受信動作などについて、いくつかの実施形態例を示す。また、以下の実施形態例ではマルチメディア統合情報はテキスト・データで構成され、テキストによる記述におけるシンタックスとセマンティクスに関してはＳＭＩＬを応用する。具体的には、ＳＭＩＬで従来から用いられているマルチメディア統合情報に関しては引用し、３次元動画像に対応したエレメントと視点位置情報などに対応したアトリビュートを本実施形態例で新たに導入する。また、コンテンツを構成するファイルは、マルチメディア統合情報が記述されたテキスト・ファイル（以下、PLUS3Dファイル）とコンテンツに導入されるテキスト、オーディオ、動画像データなどの各々のマルチメディア情報に関するファイルである。
【００４０】
以下にて、コンテンツを編集する際の動作について述べる。コンテンツが編集される際の構成としては２通り示す（構成Ａ、構成Ｂ）。構成Ａではコンテンツ提供者がコンテンツ編集と提供の両方を行い、構成Ｂでは２つのコンテンツ編集者とコンテンツ提供者とがそれぞれ個別に存在し、通信回線を介して接続されている。
【００４１】
図１は本発明の構成Ａの実施形態例における構成を示している。図１において、コンテンツ提供者はコンテンツ配信を行うためのサーバ装置１０を有している。サーバ装置１０には種々のマルチメディア情報を格納したマルチメディア情報記憶手段１０−１とマルチメディア統合情報ファイルを格納したマルチメディア統合情報記憶手段１０−２を備えている。さらに、コンテンツ提供者は端末２０を有しており、端末２０にはマルチメディア統合情報編集手段２０−１、コンテンツ再生手段２０−２、プレゼンテーション手段２０−３を備えている。マルチメディア統合情報編集手段２０−１はPLUS3Dファイルに記述されたテキストをディスプレイに表示し、PLUS3Dファイルを編集するための機能を持っている。具体的には、この実施形態例ではマルチメディア統合情報編集手段２０−１はテキスト・エディタであるとする。一方、コンテンツ再生手段２０−２はマルチメディア情報とPLUS3Dファイルを入力とし、圧縮符号化されたマルチメディア情報の復号化を行い、PLUS3Dファイルの記述に従って生成した画像データとオーディオ・データをプレゼンテーション手段２０−３に送る機能を持つ。プレゼンテーション手段２０−３はディスプレイとスピーカーを備えており、コンテンツの鑑賞に利用される。
【００４２】
構成Ａの実施形態例ではコンテンツ提供者のサーバ装置１０に備えられたマルチメディア情報記憶手段１０−１に記録された３次元動画像ファイルは、artist.3dvというファイル名が付けられているとする。そして、コンテンツを鑑賞する際のディスプレイにはある視点位置と視線方向から眺めた２次元動画像（２次元動画像１）と、別の視点位置と視線方向から眺めた２次元動画像（２次元動画像２）をそれぞれ、図２の（ａ）のように配置して表示するとする。さらに、このコンテンツには２次元静止画像logo.gifとオーディオbgm.wavも含まれており、３次元動画像が再生された後に２次元静止画像は図２の（ｂ）のように表示されてオーディオもスピーカーから出力されるとする。さらに、このコンテンツに対応したPLUS3Dファイルexample1.plus3dには図３に示すような記述がなされているとする。図３において、点線の四角の中が３次元動画像に関する記述である。“3dvideo”が３次元動画像に関するエレメント名であり、アトリビュートの“src”、“id”、“region”、“title”に関してはＳＭＩＬにおける定義を引用する。さらに、本発明に対応した新たなアトリビュートとして、３次元動画像フォーマット、視点位置、視線方向に関するアトリビュートが記述されている。まず、ここでは３次元動画像フォーマットのアトリビュートをformatと名づけた。これは３次元動画像が多視点動画像、全方位動画像、光線空間動画像などの形式のうち、どの形式を取るかを表す。なお、図３での“format=“multi””はartist.3dvが多視点動画像であることを示している。一方、視点位置のアトリビュートをfocusx、focusy、focuszとした。ここでは、３次元動画像において撮影されている３次元空間に３次直交座標系が定義されていると仮定しており、focusx、focusy、focuszはそれぞれｘ軸、ｙ軸、ｚ軸の値であるとした。また、視線方向のアトリビュートをaxistheta、axisphiとし、視線方向に関しては極座標表現を導入している。なお、focusx、focusy、focusz、axistheta、axisphiの概念図を図４に示した。以下のコンテンツ提供者の動作例では、example.plus3dに視点位置情報と視点方向情報を記述した後、example.plus3dにおける視点位置情報に修正を加えることとする。
【００４３】
構成Ａにおいてのコンテンツ提供者側のコンテンツ編集における動作例を以下に示す。図１０、１１は、視点位置情報と視点方向情報により３次元動画像から２次元動画像を提供する場合の基本的な処理手順を示し、図１２、１３はその具体的な処理手順を示し、図１４は図１２、１３における２次元動画像の生成、表示過程（Ｓ２）の詳細な処理手順を示す。また、視点位置情報と視点方向情報と表示位置情報により３次元動画像から２次元動画像を提供する場合の基本的な処理手順を図１５、図１６に、その具体的な処理手順を図１７、１８に示す。図１９、２０は図１７、１８における２次元動画像の生成、表示過程（Ｓ３）のオプション１の詳細な処理手順を示し（ただし、図２０は図１９の一過程（Ｓ３）の詳細フローを示す）、図２１、２２は図１７、１８における２次元動画像の生成、表示過程（Ｓ３）のオプション２の詳細な処理手順を示す（ただし、図２２は図２１の一過程（Ｓ３）の詳細フローを示す）。なお、図中の（注１）、（注２）は以下を表す。
【００４４】
（注１）２次元動画像の表示過程（Ｓ２）の処理、及び以降の図のフローチャートにおいて、コンテンツ提供者側で３次元動画像から２次元動画像を生成、表示する場合、これはプレビューを行っている処理にあたる。つまり、入力された視点位置情報と視線方向情報によって生成される２次元動画像がどのようになるかを確認している。
【００４５】
（注２）３次元動画像からの２次元動画像の生成は従来技術を用いて実行できる。これらの従来技術は、下記の公知文献に記載されており、これらの改良技術は多数存在する。
・S.E.Chen and L.Williams,“View interpolation for Image Synthesis,”in Proc.SlGGRAPH'93,pp.279-288.1993（多視点画像）
・S.E.Chen,“Quicktime VR-An Image-based Approach to Virtual Environment Navigation,”In Proc.SlGGRAPH'95,pp.29-38（全方位画像）
・J.D.Foley,A.V.Dam,S.K Feiner,J.F.Hughes,Computer Graphics:Principles and Practice,Addison-Wesley Publishing,1996（３次元ＣＧアニメーション）
まず、コンテンツ提供者は、テキスト・エディタ２０−１によりマルチメディア統合情報記憶装置１０−２に図３の左右の図のようなPLUS3Dファイルexample1.plus3dを書き込み、視点位置情報、視線方向情報、表示位置情報（以降、表示位置情報は省略可能であり、表示位置情報を用いない場合の処理手順は図１０〜図１４、用いる場合の処理手順は図１５〜図２２となる）を入力する。視点位置情報、視線方向情報、表示位置情報の追加が必要であれば、プレゼンテーション手段２０−３により図３の左右の図を表示しながら、テキスト・エディタ２０−１により追加する。
【００４６】
ここで、必要に応じてコンテンツをディスプレイに表示するという動作が行われる。まず、example.plus3d、artist.3dv、logo.gif、bgm.wavがコンテンツ再生手段２０−２に入力される。次に、example.plus3dの記述内容に従い、formatに対応した方法で３次元動画像artist.3dvが復号化される。次に、復号化されたartist.3dvからfocusx、focusy、focusz、axistheta、axisphiの数値に従って２次元動画像が生成され、図２の（ａ）に示したような映像がプレゼンテーション手段２０−３のディスプレイに表示される。artist.3dvから生成された２次元動画像の再生が終了すると、２次元静止画像logo.gifが図２の（ｂ）のようにディスプレイに表示され、プレゼンテーション手段２０−３のスピーカーからオーディオが出力される。
【００４７】
コンテンツ提供者は表示された２次元動画像により、入力あるいは追加した視点位置情報、視線方向情報、表示位置情報が現状のままでよいか判断し、修正や追加が必要であれば、マルチメディア統合情報記憶装置１０−２に格納されたPLUS3Dファイルexample1.plus3dをテキスト・エディタ２０−１に読み込んで、テキストをプレゼンテーション手段２０−３のディスプレイに表示する。すると、入力された図３の左右の図がディスプレイに表示される（ただし、点線の四角と矢印は表示されない）。コンテンツ提供者は、例えば、視点位置座標のｚ軸の値focusz＝０をfocusz＝１０に修正するため、テキスト・エディタ２０−１を用いて修正する。
【００４８】
以上のコンテンツ提供者の編集動作は必要に応じて繰り返される。最後に、example.plus3d、artist.3dv、logo.gif、bgm.wavがネットワークを介して送信され（図１０、１２、１５、１７）、あるいは蓄積媒体に記録（図１１、１３、１６、１８）されて配布されるなどの過程を経てコンテンツ表示者に提供される。
【００４９】
なお、本実施形態例では視点位置と視線方向に関する情報としては簡単なものを用いたが、請求項４，５によれば、コンテンツの再生が進行している中で視点位置が変化するなどの効果も演出できる。ここでは、このような効果を演出するための実施形態例を示す。この実施形態例のコンテンツでは図２の（ａ）のように、３次元動画像から生成された二つの２次元動画像を表示する。図２においての２次元動画像１はartist.3dvから生成されたものであり、視点位置と視線方向がコンテンツ再生の進行とともに変化するようにする。一方、２次元動画像２はartist2.3dvというファイル名が付けられた３次元動画像から生成され、視点位置と視線方向は時間に関して不変であるとする。
【００５０】
本実施形態例では、コンテンツ提供者はテキスト・エディタ２０−１を用いて、PLUS3Dファイルに図５に示すような記述を行う（ファイル名はexample2.plus3dとする）。図５においては、interpolationというアトリビュートによって視点位置と視線方向の補間の有無が指定される。ここではinterpolation＝“true”であり、補間が行われる（デフォルトの値は“false”、すなわち補間が行われない）。そして、interpolation＝“true”であった場合、コンテンツ編集者は以下に述べるアトリビュートに関して値を定める。interpolationTypeというアトリビュートは補間方法を現しており、ここでは線形補間“linear”によって補間を行う（その他の補間方法としてはスプライン補間などが考えられる）。さらに、コンテンツ提供者は３次元動画像の開始時刻（clipBegin：３次元動画像artist2.3dvの最初から何秒後の時点から再生を行うかを表す）と終了時刻（clipEnd：３次元動画像artist2.3dvの最初から何秒後の時点で再生を終了するかを表す）、およびそれぞれの時刻における視点位置と視線方向（focusxBegin、focusyBegin、focuszBegin、axisthetaBegin、axisphiBegin、およびfocusxEnd、focusyEnd、focuszEnd、axisthetaEnd、axisphiEnd）を図５の通りにexample2.plus3dに記述する。
【００５１】
コンテンツをプレゼンテーション手段２０−３のディスプレイに表示する際には、まずコンテンツ再生手段２０−２にexample2.plus3d、artist.3dv、artist2.3dvが読み込まれ、formatに従ってartist.3dvとartist2.3dvが復号化される、そして、artist2.3dvは視点位置と視線方向が固定された状態で２次元動画像が生成され、ディスプレイに表示される。一方、artist2.3dvについては、開始時刻と終了時刻においての視点位置と視線方向しか定められていない。従って、開始、終了時刻の間の時間帯においてはinterpolationTypeアトリビュートで指定された方法によって開始、終了時刻の視点位置と視線方向による補間値が用いられる。つまり、コンテンツ再生手段２０−２においてこれら補間値が計算され、補間値をもとにartist.3dvから２次元動画像が生成される。最後にプレゼンテーション手段２０−３のディスプレイに図２の（ａ）のように、ここで生成された２次元動画像が表示される。
【００５２】
続いて、構成Ｂの実施形態例を示す。図６は構成Ｂの実施形態例においての全体構成を示している。
【００５３】
図６に示されているように、コンテンツ提供者とコンテンツ編集者Ａとコンテンツ編集者Ｂは通信回線を介して接続されている。コンテンツ提供者はサーバ装置１０を有しており、これは構成Ａの場合と同様の手段を備えている。一方、コンテンツ編集者Ａは端末３０においてマルチメディア統合情報編集手段３０−１、コンテンツ再生手段３０−２、プレゼンテーション手段３０−３、マルチメディア統合情報記憶手段３０−４を、コンテンツ編集者Ｂは端末４０においてマルチメディア統合情報編集手段４０−１、コンテンツ再生手段４０−２、プレゼンテーション４０−３、マルチメディア統合情報記憶手段４０−４を有しているが、これらが果たす機能は図１において示した同名の手段と同様である。また、構成Ｂにおいてはexample.plus3dを用いたコンテンツを編集する場合を示すとする。なお、example2.plus3dによるコンテンツの編集も以下に示す動作例と同様に行える。
【００５４】
上記構成Ｂにおいてのコンテンツ編集の動作例を示す。本動作例においても、編集者端末間でマルチメディア統合情報を送受信して編集する点を除けば、各端末での処理手順は基本的に図１０〜図２２に示したフローチャートに示した処理手順を行う。
【００５５】
以下の動作例が始まる段階では、コンテンツ編集者Ａが図３に示した記述をexample.plus3dにすでに行っているとする。また、コンテンツ編集者Ａのマルチメディア統合情報記憶手段３０−４にはexample.plus3dが格納されているが、コンテンツ提供者とコンテンツ編集者Ｂのマルチメディア統合情報記憶手段にはexample.plus3dは格納されていないとする。一方、コンテンツ提供者のマルチメディア情報記憶手段１０−１にはartist.3dv、logo.gif、bgm.wavが格納されているとする。動作例の大まかな流れとしては、コンテンツ編集者Ｂがこのコンテンツを一度鑑賞し、修正を加え、最後にコンテンツ提供者のサーバ装置１０にコンテンツが蓄積される。
【００５６】
構成Ｂにおいてのコンテンツ編集の動作例では、まずコンテンツ編集者Ａはマルチメディア統合情報記憶手段３０−４に格納されたexample.plus3dをコンテンツ編集者Ｂに送信する。コンテンツ編集者Ｂはexample.plus3dを受信すると、artist.3dv、logo.gif、bgm.wavをコンテンツ提供者のサーバ装置１０に要求する。コンテンツ編集者Ｂがartist.3dv、logo.gif、bgm.wavを受信し、コンテンツを構成する一連のファイルが揃うと、これらのファイルはコンテンツ再生手段４０−２に入力される。すると、プレゼンテーション手段４０−３によりコンテンツが表示されるが、ここでの動作は構成Ａの場合と同様である。次にコンテンツ編集者Ｂはexample.plus3dをマルチメディア統合情報編集手段４０−１に入力し、コンテンツの修正を行う。最後に、コンテンツ編集者Ｂはexample.plus3dをコンテンツ提供者のサーバ装置１０に送信し、example.plus3dはマルチメディア統合情報記憶手段１０−２に記録される。なお、コンテンツ編集者Ａとコンテンツ編集者Ｂの間でのexample.plus3dの送受信や修正は必要に応じて繰り返されてもよい。
【００５７】
ここで、ネットワークを介した通信などでコンテンツを提供したとき、このサービスを受ける（コンテンツを取得して閲覧する）立場のコンテンツ表示者とコンテンツ提供者の動作について述べる。ここでは、３通りの提供方法（方法Ａ，Ｂ，Ｃ）について示す。図７は方法Ａ、図８は方法Ｂ，Ｃにおいての構成図を示す。コンテンツ提供者のサーバ装置１０とコンテンツ表示者の端末５０は通信回線（インターネット）を介して接続しており、図における矢印は情報の流れを表している。サーバ装置１０におけるＨＴＭＬ文書記憶手段１０−３にはＨＴＭＬ文書が格納されており、このＨＴＭＬ文書にはコンテンツ提供者が保有しているコンテンツに関する情報などが含まれている。また、端末５０におけるＨＴＭＬコンテンツ表示手段はＨＴＭＬ文書の記述に従ってＨＴＭＬコンテンツ画像をプレゼンテーション手段５０−３に送る、あるいはハイパーリンクに対応したファイルの要求を送信する機能を果たす。端末５０のコンテンツ再生手段５０−１とプレゼンテーション手段５０−３は図１に示した手段と同様の機能を果たすものである。
【００５８】
以下にコンテンツ表示者側の動作例を示す。図２３、２４は、視点位置情報と視点方向情報により３次元動画像から２次元動画像を表示する場合の基本的な処理手順を示す。また、視点位置情報と視点方向情報と表示位置情報により３次元動画像から２次元動画像を表示する場合の基本的な処理手順を図２５、図２６に示し、図２５、図２６における２次元動画像の表示過程（Ｓ２）の詳細な処理手順を図２９に示す。また、３次元動画像から２次元動画像を表示する場合の別の基本的な処理手順を図２７、図２８に示し、図２７、図２８における２次元動画像の表示過程（Ｓ２）の詳細な処理手順を図３０に示す。なお、図中の（注２）は、前述のとおりである。
【００５９】
コンテンツ表示者がコンテンツ提供者のサーバ装置１０のＨＴＭＬ文書記憶装置１０−３に格納されたＨＴＭＬ文書を取得すると、ＨＴＭＬコンテンツ表示手段５０−２によりＨＴＭＬコンテンツが図９のように表示される。この図では“LIVE3D”という文字の下に３つの静止画像が表示されており、コンテンツ表示者は所望のコンテンツに対応した静止画像を、マウス等を用いて指定する。すると、コンテンツ表示者の選択に関する情報がコンテンツ提供者のサーバ装置１０に送信される。以降の動作に関しては３通り（方法Ａ，Ｂ，Ｃ）あり、以下にてそれぞれについて述べる。
【００６０】
方法Ａにおいては、コンテンツ提供者のサーバ装置１０はPLUS3Dファイルexample.plus3d、artist.3dv、logo.gif、bgm.wavをコンテンツ表示者に送信する。example.plus3d、artist.3dv、logo.gif、bgm.wavがコンテンツ表示者側で受信されると、これらのファイルはコンテンツ再生手段５０−１に入力されて前記の種々の処理が施される（図２３、図２５）。最後に、プレゼンテーション手段５０−３によってコンテンツ表示者はコンテンツを鑑賞できる。コンテンツが蓄積媒体として配布された場合には、蓄積媒体からPLUS3Dファイルを読み込んで同様に処理する（図２４、図２６）。
【００６１】
一方、方法Ｂにおいては、コンテンツ提供者のサーバ装置１０はPLUS3Dファイルexample.plus3dのみをコンテンツ表示者に送信する。コンテンツ表示者がexample.plus3dを受信すると、このファイルはコンテンツ再生手段５０−１に入力され、このコンテンツに含まれるマルチメディア情報のＵＲＬが探索される。図３ではＵＲＬは相対ＵＲＬとして記述されており、artist.3dv、logo.gif、bgm.wavがそれにあたる。次に、artist.3dv、logo.gif、bgm.wavのＵＲＬを指定した情報がコンテンツ提供者に送信される。これを受信したコンテンツ提供者のサーバ装置１０はartist.3dv、logo.gif、bgm.wavをコンテンツ表示者に送信する。すると、コンテンツを構成する全てのファイルが揃うため、方法Ａと同様の方法でプレゼンテーション手段５０−３によりコンテンツの鑑賞ができる（図２７）。コンテンツが蓄積媒体として配布された場合には、蓄積媒体からPLUS3Dファイルを読み込んで同様にアクセスと読み込みの処理をする（図２８）。
【００６２】
最後に方法Ｃについて述べる。まず、方法Ｂと同様に、コンテンツ提供者のサーバ装置１０はPLUS3Dファイルexample.plus3dをコンテンツ表示者に送信されてコンテンツ表示者はartist.3dv、logo.gif、bgm.wavをコンテンツ提供者に要求するが、これらのファイルはコンテンツの再生中の必要なときに要求される。具体的には、本実施形態例のコンテンツではartist.3dvが最初にディスプレイに表示されるため、まずartist.3dvのＵＲＬを指定した情報がコンテンツ提供者に送信され、この情報を受け取ったコンテンツ提供者がartist.3dvをコンテンツ表示者に送信する。artist.3dvをコンテンツ提供者が受信すると、example.plus3dにおいて記述されたマルチメディア統合情報に従って２次元動画像が生成され、ディスプレイに図２の（ａ）のように表示される。一方、logo.gifがディスプレイに表示され、bgm.wavが再生される時刻が近づくと、コンテンツ表示者のコンテンツ再生手段５０−１がlogo.gif、bgm.wavのＵＲＬを指定した情報を送信し、これらのファイルを要求する。コンテンツ提供者は、この情報を受信するとlogo.gifとbgm.wavを送信し、これを受信したコンテンツ提供者側ではコンテンツ再生手段５０−１がプレゼンテーション手段５０−３のディスプレイに図２の（ｂ）の通りに画像を表示させ、スピーカーにオーディオを出力させる（図２７）。コンテンツが蓄積媒体として配布された場合には、蓄積媒体からPLUS3Dファイルを読み込んで同様にアクセスと読み込みの処理をする（図２８）。
【００６３】
なお、３次元動画像データのアトリビュートにclipBeginとclipEndを記述した場合には以下のような処理が行われる。方法Ａで、このようなマルチメディア統合情報をコンテンツ表示者が受信した時には、受信する３次元動画像データのうちclipBeginとclipEndで指定される区間のみ表示する。方法ＢおよびＣでは、３次元動画像データartist.3dv全体をサーバ装置１０に要求する場合と、clipBeginとclipEndで指定される３次元動画像データのみをサーバ装置１０に要求する場合がある。後者の場合は、clipBeginとclipEndで指定される３次元動画像データのみ、あるいは３次元動画像データ全体を受信し、clipBeginとclipEndで指定される区間のみ表示する。
【００６４】
本発明ではコンテンツ表示者の作業を簡略化するために、３次元動画像自体をコンテンツ表示者に提供するという方法をとっている。これは一見冗長であるが、従来の３次元動画像技術を用いれば受信者が視点位置などをコンテンツ閲覧時に実時間で変更するなどが可能であり、冗長な部分は有効に利用されうる。
【００６５】
また、ネットワークを介してコンテンツが提供されている際にコンテンツ表示者側の通信回線の帯域が狭い場合や、コンテンツ再生手段が３次元動画像から２次元動画像を生成するプログラムを備えていない場合、コンテンツ送信時にのみ実時間でコンテンツを変換することが考えうる。この場合、コンテンツ提供者、あるいは別のサービス提供者がコンテンツ変換手段を持ち、コンテンツを構成するファイルexample.plus3d、artist,3dv、logo.gif、bgm.wavはコンテンツ表示者に届く前にコンテンツ変換手段に入力される。コンテンツ変換手段は、example.plus3dに記述された視点位置情報と視線方向情報をもとにartist.3dvから二つの２次元動画像（ファイル名をartistA.mpg、artistB.mpgとする）を生成してコンテンツ表示者に送信すると同時に、example.plus3dをartistA.mpg、artistB.mpgに対応するように変換してexample.plus3d、artistA.mpg、artistB.mpg、logo.gif、bgm.wavをコンテンツ表示者に送信する。この方法によれば、コンテンツ表示者は２次元動画像を受信して再生すればよい。また、コンテンツ変換は実時間で送信時のみに行う処理なので、コンテンツ編集を行った度にコンテンツ変換を施したPLUS3Dファイルとマルチメディア情報を作成しておく必要はない。
【００６６】
プレゼンテーション手段は、ＨＴＭＬコンテンツ表示手段からの出力とコンテンツ再生手段からの出力を表示する。しかし、プレゼンテーション手段を複数備え、ＨＴＭＬコンテンツ表示手段からの出力とコンテンツ再生手段からの出力を別々に、例えば別々のディスプレイやウィンドウで表示することも可能である。
【００６７】
なお、マルチメディア統合情報はテキストではなくバイナリ化しても良い。バイナリ化には可変長符号化や算術符号化を適用することが出来る。
【００６８】
また、本実施形態例では、１つのサーバから配信される例を示したが、マルチメディア情報は複数サーバに蓄積しておいて配信する構成も可能である。また動画像データについては、実時間でカメラから撮影された動画像を実時間で符号化して配信してもよい。
【００６９】
また、図６のようにマルチメディア統合情報とマルチメディア情報を同時に配信する構成では、マルチメディア統合情報またはマルチメディア情報の提供方法として、通信ではなく放送やＤＶＤ等の蓄積媒体による方法も可能である。更に、マルチメディア情報とマルチメディア統合情報を別々の方法で提供することも可能である。例えばマルチメディア情報を放送で提供しマルチメディア統合情報を通信で提供することも可能である。この場合には、複数のコンテンツ表示者に対して、それぞれ個別に適したレイアウトでマルチメディア情報を表示することができる。
【００７０】
本発明では、マルチメディア統合情報の編集・修正のみで、３次元動画像コンテンツをディスプレイに表示するときの見え方を設定できる。すなわち、ポイントとしてはコンテンツ提供者がコンテンツを編集するときの作業を効率化できるところにある。具体例をあげると、例えば以下のような場面で効率化をはかることができる。複数の人数でコンテンツを編集している場合（それぞれの編集者が３次元動画像データを保持しているとする）、それぞれの編集者の間で各人が編集したコンテンツのやり取りがネットワークを介して行われると思われる。このとき、送受信すればよいのはマルチメディア統合情報のみであり、編集を行って送信する都度２次元動画像を生成して圧縮符号化を施すという作業や、やりとりするデータの量の意味で効率化をはかることができる。
【００７１】
ＳＭＩＬに代表される、従来のマルチメディア統合情報を利用したコンテンツの提供方法においては、符号化された３次元動画像データを保有するコンテンツ提供者（あるいはコンテンツ編集者）が３次元動画像データから生成される２次元動画像を提供する場合、次の動作を行う。コンテンツ提供者（あるいはコンテンツ編集者）は３次元動画像データの復号化、視点位置情報と視線方向情報の指定を行い、２次元動画像を生成してそれを符号化する。コンテンツ提供者は、この符号化された２次元動画像データとマルチメディア統合情報を蓄積媒体、あるいはネットワークを介して提供する。すなわち、コンテンツが提供される前に視点位置と視線方向を変更するということを行うとすると、その都度２次元動画像を符号化することになる。一方、本発明では、事前に保有していた３次元動画像データとマルチメディア統合情報を提供すればよく、前記の従来技術の動作に含まれていた２次元動画像を符号化するという動作がなくなり、コンテンツ提供者（あるいはコンテンツ編集者）の作業量を削減できる。
【００７２】
また、図６を用いて説明した実施形態例に関し、従来の方法ではコンテンツ編集者Ａはコンテンツ編集者Ｂにマルチメディア統合情報と２次元動画像データを送信しなければならなかった。一般的には二人以上のコンテンツ編集者の各々が編集したコンテンツを幾度も送受信し合うことが考えられるため、そのたびに各々のコンテンツ編集者は２次元動画像を符号化して送信する必要があった。一方、本発明によればコンテンツ編集者はマルチメディア統合情報のみを送受信すればよいので、各々のコンテンツ編集者が２次元動画像を符号化して送信するという動作を必要としない。
【００７３】
なお、図１、図６〜図８で示したコンテンツの提供装置やコンテンツの表示端末における各部の一部もしくは全部の機能をコンピュータのプログラムで構成し、そのプログラムをコンピュータを用いて実行して本発明を実現することができること、あるいは、図１１〜図３０で示したコンテンツの提供方法やコンテンツの表示方法における処理手順をコンピュータのプログラムで構成し、そのプログラムをコンピュータに実行させることができることは言うまでもなく、コンピュータでその機能を実現するためのプログラム、あるいは、コンピュータにその処理手順を実行させるためのプログラムを、そのコンピュータが読み取り可能な記録媒体、例えば、ＦＤ（フロッピーディスク（登録商標））や、ＭＯ、ＲＯＭ、メモリカード、ＣＤ、ＤＶＤ、リムーバブルディスクなどに記録して、保存したり、配布したりすることが可能である。また、上記のプログラムをインターネットや電子メールなど、ネットワークを通して提供することも可能である。
【００７４】
【発明の効果】
本発明によればマルチメディア統合情報を３次元動画像データと共に提供することが可能となるため、コンテンツ提供者は、３次元動画像データから２次元動画像を生成する際の視点位置や視線方向の修正で、マルチメディア統合情報の編集を行えばよく、２次元動画像を生成し３次元動画像データを再符号化する作業は必要ない。従って、コンテンツ提供者が３次元動画像データを編集する際の作業の効率化を図ることができる。
【図面の簡単な説明】
【図１】コンテンツ編集時の構成Ａにおけるコンテンツ提供者の構成を示す図である。
【図２】（ａ），（ｂ）は、ディスプレイにおいてのコンテンツ表示例を示す図である。
【図３】ＳＭＩＬファイルの記述例を示す図である。
【図４】視点位置と視線方向情報の一定義例における概念図である。
【図５】ＳＭＩＬファイルの他の記述例を示す図である。
【図６】コンテンツ編集時の構成Ｂにおけるコンテンツ提供者の構成を示す図である。
【図７】コンテンツ提供者がコンテンツをコンテンツ表示者に提供する際の一方法（方法Ａ）においての全体構成図である。
【図８】コンテンツ提供者がコンテンツをコンテンツ表示者に提供する際の一方法（方法Ｂ，Ｃ）においての全体構成図である。
【図９】コンテンツ表示者のディスプレイに表示されるＨＴＭＬコンテンツの一例を示す図である。
【図１０】本発明の通信によるコンテンツ提供方法の基本的な実施形態例を示すフローチャートである。
【図１１】本発明の蓄積媒体によるコンテンツ提供方法の基本的な実施形態例を示すフローチャートである。
【図１２】本発明の通信によるコンテンツ提供方法の具体的な実施形態例を示すフローチャートである。
【図１３】本発明の蓄積媒体によるコンテンツ提供方法の具体的な実施形態例を示すフローチャートである。
【図１４】図１２、図１３の２次元動画像の生成、表示過程の詳細手順を示すフローチャートである。
【図１５】本発明の通信によるコンテンツ提供方法で表示位置情報を追加した場合の基本的な実施形態例を示すフローチャートである。
【図１６】本発明の蓄積媒体によるコンテンツ提供方法で表示位置情報を追加した場合の基本的な実施形態例を示すフローチャートである。
【図１７】本発明の通信によるコンテンツ提供方法で表示位置情報を追加した場合の具体的な実施形態例を示すフローチャートである。
【図１８】本発明の蓄積媒体によるコンテンツ提供方法で表示位置情報を追加した場合の具体的な実施形態例を示すフローチャートである。
【図１９】図１７、図１８の２次元動画像の生成、表示過程の詳細手順（オプション１）を示すフローチャートである。
【図２０】図１９の２次元動画像の生成、表示過程の詳細手順を示すフローチャートである。
【図２１】図１７、図１８の２次元動画像の生成、表示過程の詳細手順（オプション２）を示すフローチャートである。
【図２２】図２１の２次元動画像の生成、表示過程の詳細手順を示すフローチャートである。
【図２３】本発明の通信によるコンテンツ表示方法Ａの実施形態例を示すフローチャートである。
【図２４】本発明の蓄積媒体によるコンテンツ表示方法Ａの実施形態例を示すフローチャートである。
【図２５】本発明の通信によるコンテンツ表示方法Ａで表示位置情報を追加した場合の実施形態例を示すフローチャートである。
【図２６】本発明の蓄積媒体によるコンテンツ表示方法Ａで表示位置情報を追加した場合の実施形態例を示すフローチャートである。
【図２７】本発明の通信によるコンテンツ提供方法Ｂ，Ｃの実施形態例を示すフローチャートである。
【図２８】本発明の蓄積媒体によるコンテンツ提供方法でＢ，Ｃで表示位置情報を追加した場合の実施形態例を示すフローチャートである。
【図２９】図２５、図２６の２次元動画像の生成、表示過程の詳細手順を示すフローチャートである。
【図３０】図２７、図２８の２次元動画像の生成、表示過程の詳細手順を示すフローチャートである。
【符号の説明】
１０…コンテンツ提供者のサーバ装置
１０−１…マルチメディア情報記憶手段
１０−２…マルチメディア統合情報記憶手段
１０−３…ＨＴＭＬ文書記憶手段
２０…コンテンツ提供者の端末
２０−１…マルチメディア統合情報編集手段
２０−２…コンテンツ再生手段
２０−３…プレゼンテーション手段
３０…コンテンツ編集者Ａの端末
３０−１…マルチメディア統合情報編集手段
３０−２…コンテンツ再生手段
３０−３…プレゼンテーション手段
３０−４…マルチメディア統合情報記憶手段
４０…コンテンツ編集者Ｂの端末
４０−１…マルチメディア統合情報編集手段
４０−２…コンテンツ再生手段
４０−３…プレゼンテーション手段
４０−４…マルチメディア統合情報記憶手段
５０…コンテンツ表示者の端末
５０−１…コンテンツ再生手段
５０−２…ＨＴＭＬコンテンツ表示手段
５０−３…プレゼンテーション手段
Claims (16)
- ３次元動画像データを有するコンテンツ提供者の編集用端末で、３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中で、どれに該当するかを表す３次元動画像フォーマット情報を指定し、３次元動画像データを２次元投影面に投影するために利用される視点位置情報を指定し、３次元動画像データを２次元投影面に投影するために利用される視線方向情報を指定し、３次元動画像フォーマット情報，視点位置情報，視線方向情報を含むマルチメディア統合情報を編集する手順と、
コンテンツ提供者のサーバ装置が、該３次元動画像データと共に該編集されたマルチメディア統合情報をコンテンツ表示者の端末に提供する手順とを有する
ことを特徴とする３次元動画像データの提供方法。 - マルチメディア統合情報を編集する手順では、
マルチメディア統合情報として、３次元動画像データを２次元投影面に投影し表示する表示開始時刻情報または表示位置情報を指定する
ことを特徴とする請求項１に記載の３次元動画像データの提供方法。 - マルチメディア統合情報を編集する手順では、
同一３次元動画像データに対して、複数のマルチメディア統合情報によって複数の視点位置情報と視線方向情報を指定する
ことを特徴とする請求項１または請求項２に記載の３次元動画像データの提供方法。 - マルチメディア統合情報を編集する手順では、
マルチメディア統合情報として、表示開始時刻と表示開始時刻における視点位置情報と視線方向情報と、終了時刻と終了時刻における視点位置情報と視線方向情報と、表示開始時刻と終了時刻の間の任意の時刻における視点位置情報と視線方向情報を求める補間方法を指定する
ことを特徴とする請求項１から請求項３のいずれかに記載の３次元動画像データの提供方法。 - マルチメディア統合情報をコンテンツ表示者の端末に提供する手順では、
コンテンツ提供者のサーバ装置が、３次元動画像データを指定するＩＤ情報を有するマルチメディア統合情報をコンテンツ表示者の端末に通信手段で送信するかまたは蓄積媒体で配布するかして提供する手順と、
該コンテンツ表示者の端末が、該ＩＤ情報に対応した３次元動画像データを該コンテンツ提供者のサーバ装置に通信手段で要求するかまたは該蓄積媒体にアクセスした場合、コンテンツ提供者のサーバ装置が、該要求されたＩＤ情報に対応した３次元動画像データを送信するかまたは該アクセスされた蓄積媒体が提供する手順とを有する
ことを特徴とする請求項１から請求項４のいずれかに記載の３次元動画像データの提供方法。 - コンテンツ表示者の端末が、
３次元動画像データと、該３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中で、どれに該当するかを表す３次元動画像フォーマット情報および３次元動画像データを２次元投影面に投影するために利用される視点位置情報，視線方向情報を含むマルチメディア統合情報とを、コンテンツ提供者のサーバ装置またはコンテンツ提供者から提供された蓄積媒体から取得する手順と、
該マルチメディア統合情報で指定される３次元動画像フォーマット情報に基づいて３次元動画像データを復号する手順と、
該復号された３次元動画像データから該マルチメディア統合情報で指定される視点位置情報と視線方向情報または視点位置情報と視線方向情報と表示開始時刻情報もしくは表示位置情報に基づいて２次元動画像を生成する手順と、
該生成された２次元動画像をディスプレイに表示する手順とを有する
ことを特徴とする３次元動画像データの表示方法。 - コンテンツ表示者の端末が、
３次元動画像データと、該３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中で、どれに該当するかを表す３次元動画像フォーマット情報および３次元動画像データを２次元投影面に投影するために利用される視点位置情報，視線方向情報を含むマルチメディア統合情報とを、コンテンツ提供者のサーバ装置またはコンテンツ提供者から提供された蓄積媒体から取得する手順と、
該マルチメディア統合情報で指定される３次元動画像フォーマット情報に基づいて３次元動画像データを復号する手順と、
該マルチメディア統合情報で指定される表示開始時刻と終了時刻、それらの時刻における視点位置情報と視線方向情報、および補間方法情報に基づいて、視点位置情報と視線方向情報の補間値を求める手順と、
該復号された３次元動画像データから該視点位置情報と視線方向情報とその補間値に基づいて２次元動画像を生成する手順と、
該生成された２次元動画像をディスプレイに表示する手順とを有する
ことを特徴とする３次元動画像データの表示方法。 - マルチメディア統合情報と３次元動画像データを取得する手順では、
コンテンツ提供者のサーバ装置から、３次元動画像データを指定するＩＤ情報を有するマルチメディア統合情報を通信手段で受信するかまたは蓄積媒体で提供を受けるかして取得する手順と、
該ＩＤ情報に対応した３次元動画像データを該コンテンツ提供者のサーバ装置に通信手段で要求するかまたは該蓄積媒体にアクセスする手順と、
コンテンツ提供者のサーバ装置から、該要求したＩＤ情報に対応した３次元動画像データを受信して取得するかまたは該アクセスした蓄積媒体から取得する手順とを有する
ことを特徴とする請求項６または請求項７に記載の３次元動画像データの表示方法。 - マルチメディア情報、およびこのマルチメディア情報に関する３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中でどれに該当するかを表す３次元動画像フォーマット情報を指定し、３次元動画像データを２次元投影面に投影するために利用される視点位置情報を指定し、３次元動画像データを２次元投影面に投影するために利用される視線方向情報を指定し、３次元動画像フォーマット情報，視点位置情報，視線方向情報を含むマルチメディア統合情報を記憶し、表示者の端末に提供するサーバ装置と、
該マルチメディア情報に関するマルチメディア統合情報を編集する編集手段、および該編集されたマルチメディア統合情報に基づいて該マルチメディア情報を生成し表示する再生、表示手段を有する編集用端末とを備える
ことを特徴とする３次元動画像データの提供システム。 - ３次元動画像データと、該３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中で、どれに該当するかを表す３次元動画像フォーマット情報および３次元動画像データを２次元投影面に投影するために利用される視点位置情報，視線方向情報を含むマルチメディア統合情報とを、コンテンツ提供者のサーバ装置から取得し、該マルチメディア統合情報で指定される３次元動画像フォーマット情報と視点位置情報と視線方向情報または３次元動画像フォーマット情報と視点位置情報と視線方向情報と表示開始時刻情報もしくは表示位置情報とを取得し、該３次元動画像フォーマット情報に基づいて３次元動画像データを復号し、該視点位置情報と視線方向情報または該視点位置情報と視線方向情報と表示開始時刻情報もしくは表示位置情報に基づいて２次元動画像を生成する再生手段と、
該生成された２次元動画像をディスプレイに表示するプレゼンテーション手段とを備える
ことを特徴とする３次元動画像データの表示端末。 - ３次元動画像データと、該３次元動画像データが多視点動画像、全方位動画像、あるいはその他の３次元動画像フォーマットの中で、どれに該当するかを表す ３次元動画像フォーマット情報および３次元動画像データを２次元投影面に投影するために利用される視点位置，情報視線方向情報を含むマルチメディア統合情報とを、コンテンツ提供者のサーバ装置から取得し、該マルチメディア統合情報で指定される該３次元動画像フォーマット情報、表示開始時刻と終了時刻、それらの時刻における視点位置情報と視線方向情報、および補間方法情報を取得し、該３次元動画像フォーマット情報に基づいて３次元動画像データを復号し、該表示開始時刻と終了時刻、それらの時刻における視点位置情報と視線方向情報、および補間方法情報に基づいて視点位置情報と視線方向情報の補間値を求め、該視点位置情報と視線方向情報の補間値に基づいて２次元動画像を生成する再生手段と、
該生成された２次元動画像をディスプレイに表示するプレゼンテーション手段とを備える
ことを特徴とする３次元動画像データの表示端末。 - ２次元動画像を生成する再生手段が、
マルチメディア統合情報と３次元動画像データを取得するのに際して、コンテンツ提供者のサーバ装置から、３次元動画像データを指定するＩＤ情報を有するマルチメディア統合情報を通信手段で受信するかまたは蓄積媒体で提供を受けるかして取得し、該ＩＤ情報に対応した３次元動画像データを該コンテンツ提供者のサーバ装置に通信手段で要求するかまたは該蓄積媒体にアクセスし、コンテンツ提供者のサーバ装置から、該要求したＩＤ情報に対応した３次元動画像データを受信して取得するかまたは該アクセスした蓄積媒体から取得するものである
ことを特徴とする請求項１０または請求項１１に記載の３次元動画像データの表示端末。 - 請求項１から請求項５のいずれかに記載の３次元動画像データの提供方法における手順を、コンピュータに実行させるためのプログラムとした
ことを特徴とする３次元動画像データの提供方法の実行プログラム。 - 請求項６から請求項８のいずれかに記載の３次元動画像データの表示方法における手順を、コンピュータに実行させるためのプログラムとした
ことを特徴とする３次元動画像データの表示方法の実行プログラム。 - 請求項１から請求項５のいずれかに記載の３次元動画像データの提供方法における手順を、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする３次元動画像データの提供方法の実行プログラムを記録した記録媒体。 - 請求項６から請求項８のいずれかに記載の３次元動画像データの表示方法における手順を、コンピュータに実行させるためのプログラムとし、
該プログラムを、該コンピュータが読み取りできる記録媒体に記録した
ことを特徴とする３次元動画像データの表示方法の実行プログラムを記録した記録媒体。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002120310A JP4017436B2 (ja) | 2002-04-23 | 2002-04-23 | ３次元動画像データの提供方法とその表示方法、該提供システムと該表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| JP2002120310A JP4017436B2 (ja) | 2002-04-23 | 2002-04-23 | ３次元動画像データの提供方法とその表示方法、該提供システムと該表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| JP2003317110A JP2003317110A (ja) | 2003-11-07 |
| JP4017436B2 true JP4017436B2 (ja) | 2007-12-05 |
Family
ID=29536571
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| JP2002120310A Expired - Fee Related JP4017436B2 (ja) | 2002-04-23 | 2002-04-23 | ３次元動画像データの提供方法とその表示方法、該提供システムと該表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体 |
Country Status (1)
| Country | Link |
|---|---|
| JP (1) | JP4017436B2 (ja) |
Families Citing this family (4)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| JP5544253B2 (ja) * | 2010-09-13 | 2014-07-09 | 株式会社ソニー・コンピュータエンタテインメント | 画像処理装置、画像処理方法、および動画像ファイルのデータ構造 |
| EP3334161B1 (en) | 2010-09-13 | 2019-08-21 | Sony Interactive Entertainment Inc. | Image processing device, image processing method, and data structure of moving image file |
| CN103002407B (zh) * | 2011-09-14 | 2018-01-16 | 中兴通讯股份有限公司 | 一种在彩信中传输3d图片的方法及系统 |
| JP5567108B2 (ja) * | 2012-12-11 | 2014-08-06 | 株式会社東芝 | 映像出力制御装置及び映像出力制御方法 |
-
2002
- 2002-04-23 JP JP2002120310A patent/JP4017436B2/ja not_active Expired - Fee Related
Also Published As
| Publication number | Publication date |
|---|---|
| JP2003317110A (ja) | 2003-11-07 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US11917221B2 (en) | Encoding device and method, reproduction device and method, and program | |
| US20200389640A1 (en) | Method and device for transmitting 360-degree video by using metadata related to hotspot and roi | |
| JP5022443B2 (ja) | 立体映像コンテンツ再生に利用されるメタデータの復号化方法 | |
| JP2022133439A (ja) | メディアコンテンツを送信するための方法、装置及びコンピュータプログラム | |
| KR20190008325A (ko) | 가상 현실 미디어 콘텐트의 적응적 스트리밍을 위한 방법, 디바이스, 및 컴퓨터 프로그램 | |
| CN116233493B (zh) | 沉浸媒体的数据处理方法、装置、设备及可读存储介质 | |
| JP2005513831A (ja) | 多数の異種装置に配信するためのマルチメディアデータの変換 | |
| CN107851425B (zh) | 信息处理设备、信息处理方法和程序 | |
| US20130282715A1 (en) | Method and apparatus of providing media file for augmented reality service | |
| CN114556962A (zh) | 多视点视频处理方法和装置 | |
| EP3777184A2 (en) | A method, an apparatus and a computer program product for virtual reality | |
| TW202133610A (zh) | 基於網路之媒體處理應用中利用軌道推導產生新軌道之方法和裝置 | |
| US20220303641A1 (en) | Information processing device and information processing method | |
| CN114930869A (zh) | 用于视频编码和视频解码的方法、装置和计算机程序产品 | |
| JP4017436B2 (ja) | ３次元動画像データの提供方法とその表示方法、該提供システムと該表示端末、該方法の実行プログラム、および該方法の実行プログラムを記録した記録媒体 | |
| US20200204785A1 (en) | Method for transmitting 360-degree video, method for receiving 360-degree video, device for transmitting 360-degree video, and device for receiving 360-degree video | |
| JP7218105B2 (ja) | ファイル生成装置、ファイル生成方法、処理装置、処理方法、及びプログラム | |
| US8117241B2 (en) | Method and apparatus for generating media-exchangeable multimedia data and method and apparatus for reconstructing media-exchangeable multimedia data | |
| Jamil et al. | Overview of jpeg snack: A novel international standard for the snack culture | |
| TW201939964A (zh) | 資訊處理裝置及方法 | |
| HK40064620B (en) | Data processing method, apparatus, device and readable storage medium for immersive media | |
| VRT et al. | First Version of Playout Clients | |
| HK40092358A (zh) | 点云媒体的编解码方法及相关产品 | |
| HK40064620A (en) | Data processing method, apparatus, device and readable storage medium for immersive media | |
| JP2006189936A (ja) | 出版物発行配信システム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| A621 | Written request for application examination |
Free format text: JAPANESE INTERMEDIATE CODE: A621 Effective date: 20040907 |
|
| A977 | Report on retrieval |
Free format text: JAPANESE INTERMEDIATE CODE: A971007 Effective date: 20070205 |
|
| A131 | Notification of reasons for refusal |
Free format text: JAPANESE INTERMEDIATE CODE: A131 Effective date: 20070227 |
|
| A521 | Written amendment |
Free format text: JAPANESE INTERMEDIATE CODE: A523 Effective date: 20070501 |
|
| TRDD | Decision of grant or rejection written | ||
| A01 | Written decision to grant a patent or to grant a registration (utility model) |
Free format text: JAPANESE INTERMEDIATE CODE: A01 Effective date: 20070911 |
|
| A61 | First payment of annual fees (during grant procedure) |
Free format text: JAPANESE INTERMEDIATE CODE: A61 Effective date: 20070918 |
|
| R150 | Certificate of patent or registration of utility model |
Free format text: JAPANESE INTERMEDIATE CODE: R150 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20100928 Year of fee payment: 3 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20110928 Year of fee payment: 4 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20120928 Year of fee payment: 5 |
|
| FPAY | Renewal fee payment (event date is renewal date of database) |
Free format text: PAYMENT UNTIL: 20130928 Year of fee payment: 6 |
|
| S531 | Written request for registration of change of domicile |
Free format text: JAPANESE INTERMEDIATE CODE: R313531 |
|
| R350 | Written notification of registration of transfer |
Free format text: JAPANESE INTERMEDIATE CODE: R350 |
|
| LAPS | Cancellation because of no payment of annual fees |