JP2004178496A - マルチメディアファイルのデータ構造、ファイル配信方法、ファイル配信装置およびプログラム - Google Patents

Abstract

【課題】動画データ、音声データ、テキストデータ等を混在したマルチメディアコンテンツファイルに対して、当該ファイルを代表する静止画等の代表コンテンツを作成する際に、該代表コンテンツを指定するための代表コンテンツ指定情報の管理を容易にする。
【解決手段】チャンク２２０にはテキストデータオブジェクトが、チャンク２４０には音声データオブジェクトが、チャンク２５０には画像データオブジェクトが、各々記憶されており、これらオブジェクトの再生が逐次開始されることにより、マルチメディアファイルが再生される。さらに、チャンク２２０には、これらオブジェクトの中から、当該マルチメディアコンテンツを代表するオブジェクトを指定する代表コンテンツ指定情報が含まれている。これにより、マルチメディアファイルと代表コンテンツ指定情報とを一体のファイルとして扱うことができる。
【選択図】 図３

Description

【０００１】
【発明の属する技術分野】
本発明は、マルチメディアファイルの配信およびデータ管理に用いて好適なマルチメディアファイルのデータ構造、ファイル配信方法、ファイル配信装置およびプログラムに関する。
【０００２】
【従来の技術】
携帯電話機その他携帯端末においては、動画データ、音声データ、テキストデータ等を混在したマルチメディアコンテンツがやりとりされている。その際、携帯電話機等の機種によっては、当該マルチメディアコンテンツを再生できないものものも存在する。かかる場合には、送信元のユーザにおいては、マルチメディアコンテンツを受信側において対応可能な静止画等のコンテンツに変換する作業が必要であった。
【０００３】
なお、動画またはマルチメディアコンテンツ等の検索システムにおいて、コンテンツの概要を簡単に把握できるように、コンテンツ内の代表的なシーンにおける静止画像（以下、「代表画像」という）やその出現時刻等の情報を抽出しておき、検索システム等に記録しておく技術が特許文献１，２等に開示されている。
【０００４】
【特許文献１】特開平１１−２３２１８６号公報
【特許文献２】特開平７−２３３２２号公報
【０００５】
【発明が解決しようとする課題】
しかし、受信側の機種において対応可能なコンテンツの形式は個々に異なるため、マルチメディアコンテンツの送信側のユーザが、受信側の機種に応じてコンテンツの変換を行うことはきわめて煩雑であった。この発明は上述した事情に鑑みてなされたものであり、代表画像等の情報を容易に管理することができるマルチメディアファイルのデータ構造、ファイル配信方法、ファイル配信装置およびプログラムを提供することを目的としている。
【０００６】
【課題を解決するための手段】
上記課題を解決するため本発明にあっては、下記構成を具備することを特徴とする。なお、括弧内は例示である。
請求項１記載のマルチメディアファイルのデータ構造にあっては、各々に再生開始タイミングが指定されマルチメディアコンテンツを構成する複数のオブジェクト（１０２〜１１０）と、これら複数のオブジェクトのうち任意のオブジェクトを前記マルチメディアコンテンツを代表するオブジェクトとして指定する代表コンテンツ指定情報とを一のファイルに格納して成ることを特徴とする。
また、請求項２記載のマルチメディアファイルのデータ構造にあっては、各々に再生開始タイミングが指定されマルチメディアコンテンツを構成するとともに表示対象になる複数のオブジェクト（１０２〜１０８）と、一または複数のタイミングを前記マルチメディアコンテンツを代表する表示内容が現れるタイミングとして指定する代表コンテンツ指定情報とを一のファイルに格納して成ることを特徴とする。
また、請求項３記載のファイル配信方法にあっては、各々に再生開始タイミングが指定されマルチメディアコンテンツを構成する複数のオブジェクト（１０２〜１１０）と、これら複数のオブジェクトのうち任意のオブジェクトを前記マルチメディアコンテンツを代表するオブジェクトとして指定する第１の代表コンテンツ指定情報、あるいは、一または複数のタイミングを前記マルチメディアコンテンツを代表する表示内容が現れるタイミングとして指定する第２の代表コンテンツ指定情報のうち少なくとも一方の代表コンテンツ指定情報とを記憶装置（２２）に記憶する記憶過程（ＳＰ２）と、外部装置（４，６）から前記マルチメディアコンテンツに対するダウンロード要求を受信する要求受信過程と、前記外部装置（４，６）は前記マルチメディアコンテンツの再生が可能であるか否かを判定する判定過程（ＳＰ２４）と、前記判定過程における判定結果が否定的であったことを条件として、前記代表コンテンツ指定情報に基づいて、前記マルチメディアコンテンツを前記外部装置によって再生可能な代表コンテンツファイルに変換する変換過程と、前記外部装置（４，６）に対して、前記変換過程が実行された場合には前記代表コンテンツファイルを送信する一方、前記変換過程が実行されなかった場合には前記マルチメディアコンテンツを構成するファイルを送信する送信過程とを有することを特徴とする。
さらに、請求項４記載の構成にあっては、請求項３記載のファイル配信方法において、前記送信過程において送信されるファイルは、前記マルチメディアコンテンツと前記代表コンテンツ指定情報とを一のファイルに格納して成るマルチメディアファイルであることを特徴とする。
また、請求項５記載のファイル配信装置にあっては、請求項３または４に記載のファイル配信方法を実行することを特徴とする。
また、請求項６記載のプログラムにあっては、請求項３または４に記載のファイル配信方法を実行することを特徴とする。
【０００７】
【発明の実施の形態】
１．実施形態の構成
次に、本発明の一実施形態のコンテンツ変換システムの全体構成を図１を参照し説明する。
図において２，４，６は携帯電話機であり、通信網８を介して相互に通話およびファイルの送受信が可能になっている。ここで、携帯電話機２，４は後述するマルチメディアファイルの再生が可能な機種であるが、携帯電話機６は当該マルチメディアファイルには対応していない機種であるとする。１０はサーバであり、これら携帯電話機２，４，６間でファイルの送受信が行われる際に、当該ファイルを一時的に記憶し、必要に応じてファイル形式を変換する等の処理を行う。
【０００８】
サーバ１０の内部において１２は送受信部であり、通信網８との間で各種ファイルその他情報の送受信を行う。１４はＣＰＵであり、後述するプログラムに基づいて、バス２０を介して他の構成要素を制御する。１８はＲＯＭであり、イニシャルプログラムローダ等が記憶されている。１６はＲＡＭであり、ＣＰＵ１４のワークメモリとして用いられる。２２はハードディスクであり、各携帯電話機に関する情報を記憶する端末情報データベース２４と、必要に応じて各携帯電話機に送信するファイルのファイル形式を変換するプログラムである変換エンジン２６と、その他各種のプログラムおよびデータとが記憶されている。ここで、端末情報データベース２４には、各携帯電話機２，４，６等の識別番号と、これら携帯電話機が対応可能なファイル形式とが対応付けて記憶されている。
【０００９】
２．実施形態のデータ構造
次に、本実施形態において採用されるマルチメディアファイルのデータフォーマットを図３（ａ），（ｂ）を参照し説明する。なお、本データフォーマットは本出願人が提案しているＳＭＡＦ（商標）方式に基づくものである。また、本明細書において「マルチメディアコンテンツ」とは画像データ、音声データ、テキストデータ、演奏データ等、複数種類のコンテンツから構成されたものをいい、マルチメディアコンテンツを構成するコンテンツが一のファイルに格納されているか否かは問わない。一方、「マルチメディアファイル」とは、マルチメディアコンテンツを一のファイルに格納して成るものをいう。
【００１０】
まず、図３（ａ）にマルチメディアファイルの全体構造を示す。図において２１０はインフォ・チャンクであり、コンテンツのタイプ（着信メロディ、カラオケ系、ＣＭ系）、文字情報の言語・文字コード体系等が記憶される。２２０はオプショナル・データ・チャンクであり、ディスプレイ等に表示する文字列（テキストデータオブジェクト）を記憶するとともに、代表画像等を特定する情報（代表コンテンツ指定情報，詳細は後述する）が記憶される。また、２３０，……，２３０は一または複数のスコア・トラック・チャンクであり、楽曲の演奏情報（ＭＩＤＩ）を各々が格納する。また、２４０，……，２４０は一または複数のＰＣＭオーディオ・トラック・チャンクである。一のＰＣＭオーディオ・トラック・チャンク２４０には、複数の波形データ（音声データオブジェクト）と、これら波形データを再生するタイミングを規定するシーケンス情報とから構成される。
【００１１】
また、２５０，……，２５０は一または複数のグラフィック・トラック・チャンクであり、表示デバイスに対する描画シーケンスを格納する。ここで、「描画シーケンス」とは、例えば、「指定された画像データオブジェクト（ビットマップイメージ）を画面上の指定位置に描画する」、「指定された画像データオブジェクトを画面上から消去する」等の一連のコマンドから成るものである。従って、描画位置を変更しつつオブジェクトの「描画」と「消去」を繰り返すことによって動画像を表現することも可能である。２６０はマスタ・トラック・チャンクであり、楽曲全体の調性、拍子、テンポ等の情報や、マルチメディアファイルの再生系自体を制御するイベント（例えばポーズやジャンプ等）を格納する。これら各チャンク２１０〜２６０により、ファイルチャンク２００が構成されている。なお、「ファイルチャンク」は「マルチメディアファイルそのもの」の意味に等しい。
【００１２】
次に、上述した各チャンク２００〜２６０のデータ構造を図３（ｂ）を参照し説明する。図においてチャンク３００（チャンク３００は、上記チャンク２００〜２６０のうち何れかである）の先頭部分には、固定長（８バイト）のチャンクヘッダ３１０が設けられる。このチャンクヘッダ３１０には、一意のチャンクＩＤと、当該チャンクのデータサイズとが記録される。
【００１３】
また、３２０はボディ部であり、当該チャンク３００に係るデータ本体が格納される。３３０はＣＲＣ部であり、チャンクヘッダ３１０およびボディ部３２０内のデータ列に対して所定のＣＲＣ生成多項式を施した演算結果が記憶される。なお、このＣＲＣ部３３０は、ファイルチャンク２００に対してのみ設けられるものであり、該ファイルチャンク２００が破壊されているか否かをチェックするために設けられているものである。
【００１４】
３．実施形態の動作
３．１．アップロード処理
次に、本実施形態の動作について説明する。ここでは、一例として、携帯電話機４，６を送信先として、携帯電話機２からマルチメディアファイル３０（図１参照）がアップロードされた場合の動作を説明する。かかる場合は、携帯電話機２から通信網８を介してサーバ１０に対してアップロード要求が送信される。このアップロード要求が受信されると、サーバ１０においては図２（ａ）に示すアップロード要求受信ルーチンが起動される。図において処理がステップＳＰ２に進むと、携帯電話機２から通信網８を介して当該マルチメディアファイルが受信されるとともに、当該ファイルがハードディスク２２に記憶される。次に、処理がステップＳＰ４に進むと、送信先である携帯電話機４，６に対して、ファイルのアップロードがあった旨が通知される。これにより、アップロード要求に対する処理が終了する。
【００１５】
３．２．ダウンロード処理
マルチメディアファイルがアップロードされた後、携帯電話機４，６のユーザはサーバ１０に対してファイルのダウンロードを随時要求することができる。ここで、携帯電話機４，６の何れかからダウンロード要求を受信すると、サーバ１０においては図２（ｂ）に示すダウンロード要求受信ルーチンが起動される。図において処理がステップＳＰ２２に進むと、通信網８を介して、ダウンロード要求元の携帯電話機に係る端末情報が取得される。次に、処理がステップＳＰ２４に進むと、端末情報データベース２４が参照され、取得された端末情報に係る携帯電話機はアップロードされたマルチメディアファイルを再生可能であるか否かが判定される。
【００１６】
例えばダウンロード要求を行った端末が携帯電話機４であれば、ここで「ＹＥＳ」と判定され、処理はステップＳＰ２８に進む。ここでは、当該マルチメディアファイルがそのままダウンロード要求元の携帯電話機４に送信される。一方、ダウンロード要求を行った端末が携帯電話機６等、マルチメディアファイルに対応していない端末であれば、ステップＳＰ２４においては「ＮＯ」と判定され、処理はステップＳＰ２６に進む。ステップＳＰ２６においては、変換エンジン２６が起動され、当該マルチメディアファイルが、一または複数の代表コンテンツファイル３２に変換される。
【００１７】
ここで、「代表コンテンツ」とは、マルチメディアファイルに含まれる動画像の一シーンである静止画像、該動画像にスーパーインポーズされるテキストデータ、該動画像に同期して再生される音声データ等、要求元端末において再生可能なコンテンツであってマルチメディアコンテンツに基づいて生成されうるコンテンツをいう。なお、代表コンテンツファイルの生成方法については後述する。次に、処理がステップＳＰ２８に進むと、生成された代表コンテンツが要求元の携帯電話機に送信される。以上により、ダウンロード要求受信ルーチンの処理が終了する。
【００１８】
３．３．マルチメディアファイルの再生処理
ここで、携帯電話機４等においてマルチメディアファイルを再生する動作の概要を図４を参照し説明する。
同図において横軸はコンテンツの再生が開始された後の経過時刻であり、図中の長方形は各オブジェクトが再生される期間を示す。例えば、時刻ｔ１に音声データオブジェクト１１０の再生が開始され、この音声データの再生は時刻ｔ１０まで継続される。また、時刻ｔ２においては画像データオブジェクト（静止画）１０２の再生が開始され、時刻ｔ３においてはテキストデータオブジェクト１０８の再生が開始される。従って、かかるマルチメディアコンテンツを携帯電話機４等のディスプレイに表示すると、時刻ｔ３直後の時刻ｔ１０１においては、画像データオブジェクト１０２にテキストデータオブジェクト１０８をスーパーインポーズして成る画像が表示されることになる。
【００１９】
時刻ｔ１０１の後、時刻ｔ４においては画像データオブジェクト１０６の再生が開始され、時刻ｔ５においては画像データオブジェクト１０２の再生が終了され、時刻ｔ６においては画像データオブジェクト１０４の再生が開始される。従って、時刻ｔ６の直後の時刻ｔ１０２においては、画像データオブジェクト１０４，１０６にテキストデータオブジェクト１０８をスーパーインポーズして成る画像がディスプレイ等に表示されることになる。なお、マルチメディアコンテンツを構成するオブジェクトには、上述したもの以外に、スコア・トラック・チャンクに記録された演奏情報オブジェクト（例えばＭＩＤＩ（ＳＭＦ）方式）等を含めてもよい。
【００２０】
３．４．データ変換処理（ＳＰ２６）
次に、上記ステップＳＰ２６におけるデータ変換処理の詳細を図３を参照し説明する。まず、上述したオプショナル・データ・チャンク２２０には、一または複数の代表コンテンツを指定するための情報（代表コンテンツ指定情報）が含まれている。そして、代表コンテンツ指定情報は、大別して二種類に分類される。第１種類の情報は、何れかのオブジェクトそのものを代表コンテンツとして指定する情報である。例えば、図４の例においては、「画像データオブジェクト１０２」、「テキストデータオブジェクト１０８」、「音声データオブジェクト１１０」等がそれぞれ代表コンテンツとして指定されうる。また、第２種類の情報は、「ある時刻におけるディスプレイの表示内容」を代表コンテンツとして指定する情報である。例えば、図４の例においては、「時刻ｔ１０１の表示状態」、「時刻ｔ１０２の表示状態」等が代表コンテンツとして指定されうる。但し、実際に代表コンテンツとして指定される内容は、ダウンロード要求元の携帯電話機４の対応状況に応じて異なるため、場合を分けて説明する。
【００２１】
３．４．１．全ての代表コンテンツに対応する場合
携帯電話機４が全ての代表コンテンツに対応する場合には、上記ステップＳＰ２６においては、オプショナル・データ・チャンク２２０に含まれる代表コンテンツ指定情報が全て読み出される。そして、第１種類の情報に対しては、当該情報に係るオブジェクトを個別に格納するファイルが代表コンテンツファイルとして生成される。すなわち、代表コンテンツ指定情報によって画像データオブジェクトが指定されていればビットマップファイルが、テキストデータオブジェクトが指定されていればテキストファイルが、音声データオブジェクトが指定されていれば波形データファイルが、各々代表コンテンツファイル３２として生成されることになる。
【００２２】
また、代表コンテンツ指定情報が第２種類の情報であった場合には、指定された時刻において表示すべき画像データオブジェクトが全て抽出され、これらが合成されることによって一のビットマップファイルが作成される。図４の例においては、例えば「時刻ｔ１０２」が第２種類の情報として指定されたのであれば、その時点において表示されるべき画像データオブジェクト１０４，１０６が検索され、これらが合成されることによって代表コンテンツファイル３２であるビットマップファイルが作成されることになる。なお、ビットマップファイルを生成する際に、さらに当該時刻ｔ１０２において表示されるテキストデータオブジェクト１０８の内容を該ビットマップファイルにスーパーインポーズしてもよい。
【００２３】
３．４．２．対応可能な代表コンテンツに制約がある場合
また、携帯電話機４において対応可能な代表コンテンツに制約がある場合には、ステップＳＰ２６においては、対応可能な代表コンテンツのみについて、代表コンテンツファイル３２が生成される。例えば、携帯電話機４がテキストデータのみに対応している場合には、テキストファイルのみが生成されることになる。また、携帯電話機４は、画像データファイルを再生可能な機種であったとしても一枚のみ受信可能な場合もある。かかる場合には、画像データについては、画像データオブジェクト（または時刻）を指定する最初の代表コンテンツ指定情報に基づいた画像データファイルのみが生成されることになる。
【００２４】
また、携帯電話機４は、画像データの再生が可能であったとしても、一部のファイル形式にのみ対応する場合がある。例えば、代表コンテンツの元々の画像データオブジェクトがＪＰＥＧ形式であって携帯電話機４がＰＮＧ形式にのみ対応する場合は、ＪＰＥＧ形式からＰＮＧ形式に画像データファイルが変換されることになる。また、代表コンテンツとしてＭＩＤＩ形式で記録された演奏情報が指定された場合であって、携帯電話機４がＰＣＭデータあるいはＭＦＩ形式のデータにのみ対応する場合もある。かかる場合には、元々の演奏情報に基づいてＰＣＭデータの楽音信号が合成され、あるいは演奏情報の形式がＭＦＩ形式に変換されることになる。
【００２５】
以上のように本実施形態によれば、ダウンロード要求元の携帯電話機等の機種に応じて、対応可能な代表コンテンツが自動的に生成される。さらに、本実施形態によれば、マルチメディアファイル内のオプショナル・データ・チャンク２２０に一または複数の代表コンテンツ指定情報を含めたため、マルチメディアコンテンツと代表コンテンツとを一体化することができ、代表画像その他代表コンテンツの管理をきわめて容易にすることができる。また、マルチメディアファイルの再生に対応している携帯電話機４のユーザは、必要に応じてオプショナル・データ・チャンク２２０の内容を書き換えることにより、代表コンテンツの内容を任意に編集することもできる。なお、上述した第１および第２種類の代表コンテンツ指定情報を混在してオプショナル・データ・チャンク２２０に記憶させてもよいことは言うまでもない。
【００２６】
４．変形例
本発明は上述した実施形態に限定されるものではなく、例えば以下のように種々の変形が可能である。
（１）上記各実施形態においては、サーバ１０上で動作するプログラムによってコンテンツデータの変換等の処理を行ったが、このアプリケーションプログラムのみをＣＤ−ＲＯＭ、フレキシブルディスク等の記録媒体に格納して頒布し、あるいは伝送路を通じて頒布することもできる。
【００２７】
（２）上記実施形態におけるマルチメディアファイルのデータフォーマットは、携帯電話機その他機器間におけるファイルの配信に用いるのみならず、例えばマルチメディアファイルの検索システム等に用いることができる。すなわち、多数のマルチメディアファイルに対して静止画像等の代表コンテンツ指定情報を指定しておくことにより、パーソナルコンピュータ上において代表コンテンツの一覧を作成する等の処理を行うことができる。これにより、ユーザは、多数のマルチメディアファイルの概要を一見して把握することができ、必要なマルチメディアファイルを迅速に検索することが可能になる。
【００２８】
（３）上記実施形態においては、代表コンテンツ指定情報をマルチメディアファイル内に記憶させたが、マルチメディアコンテンツと代表コンテンツ指定情報とは必ずしも同一のファイルに纏められる必要はなく、両者を別のファイルに格納してもよい。さらに、マルチメディアコンテンツ自体も必ずしも同一のファイル（マルチメディアファイル）に纏められる必要はなく、各オブジェクト毎の個別のファイルによってマルチメディアコンテンツを構成してもよい。
【００２９】
（４）上記実施形態においては、代表コンテンツを受信する側の携帯電話機側の操作によってマルチメディアコンテンツまたは代表コンテンツがダウンロードされたが、代表コンテンツ毎に異なる送信方法を適用してもよい。例えばテキストデータオブジェクトのみを電子メールとして受信側に送信するとともに、画像データオブジェクトを受信側の画面に表示するようにしてもよい。
【００３０】
【発明の効果】
以上説明したように本発明によれば、マルチメディアコンテンツを構成する複数のオブジェクトと、代表コンテンツ指定情報とを含めたから、代表コンテンツ指定情報を管理することが容易になり、必要に応じて迅速に代表コンテンツを生成することができる。
【図面の簡単な説明】
【図１】本発明の一実施形態のコンテンツ変換システムのブロック図である。
【図２】サーバ１０において実行されるプログラムのフローチャートである。
【図３】マルチメディアファイル３０のデータフォーマットを示す図である。
【図４】マルチメディアファイル３０の再生動作の説明図である。
【符号の説明】
２，４，６：携帯電話機、８：通信網、１０：サーバ、１２：送受信部、１４：ＣＰＵ、１６：ＲＡＭ、１８：ＲＯＭ、２０：バス、２２：ハードディスク、２４：端末情報データベース、２６：変換エンジン、３０：マルチメディアファイル、１０２：画像データオブジェクト、１０４，１０６：画像データオブジェクト、１０８：テキストデータオブジェクト、１１０：音声データオブジェクト、２１０：インフォ・チャンク、２２０：オプショナル・データ・チャンク、２３０，……，２３０：スコア・トラック・チャンク、２４０，……，２４０：ＰＣＭオーディオ・トラック・チャンク、２５０，……，２５０：グラフィック・トラック・チャンク。

Claims (6)

1. 各々に再生開始タイミングが指定されマルチメディアコンテンツを構成する複数のオブジェクトと、
   これら複数のオブジェクトのうち任意のオブジェクトを前記マルチメディアコンテンツを代表するオブジェクトとして指定する代表コンテンツ指定情報と
   を一のファイルに格納して成ることを特徴とするマルチメディアファイルのデータ構造。
2. 各々に再生開始タイミングが指定されマルチメディアコンテンツを構成するとともに表示対象になる複数のオブジェクトと、
   一または複数のタイミングを前記マルチメディアコンテンツを代表する表示内容が現れるタイミングとして指定する代表コンテンツ指定情報と
   を一のファイルに格納して成ることを特徴とするマルチメディアファイルのデータ構造。
3. 各々に再生開始タイミングが指定されマルチメディアコンテンツを構成する複数のオブジェクトと、これら複数のオブジェクトのうち任意のオブジェクトを前記マルチメディアコンテンツを代表するオブジェクトとして指定する第１の代表コンテンツ指定情報、あるいは、一または複数のタイミングを前記マルチメディアコンテンツを代表する表示内容が現れるタイミングとして指定する第２の代表コンテンツ指定情報のうち少なくとも一方の代表コンテンツ指定情報とを記憶装置に記憶する記憶過程と、
   外部装置から前記マルチメディアコンテンツに対するダウンロード要求を受信する要求受信過程と、
   前記外部装置は前記マルチメディアコンテンツの再生が可能であるか否かを判定する判定過程と、
   前記判定過程における判定結果が否定的であったことを条件として、前記代表コンテンツ指定情報に基づいて、前記マルチメディアコンテンツを前記外部装置によって再生可能な代表コンテンツファイルに変換する変換過程と、
   前記外部装置に対して、前記変換過程が実行された場合には前記代表コンテンツファイルを送信する一方、前記変換過程が実行されなかった場合には前記マルチメディアコンテンツを構成するファイルを送信する送信過程と
   を有することを特徴とするファイル配信方法。
4. 前記送信過程において送信されるファイルは、前記マルチメディアコンテンツと前記代表コンテンツ指定情報とを一のファイルに格納して成るマルチメディアファイルであることを特徴とする請求項３記載のファイル配信方法。
5. 請求項３または４に記載のファイル配信方法を実行することを特徴とするファイル配信装置。
6. 請求項３または４に記載のファイル配信方法を実行することを特徴とするプログラム。

Images