WO2003092303A1 - Procede de generation d'informations multimedia, et dispositif de reproduction d'informations multimedia - Google Patents

Description

明細書 マルチメディァ情報生成方法およびマルチメディァ情報再生装置 技術分野

この発明は、 3次元表示するための画像データをファイルに生成する際に画像 データに属性情報を付随させるマルチメディア情報生成方法、 そのデータを再生 するマルチメディァ情報再生装置に関するものである。 背景技術 '

従来、 3次元画像を表示する様々な方法が提案されてきた。 その中でも一般的 に用いられているのは両眼視差を利用する 「2眼式」 と呼ばれるものである。 す なわち、 両眼視差を持った左目用画像と右目用画像を用意し、 それぞれ独立に左 右の眼に投影することにより立体視を行う。

図 4 1は、 この 2眼式の代表的なものの 1つである 「時分割方式」 を説明する ための概念図である。

この時分割方式では、 図 4 1のように、 左目用画像と右目用画像が垂直 1ライ ンおきに交互にならんだ形に配置し、 左目用画像を表示するフィールドと右目用 画像を表示するフィールドを交互に切り替えて表示するものである。 左目用画像 及び右目用画像は通常の 2次元表示時に比べて垂直解像度が半分になっている。 観察者はディスプレイの切り替え周期に同期して開閉するシャッタ式のメガネを 着用する。 ここで使用するシャツタは、 左目用画像が表示されている時は左目側 が開いて右目側が閉じ、 右目用画像が表示されている時は左目側が閉じて右目側 が開く。 このようにすることにより左目用画像は左目だけで、 右目用画像は右目 だけで観察されることになり、 立体視を行うことができる。

図 4 2 Aおよび 4 2 Bは、 2眼式のもう 1つの代表的な方式である 「パララク スバリア方式」 を説明するための概念図である。

図 4 2 Aは、 視差が生じる原理を示す図である。 一方、 図 4 2 Bは、 パララク スバリア方式で表示される画面を示す図である。 図 4 2 Bに示すような左目用画像と右目用画像のペアがストライプ状に並んだ 画像を、 図 4 2 Aに示すように、 画像表示パネル 9 1に表示し、 この画像に対応 した間隔でスリットを持ついわゆるパララクスバリア 9 2をその前面に置くこと により、 左目用画像は左目 9 3だけで、 右目用画像は右目 9 4だけで観察するこ とにより立体視を行う。

ところで、 特開平 1 1一 4 1 6 2 7号公報において、 パララクスバリア方式と 同様の原理に基づくレンチキユラ方式の 3次元表示に用いる記録データ形式の一 例が開示されている。

図 4 3 Aおよび 4 3 Bは、 このような 「レンチキユラ方式」 の記録データ形式 の一例を示す概念図である。

すなわち、 図 4 3 Aに示す左目用画像 1 0 1と図 4 3 Bに示す右目用画像 1 0 2から、 それぞれを間引きして図 4 3 Cに示す 1枚の混合画像 1 0 3を作って記 録し、 再生時にはこの混合画像 1 0 3を並べ替えることにより図 4 2 Bに示した ような合成画像が作成される。

上記の 2眼式の例に限らず、 3次元画像を表示するには様々な方法があり、 一 般的に異なる表示方式間での記録データの互換性はない。

例えば、 時分割方式用に記録されたデータをそのままパララクスバリァ方式の 3次元ディスプレイに表示することはできない。 従って、 従来の 3次元表示シス テムにおいては、 最初から表示方法を固定したデータ記録が行われており、 記録 データに汎用性を持たせることは考えられていない。 例えば、 パララクスバリア 方式の 3次元ディスプレイを使うと決めたら、 そのディスプレイに表示するため のデータを記録媒体に記録するのだが、 他の方式のディスプレイに表示する可能 性などは考えられていないため、 記録データがパララクスバリァ方式のためのデ ータだという情報はファイル上に記録されない。

表示方式以外にも視点数や間引き方法など、 3次元表示に必要な情報はいろい ろあるが、 表示形式を 1つに固定してしまっているためにそれらの情報もフアイ ルには記録されない。 いつも同じ形式を使うなら、 あえてその情報を記録する必 要がないからだが、 このために記録データの汎用性が著しく損なわれている。 例 えば、 パララクスバリア方式 （あるいはレンチキユラ方式） 用のデータを記録す る場合に限っても、 左目用画像と右目用画像を別々のシーケンスとして記録する こともできるし、 図 4 3 Cのような左目用画像と右目用画像が画面半分ずつ左右 に並んだ混合画像を記録することもできるし、 図 4 2 Bのような左目用画像と右 目用画像のペアがストライプ状に並んだ合成画像を記録することもでき、 当然記 録形式が違えばその後表示するための処理方法も異なるが、 記録されたデータか らはどの形式で記録されたかを知ることができないため、 第三者がそのデータを 手にした時、 どのような処理によって表示すればよいのかがわからないという問 題がある。 発明の開示

本発明の目的は、 3次元表示のための画像データに汎用性を持たせたマルチメ ディァ情報生成方法を提供することにある。

本発明の他の目的は、 3次元表示のための画像データに汎用性を持たせたマル チメディァ情報を再生するためのマルチメディァ情報再生装置を提供することに ある。

上記目的を達成するため、 本発明のある局面に従うと、 2次元画像および Zま たは 3次元画像を複数個含むマルチメディァ情報を生成するマルチメディァ情報 生成方法であって、 マルチメディア情報に 3次元画像データが含まれる場合、 マ ルチメディァ情報は、 3次元画像の表示を制御する制御情報を含む。

この発明の他の局面に従うと、 複数のモジュールから成るマルチメディア情報 を生成するマルチメディア情報生成方法であって、 モジュールは 2次元画像およ びノまたは 3次元画像を複数個含み、 モジュールに 3次元画像データが含まれる 場合、 モジュールは、 3次元画像の表示を制御する制御情報を含む。

好ましくは、 制御情報は、 個々の 3次元画像に対応して存在する。

好ましくは、 制御情報は、 複数の 3次元画像に対応して存在する。

好ましくは、 少なくとも 2次元画像および/または 3次元画像の各々を区別す る識別子をあらかじめ設定し、 制御情報は、 3次元画像の識別子を示す識別情報 を含む。

好ましくは、 少なくとも 2次元画像および Zまたは 3次元画像の各々を区別す る識別子をあらかじめ設定し、 制御情報は、 3次元画像の識別子を示す識別情報 を含む。

好ましくは、 制御情報は、 複数の識別子を含む。

好ましくは、 識別子の所定の値は、 マルチメディア情報に含まれる画像が全て 3次元画像であることを示す。

好ましくは、 識別子の所定の値は、 モジュールに含まれる画像が全て 3次元画 像であることを示す。

したがって、 この発明によれば、 複数の 2次元画像データと 3次元画像データ が 1つのマルチメディァ情報フアイルに含まれる場合でも、 3次元画像データと 共に、 3次元画像データを表示するための 3次元画像表示制御情報をマルチメデ ィァ情報ファイルとして記録または構成するので、 3次元画像データに汎用性を 持たせ、 1種類のマルチメディァ情報ファィルで様々な 3次元表示方式に柔軟に 対応することが可能となる。

この発明のさらに他の局面に従うと、 2次元画像あるいは 3次元画像を複数個 含むマルチメディア情報を再生するマルチメディア情報再生装置であって、 2次 元画像から 3次元画像を生成する生成部と、 生成部で生成された 3次元画像と、 マルチメディア情報に含まれる 3次元画像を合成する第 1の合成部を備える。 好ましくは、 マルチメディア情報再生装置は、 複数の 2次元画像を合成する第 2の合成部をさらに備え、 生成部は、 第 2の合成部で合成された 2次元画像デー タから 3次元画像データを生成する。

したがって、 この発明によれば、 複数の 2次元画像データと 3次元画像データ が 1つのマルチメディア情報ファイルに含まれる場合でも、 マルチメディア情報 ファイル中に含まれる 3次元画像表示制御情報を解析することにより、 3次元画 像データと 2次元画像データとを表示方法に合わせて適切に変換し、 正しく表示 することが可能となる。

また、 上記目的を達成するため、 本発明の他の局面に従うと、 2次元画像およ び Zまたは 3次元画像を複数個含むマルチメディァ情報を再生するマルチメディ ァ情報再生装置であって、 マルチメディァ情報に含まれる図形および文字情報を 復号しページ画像を得るページデータ復号部と、 ページ画像を 3次元画像に変換 する 2 DZ 3 D変換部と、 2 D/ 3 D変換部で生成された 3次元画像と、 マルチ メディァ情報に含まれる 3次元画像を合成する第 1の合成部とを備える。

好ましくは、 複数の 2次元画像を合成する第 2の合成部をさらに備え、 2 D, 3 D変換部は、 第 2の合成部で合成された 2次元画像データを 3次元画像データ に変換する。

好ましくは、 文字情報に対応した第 1のフォントイメージと第 2のフォントイ メージを備え、 文字情報を 3次元表示する際に、 第 1のフォントイメージを用い、 文字情報を 2次元表示する際に第 2のフォントイメージを用いる。

好ましくは、 ページデータ復号部において、 第 1または第 2のフォントィメー ジを用いてページ画像を得る。

好ましくは、 2 D/ 3 D変換部において、 第 1または第 2のフォントイメージ を用いて 3次元画像を得る。

好ましくは、 第 1および第 2のフォントイメージを蓄積するフォントイメージ 蓄積部と、 第 1または第 2のフォントイメージを選択するスィツチとをさらに備 える。

好ましくは、 第 2のフォントイメージを第 1のフォントイメージに変換するフ オント変換部をさらに備える。

好ましくは、 第 1のフォントイメージは複数の濃淡情報から成り、 文字の太さ が見かけ上細くなるように配置されている。

したがって、 本発明のマルチメディア情報再生装置によれば、 複数の 2次元画 像データと 3次元画像データが 1つのマルチメディア情報ファイルに含まれる場 合でも、 マルチメディア情報ファイル中に含まれる 3次元画像表示制御情報を解 析することにより、 3次元画像データと 2次元画像データを表示方法に合わせて 適切に変換し、 正しく表示することが可能となる。 図面の簡単な説明

図 1 A〜 1 Cは、 本発明の実施の形態において生成されるマルチメディァ情報 フアイルの構造を示す図である。 図 1 Aは、 マルチメディァ情報ファィルの構成 を示し、 図 1 Bは、 各オブジェクトの構成を示し、 図 1 Cは、 3次元画像データ の構造の一例を示す。

図 2は、 本実施の形態における画像データ記録装置 100の構成を示すプロッ ク図である。

図 3は、 画像データ再生装置 200の構成を説明するためのブロック図である。 図 4A〜4Cは、 3次元表示制御情報 2に記述する具体的な情報を説明するた めの概念図である。 図 4 Aは、 3次元表示制御情報 2に記述する具体的な情報を 示し、 図 4Bは、 音声と左目用画像と右目用画像のストリームを示し、 図 4Cは、 間引き方向に対応するテーブルを示す。

図 5A〜5Cは、 「視点数」 および 「視点位置」 を説明するための概念図であ る。 図 5 Aは、 2眼式の例を示し、 図 5 Bと図 5 Cは 6眼式の例を示す。

図 6は、 6眼式の場合において、 視点位置と対応するストリームの記述の例を 示す概念図である。

図 7Aは、 左目用画像と右目用画像が同じストリームとなっている場合におい て、 視点位置と対応するストリーム 記述の例を示す概念図であり、 図 7Bは、 多重化データを示す図である。

図 8A〜8Cは、 「カメラ配置」 の他の構成例を示す概念図である。 図 8 Aお よび図 8 Bは、 集中型の例を示し、 図 8 Cは発散型の例を示す。

図 9 Aおよび 9 Bは、 枠画像の構成を説明するための概念図である。 図 9 Aは、 枠画像を表示しない状態を示し、 図 9Bは、 枠画像を表示した状態を示す。

図 10A〜10Cは、 枠画像を表示させるために 「枠画像データ」 を供給する 構成を説明するためのプロック図である。

図 1 1A〜1 1Dは、 パララクスバリア方式で用いる液晶パネルとパララクス バリアのスリットの位置関係を示す概念図である。

図 12 Aおよび 12Bは、 サンプリングパターンを説明するための概念図であ る。

図 1 3A〜13Eは、 1枚の画像を構成するために複数の視差像を並べる画像 配置を説明するための概念図である。

図 14 Aおよび 14 Bは、 各視差像を反転する構成を説明するための概念図で ある。 図 1 5は、 3次元画像制御情報オブジェクトにおけるオブジェクト I Dとして 汎用の I Dを用いる場合を示す図である。

図 1 6は、 3次元識別情報を示す図である。

図 1 7は、 画像データ再生装置の第 1の変形例を示すブロック図である。

図 1 8は、 番組配列情報という形で定期的に放送コンテンツの中に挿入される 3次元識別情報を示す図である。

図 1 9は、 マルチメディア情報ファイルの構成を示す図である。

図 2 0は、 画像データ再生装置の第 2の変形例を示すブロック図である。

図 2 1は、 画像データ再生装置の第 3の変形例を示すブロック図である。

図 2 2 Aおよび 2 2 Bは、 3次元表示制御情報おょぴ左目用画像と右目用画像 を横に並べた画像データを示す概念図である。

図 2 3は、 2次元画像データと 3次元画像データが混在するマルチメディァ情 報ファイルの構成を示す概念図である。

図 2 4は、 画面上で、 画面の原点を基準として、 2次元画像 （2 D画像） と 3 次元画像 （3 D画像） とが配置される状態を示す概念図である。

図 2 5は、 マルチメディア情報ファイルの別の構成を示す概念図である。

図 2 6 Aおよび Bは、 マルチメディア情報ファイルのさらに別の構成を示す概 念図である。

図 2 7は、 1つのマルチメディア情報ファイルの中に 3次元画像データ、 2次 元画像データおよびその配置情報が含まれる場合の画像データ再生装置の構成を 説明するための概略ブロック図である。

図 2 8は、 2 D/ 3 D変換部 5 4の動作を説明するための概念図である。

図 2 9 Aおよび 2 9 Bは、 3次元画像データの合成時に配置情報がどのように 使用されるかを示した概念図である。

図 3 0は、 本実施の形態における画像データ記録装置 1 0 0の別の構成を示す ブロック図である。

図 3 1は、 マルチメディア情報ファイルのさらに別の構成を示す概念図である。 図 3 2は、 図 3 0に示した画像データ記録装置 1 0 0の処理のフローを説明す るためのフローチヤ一トである。 図 3 3 A〜3 3 Cは、 本実施の形態におけるページデータ復号部の詳細なプロ ック図である。

図 3 4は、 本実施の形態における 2 DZ 3 D変換部の詳細なプロック図である。 図 3 5は、 フォントイメージを 2 DZ 3 D変換する概念図である。

図 3 6は、 フォントの太さと輝度の関係の実施の一例を描画した図である。 図 3 7 A〜3 7 Cは、 隣接するピクセルの状態とそれらの変換例を表す図であ る。

図 3 8 Aおよび 3 8 Bは、 本実施の一形態におけるフォントイメージの貼りつ けの概念図である。

図3 9八〜3 9〇は、 本実施の一形態におけるフォントイメージの貼りつけの 概念図である。

図 4 0は、 3 Dフォントを生成する手順の概念図である。

図 4 1は、 2眼式の代表的なものの 1つである 「時分割方式」 を説明するため の概念図である。

図 4 2 Aおよび 4 2 Bは、 2眼式のもう 1つの代表的な方式である 「パララク スバリア方式」 を説明するための概念図である。

図 4 3 A〜4 3 Cは、 「レンチキユラ方式」 の記録データ形式の一例を示す概 念図である。 発明を実施するための最良の形態

以下、 本発明の構成、 作用および効果を図に従って説明する。 なお、 図中同一 または相当部分には同一符号を付して、 その説明は繰返さない。

図 1 A〜l Cは、 本発明の実施の形態において生成されるマルチメディア情報 フアイルの構造を示す図である。

マルチメディァ情報フアイルは 3次元画像データと 2次元画像データのどちら を含んでいても良いが、 以下では 3次元画像データを含む場合の例について説明 する。

まず、 図 1 Aを参照して、 マルチメディア情報ファイルは、 ヘッダ制御情報 1 と、 3次元表示制御情報 2と、 3次元画像データ 3との少なくとも 3つの構成要 素を含んでいる。

へッダ制御情報 1は、 例えば画像のサイズなど 3次元画像データ 3を再生する ために必要な制御情報である。 3次元表示制御情報 2は、 得られた 3次元画像を 所望の 3次元形式に変換するために必要な制御情報である。 また、 3次元画像デ ータ 3は、 3次元画像データそのものである。

3次元画像データ 3は、 静止画データでも動画データであってもよい。 また、 マルチメディァ情報ファィルには音声データを一緒に記録してもよいが、 簡単の ためここでは省略する。 また、 これ以外の付加情報を含んでもよい。

なお、 マルチメディァ情報ファイルが 2次元画像データを含んでいる場合には、 3次元表示制御情報は付加されない。

それぞれの構成要素はオブジェクトと呼ばれる。 各オブジェクトは、 図 1 Bに 示すような形をしている。 すなわち、 まずオブジェクトを識別するためのォブジ ェクト I D 4と、 オブジェクトサイズ 5とが書かれ、 その後オブジェクトサイズ 5で規定される長さのオブジェクトデータ 6が続く。 オブジェクト I D 4とォブ ジェクトサイズ 5を合わせてオブジェクトヘッダと呼ぶ。 このオブジェクトは階 層構造をとることが可能である。

なお、 図 1 Aにおいて、 ヘッダ制御情報 1、 3次元表示制御情報 2及び 3次元 画像データ 3は、 本来、 それぞれヘッダ制御情報オブジェクト 1、 3次元表示制 御情報オブジェクト 2及び 3次元画像データオブジェクト 3と呼ぶべきものだが、 呼称が長くなるのを避けるため、 ここでは 「オブジェクト」 という表記を省略す る。

図 1 Cは、 3次元画像データ 3の構造の一例を示す図である。 3次元画像デー タ 3では、 オブジェクト I Dやオブジェクトサイズを含むオブジェクトヘッダ 7 の後に、 複数のバケツト 8が続く。 バケツト 8はデータを通信する際の最小単位 であり、 各パケットはパケットヘッダとパケットデータにより構成される。 なお、 3次元画像データ 3は必ずしもバケツト化されている必要はなく、 一続きのデー タ列であってもよい。

図 2は、 本発明のマルチメディア情報生成装置の一例である画像データ記録装 置 1 0 0の構成を示すブロック図である。 図 2を参照して、 画像データ記録装置 1 0 0は、 3次元表示制御情報生成部 1 1と、 ファイル生成部 1 2とを備える。

3次元表示制御情報生成部 1 1は、 必要なパラメータを外部から受け取り、 3 次元表示制御情報を 1つのオブジェクトとして生成する。 ファイル生成部 1 2は 3次元表示制御情報と 3次元画像データとを受け取り、 さらにへッダ制御情報を 付け加えることによって、 図 1 A〜 1 Cに示したようなマルチメディア情報ファ ィルを生成し出力する。 ここでの 3次元画像データは非圧縮データであってもよ いし、 圧縮符号化されたデータであってもよい。

なお、 生成されたマルチメディア情報ファイル.は記録媒体 1 3に記録してもよ いし、 直接通信路に送出してもよい。

次に、 本発明のマルチメディア情報再生装置の一例として、 本実施の形態にお ける画像データ再生装置について説明する。

図 3は、 図 1 Aに示したような 3次元画像データを含むマルチメディァ情報フ アイルが入力される画像データ再生装置 2 0 0の構成を説明するためのプロック 図である。

図 3を参照して、 画像データ再生装置 2 0 0は、 ファイル構造解析部 2 1と、 ファイルヘッダ解析部 2 2と、 データ再生部 2 3と、 表示部 2 4と、 3次元表示 制御情報解析部 2 5と、 データ変換部 2 6とを備える。 マルチメディア情報ファ ィルは、 記録媒体 1 3から、 あるいは通信路から供給される。

入力されたマルチメディア情報ファイルは、 ファイル構造解析部 2 1でヘッダ 制御情報、 3次元画像データ及び 3次元表示制御情報のそれぞれが認識され、 へ ッダ制御情報はファイルヘッダ解析部 2 2へ、 3次元画像データはデータ再生部 2 3へ、 3次元表示制御情報は 3次元表示制御情報解析部 2 5へそれぞれ送られ る。

フアイルへッダ解析部 2 2ではへッダ制御情報の解析を行い、 3次元画像デー タの再生に必要な情報をデータ再生部 2 3に渡す。 データ再生部 2 3では、 デー タの逆多重化やバケツトからのデータ取り出し、 さらにデータが圧縮符号ィ匕され ている場合にはその復号を行う。 3次元表示制御情報解析部 2 5では 3次元表示 制御情報を解析し、 得られた情報をデータ変換部 2 6に渡す。 データ変換部 2 6 は所望の 3次元表示形式に合うように復号された 3次元画像データを変換し、 表 示部 2 4へ出力する。 表示部 2 4は再生装置から独立した単体の 3次元ディスプ レイであってもよい。

図 4 A〜 4 Cは、 3次元表示制御情報 2に記述する具体的な情報を説明するた めの概念図である。

図 4 Aにその一部を示すように、 3次元表示制御情報 2に記述する具体的な情 報には、 視点数、 各視点位置に対応するストリーム、 間引き方向、 カメラ配置、 視差量シフト限度、 枠表示の有無、 枠画像データ、 視差像切替ピッチ、 サンプリ ングパターン、 画像配置、 反転の有無などがある。

以下、 図 4 Aに示した 3次元表示制御情報について、 さらに詳細に説明する。 図 4 Aにおける 「視点数」 とは、 文字通り視点すなわち視差像の数であり、 上 述の 2眼式のデータであれば 2となる。

カメラを用いた撮影ではカメラが眼の役割をするので、 撮影時に使用したカメ ラの数ということもできる。 人間の眼は 2つしかないので、 視点数が 3以上の場 合、 データとしては冗長であるが、 観察者の移動に合わせて観察像が変化するの でより自然な立体視が可能となる。

図 4 Aにおいて視点数を記述した行の次の 2行 （視点位置 L、 視点位置 R) は、 それぞれ左の視点位置と右の視点位置に対応する 「ストリーム番号」 を示してい る。

ここで、 「ストリーム番号」 についてさらに詳しく説明する。

図 4 Bに示すように、 音声と左目用画像と右目用画像のそれぞれが別のストリ ームとなっており、 それをパケット多重化して記録する場合を考えると、 多重化 されたデ タにおいて各パケットが音声データなのか左目用画像データなのか右 目用画像データなのかを識別するために、 各ストリームに固有のストリーム番号 が付与される。

図 4 Bの例では、 音声ストリームにはストリーム番号 1、 左目用画像データに はス トリーム番号 2、 右目用画像データにはストリーム番号 3を対応させ、 各パ ケットヘッダにこのストリーム番号を書くことによってデータ種別を明示する。 このストリーム番号を用いることにより、 図 4 Aにおいては、 左目用画像はス トリーム番号 2、 右目用画像はストリーム番号 3のデータであることを示してい る。 なお、 従来の 2次元画像データを取り扱うマルチメディア情報ファイルにお いては、 多重化されたストリームに対しては音声と画像の区別しか必要ないため、 視点位置との対応を記述したこの情報は 3次元画像データを取り扱う場合に特有 のものである。

以下、 さらに図 5 A〜 5 Cに示す概念図を用いて、 上記 「視点数」 、 「視点位 置」 について、 さらに説明しておく。

図 5 Aは、 2眼式の例を示しており、 図 5 Bと図 5 Cは 6眼式の例を示してい る。 図 5 Aの 2眼式の場合は、 左と右という指定の仕方で視点位置を特定するこ とができる。

これに対して、 6眼式の場合、 図 5 Bのように、 たとえば、 左側において、 中 央から数えて何番目であるかに応じて、 「L 1」 、 「L 2」 、 「L 3」 と表現す る。 右側も同様である。

あるいは、 6眼式の場合、 図 5 Cのように左からの通し番号で何番目と表現す ることも可能である。 さらには、 図 5 Bおよび図 5 C以外の種々の方法が考えら れる。

視点位置をどのように表現するかについては、 あらかじめ送信側と受信側で規 格あるいは決まり事として共有されている必要がある。 何の取り決めもなしでは、 例えば c h 3と書いてあっても左から 3番目なのか右から 3番目なのかがわから なくなってしまうからである。

図 6は、 6眼式の場合において、 視点位置と対応するス トリームの記述の例を 示す概念図であり、 図 4 Aと対比される図である。

図 6では、 音声ストリームはストリーム番号 1であって、 画像ストリームにつ いては、 たとえば、 視点位置 1〜6にストリーム番号 2〜 7を対応させている。 そして、 各パケットヘッダにこのストリーム番号を書くことによってデータ種別 を明示する。

一方、 図 7 Aおよび 7 Bは、 左目用画像と右目用画像が同じストリームとなつ ている場合において、 視点位置と対応するストリームの記述の例を示す概念図で ある。 図 7 Aに示すように、 視点位置 Lと視点位置 Rには同じストリーム番号 （この 場合はストリーム番号 2 ) を記述する。 この時の多重化データは図 7 Bに示すよ うになり、 複数の視差像が 1枚の画像に合成されている 3次元画像データを記録 または伝送する場合には、 この形態を用いるとよい。

ここで、 再び、 図 4 A〜4 Cに戻って、 図 4 Aにおける 「間引き方向 j とは、 データを間引いた方向を示すものである。

例えば、 上述した 「パララクスバリア方式 （あるいはレンチキユラ方式） 」 に おいて、 図 4 2 Bのように左目用画像と右目用画像のペアが縦ストライプ状に並 んでいるような画像を作成する場合、 左目用画像と右目用画像のそれぞれは通常 の 2次元画像と比較して水平方向の解像度が半分になっている。 この場合は、 「間引き方向」 には、 水平方向に間引きされているという情報を記述する。 これ は左目用画像と右目用画像がそれぞれ独立した 2つのストリームであるか、 上述 した図 4 3 Cのような混合画像の形になった 1つのストリームであるかには関係 しない。

—方、 上述した図 4 1は、 垂直方向に間引きが行われている画像を示している。 したがって、 図 4 1の様な場合では、 「間引き方向」 には、 垂直方向に間引きさ れているという情報を記述する。

また、 図 4 3 A、 4 3 Bのように間引きしていない画像をそのまま伝送し、 表 示する直前に間引く場合もあり、 その場合はファイルに記録された状態では間引 きされていないので、 間引き方向の情報としては 「間引きなし」 と記述する。 なお、 この間引き方向のようにパラメータを数値で表現することが困難な場合、 図 4 Cに示すようなテーブルを設定し、 そのィンデックスを記述するという方法 を取ることが望ましい。

例えば、 間引き方向が水平方向の場合は、 図 4 Aの間引き方向の欄に 「1」 と 記述すればよい。 この際、 インデックスとその意味するものを対応づけた図 4 C のようなテーブルは、 送信側と受信側で規格あるいは決まり事として共有されて いる必要がある。 このような表現方法は他のパラメータにも適用することができ る。

さらに、 図 4 Aにおける 「カメラ配置」 とは複数のカメラをどのように並べて 撮影したかを示すものであり、 平行型 （parallel) 、 集中型 （convergent) 、 発 散型 （divergent) の 3つに大別される。

上述した図 5 A〜 5 Cは平行型の例であり、 各カメラの光軸が平行になるよう に配置されたものである。

図 8 A〜8 Cは、 「カメラ配置」 の他の構成例を示す概念図である。

図 8 Aと図 8 Bは集中型の例であり、 全てのカメラの光軸がある 1点に集まる ように配置されたものである。

一方、 図 8 Cは発散型の例であり、 全てのカメラの光軸がある 1点から出てい くように配置されたものである。

ここで、 図 8 Aは 2眼式の、 図 8 B、 Cは 6眼式の例を示している。 この情報 は視点補間や 3次元モデル構築の際に活用される。

次に、 再び図 4 A〜4 Cに戻って、 図 4 Aにおける 「視差量シフト限度」 につ いて説明する。

一般的に、 図 4 1や図 4 2 Aおよび 4 2 Bを用いて説明したような両眼視差を 利用して立体視するような表示においては、 視差量を変化させることにより奥行 き感を調整することができる。

視差量を変化させるには、 具体的には、 例えば図 4 2 Bに示す合成画像におい て左目用画像はそのままにしておき、 右目用画像だけを左右どちらかにずらすこ とにより実現できる。 このように画像を左右にずらすことにより視差量を変化さ せると、 表示画面の幅は限られていることから、 ずらした分だけ画面の外にはみ 出ることになり、 その部分は表示できなくなる。 従って、 極端なずらし量を許す と画像の作成者が是非見てもらいたいと思っているものが表示されなくなる事態 が発生する。 このため、 それを防ぐためにずらし量に制限を設ける。 これが 「視 差量シフト限度」 であり、 例えば ± 1 6ピクセルというように範囲指定する。 図 4 Aにおける 「枠表示の有無」 は、 3次元画像データの周囲に枠画像を表示 するかどうかを指定する情報である。 この枠画像は画面に変化を付けたり、 面白 味を付加するため、 あるいは立体視をしゃすくするために表示するものである。 図 9 Aおよび 9 Bは、 枠画像の構成を説明するための概念図である。

図 9 Aは、 枠画像を表示しない状態を示し、 画面全体が通常の 3次元画像表示 領域 3 1であり、 ここではその幅を Wとする。

これに対し、 図 9 Bは、 枠画像を表示した状態である。 画面全体の大きさは図 9 Aと変わらないが、 画面の外周には幅厶 dの枠画像 3 3が表示され、 その内側 が 3次元画像表示領域 3 2となる。 したがって、 枠画像を表示しない場合と比較 して、 枠画像を表示した場合には枠の分だけ 3次元画像表示領域が狭くなり、 3 次元画像表示領域 3 2の幅を W 1とすると、 W=W l + 2 · A dの関係がある。 なお、 枠画像 3 3の四辺の幅は各辺によって異なっていてもよい。 また、 枠画像 3 3はそれ自体が立体視できるような 3次元的な枠でもよいし、 平面的に見える 2次元的な枠でもよい。

このとき表示する枠画像データは、 再生装置にあらかじめ準備しておいてもよ いし、 マルチメディァ情報ファイルの中に含めて 3次元画像データと一緒に送る ようにしてもよい。

図 1 0 A〜1 0 Cは、 このような枠画像を表示させるために 「枠画像データ」 を供給する構成を説明するためのブロック図である。

まず、 図 1 0 Aは、 画像データ再生装置 2 0 0に、 「枠画像データ」 を予め準 備しておく場合の一つの構成の例を示す。 図 1 0 Aは、 図 3に示した画像データ 再生装置 2 0 0における 3次元表示制御情報解析部 2 5の構成の詳細を示したも のである。

図 1 0 Aを参照して、 3次元表示制御情報解析部 2 5は、 枠画像付加制御部 2 7と枠画像格納メモリ 2 8とを備える。 枠画像付加制御部 2 7は、 入力された 3 次元表示制御情報のうち枠表示の有無に関する情報を解析し、 枠表示有りとなつ ている場合には枠画像格納メモリ 2 8に予め準備されている枠画像をデータ変換 部 2.6へ出力する。 データ変換部 2 6では、 3次元画像データにこの枠画像を重 畳して表示部 2 4へと出力する。

図 1 0 Bは、 枠画像データを再生装置に予め準備しておく場合の別の構成の例 を示す。 すなわち、 図 1 0 Bは、 図 3に示した画像データ再生装置 2 0 0におけ る 3次元表示制御情報角军析部 2 5の他の構成の詳細を示したものである。

図 1 0 Bを参照して、 3次元表示制御情報解析部 2 5は、 枠画像付加制御部 2 7と、 枠画像選択部 2 9と、 複数の枠画像格納メモリ 2 8— 1〜 2 8— 3とを備 える。

図 1 0 Bの例では、 枠画像付加制御部 2 7において枠表示有りと判断された場 合には、 さらに複数準備されている枠画像のうちどの枠画像を使うかを枠画像選 択部 2 9が判定し、 適切な枠画像格納メモリから枠画像データを呼び出してデー タ変換部へ出力する。 どの枠画像を使うかは 3次元表示制御情報の中に枠画像デ ータを示す情報として記述する。 図 1 0 Bのような場合は、 パターン 1、 パター ン 2等と記述することで指定することができる。 複数の枠画像としてはテクスチ ャが異なる枠画像、 あるいは飛び出し量が異なる立体的な枠画像を用いることが できる。 このようにすることにより、 3次元画像データに応じて適切な枠画像を 表示することができる。

また、 デフォルトで使用する枠画像を設定しておき、 枠表示有りで枠画像デー タが指定されていない場合あるいはデフォルトの枠画像が指定された場合にはデ フオルト設定されている枠画像を用いるようにしてもよい。 枠画像データとして 指定された枠画像パターンを再生装置が持っていない場合は、 デフォルト設定さ れている枠画像で代用するものとしてもよい。

なお、 図 1 O Aの場合、 準備されている枠画像データが 1つしかないため明示 的に指定する必要はないが、 枠画像データを示す情報として 「デフォルト」 と記 述してもよい。

図 1 0 A、 1 O Bのような形態の場合、 枠画像のデータは画像データ再生装置 2 0 0内に格納されており、 3次元表示制御情報中に記載される情報は、 予め用 意されている 1または複数の枠画像の中からどの枠画像を使用するかを示す選択 情報である。

一方、 図 1 0 Cは、 枠画像データがマルチメディア情報ファイルの中に含まれ て 3次元画像データと一緒に送られる場合において、 画像データ再生装置 2 0 0 における 3次元表示制御情報解析部 2 5の構成の例を示す。

図 1 0 Cを参照して、 3次元表示制御情報解析部 2 5は、 枠画像付加制御部 2 7を備える。 枠画像付加制御部 2 7は枠表示有りと判定した場合には、 3次元表 示制御情報として含まれている枠画像のデータをデータ変換部 2 6へ送る。 すな わち、 この例では枠画像データを示す情報として選択情報を記述するのではなく、 枠画像データそのものを記述する。 このようにすることにより、 マルチメディア 情報フアイルの送り手が自由に生成した枠画像を付加することができる。

( 3次元表示制御情報の他の構成）

以下では、 主に上述した図 4 2 Aおよび 4 2 Bに示したパララクスバリア方式 あるいはレンチキユラ方式に用いられる 3次元画像データをファイルィヒする際に 用いられる 3次元表示制御情報の例について説明する。

図 4 Aにおける 「視差像切替ピッチ」 は、 図 4 2 Bのように異なる視差像のス トライプを繰り返し配置する際の切替周期を示すものである。

図 1 1 A〜1 1 Dは、 パララクスバリア方式で用いる液晶パネルとパララクス バリアのスリ ツ トの位置関係を示す概念図である。

図 1 1 A〜 1 1 Dには、 3次元画像を表示する液晶パネル 1 0 6を示している 1 ここでは R、 G、 Bがまとまって 1組となった単位 ( 1 0 5 ) をピクセル、 R、 G、 Bの各エレメントをサブピクセルと呼ぶことにする。 すなわち、 1ピク セル == 3サブピクセルである。

図 1 1 Aは、 パララクスバリア方式において視差像切替ピッチが 1ピクセルで ある場合を示している。 この場合、 2ピクセルに対して 1つのスリット 1 0 4が 割り当てられる。 図 1 1 Bは、 図 1 1 Aを上から見た図である。 図 1 1 Bに示す とおり、 液晶パネル 1 0 6に表示する像は右目用画像と左目用画像が 1ピクセノレ ごとに交互に配置されている。 この場合のパララクスバリア 1 0 7のスリット間 隔は 2ピクセノレとなる。

一方、 図 1 1 Cはパララクスバリア方式において視差像切替ピッチが 1サブピ クセル （1 3ピクセル） である場合を示している。 この場合、 2サブピクセル に対して 1つのスリット 1 0 4が割り当てられる。 図 1 1 Dは、 囱 1 1 Cを上か ら見た図である。 図 1 1 Dに示すとおり、 液晶パネル 1 0 6に表示する像は右目 用画像と左目用画像が 1サブピクセルごとに交互に配置されている。 この場合の パララクスバリア 1 0 8のスリツト間隔は 2サブピクセルとなる。

図 4 Aにおける 「サンプリングパターン」 は、 原画像から水平方向に間引きを 行って左目用画像および右目用画像を作る際に、 どのような間引き方法を用いた かを示すものである。 このサンプリングパターンには、 「色再現性優先方式」 と 「解像度優先方式」 がある。

図 1 2 Aおよび 1 2 Bは、 サンプリングパターンを説明するための概念図であ る。

図 1 2 Aは、 「色再現性優先方式」 を示し、 図 1 2 Bは、 「解像度優先方式」 を示す。

図 1 2 Aおよび 1 2 Bでは、 画像データを R O、 G 1などの形式で表現してい るが、 最初の R、 G、 Bは色成分を、 それに続く 0、 1等の数字はピクセルの水 平位置を表している。

図 1 2 Aの色再現性優先方式では、 データを半分に間引く際にピクセル単位で 間引いている。 間引かれて残ったデータは 1ピクセルおきにサンプリングされた 偶数番号の位置のみのデータとなる。 この方式では残った R、 G、 Bの組は間引 き前と変わらないため、 色再現性がよい。

—方、 図 1 2 Bの解像度優先方式では、 データを半分に間引く際にサブピクセ ル単位で間引いている。 間引き後はピクセノレ位置 0のデータは Rと Bの成分だけ があり、 ピクセル位置 1のデータは Gの成分だけがある。 間引き前のデータと比 較すると R、 G、 Bの組が同じピクセ ま存在しないが、 間引き後のデータには 全てのピクセル位置のデータが少なくとも 1つの色成分については含まれている。 このため、 実感できる解像度は高くなる。 このため、 例えば斜め線のギザギザが 目につきにくくなる。

なお、 図 1 2 Bの解像度優先方式は視差像切替ピッチがサブピクセル単位であ ることを前提としているため、 図 1 1 Aに示したような視差像切替ピッチが 1ピ クセルの場合には、 原理的に図 1 2 Aの色再現性優先方式しか選択できない。 図 4 Aにおける 「画像配置」 は、 図 4 3 Cに示したように複数の視差像を並べ て 1枚の画像を構成して伝送記録する際に必要となる情報である。

図 1 3 A〜1 3 Eは、 このような 1枚の画像を構成するために複数の視差像を 並べる画像配置を説明するための概念図である。

水平方向に間引いた左目用画像と右目用画像を横に並べて 1枚の画像とする場 合、 図 1 3 Aに示すように左目用画像を左側に、 右目用画像を右側に配置する形 態がまず考えられる。 これとは別の形態として、 図 1 3 Bに示すように左目用画 像を右側に、 右目用画像を左側に配置することも可能である。

また、 垂直方向に間引いた左目用画像と右目用画像を縦に並べて 1枚の画像と する場合、 図 1 3 Cに示すように左目用画像を上に、 右目用画像を下に配置する こともできるし、 図 1 3 Dに示すように左目用画像を下に、 右目用画像を上に配 置することもできる。

したがって、 複数の視差像が左右に並んでいるのか上下に並んでいるのか、 ま た、 左目用画像が左右あるいは上下のどちら側にあるのかを示す情報を記述する ことによりこれらを区別する。 なお、 視点数 （視差像の数） は 2には限定されな い。

また、 間引き方向と画像を並べる方向とは独立して考えることができる。 すな わち、 水平方向に間引いた画像であっても図 1 3 Eに示すように上下に並べるこ とも可能である。 逆に、 間引き方向と画像を並べる方向を連動させることにすれ ば、 どちらかの情報を省略することが可能になる。

ところで、 先に説明した間引き方向の情報は左目用画像、 右目用画像それぞれ に対して独立に設定してもよい。 図 2 2 Aに示した 3次元表示制御情報の例では、 左目用画像間引き方向として間引きなし、 右目用画像間引き方向として水平方向 と記述している。 このような場合、 左目用画像と右目用画像を横に並べた画像は 図 2 2 Bに示すようになり、 左目用画像と右目用画像の大きさが異なる。 このよ うにすることにより、 2次元画像のみが表示できる表示部を持つ画像データ再生 装置と、 3次元画像も表示可能な表示部を持つ画像データ再生装置のどちらにお いても良好な画像再生を行うことができる。 すなわち、 2次元画像のみが表示で きる画像データ再生装置では、 図 2 2 Bに示す画像データを受け取った場合、 左 目用画像のみを表示することにより、 間引きされていない高解像度の 2次元画像 を再生することができる。 3次元画像が表示可能な画像データ再生装置では、 図 2 2 Bに示す画像データを受け取った場合、 左目用画像を水平方向に間引いて右 目用画像と同じ解像度にした後で 3次元表示用のデータ変換を行うことにより、 図 1 3 Aに示したような画像データを受信した場合と同様の 3次元表示を行うこ とができる。 図 4 Aにおける 「反転の有無」 は、 複数の視差像を並べて 1枚の画像を構成す る際に、 各視差像が反転しているかどうかを示すものである。

図1 4八ぉょぴ1 4 8は、 このような各視差像を反転する構成を説明するため の概念図である。

図 1 4 Aは、 左目用画像 6 1を左側に、 右目用画像 6 2を右側に単に並べた状 態である。 ここで、 右目用画像 6 2の左右を反転したとすると、 図 1 4 Bに示す ようになる。 画像を符号化して記録伝送する場合、 類似した特徴を持つ領域は固 まっていた方が、 符号化効率が向上するケースがある。 このため、 図 1 4 Aの画 像を符号化するよりも図 1 4 Bの画像を符号化した方が符号化効率が高くなるこ とがある。 図 1 4 Bのような配置とした場合、 再生装置 2 0 0では右目用画像を 再反転して元に戻すことが必要である。

2つの視差像を左右に並べた場合に取り得る状態としては、 反転なし、 左側画 像反転、 右側画像反転、 両画像反転の 4つが考えられる。 ここで、 左側画像とは 左右に並べられた 2つの画像のうち、 左側の画像であるという定義を用いる。 し たがって、 図 1 3 Aの並べ方をした場合、 左側画像は左目用画像であるが、 図 1 3 Bの並べ方の場合は左側画像は右目用画像となる。 なお、 左側画像反転と記述 する代わりに左目用画像反転と記述することも可能である。 先に説明した画像配 置の情報を用いることにより、 左目用画像が左右どちらに配置されているかを知 ることができるからである。

以上説明したような 「3次元表示制御情報」 の各項目は、 マルチメディア情報 フアイ こ対して、 全てが必須というわけではなく、 必要に応じて省略すること が可能である。 その場合は、 どの項目が記載されているかがわかるように別途定 めておけばよい。

なお、 図 4 Aにおけるオブジェクト I Dは、 この位置から情報ォブジェクトの 単位が始まることを示すとともに、 この情報オブジェクトカ S 3次元表示制御情報 に関するものであることをも示す。 すなわち、 このようなオブジェクト I Dは、 マルチメディァ情報ファイルが 3次元画像制御情報を含む、 すなわち 3次元画像 データを含むことを示す 3次元識別情報としても機能する。

一方、 図 1 5に示すように 3次元画像制御情報オブジェクトにおけるオブジェ タ ト I Dとして汎用の I Dを用いることもできる。 この場合は、 この I Dは単に この位置から情報オブジェクトの単位が始まることだけを示し、 その情報ォブジ エタトに書かれている情報がどのような種類のものかを示す情報はそのオブジェ クト内に別途設けられる。 図 1 5ではこの情報オブジェクトが 3次元表示制御情 報に関するものであることを示す情報として、 3 D—0 0 1という 3次元識別情 報が書かれている。 この 3 D— 0 0 1はあくまでも一例であり、 任意の数字や文 字列を 3次元識別情報として使用することができる。

上記の例では 3次元識別情報は 3次元画像データを含むことを示すために用い られているが、 異なる 3次元表示方式に対して異なる 3次元識別情報を与えるこ とにより、 それらを区別することができる。 例えば、 パララクスバリア方式用の データに対して 3 D— 0 0 1、 液晶シャッター方式用のデータに対して 3 D— 0

0 2を 3次元識別情報として与えてもよい。

さらに、 3次元識別情報は図 1 6に示すように、 それだけで 1つの情報ォブジ ェクトを構成してもよい。 この場合、 図 1 9に示すようにマルチメディア情報フ アイルが 3次元識別情報 4 1と 3次元表示制御情報 2を別オブジェク トとして保 持してもよい。

なお、 マルチメディァ情報フアイルが 3次元画像データを含むことを示すため に、 3次元識別情報の代わりに専用の拡張子を用いることができる。 例えば、 通 常の 2次元画像データを含むマルチメディア情報ファイルに対して 「j p g」 と いう拡張子を用いる時、 3次元画像データを含むマルチメディア情報ファイルに 対して 「3 d a」 という拡張子を用いるようにすることにより、 マルチメディア 情報ファイルが 3次元画像データを含んでいるかどうかを拡張子によって識別す ることができる。 また、 異なる 3次元表示方式に対して異なる拡張子を定めるこ とにより、 それらを区別することができる。 例えば、 パララクスバリア方式用の データを含むマルチメディア情報ファイルに対して 「3 d a」 、 液晶シャッター 方式用のデータを含むマルチメディア情報ファイルに対して 「3 d b」 を拡張子 として用いる。

拡張子によって 3次元識別を行う利点は、 フアイルの内部を解析することなく、 そのフアイルが 3次元画像データを含んでいるかどう力、、 あるいはどのような 3 次元表示方式のデータを含んでいるかを判定できる点にある。 例えば、 ハードデ イスク上に多くのマルチメディァ情報フ了ィルが存在する時、 自身の端末で再生 可能なフアイルがどれであるかを素早く見付けることができる。 あるいはサーバ 上に複数のマルチメディァ情報フアイルが存在する時、 2次元画像しか再生でき ない端末が 3次元画像をダウンロードしないようにすることが可能になる。

一方、 前述の 3次元識別情報によって 3次元識別を行う場合には、 ファイルの 中身を書き換えない限りは 3次元識別情報が保存されるので、 重要な情報である 3次元識別情報が容易に改変されにくいという利点がある。

ところで、 画像を表示する表示部は 2次元表示と 3次元表示の切り替えが可能 なものを使うことができる。 すなわち、 図 2 0に示す画像データ再生装置におけ る表示部 4 4は、 2次元表示、 3次元表示の表示モード切り替え機能を有してお り、 これは自動で切り替え可能な表示手段であっても良い。 図 3の画像データ再 生装置と共通の部分については説明を省略する。 図 2 0の画像データ再生装置は、 図 1 5に示すように 3次元識別情報が 3次元表示制御情報と同じオブジェクトに 含まれる場合に対応するものであり、 3次元表示制御情報解析部 2 5が 3次元識 別情報の有無を解析し、 その有無に従って表示部 4 4の表示モードを切り替える。 すなわち、 ここでは 3次元表示制御情報解析部 2 5がファイル種別判定をも行つ ている。 入力されたマルチメディア情報ファイルに 3次元識別情報が含まれる場 合、 前記表示部 4 4では 3次元表示モードで表示し、 3次元識別情報が含まれな い場合は、 表示部 4 4では 2次元表示モードで表示する。

なお、 表示部が 3次元表示専用である場合は、 3次元識別情報を持たないファ ィルは再生しない、 あるいは何らかの 2次元/ ^/ 3次元変換を行った上で表示を行 うようにすることが可能である。 また逆に表示部が 2次元表示専用である場合は、 3次元識別情報を持つフアイルは再生しない、 あるいは何らかの 3次元 2次元 変換を行った上で表示を行うようにすることも可能である。

図 1 7に示す画像データ再生装置は、 図 1 9に示すように 3次元識別情報と 3 次元表示制御情報が別のオブジェクトとなっている場合に対応するものである。 図 1 7の画像データ再生装置においては、 3次元識別情報解析部 4 5によってマ ルチメディァ情報フアイルに 3次元識別情報が含まれているかどうかを解析し、 その有無に従って表示部 4 4の表示モードが切り替わるような構成とする。 すな わち、 ここでは 3次元識別情報解析部 4 5がフアイノレ種別判定の役割を担ってい る。

前述のように拡張子によって 3次元識別を行う場合には、 この 2次元表示、 3 次元表示の切り替えは、 拡張子を用いて行うことができる。 図 2 1に示す画像デ 一タ再生装置は拡張子によって 3次元識別を行う場合の例であり、 フアイル種別 判定部 4 6が拡張子を解析した結果により、 表示部 4 4の表示モードおよぴデー タ変換部 2 6の変換方法を制御する。

このように、 3次元識別情報はマルチメディァ情報フアイルが 3次元画像デー タを含むかどうかを判定するために用いられる。 画像データの符号化形式は 2次 元画像であろうと 3次元画像であろうと同じ形式を用いることができ、 共通の復 号器を用いることができるが、 その場合、 人間であれば復号された画像を見てそ れが 2次元画像として出力されるべきか 3次元画像として出力されるべきかを判 断することができるが、 再生装置にはその区別がつかない。 そのため、 再生装置 がそれを判定するのに 3次元識別情報が必要となるのである。 これは 2次元画像 と 3次元画像の区別のみならず、 複数ある 3次元表示形式のうちのどれが使われ ているかを判定する場合でも同様である。 この判定結果により 3次元表示モード と 2次元表示モードを自動的に切り替えることが可能になる。

また、 図 1 Aではマルチメディァ情報ファイルの中に 3次元表示制御情報が 1 つだけ含まれているが、 3次元画像データが動画像のように複数枚の画像から構 成される場合は、 各画像データの先頭に 1つずつ 3次元表示制御情報を付加する ような形をとつても良い。 或いは、 3次元表示制御情報を 3次元画像データ中の 任意の位置に繰り返し格納するようにしてもよい。

また、 動画像を衛星、 地上波、 インターネットなどの伝送媒体を介し放送する ような場合、 視聴者が放送の途中から受信、 視聴したり、 チャンネルの切り替え を行う可能性があるため、 3次元表示制御情報を先頭に 1つだけ配置するのでは なく、 図 1 8に示すように番組配列情報という形で定期的に放送コンテンツの中 に挿入することが望ましい。 ここで放送コンテンツとは、 立体画像データや音声 データ、 これらの内容に関連した B M Lデータなどが多重化された符号化データ である。 また、 番組配列情報の中には画像データや音声データ、 BM Lデータな どの互いの関連を示す情報 （同期情報） や著作権情報などが含まれ、 3次元表示 制御情報もここに格納される。 なお、 3次元表示制御情報は番組配列情報に含め るのではなく、 繰り返し 3次元画像データ （符号化データ） の中に直接多重化し てもよい。 このように放送コンテンツ中に 3次元表示制御情報あるいは 3次元識 別情報を繰り返し挿入することにより、 番組途中から再生を開始する場合であつ ても受信データが 3次元画像であるかどぅカ あるいは 3次元画像の場合には 3 次元表示に必要なパラメータ情報を知ることができる。

以下では、 1つのマルチメディア情報ファイルの中に 3次元画像データ、 2次 元画像データおよびページデータなどが、 それぞれ少なくとも 1つずつ含まれる 場合について説明する。 ここでページデータとは H TM Lや BM Lのようなぺー ジ記述言語で記述されたデータである。 またページデータに基づいて鄞線ゃ表な どを描画した画像をページ画像と呼ぶ。 マルチメディア情報ファイルには、 この 他音楽データや他のデータが含まれても良いが、 簡略化のため以下では説明を省 略する。

このようなマルチメディア情報ファイルでは、 含まれる画像データが 2次元か 3次元かを識別するための情報をフアイル中に揷入する必要がある。 以下にこれ を実現する例を説明する。

図 2 3は、 2次元画像データ （画像データ （2 D) ) と 3次元画像データ （画 像データ （3 D) ) が混在するマルチメディア情報ファイルの構成を示す概念図 である。

このようなマルチメディア情報ファイルは、 ヘッダ情報および画像デ一タ （3 D) 、 画像データ （2 D) 、 ページデータなどのマルチメディアデータから構成 される。 個々のマルチメディアデータは 「モジュール」 と呼ばれるブロックに格 納される。 ヘッダ情報には各モジュールを管理するための情報 （ヘッダ補助情 報） および各モジュールを再生するためのモジュール付加情報が含まれる。 例え ば、 モジュール 1のモジユーノレ付加情報を 「モジュール 1付加情報」 と呼ぶ。 モ ジュール付加情報には画像データ、 ぺージデータ等を区別する情報が含まれる。 なお、 画像データの場合は画像データを復号するのに用いられるヘッダ制御情報 を、 各モジュールの先頭に配置する。

図 2 4は、 画面上で、 画面の原点を基準として、 2次元画像 （2 D画像） と 3 次元画像 （3 D画像） とが配置される状態を示す概念図である。

ページデータ中には、 図.2 4に示すように、 それぞれの画像データを画面上の どの位置にどのくらいの大きさで配置するかを示す配置情報なども含まれる。 な お、 画像の配置情報が別途定められている場合、 ページデータ中に配置情報は必 ずしも含まれない。

再び、 図 2 3を参照して、 ヘッダ情報に含まれる上記モジュール付加情報は、 マルチメディア情報ファイルに含まれるモジュ一ル数だけあり、 各モジュール付 加情報とモジュールは 1対 1に対応付けられる。 モジュールに 3次元画像データ が格納される場合にのみ、 既に説明した 3次元画像表示制御情報が対応するモジ ユール付加情報に挿入される。 すなわち、 図 2 3に示した例では、 モジユーノレは、 3個存在し、 このうち、 1番目のモジュールには 2次元画像データが、 2番目の モジュールには 3次元画像データが、 3番目のモジュ一ルにはぺージデータがそ れぞれ含まれる。 ヘッダ情報中の 2番目のモジュールに対応するモジュール付加 情報には、 3次元画像表示制御情報が挿入されている。

このため、 モジュール付加情報に上記 3次元画像表示制御情報が含まれていれ ば、 対応するモジュールは 3次元画像データ、 そうでなければ 2次元画像データ もしくはその他のデータと識別できる。 図 2 3に示した画面の例ではこのように して 2次元画像データと 3次元画像データの識別が可能となる。

モジュール付加情報の領域には、 モジュール付加情報の実質的な内容を示すデ ータが含まれていなくとも良いものの、 モジュール付加情報の領域そのものは必 ず存在するものとする。 モジュール付加情報の数とモジュール数が同一で、 かつ 格納順序も同一とすれば、 これによりモジュール付加情報とモジュールとを正し く対応付けることができる。 このため、 各モジュール付加情報の先頭にはその領 域の大きさを表すデータが挿入される。

上記モジュール付加情報の大きさを表すデータは、 複数のモジュール付加情報 の先頭にまとめて挿入しても良い。 また、 大きさを表すデータの代わりに領域の 境界として識別可能な所定パターンを各モジュール付加情報の間に配置し、 これ によつて領域を確保しても良い。

図 2 5は、 マルチメディア情報ファイルの別の構成を示す概念図である。 図 2 5に示す通り、 ここでは先頭にデータサイズゃ種別などの情報を挿入したマルチ メディアデータを複数まとめ、 これを 1つのモジュールとしている。 モジュール 付加情報はモジュールに対応するものであるため、 モジュール付加情報に含めた 情報とモジュール内の個々のマルチメディァデータとを対応させることはできな い。 そのため、 図 2 5では、 複数のマルチメディアデータに加え、 それらに対応 する個々の付加情報を 1つのモジュールにまとめている。 個々のマルチメディァ データに対応する上記付加情報は、 実質的な内容を示すデータが含まれていなく とも良いが、 個々の領域そのものは必ず存在するものとする。 上記付加情報の数 とマルチメディア情報数が同一で、 かつ格納順序も同一とすれば、 個々のマルチ メディアデータと付加情報を対応付けられる。

これによって、 上記付加情報に 3次元画像表示制御情報を含めることで 2次元 画像データと 3次元画像データの識別が可能となる。

図 2 6 Aおよび 2 6 Bは、 マルチメディア情報ファイルのさらに別の構成を示 す概念図である。

すなわち、 3次元画像表示制御情報にモジユーノレ内のマルチメディァデータを 指し示す識別子を含め、 これにより画像データと前記 3次元表示制御情報とを対 応させるものである。 図 2 6 Aでは、 モジュール内の各マルチメディアデータに 対して識別子番号を付与しておき、 モジュール付加情報の領域に格納した 3次元 画像表示制御情報に、 3次元画像データの識別子を含めている。 このように構成 することで、 2次元画像データと 3次元画像データの識別が可能となる。 また、 モジュール内に複数の 3次元画像データが含まれる場合、 図 2 6 Bに示すように 複数の 3次元画像表示制御情報をモジュール付加情報領域に含めることで、 モジ ユール内の 2次元画像と 3次元画像を識別することが可能となる。

図 3 1は、 マルチメディア情報ファイルのさらに別の構成を示す概念図である。 すなわち、 図 3 1に示すように、 3次元画像表示制御情報に複数の識別子を含 めることで、 2次元画像と 3次元画像データとを識別することが可能である。 なお、 図 2 6 A、 2 6 B、 図 3 1においては、 モジュールが 1つの場合を例示 しているが、 モジュールはマルチメディァ情報ファィルに複数含まれていても良 い。 この場合、 複数のモジュールに含まれる 3次元画像データを相互に識別可能 なように識別子が付与されているものとする。

ここで、 1つのモジュール内に格納される画像データの全てが 3次元画像デー タの場合、 対応する 3次元画像表示制御情報全てを格納する代わりに例えば識別 子番号 = 0の 3次元画像表示制御情報を 1つだけ格納する形としても良い。 すな わち、 マルチメディアデータの識別子番号は 1以上の整数と定義しておき、 識別 子番号 = 0はモジュール内の全画像が 3次元画像であるとしておく。 この場合、 複数の 3次元画像表示制御情報を格納しなくて済むため、 全体の符号量が少なく なる。

また、 これまではマルチメディアデータに識別子を付与した例を説明したが、 図 2 3で示すように 1モジュール = 1マルチメディアデータの場合に、 モジユー ルに識別子を付与しても良い。 この場合、 図 2 3の 「モジュール 1付加情報」 〜 「モジュール 3付加情報」 の部分を図 2 6 Aの 「モジュール 1付加情報」 の中身 で置き換えることで、 同様に 2次元画像データと 3次元画像データを識別するこ とが可能となる。 また、 図 2 3の 「モジュール 1付加情報」 〜 「モジュール 3付 加情報」 の部分を図 3 1の 「モジュール 1付加情報」 の中身で置き換えることで 同様にマルチメディア情報ファイルに含まれる画像データが全て 3次元画像デー タか否かを識別することが可能となる。

なお、 上記ではマルチメディア情報ファイルについて述べた力 本発明はファ ィルに限定されるものではなく、 通信、 放送などの伝送フォーマット、 もしくは 他の目的に使用されるデータフォーマットにも適用可能なのは明らかである。 図 3 0は、 本発明のマルチメディア情報生成装置の他の例である画像データ記 録装置 1 0 0の別の構成を示すブロック図である。

すなわち、 図 3 0は、 図 2で説明した画像データ記録装置 1 0 0のファイル生 成部 1 2の入力に 2次元画像データの入力およびぺージデ一タの入力が追加され たものである。 3次元表示制御情報生成部 1 1の構成は、 図 2に示したものと同 —であるため、 説明を省略する。

図 3 2は、 図 3 0に示した画像データ記録装置 1 0 0の処理のフローを説明す るためのフローチャートである。

図 3 0および図 3 2を参照して、 画像データ記録装置 1 0 0は、 外部から、 マ ルチメディア情報生成のために必要なパラメータ、 3次元画像データ、 2次元画 像データ、 ページデータを受け取り （ステップ S 1 0 2 ) 、 3次元表示制御情報 生成部 1 1は、 外部から受け取った画像データに 3次元画像データが含まれる場 合 （ステップ S 1 0 4 ) 、 3次元制御情報を生成する （ステップ S 1 0 6 ) 。 フ アイル生成部 1 2は、 3次元表示制御情報と 3次元画像データ、 2次元画像デー タおよびページデータを受け取り、 既に説明したモジュール付加情報を含むへッ ダ情報を生成し （ステップ S 1 0 8 ) 、 図 2 3、 図 2 5 , 図 2 6 A, 2 6 B , 図 3 1に示したような、 各々が 3次元画像データ、 2次元画像データ、 ぺ一ジデー タのうちの少なくとも 1つを含むモジュールを生成することにより、 マルチメデ ィァ情報ファイルを生成し出力する （ステップ S 1 1 0 ) 。 なお、 上記では入力 として、 3次元画像データ、 2次元画像データおよびページデータの 3つの場合 を説明したが、 入力は最低 1つあれば良い。 また、 逆に 3つ以上の入力があって も良い。

このようにマルチメディァ情報ファィルを構成することで、 2次元画像データ と 3次元画像データが混在するマルチメディア情報を効率良く蓄積、 伝送、 管理 することが可能となる。

次に、 図 2 7は、 前述した 1つのマルチメディア情報ファイルの中に 3次元画 像データ、 2次元画像データおよびその配置情報が含まれる場合の画像データ再 生装置の構成を説明するための概略プロック図である。

図 2 7に示す画像データ再生装置は、 分離部 5 0と、 複数のデータ再生部 2 3 と、 ページデータ復号部 5 1と、 制御情報解析部 5 2と、 スィッチ 5 6、 5 7と、 2次元画像合成部 5 3、 3次元画像合成部 5 5 、 2 0/ 3 0変換部5 4と、 デー タ変換部 2 6と表示部 4 4とから成る。 データ変換部 2 6および表示部 4 4につ いては、 図 1 7に示す画像データ再生装置で既に説明しているため、 説明を省略 する。

分離部 5 0は、 入力された上記マルチメディア情報ファイルを分離し、 ヘッダ 情報は制御情報解析部 5 2へ、 画像データはデータ再生部 2 3へ、 ページデータ はページデータ復号部 5 1へ出力する。

制御情報解析部 5 2は、 ヘッダ情報を解析し、 各モジュール付加情報に 3次元 画像表示制御情報が含まれるか否かを判定し、 その判定結果に応じてスィツチ 5 6を 2 D側、 もしくは 3 D側に倒す。 また、 3次元画像表示制御情報をデータ再 生部 2 3に入力する。

データ再生部 2 3は、 3次元画像表示制御情報が入力されればその値を用いて 3次元画像を再生し、 そうでなければ 2次元画像を再生する。

ページデータ復号部 5 1は、 入力されたページデータを復号し、 ページ画像を 出力すると共に、 それぞれの画像データの配置情報を解析し、 2次元画像合成部 及び 3次元画像合成部へ出力する。 なお、 ページデータはマルチメディア情報フ アイルに必須のものでは無い為、 ページデータ復号部 5 1は無くとも良い。 この 場合、 ベージデータに含まれる配置情報は別途定められる。

2次元画像合成部 5 3では、 入力された配置情報を元に、 ページ画像と上記再 生された 2次元画像の合成を行う。

上記マルチメディアデータ情報が 3次元画像を含む時、 スィッチ 5 7を 2 Dノ

3 D変換部側に倒し、 表示部 4 4は 3次元表示を行い、 3次元画像を含まない時、 スィッチ 5 7を表示部側に倒し、 表示部 4 4は 2次元表示を行う。

2 D/ 3 D変換部 5 4は、 上記合成された 2次元画像データから 3次元画像デ ータを生成する。 生成方法については後述する。

3次元画像合成部 5 5では、 入力された配置情報を元に、 上記 3次元画像の合 成を行う。

図 2 8は、 2 DZ 3 D変換部 5 4の動作を説明するための概念図である。 図 2 8に示すとおり、 入力された 2次元画像データは水平方向の解像度が半分になる ように間引きかれる。 該間引かれた画像を複製し 2つの画像を生成し、 一方を右 画像、 他方を左画像とする。 以上では、 水平方向の解像度を半分に間引きした例 を説明したが、 表示に必要となる 3 D画像データの解像度は画像データ再生装置 が備える 3 D表示デバイスによって異なるため 2 D/ 3 D変換部の動作はこれに 限定されない。 例えば、 時分割方式では、 奇数ラインのデータを用いて一方の画 像が生成され、 偶数ラインのデータを用いて他方の画像が生成される。 前記ページデータ復号部 5 1はページデータに文字情報が含まれる場合、 文字 情報に対応するフォントイメージを R OMなどの記憶媒体から読み出し、 これを 展開してページ画像に貼り付ける。 前記フォントイメージはビットマップデータ であってもよいし、 ベクトルデータであってもよい。

図 3 3 Aは図 2 7のページデータ復号部 5 1のより詳細なブロック図である。 前記ページデータ復号部 5 1はページデータを復号してページ画像を生成するぺ ージ生成部 6 7およびフォントイメージを蓄積するフォントイメージ蓄積部 6 8 から構成される。 ページ生成部 6 7は分離部 5 0から入力されたページデータを 復号し、 表や昇線などからなるページ画像を生成すると伴に、 ページデータ中で 指定のフォントイメージをフォントイメージ蓄積部 6 8から読み出して展開し、 ページ画像に貼り付ける。

図 3 5は前記ページデータ復号部 5 1と前記 2 DZ 3 D変換部 5 4を経て、 前 記フォントイメージ蓄積部 6 8から読み出したフォントイメージがどのように変 化するかを概念的に示したものである。 既に説明したように前記 2 DZ 3 D変換 部は入力された画像データの水平解像度を半分に間引き、 これを複製することで 立体画像を生成する。

ここで 2 DZ 3 D変換部 5 4で入力された 2 Dページデータの文字情報は図 3 5に示すように、 奇数列のみを用いて水平方向を半分にする間引き処理によりフ オントの一部の線が消滅し、 文字として解読できなくなってしまう場合がある。 これを避けるため、 前記フォントイメージ蓄積部から読み出されるフォントは、 間引き処理を行ってもフォントの一部が消滅しないように構成しなければならな レ、。 このようなフォントイメージを以降 3 Dフォントと呼ぶことにする。 3 Dフ オントは、 前記のように間引き処理を行ってもフォントの一部が消滅したため文 字として解読できなくならないという条件さえ満たせばゴシック体などの太いフ オントをそのまま使用できる場合がある。 また、 明朝体など細いフォントに後述 の特別の処理を施すことによっても生成することが出来る。

次に、 図 3 6、 図 3 7 A~ 3 7 Cおよび図 4 0を用いて 3 Dフォントを生成す る方法を説明する。

図 4 0は、 3 Dフォントを作成する方法を概念的に示したものである。 同図に 示すように一旦、 水平方向を半分に縮小し、 各ピクセルを水平方向に 2回ずつ繰 り返して拡大することで 3 Dフォントを生成できる。

図 3 7 A〜3 7 Cは、 3 Dフォントの別の作成方法を説明する為の図である。 同図 A、 B、 Cはそれぞれ前記縮小方法の別の例を示している。 図中、 白いマス はピクセルの値が 0、 黒いマスはピクセルの値が 0以外の値 k、 灰色のマスはピ クセルの値が 0以外で k未満の値 mであることを表す。 また、 同図 （1 ) 〜 ( 2 ) はそれぞれの縮小方法に対し、 水平方向に隣り合う 2ピクセルの値の組み 合わせと、 そこから縮小処理により生成されるピクセル値との関係を表している。 図 3 7 Aに示す縮小方法は、 前記 2ピクセノレのうち少なくとも一方が kである 場合に縮小されたピクセルも kにする方法である。 図 4 0の手順 Aがこの方法で 縮小、 拡大したフォントの例である。 この方法によれば、 文字を構成するピクセ ル全てが消滅しないように構成されている為、 間引き時に奇数列もしくは偶数列 の一方が削除されても他方が保存される。 このため 2 D/ 3 D変換処理を行って も文字の一部が欠けることを回避できる。

図 3 7 Bに示す縮小方法は、 縮小後のピクセル値として前記隣り合う 2つのピ クセル値の間の値を取る方法である。 状態 （1 ) では隣接する 2ピクセルの値が 両方とも 0であるため縮小後のピクセルの値を 0とする。 隣接する 2つのピクセ ル値のどちらか一方が 0で、 もう一方が kである状態 （2 ) または状態 （3 ) の 場合は、 縮小後のピクセルの値を 0と kの間の値 mとする。 隣接する 2つのピ クセルの値が両方とも kである状態 （4 ) ならば、 縮小後のピクセノ W直も kとす る。 前記 mが前記 kよりも小さい為、 フォントが太くなつているにもかかわら ずフォントの線を見かけ上細くすることが可能となる。 例えば、 前記 kが 1 0 0 の時、 前記 mの値として、 例えば m= k Z 2である 5 0を用いれば良い。 図 4 0 の手順 Bがこの方法で縮小、 拡大したフォントの例である。 太さが 1の時に m = 2 / kにすると、 フォントが喑くなりすぎる時には、 あらかじめフォントィメー ジ毎に太さ tを指定しておき、 図 3 6に示すように太さが 1に近い時、 すなわち tが 1に近い時に mが kに近づくような関数を用いても良い。

図 3 7 Cに示す縮小方法は、 状態 （1 ) および （4 ) に関する変換は前記図 3 7 Bに示す縮小方法と同じであるが、 前記 2画素の左側のピクセルの値のみが k である状態 （2 ) の時には mに、 右側のピクセルの値のみが kである状態 （3 ) の時には nに、 それぞれ縮小後のピクセルの値を決める方法である。 ここで、 n は mとは異なる 0と kの間のィ直である。 これにより、 フォントイメージの見え方 を前記図 3 7 Bに示す方法よりも更に細かく制御できる。

これまでに説明した方法で 2 Dフォントから生成した 3 Dフォントや、 1から 生成した 3 Dフォントをあらかじめ図 3 3 Bのフォントイメージ蓄積部 6 8に備 えて、 3 D表示時に 3 Dフォントを選択して読み出しても良いが、 フォントィメ ージを読み出す際に変換しても良い。

図 3 3 Cは、 フォントイメージを読み出す際に変換するように構成した場合の ページデータ復号部の詳細な構成を示したブロック図である。 このページデータ 復号部は、 図 3 3 Bのページデータ復号部にフォント変換部 6 9が加えられてい る。

ページ生成部は、 ページデータを復号する際、 フォントイメージ蓄積部から読 み出した 2 D表示用のフォントイメージから、 前記フォント変換部 6 9にて 3 D フォントに変換し、 これを用いてページ画像を生成する。 このように構成するこ とにより、 2 D、 3 D用のフォントイメージを別々に蓄積することなく、 2 D表 示、 3 D表示のいずれも可能な装置の場合でも記憶領域を削減できる利点がある。 これまでの実施例では、 図 3 8 Aのように文字情報の復号 '展開は図 2 7のぺ ージデータ復号部 5 1にて行ったが、 図 3 8 Bのように文字情報の展開をページ データ復号部 5 1でする代わりに、 2 DZ 3 D変換部 5 4にて行う例を示す。 こ れまでの実施例とはページデータ復号部 5 1および 2 DZ 3 D変換部 5 4の構成 が異なる。 ここでは図示しないがページデータ復号部 5 1は図3 3 〜3 3じに おいてページ生成部 6 7のみで構成される。

図 3 4の 2 D/ 3 D変換部は、 入力されたページ画像を水平方向に縮小する間 引き処理部 7 0と、 縮小されたページ画像から立体表示に必要な左右の画像を生 成する左右画像複製部 7 1および左右画像生成時に用いるフォントイメージを蓄 積するフォントイメージ蓄積部 7 2とフォントイメージを貼り付けるフォントイ メージ貼付部 7 3とから構成される。

間引き処理部 7 0の動作はすでに 2 Dノ 3 D変換部の動作説明時に詳細に説明 しているため、 以後の説明は省略する。

前記左右画像複製部は、 間引きされたページ画像を複製することで左右の画像 を生成し、 合わせて入力された文字情報を復号し、 右目用、 左目用それぞれのフ オントイメージを前記フォントイメージ蓄積部 7 2から読み出して貼り付ける。 なお、 読み出されるフォントイメージは元のフォントイメージから前記間引き処 理部 7 0と同一の方法で間引かれたものである。

右目用、 左目用のフォントイメージを左右の画像それぞれに貼り付けることに よって、 左右のフォントの視差量を微妙に変えることが可能となり、 3 Dディス プレイ上で文字の飛び出しを制御することも可能である。

図 3 9 A〜3 9 Cは 2 DZ 3 D変換部にてフォントを展開する場合の別の実施 例を説明するための概念図である。

図 3 9 Aは、 右目用もしくは左目用フォントイメージのいずれか一方のみを右 画像、 左画像に貼り付ける場合を表している。 こうすることで、 右もしくは左の 一方にのみ文字情報が存在する為、 輝度が高くなりすぎないという効果がある。 また図 3 9 Bに示すように、 間引き処理を行っていないフォントイメージを右 画像、 左画像それぞれにあるいは一方に貼り付けても良い。 この場合、 フォント イメージの 3 D表示では文字の大きさが倍になるが、 縮小を行わないので、 細い フォントであってもそのまま使用でき、 さらに縮小にかかわる処理が発生しない という利点がある。

また、 図 3 9 Cに示すように、 読み出された文字情報のピクセルの値を偶数列、 奇数列毎に集めて、 水平方向に半分に縮小したフォントを作成し、 2 D/ 3 D変 換部でコピーした左右画像にそれぞれ貼り付けても良い。 こうすることで間引き により情報が削除されることなく、 また輝度も保存できる。 この場合、 例えば左 画像にフォントイメージの偶数列のみのデータを、 右画像に奇数列のみのデータ を貼り付ければ良い。

また、 右目用および左目用フォントイメージは同一のものであっても良い。 こ の時貼り付けるフォントイメージは水平方向 2分の 1のものをフォント蓄積部に 蓄積することによって、 記憶容量を削減することもできる。 両眼視差を調整し、 フォントイメージの飛び出しを制御することも出来る。 図 2 9 Aおよび 2 9 Bは、 3次元画像データの合成時に配置情報がどのように 使用されるかを示した概念図である。

図 2 9 Aに示すように、 3次元画像データの配置情報が （X, Y) と指定され る場合、 3次元画像合成部 5 5では、 図 2 9 Bに示すように左右の画像それぞれ に対し、 （XZ 2 , Y) の位置に合成すれば良い。 この座標変換方法は、 先の場 合と同様、 画像データ再生装置が備える 3次元 （3 D) デバイスによって異なる ため、 本実施例の記載はあくまでも一例である。

また、 表示部 4 4が表示領域の所望の部分を 2次元表示モードにできる場合は、 2 DZ 3 D変換部 5 4は不要であり、 直接 2次元画像データを表示部の 2次元表 示モードにした部分に入力すれば良い。

以上のように画像データ再生装置を構成することで、 2次元画像と 3次元画像 が混在したマルチメディァ情報ファイルを適切に表示することができる。

以上説明したとおり、 本発明によれば、 複数の 2次元画像データと 3次元画像 データが 1つのマルチメディア情報ファイルに含まれる場合でも、 3次元画像デ ータと共に、 3次元画像データを表示するための 3次元画像表示制御情報をマル チメディア情報ファイルとして記録または構成するので、 3次元画像データに汎 用性を持たせ、 1種類のマルチメディァ情報フアイルで様々な 3次元表示方式に 柔軟に対応することが可能となる。

本発明のマルチメディア情報再生装置によれば、 複数の 2次元画像データと 3 次元画像データが 1つのマルチメディア情報ファイルに含まれる場合でも、 マル チメディァ情報フ了ィル中に含まれる 3次元画像表示制御情報を解析することに より、 3次元画像データと 2次元画像データを表示方法に合わせて適切に変換し、 正しく表示することが可能となる。

この発明を詳細に説明し示してきたが、 これは例示のためのみであって、 限定 となってはならず、 発明の精神と範囲は添付の請求の範囲によってのみ限定され ることが明らかに理解されるであろう。

Claims

請求の範囲

1 . 2次元画像および/または 3次元画像を複数個含むマルチメディァ情報を 生成するマルチメディァ情報生成方法であって、

前記マルチメディア情報に 3次元画像データが含まれる場合、 前記 3次元画像 の表示を制御する制御情報を生成するステップと、

前記 2次元画像および Zまたは 3次元画像と前記制御情報とを含む前記マ チ メディァ情報を生成するステップとを備える、 マルチメディァ情報生成方法。

2 . 複数のモジュールから成るマルチメディア情報を生成するマルチメディア 情報生成方法であって、

2次元画像および/または 3次元画像を複数個含む前記モジュールを生成する ステップと、

前記モジュールに 3次元画像データが含まれる場合、 前記モジュールは、 前記 3次元画像の表示を制御する制御情報を含むことを特徴とするマルチメディァ情 報生成方法。

3 . 前記制御情報は、 個々の 3次元画像に対応して存在することを特徴とする、 請求項 1または 2に記載のマルチメディァ情報生成方法。

4 . 前記制御情報は、 複数の 3次元画像に対応して存在することを特徴とする、 請求項 1または 2に記載のマルチメディァ情報生成方法。

5 . 少なくとも前記 2次元画像および Ζまたは前記 3次元画像の各々を区別す る識別子をあらかじめ設定し、 前記制御情報は、 前記 3次元画像の識別子を示す 識別情報を含むことを特徴とする、 請求項 1に記載のマルチメディア情報生成方 法。

6 . 少なくとも前記 2次元画像および Ζまたは前記 3次元画像の各々を区別す る識別子をあらかじめ設定し、 前記制御情報は、 前記 3次元画像の識別子を示す 識別情報を含むことを特徴とする、 請求項 2に記載のマルチメディァ情報生成方 法。

7 . 前記制御情報は、 複数の識別子を含むことを特徴とする、 請求項 5または 6に記載のマルチメディァ情報生成方法。

8 . 前記識別子の所定の値は、 前記マルチメディァ情報に含まれる画像が全て 3次元画像であることを示す、 請求項 5または 6に記載のマルチメディァ情報生 成方法。

9 . 前記識別子の所定の値は、 前記モジュールに含まれる画像が全て 3次元画 像であることを示す、 請求項 5に記載のマルチメディア情報生成方法。

1 0. 2次元画像あるいは 3次元画像を複数個含むマ チメディア情報を再生 するマルチメディア情報再生装置であって、

前記 2次元画像から 3次元画像を生成する生成部と、

前記生成部で生成された 3次元画像と、 前記マルチメディア情報に含まれる 3 次元画像を合成する第 1の合成部を備えたことを特徴とするマルチメディァ情報 再生装置。

1 1 . 複数の 2次元画像を合成する第 2の合成部をさらに備え、

前記生成部は、 前記第 2の合成部で合成された 2次元画像データから 3次元画 像データを生成することを特徴とする、 請求項 1 0に記載のマルチメディア情報

1 2. 2次元画像および/または 3次元画像を複数個含むマルチメディア情報 を再生するマルチメディア情報再生装置であって、

前記マルチメディア情報に含まれる図形および文字情報を復号しページ画像を 得るページデータ復号部と、

前記ページ画像を 3次元画像に変換する 2 DZ 3 D変換部と、

前記 2 DZ 3 D変換部で生成された 3次元画像と前記マルチメディァ情報に含 まれる 3次元画像とを合成する第 1の合成部とを備える、 マルチメディァ情報再 生装置。 .

1 3. 複数の 2次元画像を合成する第 2の合成部をさらに備え、

前記 2 DZ 3 D変換部は、 前記第 2の合成部で合成された 2次元画像データを 3次元画像データに変換することを特徴とする、 請求項 1 2に記載のマルチメデ ィァ情報再生装置。

1 4. 文字情報に対応した第 1のフォントイメージと第²のフォントイメージ を備え、 文字情報を 3次元表示する際に、 前記第 1のフォントイメージを用い、 文字情報を 2次元表示する際に前記第 2のフォントイメージを用いることを特徴 とする、 請求項 1 2または 1 3に記載のマルチメディア情報再生装置。

1 5 . 前記ページデータ復号部において、 第 1または第 2のフォントイメージ を用いてページ画像を得ることを特徴とする、 請求項 1 4に記載のマルチメディ ァ情報再生装置。

1 6 . 前記 2 DZ 3 D変換部において、 第 1または第 2のフォントイメージを 用いて 3次元画像を得ることを特徴とする、 請求項 1 4に記載のマルチメディァ 情報再生装置。

1 7 . 前記第 1および第 2のフォントイメージを蓄積するフォントイメージ蓄 積部と、

第 1または第 2のフォントイメージを選択するスィッチと、

をさらに備えることを特徴とする、 請求項 1 5または 1 6に記載にマルチメディ ァ情報再生装置。

1 8 . 第 2のフォントイメージを第 1のフォントイメージに変換するフォント 変換部をさらに備えることを特徴とする、 請求項 1 5または 1 6に記載にマルチ メディア情報再生装置。

1 9 . 前記第 1のフォントイメージは複数の濃淡情報から成り、 文字の太さが 見かけ上細くなるように配置されていることを特徴とする、 請求項 1 2に記載の マルチメディァ情報再生装置。