JP4770601B2 - 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体 - Google Patents

情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体 Download PDF

Info

Publication number
JP4770601B2
JP4770601B2 JP2006173677A JP2006173677A JP4770601B2 JP 4770601 B2 JP4770601 B2 JP 4770601B2 JP 2006173677 A JP2006173677 A JP 2006173677A JP 2006173677 A JP2006173677 A JP 2006173677A JP 4770601 B2 JP4770601 B2 JP 4770601B2
Authority
JP
Japan
Prior art keywords
stream
reproduction
audio
information
video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
JP2006173677A
Other languages
English (en)
Other versions
JP2008005288A (ja
Inventor
綾子 岩瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to JP2006173677A priority Critical patent/JP4770601B2/ja
Publication of JP2008005288A publication Critical patent/JP2008005288A/ja
Application granted granted Critical
Publication of JP4770601B2 publication Critical patent/JP4770601B2/ja
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Landscapes

  • Television Signal Processing For Recording (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Indexing, Searching, Synchronizing, And The Amount Of Synchronization Travel Of Record Carriers (AREA)

Description

本発明は、情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体に関し、特に、複数のビデオストリームが合成されて表示可能なようになされている場合に用いて好適な、情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体に関する。
DVD（Digital Versatile Disc）ビデオの規格においては、記録媒体に記録されている映画などのＡＶ（Audio Visual）コンテンツを再生する場合、ユーザに、音声切り替えや字幕切り替えというインタラクティブな操作を提供している（例えば、非特許文献１参照）。具体的には、図１の表示装置１に表示されているＡＶコンテンツに対して、ユーザは、リモートコントローラ２の音声切り替えボタン１１や字幕切り替えボタン１２を操作することで、音声の切り替えや字幕を切り替える。例えば、音声１が初期状態として設定されており、ユーザによりリモートコントローラ２の音声切り替えボタン１１が操作された場合、図２に示されるように、音声１が音声２に切り替えられる。
DVDビデオ上のＡＶコンテンツは、MPEG（Moving Picture Experts Group）２プログラムストリームの形式で記録されている。このMPEG２プログラムストリームには、図３に示されるように、ビデオストリーム（図３のビデオ）、複数のオーディオストリーム（図３のオーディオ１，２，３）、および複数のサブピクチャストリーム（図３のサブピクチャ１，２，３）が、ビデオストリームにＡＶ同期して再生されるように多重化されている。サブピクチャストリーム（サブピクチャ１，２，３）は、ビットマップ画像がランレングス符号化されたストリームであり、主に字幕用途に用いられる。
一般に、複数のオーディオストリームは、異なる言語の音声を記録するために用いられ、複数のサブピクチャストリームは、異なる言語の字幕を記録するために用いられる。ユーザは、ビデオが再生されている場合、インタラクティブに所望の言語の音声や字幕を、リモートコントローラ２を用いて選択することができる。
DVD Specifications for Read-Only Disc Part 3;Version1.1
また、追加して記録された音声（例えば、いわゆるアフレコと称される音声）を再生するために、Sub pathが用いられている技術がある（例えば、特許文献１）。
特開２０００−１５８９７２号公報
また、複数の映像データを編集するために、複数のビデオストリームを同一時間軸上のタイムライン上に表現する技術がある（例えば、特許文献２）。
特開２０００−３４８４６９号公報
特許文献１に記載の技術では、たしかに、追加して記録された音声（例えば、いわゆるアフレコと称される音声）を再生するために、Sub pathが用いられているが、２つの同一の種類のストリーム、すなわち、２つのオーディオストリームや２つのビデオストリームを合成して再生するための構成についてはなんら開示されていない。
また、特許文献２に記載の技術では、編集作業のために、複数のビデオストリームが同一時間軸上のタイムライン上に表現することができるようになされているが、これらの複数のビデオストリームは、それぞれ個別のタイムコードに基づいて撮像された独立したビデオストリームであり、合成して再生されるものではなかった。
したがって、例えば、２つのビデオストリームが合成して再生される場合などにおいて、それぞれのストリームが再生時間軸上においてどの位置で合成されるのかなどを把握するための技術はなかった。
本発明はこのような状況に鑑みてなされたものであり、複数のビデオストリームが合成して再生される場合の合成の状態を把握することができるようにするものである。
本発明の一側面の情報処理装置は、記録媒体から第１および第２のストリームの再生を制御するための再生管理情報を取得する第１の取得手段と、前記第１の取得手段により取得された前記再生管理情報を解析し、解析結果から、前記第１のストリームを再生する主の再生パスとは異なる再生パスであって、１つまたは複数の副の再生パスにより再生される前記第２のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報を取得する第２の取得手段と、前記第２の取得手段により取得された前記副の再生パスに関する情報を基に、前記第１のストリームの再生時間軸に対応づけて、前記第２のストリームの再生位置と種類を示す画像を生成する情報生成手段と、前記情報生成手段により生成された前記画像の表示を制御する表示制御手段と、前記第１の取得手段により取得された前記再生管理情報に基づいて、前記第１および第２のストリームの再生を制御する再生制御手段とを備える。
前記第２のストリームが前記第１のストリームに非同期である場合、前記第２のストリームの再生位置を示す情報は、前記第１のストリームの再生時間軸の先頭に対応づけられるようにすることができる。
前記第２のストリームが前記第１のストリームに同期している場合、前記第２のストリームの再生位置を示す情報は、前記第１のストリームの再生時間軸に対応づけられるようにすることができる。
前記第２のストリームの所定のフレームの画像データを取得する第３の取得手段を更に備えさせるようにすることができ、前記情報生成手段には、前記第３の取得手段により取得された前記第２のストリームの所定のフレームの画像データを基に、前記第２のストリームの種類を示す情報を生成させるようにすることができる。
前記第１のストリームを取得する第３の取得手段を更に備えさせるようにすることができ、前記再生制御手段には、前記第１の取得手段により取得された前記再生管理情報に基づいて、前記第３の取得手段により取得された前記第１のストリームの再生を制御させるようにすることができ、前記表示制御手段には、前記再生制御手段により再生が制御される前記第１のストリームの画像に、前記情報生成手段により生成された前記画像が重畳されて表示されるように、その画像の表示を制御させるようにすることができる。
ユーザによる操作入力を取得する操作入力取得手段を更に備えさせるようにすることができ、前記操作入力取得手段によって、前記表示制御手段により表示が制御された前記画像を参照したユーザによる前記第２のストリームの再生位置を選択する操作入力が取得された場合、前記再生制御手段には、選択された前記再生位置からの前記第１および第２のストリームの再生を制御させるようにすることができる。
本発明の一側面の情報処理方法は、情報処理装置が、記録媒体から第１および第２のストリームの再生を制御するための再生管理情報を取得し、前記情報処理装置が、取得された前記再生管理情報を解析して、前記第１のストリームを再生する主の再生パスとは異なる再生パスであって、１つまたは複数の副の再生パスにより再生される前記第２のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報を取得し、前記情報処理装置が、取得された前記副の再生パスに関する情報を基に、前記第１のストリームの再生時間軸に対応づけて、前記第２のストリームの再生位置と種類を示す画像を生成し、前記情報処理装置が、生成された前記画像の表示を制御し、前記情報処理装置が、取得された前記再生管理情報に基づいて、前記第１および第２のストリームの再生を制御するステップを含む。
本発明の一側面のプログラムまたはプログラム格納媒体に格納されているプログラムは、コンピュータに、記録媒体から第１および第２のストリームの再生を制御するための再生管理情報を取得し、取得された前記再生管理情報を解析して、前記第１のストリームを再生する主の再生パスとは異なる再生パスであって、１つまたは複数の副の再生パスにより再生される前記第２のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報を取得し、取得された前記副の再生パスに関する情報を基に、前記第１のストリームの再生時間軸に対応づけて、前記第２のストリームの再生位置と種類を示す画像を生成し、生成された前記画像の表示を制御し、取得された前記再生管理情報に基づいて、前記第１および第２のストリームの再生を制御するステップを含む処理を実行させる。
本発明の一側面においては、記録媒体から第１および第２のストリームの再生を制御するための再生管理情報が取得され、再生管理情報が解析されて、第１のストリームを再生する主の再生パスとは異なる再生パスであって、１つまたは複数の副の再生パスにより再生される第２のストリームの再生位置と種類を示す情報を含む副の再生パスに関する情報が取得され、取得された副の再生パスに関する情報を基に、第１のストリームの再生時間軸に対応づけて、第２のストリームの再生位置と種類を示す画像が生成され、その画像の表示が制御され、再生管理情報に基づいて、第１および第２のストリームの再生が制御される。
ネットワークとは、少なくとも２つの装置が接続され、ある装置から、他の装置に対して、情報の伝達をできるようにした仕組みをいう。ネットワークを介して通信する装置は、独立した装置どうしであっても良いし、１つの装置を構成している内部ブロックどうしであっても良い。
また、通信とは、無線通信および有線通信は勿論、無線通信と有線通信とが混在した通信、即ち、ある区間では無線通信が行われ、他の区間では有線通信が行われるようなものであっても良い。さらに、ある装置から他の装置への通信が有線通信で行われ、他の装置からある装置への通信が無線通信で行われるようなものであっても良い。
再生装置は、独立した装置であっても良いし、記録再生装置の再生処理を行うブロックであっても良い。
以上のように、本発明の一側面によれば、再生管理情報が解析され、特に、副の再生パスに関する情報を基に、主の再生パスおよび副の再生パスにより再生されるストリームに関する情報が生成されるので、ユーザに、主の再生パスにより再生されるストリームのみならず、副の再生パスにより再生されるストリームの内容や再生位置などを分かりやすく提示することができる。
以下に本発明の実施の形態を説明するが、本発明の構成要件と、明細書または図面に記載の実施の形態との対応関係を例示すると、次のようになる。この記載は、本発明をサポートする実施の形態が、明細書または図面に記載されていることを確認するためのものである。従って、明細書または図面中には記載されているが、本発明の構成要件に対応する実施の形態として、ここには記載されていない実施の形態があったとしても、そのことは、その実施の形態が、その構成要件に対応するものではないことを意味するものではない。逆に、実施の形態が構成要件に対応するものとしてここに記載されていたとしても、そのことは、その実施の形態が、その構成要件以外の構成要件には対応しないものであることを意味するものでもない。
本発明の一側面の情報処理装置は、記録媒体から第１および第２のストリームの再生を制御するための再生管理情報(例えば、PlayList)を取得する第１の取得手段(例えば、図３２のPlayList読み出し制御部３５１)と、前記第１の取得手段により取得された前記再生管理情報を解析し、解析結果から、前記第１のストリームを再生する主の再生パスとは異なる再生パスであって、１つまたは複数の副の再生パスにより再生される前記第２のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報を取得する第２の取得手段(例えば、図３２のPlayList解析部３５２およびIN_time/OUT_time取得部３５６)と、前記第２の取得手段により取得された前記副の再生パスに関する情報を基に、前記第１のストリームの再生時間軸(例えば、図３４のメインタイムライン４０１)に対応づけて、前記第２のストリームの再生位置と種類を示す画像(例えば、図３３または図３４のGUI表示画面３９１のデータ)を生成する情報生成手段と、前記情報生成手段により生成された前記画像の表示を制御する表示制御手段(例えば、図３２のGUI表示制御部３５９)と、前記第１の取得手段により取得された前記再生管理情報に基づいて、前記第１および第２のストリームの再生を制御する再生制御手段（例えば、図３２の再生制御部３５５)とを備える。
前記第２のストリームの所定のフレームの画像データを取得する第３の取得手段(例えば、図３２のストリームデータ読み出し制御部３５４)を更に備えることができ、前記情報生成手段は、前記第３の取得手段により取得された前記第２のストリームの所定のフレームの画像データを基に、前記第２のストリームの種類を示す情報(例えば、サムネイル)を生成することができる。
前記第１のストリームを取得する第３の取得手段(例えば、図３２のストリームデータ読み出し制御部３５４)を更に備え、前記再生制御手段は、前記第１の取得手段により取得された前記再生管理情報に基づいて、前記第３の取得手段により取得された前記第１のストリームの再生を制御し、前記表示制御手段は、前記再生制御手段により再生が制御される前記第１のストリームの画像に、前記情報生成手段により生成された前記画像が重畳されて表示されるように、その画像の表示を制御（ＯＳＤ３０による画像合成を制御）することができる。
ユーザによる操作入力を取得する操作入力取得手段(例えば、図３２の操作入力取得部３５３)を更に備えることができ、前記操作入力取得手段によって、前記表示制御手段により表示が制御された前記画像を参照したユーザによる前記第２のストリームの再生位置を選択する操作入力が取得された場合、前記再生制御手段は、選択された前記再生位置からの前記第１および第２のストリームの再生を制御することができる。
本発明の一側面の情報処理方法は、情報処理装置が、記録媒体から第１および第２のストリームの再生を制御するための再生管理情報(例えば、PlayList)を取得し（例えば、図３７のステップＳ４１の処理）、前記情報処理装置が、取得された前記再生管理情報を解析して、前記第１のストリームを再生する主の再生パスとは異なる再生パスであって、１つまたは複数の副の再生パスにより再生される前記第２のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報を取得し(例えば、図３７のステップＳ４２乃至ステップＳ５１の処理）、前記情報処理装置が、取得された前記副の再生パスに関する情報を基に、前記第１のストリームの再生時間軸に対応づけて、前記第２のストリームの再生位置と種類を示す画像を生成し(例えば、図３７のステップＳ５３の処理）、前記情報処理装置が、生成された前記画像の表示を制御し、前記情報処理装置が、取得された前記再生管理情報に基づいて、前記第１および第２のストリームの再生を制御するステップを含む。
本発明の一側面のプログラムは、コンピュータに、記録媒体から第１および第２のストリームの再生を制御するための再生管理情報(例えば、PlayList)を取得し（例えば、図３７のステップＳ４１の処理）、取得された前記再生管理情報を解析して、前記第１のストリームを再生する主の再生パスとは異なる再生パスであって、１つまたは複数の副の再生パスにより再生される前記第２のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報を取得し(例えば、図３７のステップＳ４２乃至ステップＳ５１の処理）、取得された前記副の再生パスに関する情報を基に、前記第１のストリームの再生時間軸に対応づけて、前記第２のストリームの再生位置と種類を示す画像を生成し(例えば、図３７のステップＳ５３の処理）、生成された前記画像の表示を制御し、取得された前記再生管理情報に基づいて、前記第１および第２のストリームの再生を制御するステップを含む処理を実行させる。
以下、図を参照して、本発明の実施の形態について説明する。
図４は、本発明を適用した再生装置（図２９を参照して後述する）のローカルストレージ(例えば、ハードディスクやメモリなど)上の、または、装着される記録媒体上のアプリケーションフォーマットの例を示す図である。記録媒体は、後述する光ディスクの他、磁気ディスクや半導体メモリであってもよい。
アプリケーションフォーマットは、ＡＶ（Audio Visual）ストリームの管理のために、PlayListとClipの２つのレイヤを有している。ここでは、ＡＶストリームとそれに付随する情報であるクリップインフォメーション（Clip Information）のペアを１つのオブジェクトと考え、それらをまとめてClipと称する。以下、ＡＶストリームをＡＶストリームファイルとも称する。なお、AVストリームファイルには、音声データや映像データ以外にも、これらのデータとともに再生される各種のストリームファイルが含まれていてもよい。また、ClipインフォメーションをClipインフォメーションファイルとも称する。
一般的に、コンピュータ等で用いられるファイルはバイト列として扱われるが、ＡＶストリームファイルのコンテンツは時間軸上に展開され、Clipのアクセスポイントは、主に、タイムスタンプでPlayListにより指定される。すなわち、PlayListとClipは、ＡＶストリームの管理のためのレイヤである。
Clip中のアクセスポイントがタイムスタンプでPlayListにより示されている場合、Clip Informationファイルは、タイムスタンプから、ＡＶストリームファイル中のデコードを開始すべきアドレス情報を見つけるために使用される。
PlayListは、ＡＶストリームの再生区間の集まりである。あるＡＶストリーム中の１つの再生区間はPlayItemと呼ばれ、それは、時間軸上の再生区間のＩＮ点（再生開始点）とOUT点（再生終了点）のペアで表される。従って、PlayListは、図４に示されるように１つ、または複数のPlayItemにより構成される。
図４において、左から１番目のPlayListは２つのPlayItemから構成され、その２つのPlayItemにより、左側のClipに含まれるＡＶストリームの前半部分と後半部分がそれぞれ参照されている。また、左から２番目のPlayListは１つのPlayItemから構成され、それにより、右側のClipに含まれるＡＶストリーム全体が参照されている。さらに、左から３番目のPlayListは２つのPlayItemから構成され、その２つのPlayItemにより、左側のClipに含まれるＡＶストリームのある部分と、右側のClipに含まれるＡＶストリームのある部分がそれぞれ参照されている。
例えば、図４のディスクナビゲーションプログラムにより、そのときの再生位置を表す情報として、左から１番目のPlayListに含まれる左側のPlayItemが指定された場合、そのPlayItemが参照する、左側のClipに含まれるＡＶストリームの前半部分の再生が行われる。このように、PlayListは、ＡＶストリームファイルの再生を管理するための再生管理情報として用いられる。
ディスクナビゲーションプログラムは、PlayListの再生の順序や、PlayListのインタラクティブな再生をコントロールする機能を有する。また、ディスクナビゲーションプログラムは、各種の再生の実行をユーザが指示するためのメニュー画面を表示する機能なども有する。このディスクナビゲーションプログラムは、例えば、Java（登録商標）などのプログラミング言語で記述され、記録媒体上に用意される。
本実施の形態では、PlayListの中で、１つ以上のPlayItemの並びによって（連続するPlayItemにより）作られる再生パスをメインパス(Main Path)と称し、PlayListの中で、Main Pathに並行（並列）して、１つ以上のSub Pathの並びによって（非連続でもよいし、連続してもよいSubPlayItemにより）作られる再生パスをサブパス（Sub Path）と称する。すなわち、再生装置（図２９を参照して後述する）内部のローカルストレージ上の、または、装着される記録媒体上のアプリケーションフォーマットは、メインパスに関連付けられて（合わせて）再生されるサブパス(Sub Path)をPlayListの中に持つことが可能である。
図５は、メインパスとサブパスの構造を説明する図である。PlayListは、１つのメインパスと１つ以上のサブパスを持つことができる。１つのメインパスは、１つ以上のPlayItemの並びによって作られ、１つのサブパスは、１つ以上のSubPlayItemの並びによって作られる。
図５の例の場合、PlayListは、３つのPlayItemの並びにより作られる１つのメインパスと、３つのサブパスを有している。メインパスを構成するPlayItemには、先頭から順番にそれぞれＩＤ（Identification）が付されている。具体的には、メインパスは、PlayItem_id＝０、PlayItem_id＝１、およびPlayItem_id＝２のPlayItemからなる。また、サブパスにも先頭から順番にSubpath_id＝０、Subpath_id＝１、およびSubpath_id＝２、とそれぞれＩＤが付されている。Subpath_id＝０のサブパスには、１つのSubPlayItemが含まれ、Subpath_id＝１のサブパスには、２つのSubPlayItemが含まれ、Subpath_id＝２のサブパスには、１つのSubPlayItemが含まれる。
Subpath_id＝０のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画の日本語吹き替えの音声と想定され、Mainpathにより参照されるＡＶストリームファイルのオーディオストリームに替えて再生される場合が考えられる。また、Subpath_id＝１のサブパスに含まれるSubPlayItemが参照するストリームは、例えば、映画のディレクターズカットと想定され、Main Pathにより参照されるＡＶストリームファイルの所定の部分にのみ、映画監督などのコメントが入っている場合が考えられる。
１つのPlayItemが参照するClip ＡＶストリームファイルには、少なくともビデオストリームデータ（メイン画像データ）が含まれる。また、Clip ＡＶストリームファイルには、Clip ＡＶストリームファイルに含まれるビデオストリーム（メイン画像データ）と同じタイミングで（同期して）再生されるオーディオストリームが１つ以上含まれてもよいし、含まれなくてもよい。さらに、Clip ＡＶストリームファイルには、Clip ＡＶストリームファイルに含まれるビデオストリームと同じタイミングで再生されるビットマップ字幕ストリーム（Presentation Graphic stream）が１つ以上含まれてもよいし、含まれなくてもよい。また、Clip ＡＶストリームファイルには、Clip ＡＶストリームファイルに含まれるビデオストリームと同じタイミングで再生されるインタラクティブグラフィックスストリームが１つ以上含まれてもよいし、含まれなくてもよい。そして、Clip ＡＶストリームファイルに含まれるビデオストリームと、ビデオストリームと同じタイミングで再生されるオーディオストリーム、ビットマップ字幕ストリームファイル、またはインタラクティブグラフィックスストリームとは多重化されている。すなわち、１つのPlayItemが参照するClip ＡＶストリームファイルには、ビデオストリームデータと、そのビデオストリームに合わせて再生される０個以上のオーディオストリーム、０個以上のビットマップ字幕ストリームデータ、および０個以上のインタラクティブグラフィックスストリームデータとが多重化されている。
すなわち、１つのPlayItemが参照するClip ＡＶストリームファイルには、ビデオストリーム、オーディオストリーム、ビットマップ字幕ストリームファイル、または、インタラクティブグラフィックスストリームなどの、複数の種類のストリームが含まれている。
また、１つのSubPlayItemは、PlayItemが参照するClip ＡＶストリームファイルとは異なるストリーム（別ストリーム）の、ビデオストリーム、オーディオストリーム、または、字幕データなどを参照する。
メインパスのみを有するPlayListを再生する場合、ユーザによる音声切り替えや字幕切り替えという操作は、そのメインパスが参照するClipに多重化されているオーディオストリームとサブピクチャストリームの中から音声や字幕を選択することのみが可能である。これに対し、メインパスとサブパスを持つPlayListを再生する場合、そのメインパスが参照するClip ＡＶストリームファイルに多重化されているオーディオストリームとサブピクチャストリームに加えて、SubPlayItemが参照するClipのオーディオストリームやサブピクチャストリームを選択して再生させることができる。
このように、１つのPlayListの中にSubPathを複数含め、それぞれのSubPathがそれぞれSubPlayItemを参照する構成としたので、拡張性の高い、また、自由度の高いＡＶストリームを実現することができる。すなわち、MainPathで参照されるClip ＡＶストリームに加えて、後で、SubPlayItemを追加できる構成とすることができる。
図６は、メインパスとサブパスの例を説明する図である。図６においては、メインパスと同じタイミングで（ＡＶ同期して）再生されるオーディオの再生パスを、サブパスを使用して表している。
図６のPlayListには、メインパスとして、PlayItem_id＝０である１つのPlayItemと、サブパスとして１つのSubPlayItemが含まれている。メインパスのPlayItem_id＝０である１つのPlayItem()は、メインClipＡＶストリームを参照している。SubPlayItem()には、以下に示すデータが含まれる。まず、SubPlayItem ()には、PlayListの中のSub Path（サブパス）が参照するClipを指定するためのClip_Information_file_nameが含まれる。図６の例の場合、SubPlayItemによって、SubClip_entry_id＝０のAuxiliary audio stream（オーディオストリーム）が参照されている。また、SubPlayItem ()には、Clip（ここでは、Auxiliary audio stream）の中のSub Pathの再生区間を指定するためのSubPlayItem_IN_timeとSubPlayItem_OUT_timeとが含まれる。さらに、SubPlayItem()には、Main pathの時間軸上でSub Pathが再生開始する時刻を指定するためのsync_PlayItem_idとsync_start_PTS_of_PlayItemとが含まれる。図６の例の場合、sync_PlayItem_id＝０とされ、sync_start_PTS_of_PlayItem＝ｔ１とされている。これにより、メインパスのPlayItem_id＝０の時間軸上でSub Pathが再生を開始する時刻ｔ１を指定することができる。すなわち、図６の例の場合では、メインパスの再生開始時刻ｔ１とサブパスの開始時刻ｔ１が同時刻であることを示している。
ここで、Sub Pathに参照されるオーディオのClip AVストリームは、STC不連続点（システムタイムベースの不連続点）を含んではならない。
また、SubPlayItem（）に含まれる情報（Sub Pathが参照するClipを指定する情報、Sub Pathの再生区間を指定する情報、およびMain pathの時間軸上でSub Pathが再生を開始する時刻を指定する情報）に基づいて、メインパスが参照するClip ＡＶストリーム（主に再生されるメインＡＶストリーム）とは異なるClip ＡＶストリームのオーディオストリームを参照して、再生することができる。
このように、PlayItemとSubPlayItemは、Clip ＡＶストリームファイルをそれぞれ管理するものであり、ここでは、PlayItemが管理するClip ＡＶストリームファイル（メインＡＶストリーム）とSubPlayItemが管理するClip ＡＶストリームファイルは同一のファイルに多重化されていても良いし、異なるファイルとしてもよい。
なお、図６の例と同様にして、メインパスと同じタイミングで再生される字幕ストリーム再生パスを、サブパスを使用して表すこともできる。
図７は、メインパスとサブパスの別の例を説明する図である。図７においては、メインパスと同じタイミングで（ＡＶ同期して）再生されるオーディオの再生パスを、サブパスを使用して表している。ここで、メインパスのPlayItemが参照するメインClipＡＶストリームファイルは、図６と同様であるので省略している。
例えば、メインパスにより参照されるClipＡＶストリームを１つの映画のコンテンツ（ＡＶコンテンツ）とし、サブパスのオーディオパスにより参照されるAuxiliary audio stream（Clip）をその映画に対する監督のコメントとし、メインパスで参照されるClipＡＶストリームのオーディオストリームにサブパスのオーディオパスで参照されるAuxiliary audio streamをミキシング（重ねて）再生するような場合に、このような構成が利用される。すなわち、図7に示されるメインパスとサブパスの構成は、ユーザが、映画を見ながら、その映画に対する監督のコメントを合わせて聞く指令を再生装置（プレーヤ）へ入力した場合、換言すれば、メインパスで参照されるClipＡＶストリームの音声と、サブパスのオーディオパスで参照されるAuxiliary audio streamとを、ミキシングして再生させる場合に利用される。
図７においては、メインパスに３つのPlayItemがPlayItem_id＝０，１，２と配置され、サブパス（Subpath_id＝０）に２つのSubPlayItemが配置されている。そして、Subpath_id＝０のSubPath（図２６にて後述する）で呼び出すSubPlayItem（図２８にて後述する）は、Auxiliary audio stream（SubClip_entry_id＝０の英語のAuxiliary audio streamのクリップ及びSubClip_entry_id＝１の日本語のAuxiliary audio streamのクリップ）のSubpathの再生区間を指定するための、SubPlayItem_IN_timeと、SubPlayItem_out_timeを含む。
図７と図６とを比較するに、図７においては、SubPlayItemによって、SubClip_entry_id＝０，１のAuxiliary audio stream（英語または日本語のオーディオストリーム）を参照することができる。すなわち、SubPlayItemを用いて、複数のオーディオストリームファイルを参照する構造を有し、このSubPlayItemを再生する場合には、複数のオーディオストリームファイルからオーディオストリームファイルが選ばれて再生される。図７の例の場合、英語のオーディオストリームファイルと日本語のオーディオストリームファイルのうち、１つのオーディオストリームファイルが選ばれて再生される。具体的には、subClip_entry_id＝０，１の中から（例えば、ユーザの指令に基づいて）１つが選択され、そのＩＤが参照するAuxiliary audio streamが再生される。また、これに加えて、さらにメインパスにより参照されるオーディオストリームとの組み合わせによる再生が選択された場合、メインパスで参照される１stオーディオストリームと、サブパスのオーディオパスで参照される２ndオーディオストリームファイルとが、ミキシングされて再生される。なお、２つのサブパスで参照される２つのオーディオストリームが、ミキシングされて再生されるようにすることも可能であるが、これについては後述する。
次に、図５乃至図７を用いて説明したメインパスとサブパスの構造を具体的に実現するためのデータ構造（シンタクス）を説明する。
図８は、再生装置において再生可能なデータファイルのファイルシステムの例を示す図である。図８には、一例として、再生装置において再生可能なデータファイルが光ディスクなどの記録媒体によって供給されている場合を示しており、このファイルシステムはディレクトリ構造を有している。
このファイルシステムにおいて、「root」の下には「BDMV」の名前が設定されたディレクトリが用意され、そのディレクトリに、「Index.bdmv」の名前が設定されたファイルと、「NavigationObject.bdmv」の名前が設定されたファイルが格納されている。以下、適宜、これらのファイルをそれぞれIndexファイル、NavigationObjectファイルと称する。また、適宜、各ファイルについては、「ファイル名」に「ファイル」を付加した形で、または、各ディレクトリについては、「ディレクトリ名」に「ディレクトリ」を付加した形で称する。
Indexファイルは、インデックステーブルが記載されたファイルであり、再生装置において再生可能なデータファイルを再生するメニューに関する情報を含む。再生装置は、例えば、再生装置において再生可能なデータファイルに含まれるコンテンツを全て再生する、特定のチャプタのみ再生する、繰り返し再生する、初期メニューを表示するなどの内容の項目を含む再生メニュー画面をIndexファイルに基づいて、表示装置に表示させる。Indexファイルのインデックステーブルには各項目が選択されたときに実行するNavigationObjectを設定することができ、ユーザにより再生メニュー画面から１つの項目が選択された場合、再生装置はIndexファイルのインデックステーブルに設定されているNavigationObjectのコマンドを実行する。
NavigationObjectファイルは、NavigationObjectを含むファイルである。NavigationObjectは、再生装置において再生可能なデータファイルに含まれているPlayListの再生を制御するコマンドを含み、例えば、再生装置は、このファイルシステムに含まれているNavigationObjectの中から１つを選択して、実行することにより、コンテンツを再生させることができる。
BDMVディレクトリにはまた、「BACKUP」の名前が設定されたディレクトリ（BACKUPディレクトリ）、「PLAYLIST」の名前が設定されたディレクトリ（PLAYLISTディレクトリ）、「CLIPINF」の名前が設定されたディレクトリ（CLIPINFディレクトリ）、「STREAM」の名前が設定されたディレクトリ（STREAMディレクトリ）、「AUXDATA」の名前が設定されたディレクトリ（AUXDATAディレクトリ）が設けられている。
BACKUPディレクトリには、再生装置において再生可能なファイルやデータをバックアップするためのファイルやデータが記録される。
PLAYLISTディレクトリには、PlayListファイルが格納される。各PlayListファイルには、図内に示されるように５桁の数字からなるファイル名に拡張子「.mpls」を付加した名称が命名される。
CLIPINFディレクトリには、Clip Informationファイルが格納される。各Clip Informationファイルには、図内に示されるように５桁の数字からなるファイル名に拡張子「.clpi」を付加した名称が命名される。
STREAMディレクトリには、Clip ＡＶストリームファイルやサブストリームファイルが格納される。各ストリームファイルには、図内に示されるように５桁の数字からなるファイル名に拡張子「.m2ts」を付加した名称が命名される。
AUXDATAディレクトリには、Clip ＡＶストリームファイルやサブストリームファイルに含まれずに、Clip ＡＶストリームファイルやサブストリームファイルから参照されるデータや、Clip ＡＶストリームファイルやサブストリームファイルとは独立して利用されるデータなどのファイルが格納される。図８の例においては、AUXDATAディレクトリには、「11111.otf」の名前がつけられている字幕のフォントのファイル、「sound.bdmv」の名前が設定された効果音などのサウンドデータが格納されている。
以下、主に再生出力される音声データをプライマリオーディオストリーム(Primary audio stream)と称し、例えば、ユーザの操作入力に対応して発生するクリック音や効果音など、上述したAUXDATAディレクトリにsound.bdmvとして記載されている音声データをサウンドデータと称するものとする。サウンドデータはプライマリオーディオストリームに合成可能である。また、プライマリオーディオストリームとは別のストリームであって、例えば、副音声など、プライマリオーディオストリームに合成可能な音声データをセカンダリオーディオストリームと称するものとする。なお、プライマリオーディオストリームとは別のストリームであって、プライマリオーディオストリームに合成可能な音声データはであるセカンダリオーディオストリームは複数存在してもよく、その場合、例えば、異なるIDを用いて、それぞれ、区別可能なようにすればよい。
また、再生装置において再生可能なデータファイルが光ディスクによって配布されている場合、例えば、製作会社や映画の配給会社など、このコンテンツ製作元や、または、この記録媒体の供給元であるタイトルオーサを識別するために各タイトルオーサに割り当てられた識別子であるauthor_id、および、author_idに示されるタイトルオーサにおいて製作された光ディスクの種類を識別するために割り当てられた識別子であるdisc_idが、ユーザなどにより書き換えることができないセキュアな電子データとして、または、物理的にピットによって記録されている。
また、再生装置において再生可能なデータファイルが光ディスク以外のリムーバブルな記録媒体に記録されている場合や、ネットワークを介してダウンロードされている場合も、author_id、および、author_idに相当するidが割り当てられてそれぞれ区別可能なようになされ、図８に示す場合と同様のディレクトリ構造を有していると好適である。また、再生装置において再生可能なデータファイルには、author_id、および、author_idに相当するidが割り当てられていないとしても、図８を用いて説明した場合と同様に、「Index.bdmv」の名前が設定されたファイル、「NavigationObject.bdmv」の名前が設定されたファイルが含まれており、「BACKUP」の名前が設定されたファイル群、「PLAYLIST」の名前が設定されたファイル群、「CLIPINF」の名前が設定されたファイル群、「STREAM」の名前が設定されたファイル群、「AUXDATA」の名前が設定されたファイル群のうち、適宜必要なファイル群が含まれている。
Indexファイル（Index.bdmv）のシンタクスを図９に示す。
Type_indicatorは、ＩＳＯ６４６に基づいて符号化された"ＩＮＤＸ"の値が記述されるフィールドである。
version_numberは、Index.bdmvのバージョンナンバを示す４文字の文字列であり、ＩＳＯ６４６に基づいて符号化された"００８９"の値が記述される。
Indexes_start_addressは、Indexes（）ブロックのスタートアドレスが記載されるフィールドである。
AppInfoBDMV（）には、このIndexファイルを含むデータファイルの供給元を示す、個別の識別子などが記載されている。
Indexes（）には、例えば、メニューを読み出したり、タイトルを検索したり、所定のタイトルにジャンプしたり、または、このIndexファイルを含むデータファイルが記録されている光ディスクなどの記録媒体が再生装置に装着された場合に自動的に起動する処理を実行するアプリケーション（NavigationObject）とのリンクが記載されている。Indexes（）のシンタクスについては、図１０を用いて後述する。
Padding_wordは、Index.bdmvのシンタクスに基づいて挿入されるものであり、０または正の整数で表される。
Indexes（）のシンタクスの例を、図１０に示す。
lengthは、Indexes（）に何バイトの情報が記載されているかを表すフィールドである。
FirstPlaybackは、このファイルシステムのデータが再生される場合に最初に実行されるNavigationObjectに関する情報が含まれているデータブロックである。具体的には、このファイルシステムのデータが記録された光ディスクなどの記録媒体が再生装置に装着されたときに最初に自動的に実行されるNavigationObjectに関する情報が含まれているデータブロックである。
FirstPlayback_mobj_id_refは、最初に実行されるNavigationObjectのmobj_idの値を指定するためのフィールドである。mobj_idは、NavigationObjectがそれぞれ固有に与えられているＩＤである。また、再生開始時に自動的に実行されるNavigationObjectが設定されない場合、すなわち、再生開始時にはアプリケーションはいずれも実行されず、ユーザによる指令を受けて、いずれかのアプリケーションが実行されるようになされている場合、このフィールドには、"0Xffff"が記載される。
TopMenu（）は、ユーザがメニュー画面を表示させる場合などに呼び出されるTopMenuのNavigationObjectに関する情報が含まれているデータブロックである。
TopMenu_mobj_id_refは、TopMenuのNavigationObjectのmobj_idの値を指定するためのフィールドである。TopMenuが設定されない場合、このフィールドには、"0xFFFF"が記載される。
number_of_Titlesは、Indexes（）に記載されているタイトルの数を表すフィールドである。
Title[title_id]（）は、title_idによって固有に区別されているそれぞれのタイトルに関する情報が記載されるブロックである。title_idは０から割り当てられる。
Title_playback_type[title_id]は、そのtitle_idによって指定されるタイトルの再生タイプを示す情報であり、例えば、再生される動画と音声による一般的なコンテンツであるMovie Titleか、ユーザの操作入力によって再生される動画や音声が変更されるなどの双方向のやり取りが可能なコンテンツであるInteractive Titleなどのタイプが示される。例えば、そのタイトルがMovie Titleである場合、PlayListに基づいた再生処理が実行される。
Title_access_type[title_id]は、そのtitle_idによって指定されるタイトルが、Title_Searchを用いて再生することが許可されているか否かを示す情報である。
reserved_for_future_useは、将来の拡張に備えるためにデータの記述内容が未設定とされている２９ビットのフィールドである。
Title_mobj_id_ref[title_id]は、そのtitle_idによって指定されるタイトルがエントリーされているNavigationObjectのmobj_idの値を指定するためのフィールドである。
図１１に、PlayListファイルのデータ構造を示す。PlayListファイルは、再生装置に装着された記録媒体、または、再生装置内部の記憶部（例えば、ハードディスクなどからなるローカルストレージ）において、PLAYLISTディレクトリに格納される、拡張子「.mpls」を有するデータファイルである。
type_indicatorは、このファイルの種類を示す情報が記載されているものである。すなわち、このフィールドには、このファイルの種類が映像の再生を管理する再生管理情報であるPlayList（MoviePlayList）であることを示す情報が記載される。
version_numberは、このxxxx.mpls（MoviePlayList）のバージョンナンバを示す４個のキャラクター文字を示すものである。
PlayList_start_addressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、PlayList()の先頭アドレスを示すものである。
PlayListMark_start_addressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、PlayListMark()の先頭アドレスを示すものである。
ExtensionData_start_addressは、PlayListファイルの先頭のバイトからの相対バイト数を単位として、ExtensionData()の先頭アドレスを示すものである。
AppInfoPlayList()には、例えば、再生制限など、PlayListの再生コントロールに関するパラメータが格納されている。AppInfoPlayList()の詳細は、図１２を用いて後述する。
PlayList()には、PlayListのメインパスやサブパスなどに関するパラメータが格納されている。PlayList()の詳細は、図１３を用いて後述する。
PlayListMark()には、PlayListのマーク情報、すなわち、チャプタジャンプなどを指令するユーザオペレーションまたはコマンドなどにおけるジャンプ先（ジャンプポイント）であるマークに関する情報が格納されている。
ExtensionData()には、プライベートデータが挿入できるようになっている。
次に、図１２を参照して、AppInfoPlayList()のシンタクスについて説明する。
lengthは、length以下のシンタクスの長さ、すなわち、このlengthフィールドの直後からreserved_for_future_useの最後までのAppInfoPlayList()のバイト数を示すものである。このlengthの後には、８ビットのreserved_for_future_useが用意される。
PlayList_playback_typeは、連続再生、ランダムアクセス、シャッフルのいずれの再生を行うPlayListであるかを示す情報を記載するフィールドである。
Playback_countは、ランダムアクセス、シャッフルを行うPlayListの場合、再生に用いるPlayItemの数を示す情報を記載するフィールドである。
そして、UO_mask_table()は、一時停止、チャプタサーチ、ジャンプ、早送り、早戻し（後方高速再生）等の特殊再生、または、表示等に関するユーザ操作の制限を決める情報である。
そして、PlayList_random_access_flagは、他のPlayListからのジャンプ再生を制御するためのフラグ情報である。ここでは、PlayList_random_access_flag＝１に設定されている場合、他のPlayListからのジャンプ再生を禁止するものとする。
例えば、再生装置においては、例えば、現在のPlayListにより参照されている再生位置から、他のPlayListにより参照される所定のPlayItemの先頭またはチャプタの位置への再生位置のジャンプを指令するユーザオペレーションなど、装置独自で拡張的なユーザオペレーションを用意することができる。PlayList_random_access_flagは、例えば、これらのユーザオペレーションにより、他のPlayListによって参照されるClip AV Streamのある再生位置から、このPlayListによって参照されるClip AV Streamへのジャンプ（再生位置の移動）が指令された場合、このユーザオペレーションを制限するか否かを設定するためのフラグ情報である。
なお、ユーザオペレーションによりジャンプ（再生位置の移動）が指令されるのではなく、ナビゲーションコマンドによりジャンプ（再生位置の移動）が指令された場合、PlayList_random_access_flagは無視される（コマンドは実行され、コマンドの発生に伴って、再生位置が移動される）。
is_MixAppは、このPlayListファイルにより再生されるストリームが音声や効果音の合成を行うか否かのフラグである。すなわち、このis_MixAppは、このPlayListにより参照されるデータに、プライマリオーディオストリームに合成され得るサウンドデータまたはセカンダリオーディオストリームが含まれているか否かを示すフラグとして定義されている。この1つのフラグを確認することのみにより、オーディオデータの合成が行われるか否かを、迅速に認識することが可能となる。
また、Lossless_may_bypass_mixer_flagは、ロスレスの音声の再生に関するフラグである。この後には、１３ビットのreserved_for_future_useが用意される。
次に、図１３は、PlayList()のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からPlayList()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、reserved_for_future_useからPlayListの最後までのバイト数を示すフィールドである。このlengthの後には、１６ビットのreserved_for_future_useが用意される。reserved_for_future_useは、将来の拡張に備えるためにデータの記述内容が未設定とされている。number_of_PlayItemsは、PlayListの中にあるPlayItemの数を示す１６ビットのフィールドである。例えば、図５の例の場合PlayItemの数は３個である。PlayItem_idの値は、PlayListの中でPlayItem()が現れる順番に０から割り振られる。例えば、図５に示されるように、PlayItem_id＝０，１，２が割り振られる。
number_of_SubPathsは、PlayListの中にあるSubPathの数（エントリー数）を示す１６ビットのフィールドである。例えば、図５の例の場合、Sub Pathの数は３個である。SubPath_idの値は、PlayListの中でSubPath()が現れる順番に０から割り振られる。例えば、図５に示されるように、Subpath_id＝０，１，２が割り振られる。その後のfor文では、PlayItemの数だけPlayItemが参照され、Sub Pathの数だけ、Sub Pathが参照される。
次に、図１４を参照して、PlayItem()のシンタクスについて説明する。
lengthは、このlengthフィールドの直後からPlayItem()の最後までのバイト数を示す１６ビットの符号なし整数である。Clip_Information_file_ name[0]は、PlayItemが参照するClipを指定するためのフィールドである。図１４の例の場合、Clip_Information_file_ name[0]により、メインClipＡＶストリームファイルが参照される。また、PlayItem()には、Clipのコーディック方式を指定するClip_codec_identifier［0］、将来の拡張に備えるためにデータの記述内容が未設定とされているreserved_for_future_use、マルチアングル再生に対応しているか否かを示すフラグであるis_multi_angle、接続状態に関する情報であるconnection_condition、STC不連続点（システムタイムベースの不連続点）に関する情報であるref_to_STC_id［0］が含まれる。さらに、PlayItem()には、Clipの中のPlayItemの再生区間を指定するためのIN_timeとOUT_timeが含まれる。図１４の例の場合、IN_timeとOUT_timeにより、メインClipＡＶストリームファイルの再生範囲が表される。
また、PlayItem()には、ユーザ入力の受付制限をするUO_mask_table()、他のPlayItemからのジャンプ再生を制御するPlayItem_random_access_flagが含まれる。
図１４に示される、PlayItem()のUO_mask_table()には、このPlayItemを参照してClip AV Streamが再生されているときに操作入力される各種のユーザオペレーションについて、それぞれ許可するか否かが設定されている。
そして、図１４に示される、PlayItem()のPlayItem_random_access_flagは、ユーザオペレーションにより、他のPlayItemによって参照されるClip AV Streamのある再生位置から、このPlayItemによって参照されるClip AV Streamへのジャンプ（再生位置の移動）が指令された場合、このユーザオペレーションを制限するか否かを設定するためのフラグ情報である。ここでは、PlayItem_random_access_flag＝１に設定されている場合、他のPlayItemからのジャンプ再生を禁止するものとする。このフラグについての詳細な説明は後述する。
なお、ユーザオペレーションによりジャンプ（再生位置の移動）が指令されるのではなく、ナビゲーションコマンドによりジャンプ（再生位置の移動）が指令された場合、PlayItem_random_access_flagは無視される（コマンドは実行され、コマンドの発生に伴って、再生位置が移動される）。
さらに、PlayItem()には、最後に表示をした映像を静止画として表示をさせるか否かを示すstill_modeが含まれる。なお、is_multi_angleが複数ある場合(is_multi_angle==1)については、本発明と直接的には関係ないのでその説明を省略する。
そして、STN_table()は、対象のPlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、例えば、音声切り替えや字幕切り替え、または、子画面の表示非表示の選択を指令するユーザの操作入力、または、アプリケーションによるコマンドの発生などによって、そのPlayItemが参照するClipとこれらの１つ以上のSubPathが参照するClipの中から、再生されるストリームを選択することができる仕組みを提供するための情報である。
例えば、PlayItem()とそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、Main Pathを構成するPlayItemが参照するClipに含まれるビデオストリームをプライマリビデオストリーム(Primary video stream)とし、SubPathを構成するSubPlayItemが参照するClipに含まれるビデオストリームをセカンダリビデオストリーム(secondary video stream)としたり、または、PlayItemが参照するClip（メインClip）に含まれるビデオストリームのうちの２つのビデオストリームを、それぞれプライマリビデオストリームとセカンダリビデオストリームとして、これらをミキシングして、全画面(プライマリビデオストリーム)と子画面(セカンダリビデオストリーム)で再生することができる仕組みを提供するようにした。このような手法は、ピクチャインピクチャ(Picture in Picture)手法と称される。
また、同様にして、例えば、PlayItem()とそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、Main Pathを構成するPlayItemが参照するClipに含まれるオーディオストリームをプライマリオーディオストリーム(Primary audio stream)とし、SubPathを構成するSubPlayItemが参照するClipに含まれるオーディオストリームをセカンダリオーディオストリーム(secondary audio stream)としたり、または、PlayItemが参照するClip（メインClip）に含まれるオーディオストリームのうちの２つのオーディオストリームを、それぞれプライマリオーディオストリームとセカンダリオーディオストリームとして、これらをミキシングして再生することができる仕組みを提供するようにした。
そして、プライマリビデオストリームと同時に再生され得るストリームとして、ここでは、次の第１乃至第４の種類のストリームが用意される。
第１の種類のストリームとは、STN_tableにおいてPrimary_audio_stream_idで定義されるオーディオストリーム、即ち、上述したプライマリオーディオストリームである。
第２の種類のストリームとは、STN_tableにおいてSecondary_video_stream_idで定義されるビデオストリーム、すなわち、上述したセカンダリビデオストリームである。
第３の種類のストリームとは、STN_tableにおいてSecondary_audio_stream_idで定義されるオーディオストリーム、即ち、上述したセカンダリオーディオストリームである。
第４の種類のストリームとは、サブパスで参照されるテキスト字幕ストリーム(txtST)や、DVDのサブピクチャのようなビットマップ字幕をランレングス符号化したストリーム（PG, Presentation Graphics stream）等であり、STN_tableにおいて、PG_txtST_stream_id、IG_stream_idで定義される。
STN_table()は、これらのストリームの組み合わせを定義する情報である。
次に、図１５および図１６を用いて、STN_table()のシンタクスについて説明する。
このSTN_table()は、プライマリビデオストリームと組み合わせて同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームの組み合わせを定義するにあたって、特に、セカンダリオーディオストリームとプライマリオーディオストリームとの組み合わせ、セカンダリビデオストリームとセカンダリオーディオストリームとの組み合わせ、セカンダリビデオストリームとピクチャインピクチャアプリケーション用のプレゼンテーショングラフィックス（ＰＧ）またはテキスト字幕の組み合わせを定義する。
lengthは、このlengthフィールドの直後からSTN_table()の最後までのバイト数を示す１６ビットの符号なし整数である。lengthの後には、１６ビットのreserved_for_future_useが用意される。
number_of_primary_video_stream_entriesは、STN_table()の中でエントリーされる（登録される）primary_video_stream_idが与えられるストリーム数を示す。primary_video_stream_idは、ビデオストリームを識別するための情報であり、primary_video_stream_numberは、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号である。
number_of_primary_audio_stream_entriesは、STN_table()の中でエントリーされるprimary_audio_stream_idが与えられるストリーム数を示す。primary_audio_stream_idは、オーディオストリームを識別するための情報であり、primary_audio_stream_numberは、音声切り替えに使われるユーザから見えるオーディオストリーム番号である。
number_of_PG_txtST_stream_entriesは、STN_table()の中でエントリーされるPG_txtST_stream_idが与えられるストリーム数を示す。この中では、DVDのサブピクチャのようなビットマップ字幕をランレングス符号化したストリーム（PG, Presentation Graphics stream）とテキスト字幕ファイル(txtST)がエントリーされる。PG_txtST_stream_idは、字幕ストリームを識別するための情報であり、PG_txtST_stream_numberは、字幕切り替えに使われるユーザから見える字幕ストリーム番号（テキストサブタイトルストリームの番号）である。
number_of_IG_stream_entriesは、STN_table()の中でエントリーされる IG_stream_idが与えられるストリーム数を示す。この中では、インタラクティブグラフィックスストリームがエントリーされる。IG_stream_idは、インタラクティブグラフィックスストリームを識別するための情報であり、IG_stream_numberは、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号である。
number_of_secondary_audio_stream_entriesは、STN_table()の中でエントリーされる（登録される）secondary_audio_stream_idが与えられるストリーム数を示す。secondary_audio_stream_idは、オーディオストリームを識別するための情報であり、secondary_audio_stream_numberは、オーディオ切り替えに使われる、ユーザから見えるオーディオストリーム番号である。
number_of_secondary_video_stream_entriesは、STN_table()の中でエントリーされる（登録される）secondary_video_stream_idが与えられるストリーム数を示す。secondary_video_stream_idは、ビデオストリームを識別するための情報であり、secondary_video_stream_numberは、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号である。
そして、number_of_PiP_PG_textST_stream_entries_plusは、STN_table()の中でエントリーされる（登録される）ピクチャインピクチャ用の字幕ストリーム（PiP_PG_textST_stream）のストリーム数を示す。
プライマリビデオストリームＩＤ (primary_video_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのビデオエレメンタリストリームに、０からprimary_video_stream_idが与えられる。なお、プライマリビデオストリームＩＤ（primary_video_stream_id）の代わりに、プライマリビデオストリーム番号（primary_video_stream_number）を用いるようにしてもよい。この場合、primary_video_stream_numberは、０ではなく１から与えられる。すなわち、primary_video_stream_idの値に１を加算したものがprimary_video_stream_numberである。ビデオストリーム番号は、ビデオ切り替えに使われる、ユーザから見えるビデオストリーム番号であるので、１から定義される。
それぞれのforループの中のstream_entry（）については、図１７を用いて後述する。
また、それぞれのforループの中のstream_attribute()は、stream_entry()ごとに特定される１つのエレメンタリストリームのストリーム属性情報を与える。すなわち、このstream_attribute()には、stream_entry()ごとに特定される１つのエレメンタリストリームのストリーム属性情報が記述されている。stream_attribute（）については、図１８を用いて後述する。
また、同様に、プライマリオーディオストリームＩＤ (primary_audio_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのオーディオエレメンタリストリームに、０からprimary_audio_stream_idが与えられる。なお、ビデオストリームの場合と同様に、プライマリオーディオストリームＩＤ（primary_audio_stream_id）の代わりに、プライマリオーディオストリーム番号（primary_audio_stream_number）を用いるようにしてもよい。この場合、primary_audio_stream_numberは、０ではなく１から与えられる。すなわち、primary_audio_stream_idの値に１を加算したものがprimary_audio_stream_numberである。オーディオストリーム番号は、音声切り替えに使われる、ユーザから見えるオーディオストリーム番号であるので、１から定義される。
同様に、字幕ストリームＩＤ (PG_txtST_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのビットマップ字幕エレメンタリストリームまたはテキスト字幕に、０からPG_txtST_stream_idが与えられる。また、PiP_ PG_txtST_streamについても、同様にして、連続したIDが与えられる。ビデオストリームの場合と同様に、字幕ストリームＩＤ（PG_txtST_stream_id）の代わりに、字幕ストリーム番号（PG_txtST_stream_number）を用いるようにしてもよい。この場合、PG_txtST_stream_numberは、０ではなく１から与えられる。すなわち、PG_txtST_stream_idの値に１を加算したものがPG_txtST_stream_numberである。字幕ストリーム番号は、字幕切り替えに使われるユーザから見える字幕ストリーム番号（テキストサブタイトルストリームの番号）であるので、１から定義される。
同様に、グラフィックスストリームＩＤ (IG_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのインタラクティブグラフィックスエレメンタリストリームに、０からIG_stream_idが与えられる。なお、ビデオストリームの場合と同様に、グラフィックスストリームＩＤ（IG_stream_id）の代わりに、グラフィックスストリーム番号（IG_stream_number）を用いるようにしてもよい。この場合、IG_stream_numberは、０ではなく１から与えられる。すなわち、IG_stream_idの値に１を加算したものがIG_stream_numberである。グラフィックスストリーム番号は、グラフィックス切り替えに使われるユーザから見えるグラフィックスストリーム番号であるので、１から定義される。
また、同様に、セカンダリオーディオストリームＩＤ (secondary_audio_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのオーディオエレメンタリストリームに、０からsecondary_audio_stream_idが与えられる。なお、ビデオストリームの場合と同様に、セカンダリオーディオストリームＩＤ（secondary_audio_stream_id）の代わりに、セカンダリオーディオストリーム番号（secondary_audio_stream_number）を用いるようにしてもよい。この場合、secondary_audio_stream_numberは、０ではなく１から与えられる。すなわち、secondary_audio_stream_idの値に１を加算したものがsecondary_audio_stream_numberである。セカンダリオーディオストリーム番号は、音声切り替えに使われる、ユーザから見えるセカンダリオーディオストリーム番号であるので、１から定義される。
そして、comb_info_Secondary_audio_Primary_audio()のブロックは、セカンダリオーディオとプライマリオーディオの組み合わせを示す。
comb_info_Secondary_audio_Primary_audio()のブロック内において、number_of_primary_audio_stream_ref_entriesの８ビットのフィールドは、セカンダリオーディオストリームと組み合わせることが出来るプライマリオーディオストリームの数を示す。そして、primary_audio_stream_id_refの８ビットのフィールドは、セカンダリオーディオストリームと組み合わせることが出来るプライマリオーディオストリームのIDを示す。
また、同様に、セカンダリビデオストリームＩＤ (secondary_video_stream_id)のforループの中で、順番にstream_entry()ごとに特定される１つのオーディオエレメンタリストリームに、０からsecondary_video_stream_idが与えられる。なお、ビデオストリームの場合と同様に、セカンダリビデオストリームＩＤ（secondary_video_stream_id）の代わりに、セカンダリビデオストリーム番号（secondary_video_stream_number）を用いるようにしてもよい。この場合、secondary_video_stream_numberは、０ではなく１から与えられる。すなわち、secondary_video_stream_idの値に１を加算したものがsecondary_video_stream_numberである。セカンダリビデオストリーム番号は、音声切り替えに使われる、ユーザから見えるセカンダリビデオストリーム番号であるので、１から定義される。
次に、comb_info_Secondary_video_Secondary_audio()のブロックは、セカンダリビデオストリームとセカンダリオーディオストリームの組み合わせを示す。
comb_info_Secondary_video_Secondary_audio()のブロック内において、number_of_Secondary_audio_stream_ref_entriesの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るセカンダリオーディオストリームの数を示す。そして、Secondary_audio_stream_id_refの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るセカンダリオーディオストリームのIDを示す。
そして、comb_info_Secondary_video_PiP_PG_textST()のブロックは、セカンダリビデオストリームとピクチャインピクチャアプリケーション用のPG・テキスト字幕のストリームの組み合わせを示す。
comb_info_Secondary_video_PiP_PG_textST()のブロック内において、number_of_PiP_PG_textST_ref_entriesの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るPIPアプリケーション用のPG・テキスト字幕のストリームの数を示す。また、PiP_PG_textST_stream_id_refの８ビットのフィールドは、セカンダリビデオストリームと組み合わせることが出来るピクチャインピクチャアプリケーション用のPG・テキスト字幕のストリームのIDを示す。
このようなSTN_tableを用いることにより、プライマリビデオストリームと同時再生され得る、セカンダリビデオストリーム、プライマリオーディオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリーム（PG TextSTストリーム）の組み合わせに加えて、ピクチャインピクチャアプリケーション用のPG・テキスト字幕ストリーム（PiP PG TextSTストリーム）の組み合わせとして矛盾するような組み合わせを選択することを防ぐようにすることができる。
図１７は、Stream_entry()のシンタクスを示す図である。
type＝１では、PlayItemによって参照されるClip(Main Clip)の中に多重化されている複数のエレメンタリストリームの中から１つのエレメンタリストリームを特定するために、１６ビットのパケットID(PID)が指定される。ref_to_stream_PID_of_mainClipが、このPIDを示している。すなわち、type＝１では、メインClipＡＶストリームファイルの中のPIDを指定するだけでストリームが決定される。
type＝２では、SubPathが一度に複数個のClipsを参照し、それぞれのClipが複数のエレメンタリストリームを多重化する場合に、SubPathによって参照される１つのClip(SubClip)の複数のエレメンタリストリームの中から１つのエレメンタリストリームを特定するために、そのSubPathのSubPath_id、Clip id、およびパケットID(PID)が指定される。ref_to_SubPath_idがこのSubPath_idを示し、ref_to_SubClip_entry_idがこのClip idを示し、ref_to_stream_PID_of_SubClipがこのPIDを示している。SubPlayItemの中で複数のClipが参照され、さらにこのClipに複数のエレメンタリストリームが参照されている場合に用いられる。
このように、type（type１とtype２の２つのtype）を使うことで、PlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと１つ以上のSubPathが参照するClipの中から１つのエレメンタリストリームを特定することができる。なお、type＝１はMain Pathが参照するClip（メインClip）を示しており、type＝２はSub Pathが参照するClip（サブClip）を示している。
そして、ｔｙｐｅ＝３は、対応するPlayItemにおいて、MainClipに含まれ、SubPathによって参照されるエレメンタリストリームを識別するためのものである。
すなわち、type＝３では、SubPathがMainPathと同じClipを参照し、換言すれば、MainClipに複数のエレメンタリストリームが多重化され、MainPathとSubPathとのいずれも、MainClipに多重化されているエレメンタリストリームのうちのいずれかを参照している場合に、MainClipの複数のエレメンタリストリームの中から、SubPathによって参照される１つのエレメンタリストリームを再生時に特定するために、ref_to_stream_PID_of_MainClipにより、MainClipのパケットID(PID)が指定される。また、ref_to_SubPath_idによりSubPath_idが示され、このSubPath_idにより図９のPlayList()で定義されたSubPathが特定され、このSubpathから対応するSubPlayItem（図２８）が呼び出されることにより、エレメンタリストリームの再生時間（IN_time, OUT_time）等を把握することができるようになされている。
なお、type＝３、すなわち、MainClipに複数のエレメンタリストリームが多重化され、MainPathとSubPathとのいずれも、MainClipに多重化されているエレメンタリストリームのうちのいずれかを参照するのは、図２７を用いて後述するSubPath_typeが、SubPath_type =７である場合である。
このように、type（type１乃至type３の３つのtype）を使うことで、PlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipが、さらに、SubPathから参照されている場合であっても、Clipの中から１つのエレメンタリストリームを特定することができる。
次に、stream_attribute()のシンタクスについて図１８を参照して説明する。
lengthは、このlengthフィールドの直後からstream_attribute()の最後までのバイト数を示す１６ビットの符号なし整数である。
stream_coding_typeは、図１９に示されるようにエレメンタリストリームの符号化タイプを示す。エレメンタリストリームの符号化タイプとしては、MPEG-2 video stream、HDMV LPCM audio、Dolby AC-3 audio、dts audio、Presentation graphics stream、Interactive graphics stream、およびText subtitle streamが記述される。なお、このstream_coding_typeを拡張し、MPEG−4 AVC、VC−1等の他のコーディックにより圧縮されたビデオストリームを扱えるようにしてもよい。
video_formatは、図２０に示されるようにビデオエレメンタリストリームのビデオフォーマットを示す。ビデオエレメンタリストリームのビデオフォーマットとしては、４８０ｉ、５７６ｉ、４８０ｐ、１０８０ｉ、７２０ｐ、および１０８０ｐが記述される。
frame_rateは、図２１に示されるように、ビデオエレメンタリストリームのフレームレートを示す。ビデオエレメンタリストリームのフレームレートとしては、２４０００／１００１、２４、２５、３００００／１００１、５０、および６００００／１００１が記述される。
aspect_ratioは、図２２に示されるようにビデオエレメンタリストリームのアスペクト比情報を示す。ビデオエレメンタリストリームのアスペクト比情報としては、４：３ display aspect ratio、および１６：９ display aspect ratioが記述される。
audio_presentation_typeは、図２３に示されるようにオーディオエレメンタリストリームのプレゼンテーションタイプ情報を示す。オーディオエレメンタリストリームのプレゼンテーションタイプ情報としては、single mono channel、dual mono channel、stereo(2-channel)、およびmulti-channelが記述される。
sampling_frequencyは、図２４に示されるようにオーディオエレメンタリストリームのサンプリング周波数を示す。オーディオエレメンタリストリームのサンプリング周波数としては、４８ｋHz、および９６ｋHzが記述される。
audio_language_codeは、オーディオエレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
PG_language_codeは、ビットマップ字幕エレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
IG_language_code、インタラクティブグラフィックスエレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
textST_language_codeは、テキスト字幕エレメンタリストリームの言語コード(日本語、韓国語、中国語など)を示す。
character_codeは、図２５に示されるようにテキスト字幕エレメンタリストリームのキャラクタコードを示す。テキスト字幕エレメンタリストリームのキャラクタコードとしては、Unicode V1.1(ISO 10646-1)、Shift JIS（Japanese）、KSC 5601-1987 including KSC 5653 for Roman character(Korean)、GB 18030-2000(Chinese)、GB2312(Chinese)、およびBIG５(Chinese)が記述される。
以下に、図１８のstream_attribute()のシンタクスについて、図１８と、図１９乃至図２５を用いて具体的な例を説明する。
エレメンタリストリームの符号化タイプ（図１８のstream_coding_type）がMPEG-2 video stream（図１９）である場合、stream_attribute()には、そのエレメンタリストリームのビデオフォーマット（図２０）、フレームレート（図２１）、およびアスペクト比情報（図２２）が含まれる。
エレメンタリストリームの符号化タイプ（図１８のstream_coding_type）がHDMV LPCM audio、Dolby AC-3 audio、またはdts audio（図１９）である場合、stream_attribute()には、そのオーディオエレメンタリストリームのプレゼンテーションタイプ情報（図２３）、サンプリング周波数（図２４）、および言語コードが含まれる。
エレメンタリストリームの符号化タイプ（図１８のstream_coding_type）がPresentation graphics stream（図１９）である場合、stream_attribute()には、そのビットマップ字幕エレメンタリストリームの言語コードが含まれる。
エレメンタリストリームの符号化タイプ（図１８のstream_coding_type）がInteractive graphics stream（図１９）である場合、stream_attribute()には、そのインタラクティブグラフィックスエレメンタリストリームの言語コードが含まれる。
エレメンタリストリームの符号化タイプ（図１８のstream_coding_type）がText subtitle stream（図１９）である場合、stream_attribute()には、そのテキスト字幕エレメンタリストリームのキャラクタコード（図２５）、言語コードが含まれる。
なお、これらの属性情報はこれに限定されない。
このように、PlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、このPlayItemが参照するClipと１つ以上のSubPathが参照するClipの中から、stream_entry()によって特定されたエレメンタリストリーム（type＝１とtype＝２の場合は１つ、type＝３の場合は２つ）の属性情報をstream_attribute()によって知ることができる。
再生装置は、この属性情報（stream_attribute()）を調べることによって、そのエレメンタリストリームを自分自身が再生する機能を持っているか否かを調べることができる。また、再生装置は、この属性情報を調べることによって、再生装置の言語設定の初期情報に対応したエレメンタリストリームの選択することができる。
例えば、再生装置が、ビットマップ字幕エレメンタリストリームの再生機能だけを有し、テキスト字幕エレメンタリストリームの再生機能を有していない場合を想定する。この再生装置に対して、ユーザが言語切り替えを指示した場合、再生装置は、字幕ストリームＩＤ (PG_txtST_stream_id)のforループの中から、ビットマップ字幕エレメンタリストリームだけを順次選択して、再生する。
また、例えば、再生装置の言語設定の初期情報が日本語である場合を想定する。この再生装置に対して、ユーザが副音声（すなわちSecondary audio）への切り替えまたは、主音声と副音声とのミキシング再生を指示した場合、再生装置は、副音声として用意されているオーディオストリームＩＤ (Audio stream id)のforループの中から、言語コードが日本語であるオーディオエレメンタリストリームだけを順次選択して、再生する。
さらに、例えば、メインパスにより参照される、ビデオストリームとオーディオストリームからなるＡＶストリーム（映画）を再生する場合、再生装置に対して、ユーザが音声の切り替えを指令し、サブパスにより参照されるオーディオストリーム（監督や出演者によるコメント）とのミキシング再生が指令された場合、再生装置は、メインパスにより参照される１stオーディオストリームに、さらに、サブパスにより参照される２ndオーディオストリームをミキシング（重畳）して、ビデオストリームとともに再生する。
また、例えば、ユーザが音声の切り替えを指令し、２つのサブパスにより参照される２つのオーディオストリームのミキシング再生が再生装置に対して指令された場合（図１６と図１７のシンタクスが用いられ、図１７のtypeがともに２とされているオーディオストリームＩＤに対応するオーディオストリームの再生が指令された場合）、再生装置は、２つのサブパスによりそれぞれ参照される２つのオーディオストリームをミキシング（重畳）して、ビデオストリームとともに再生する。
このようにして、PlayItem()の中にSTN_table()を設けることにより、PlayItemとそれに関連付けられて再生される１つ以上のSubPathが用意されている場合に、ユーザによる音声切り替えや字幕切り替えという操作により、このPlayItemが参照するClipと１つ以上のSubPathが参照するClipの中から再生されるストリームを選ぶことができる仕組みが提供されるので、再生するＡＶストリームとは異なるストリームやデータファイルに対しても、インタラクティブな操作を行うことができる。
図２６は、SubPath()のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からSub Path ()の最後までのバイト数を示す３２ビットの符号なし整数である。すなわち、reserved_for_future_useからSubPath()の最後までのバイト数を示すフィールドである。このlengthの後には、８ビットのreserved_for_future_useが用意される。SubPath_typeは、SubPathのアプリケーション種類を示す８ビットのフィールドである。SubPath_typeは、例えば、Sub Pathがオーディオであるか、ビットマップ字幕であるか、テキスト字幕であるかなどの種類を示す場合に利用される。このSubPath_typeの例については、図２７を参照して後述する。
SubPath_typeの後には、１５ビットのreserved_for_future_useが用意される。is_repeat_SubPathは、SubPathの再生方法を指定する１ビットのフィールドであり、メインパスの再生の間にSubPathの再生を繰り返し行うか、またはSubPathの再生を１回だけ行うかを示すものである。例えば、メインＡＶストリームとサブパスが指定するClipに含まれるストリームとの再生タイミングが異なる場合（メインパスを静止画のスライドショーとし、サブパスのオーディオパスをメインパスのBGM(バックグラウンドミュージック)として使う場合など）に利用される。
Is_repeat_SubPathの後には、８ビットのreserved_for_future_useが用意される。number_of_SubPlayItemsは、１つのSubPathの中にあるSubPlayItemの数（エントリー数）を示す８ビットのフィールドである。例えば、number_of_SubPlayItemsは、図６のSubPath_id＝０のSubPlayItemは１個であり、SubPath_id＝１のSubPlayItemは２個である。その後のfor文では、SubPlayItemの数だけ、SubPlayItemが参照される。
図２７は、SubPath_type（サブパスのタイプ）の例を説明する図である。
なお、「Out-of-mux」という記述は、サブパスで参照されるＥＳが含まれるＴＳと、メインパスで参照されるＥＳが含まれるＴＳとが異なっている場合のサブパスのタイプ（種類）、即ち、サブパスで参照されるＥＳが、メインパスで参照されるプレイアイテムが含まれるＴＳに多重化されていないサブパスのタイプ（種類）であることを示している。以下、かかる種類を、メインパスＴＳ非多重型のパスと称する。
そして、「In-mux」という記述は、サブパスで参照されるＥＳが含まれるＴＳと、メインパスで参照される１以上のＥＳが含まれるＴＳとが同一の場合のサブパスのタイプ（種類）、即ち、サブパスで参照されるＥＳが、メインパスで参照されるＥＳを含むＴＳに多重化されているサブパスのタイプ（種類）であることを示している。換言すれば、メインクリップに含まれるメインTSに、メインのClip AVストリームと、サブのClip AVストリームとが含まれている状態である。以下、かかる種類を、メインパスＴＳ多重型のパスと称する。
また、メインパスで参照されるＥＳとサブパスで参照されるＥＳとが非同期である場合、そのサブパスのタイプ（種類）を、以下、非同期型のパスと称する。一方、メインパスで参照されるＥＳとサブパスで参照されるＥＳとが同期する場合、そのサブパスのタイプ（種類）を、以下、同期型のパスと称する。
SubPath_type＝０，１は、reservedとされている。
SubPath_type＝２は、Audio presentation path of the Browsable slideshow（プラウザブルスライドショーのオーディオプレゼンテーションパス）とされている。例えば、SubPath_type＝２は、メインパスＴＳ非多重型のパスであり、プレイリストの中において、サブパスで参照されるオーディオプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが非同期である（非同期型のパスである）ことを示している。
SubPath_type＝３は、Interactive graphics presentation menu（インタラクティブグラフィックスのプレゼンテーションメニュー）とされている。例えば、SubPath_type＝３は、メインパスＴＳ非多重型のパスであり、プレイリストの中において、サブパスで参照されるインタラクティブグラフィックスのメニューと、プレイアイテムで参照されるメインパスとが非同期（非同期型のパスである）であることを示している。
SubPath_type＝４は、Text subtitle presentation path（テキスト字幕のプレゼンテーションパス）とされている。例えば、SubPath_type＝４は、メインパスＴＳ非多重型のパスであり、プレイリストの中において、サブパスで参照されるテキスト字幕のプレゼンテーションパスと、プレイアイテムで参照されるメインパスとが同期している（同期型のパスである）ことを示している。
SubPath_type＝５は、Out-of-mux and AV Synchronized type of one or more elementary streams path(Primary audio/PG/IG/Secondary audio path).Out of mux and AV synchronized type of Picture-in-Picture presentation path which contains one or more elementary streams pathsとされている。即ち、SubPath_type＝５は、メインパスＴＳ非多重型、かつ、同期型のパスであって、１本以上のＥＳ(Primary audio/PG/IG/Secondary audio)のパスや、ピクチャインピクチャプレゼンテーションパスとされている。
ここで、ピクチャインピクチャプレゼンテーションパスとは、ピクチャインピクチャ手法において、所定のプライマリビデオストリーム（メインパスで参照されるビデオストリーム）に対応して再生される、プライマリオーディオストリームストリーム、セカンダリビデオストリーム、セカンダリオーディオストリーム、および、サブタイトルストリームのうちの１以上のパス（そのようなサブパスのタイプ）であることをいう。
SubPath_type＝６は、Out-of-mux and AV non-Synchronized type of Picture-in-Picture presentation path which contains one or more elementary streams pathsとされている。即ち、SubPath_type＝６は、メインパスＴＳ非多重型、かつ、非同期型のパスであって、ピクチャインピクチャプレゼンテーションパス（１以上のＥＳのパス）とされている。
SubPath_type＝７は、In-mux type and AV Synchronized type of Picture-in-Picture presentation path which contains one or more elementary streams pathsとされている。
即ち、SubPath_type＝７は、メインパスＴＳ多重型、かつ、同期型のパスであって、ピクチャインピクチャプレゼンテーションパス（１以上のＥＳのパス）とされている。
そして、SubPath_type=8乃至255は予備(reserved)とされている。
図２８は、SubPlayItem(i)のシンタクスを示す図である。
lengthは、このlengthフィールドの直後からSub playItem ()の最後までのバイト数を示す１６ビットの符号なし整数である。
図２８においては、SubPlayItemが１つのClip を参照する場合と、複数のClip を参照する場合に分けられている。
最初に、SubPlayItemが１つのClipを参照する場合について説明する。
SubPlayItemには、Clipを指定するためのClip_Information_file_ name[0]が含まれる。また、Clipのコーディック方式を指定するClip_codec_identifier［0］、reserved_for_future_use、マルチクリップの登録の有無を示すフラグであるis_multi_Clip_entries、STC不連続点（システムタイムベースの不連続点）に関する情報であるref_to_STC_id［0］を含む。is_multi_Clip_entriesのフラグが立っている場合、SubPlayItemが複数のClipを参照する場合のシンタクスが参照される。また、Clipの中にあるSub Pathの再生区間を指定するためのSubPlayItem_IN_timeとSubPlayItem_OUT_timeを含む。さらに、main pathの時間軸上でSub Pathが再生開始する時刻を指定するためsync_PlayItem_id と sync_start_PTS_of_PlayItemを含む。
このsync_PlayItem_id と sync_start_PTS_of_PlayItemは、上述したように、図６と図７の場合（メインＡＶストリームとサブパスにより示されるファイルに含まれるストリームの再生タイミングが同じである場合）に使用され、メインＡＶストリームとサブパスにより示されるファイルに含まれるストリームの再生タイミングが異なる場合（例えば、静止画により構成されるスライドショーのBGMのように、メインパスにより参照される静止画像とサブパスにより参照されるオーディオとが同期しない場合）には使用されない。また、SubPlayItem_IN_time、SubPlayItem_OUT_time、sync_PlayItem_id、sync_start_PTS_of_PlayItemは、SubPlayItemが参照するClipにおいて共通に使用される。
次に、SubPlayItemが複数のClipを参照する場合（if（is_multi_Clip_entries＝＝１ｂ）である場合、すなわちマルチクリップの登録が行われている場合）について説明する。具体的には、図７に示されるように、SubPlayItemが複数のClip を参照する場合を示す。
num_of_Clip_entriesは、Clipの数を示しており、Clip_Information_file_name[SubClip_entry_id]の数が、Clip_Information_file_ name[0]を除く、Clipsを指定する。すなわち、Clip_Information_file_ name[0]を除く、Clip_Information_file_ name[１]、Clip_Information_file_ name[２]などのClipを指定する。また、SubPlayItemは、Clipのコーディック方式を指定するClip_codec_identifier[SubClip_entry_id]、STC不連続点（システムタイムベースの不連続点）に関する情報であるref_to_STC_id[SubClip_entry_id]、およびreserved_for_future_useを含む。
なお、複数のClipの間で、SubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは共通して使われる。図７の例の場合、SubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemは、SubClip_entry_id＝０とSubClip_entry_id＝１との間で共通して使用されるものであり、選択されたSubClip_entry_idに対するText based subtitleがこのSubPlayItem_IN_time, SubPlayItem_OUT_time、sync_PlayItem_id、およびsync_start_PTS_of_PlayItemに基づいて再生される。
ここで、SubClip_entry_idの値は、SubPlayItemの中にあるClip_Information_file_name[SubClip_entry_id]が現れる順番に１から割り振られる。また、Clip_Information_file_ name[0]のSubClip_entry_idは０である。
次に、図２９は、図８乃至図２８を用いて説明したデータ構造を有するデータ、すなわち、上述したメインパスとサブパスを有するPlayListを再生する再生装置１の構成を示すブロック図である。
コントローラ２１は、予め用意されている制御プログラムを実行するか、または、ストレージドライブ２２を制御して、例えば、光ディスクなどの記録媒体１１に記録されている、または、ローカルストレージ２４に記録されているナビゲーションプログラムを読み出し、メモリ２３に展開して実行することで、再生装置１の全体の動作を制御する。例えば、コントローラ２１は、記録媒体１１が装着されたとき、または、所定の操作入力を受けた場合、所定のメニュー画面（ＧＵＩ表示画面）を外部の表示装置に表示させることができる。
すなわち、コントローラ２１は、光ディスクなどの記録媒体１１、または、ローカルストレージ２４に再生されるコンテンツ(PlayListおよびAVストリームなどで構成されたコンテンツ)とともに記録されているメニュー画面（ＧＵＩ表示画面）の表示を制御するのみならず、記録媒体１１、または、ローカルストレージ２４に再生されるコンテンツのデータを基に、GUI表示画面に対応するデータを生成して、外部の表示装置に表示させることも可能である。コントローラ２１により、GUI表示画面に対応するデータが生成されて、ＯＳＤ３０が制御され、表示画面に生成されたGUI表示画面を重畳させて表示させる処理についての詳細は、後述する。
ストレージドライブ２２は、コントローラ２１による制御に従って記録媒体１１からデータを読み出し、読み出したデータを、コントローラ２１、メモリ２３、または、ＡＶデコーダ部２６に出力する。記録媒体１１から読み出された情報が、ナビゲーションプログラムやPlayListなどであった場合、ストレージドライブ２２により読み出された情報は、コントローラ２１、または、メモリ２３に出力される。記録媒体１１から読み出された情報が、ＡＶストリームやテキストデータであった場合、ストレージドライブ２２により読み出された情報は、ＡＶデコーダ部２６に出力される。
メモリ２３は、コントローラ２１が各種の処理を実行する上において必要なデータなどを適宜記憶する。さらに、メモリ２３の記憶領域の一部には、再生装置１の再生処理において必要な情報が設定される各種のレジスタが設けられている。ローカルストレージ２４は、例えば、HDD(Hard Disk Drive)などより構成される。
インターネットインタフェース２５は、有線または無線によりネットワーク２に接続されており、コントローラ２１からの制御に従って、ネットワーク２を介して、サーバ３との間で通信を行い、サーバ３からダウンロードされたデータをローカルストレージ２４に供給する。サーバ３からは、例えば、そのとき再生装置１に装着されている記録媒体１１に記録されている、図４を用いて説明したデータをアップデートさせるデータがコンテンツとしてダウンロードされる。ローカルストレージ２４は、サーバ３からネットワーク２経由でダウンロードしたコンテンツを記録することができる。
ＡＶデコーダ部２６は、ストレージドライブ２２、または、ローカルストレージ２４から供給されるＡＶストリーム、または、テキストデータをデコードし、得られたビデオ信号をＯＳＤ（On Screen Display）３０に供給するとともに、オーディオ信号を外部の表示装置に出力する。
ＯＳＤ３０は、コントローラ２１の制御に基づいて、供給されたビデオ信号を外部の表示装置に出力するか、または、供給されたビデオ信号に所定のメニュー画面（ＧＵＩ表示画面）のデータを重畳して、生成された画像信号を、外部の表示装置に出力する。
表示装置においては、ＡＶデコーダ部２６によりデコードされた信号に基づいて、例えば、記録媒体１１に記録されているコンテンツの出力（映像の表示、音声の出力）が行われる。
操作入力部２９は、例えば、ボタン、キー、タッチパネル、ジョグダイヤル、マウスなどの入力デバイスや、所定のリモートコマンダから送信される赤外線などの信号を受信する受信部により構成され、ユーザの操作入力を取得し、コントローラ２１に供給する。
また、コントローラ２１には、必要に応じてドライブ２７も接続されており、ドライブ２７には、例えば、磁気ディスク（フレキシブルディスクを含む）、光ディスク（CD-ROM（Compact Disk-Read Only Memory)，DVDを含む）、光磁気ディスク（ＭＤ（登録商標）（Mini-Disk）を含む）、もしくは半導体メモリなどよりなるリムーバブルメディア２８が装着される。
最初に、コントローラ２１がストレージドライブ２２を介して、HDD、Blu−ray Disc（商標）、またはDVDなどの記録媒体１１から、または、ローカルストレージ２４から、PlayListファイルを読み出し、PlayListファイルの情報に基づいて、必要に応じて、GUI表示画面に対応するデータを生成するとともに、ストレージドライブ２２を介して、HDD、Blu−ray Disc（商標）、またはDVDなどの記録媒体１１から、または、ローカルストレージ２４から、ＡＶストリームやＡＶデータを読み出す。ユーザは、操作入力部２９を用いて、コントローラ２１に対し、音声や字幕などの切り替えの指令や、GUI表示画面の表示の指令などを行うことができる。また、コントローラ２１は、メモリ２３のレジスタに登録されている、例えば、再生装置１の言語設定の初期情報などの各種設定情報を読み込む。
PlayListファイルには、Main Path、Sub Pathの情報の他、上述したSTN_table()が含まれている。コントローラ２１は、PlayListファイルに含まれるPlayItemが参照するメインClip AVストリームファイル、SubPlayItemが参照するサブClip AVストリームファイル、およびSubPlayItemが参照するテキストサブタイトルデータを、ストレージドライブ２２を介して記録媒体１１から、または、ローカルストレージ２４から読み出す。ここで、PlayItemが参照するメインClip AVストリームファイルとSubPlayItemが参照するサブClip AVストリームファイルとが、異なる記録媒体に記録されていてもよい。例えば、メインClip AVストリームファイルが記録媒体１１に記録されており、対応するサブClip AVストリームファイルは図示せぬネットワーク２を介して供給され、HDDなどのローカルストレージ２４に記憶されたものであってもよい。また、逆に、メインClip AVストリームファイルがHDDなどのローカルストレージ２４に記憶されたものであり、サブClip AVストリームファイルが記録媒体１１に記録されていてもよい。
また、コントローラ２１は、メモリ２３のレジスタに登録されている各種設定情報を参照して、自分自身（再生装置１）の再生機能に対応するエレメンタリストリームを選択し、再生するよう制御したり、再生装置１の言語設定の初期情報に対応するエレメンタリストリームを選択し、再生するよう制御する。
図３０は、図２９の再生装置１のＡＶデコーダ部２６の構成例を示すブロック図である。
ＡＶデコーダ部２６には、スイッチ３２、バッファ５１乃至５４、PIDフィルタ５５、PIDフィルタ５６、スイッチ５７乃至５９、PIDフィルタ６０、バックグラウンドデコーダ７１、１ｓｔビデオデコーダ７２−１、２ndビデオデコーダ７２−２、プレゼンテーショングラフィックスデコーダ７３、インタラクティブグラフィックスデコーダ７４、１stオーディオデコーダ７５−１、２ndオーディオデコーダ７５−２、Text-STコンポジション７６、スイッチ７７、プリロードバッファ８１、バックグラウンドプレーン生成部９１、１ｓｔビデオプレーン生成部９２−１、２ndビデオプレーン生成部９２−２、プレゼンテーショングラフィックスプレーン生成部９３、インタラクティブグラフィックスプレーン生成部９４、バッファ９５、ビデオデータ処理部９６、ミキシング処理部９７、およびミキシング処理部１０１が設けられている。
１ｓｔビデオデコーダ７２−１と２ndビデオデコーダ７２−２は、ともにビデオストリームをデコードする。基本的には、STN_table()において、primary_video_stream_idで与えられるビデオストリームをデコードするためのものが１stビデオデコーダ７２−１であり、Secondary_video_stream_idで与えられるビデオストリームをデコードするためのものが２ndビデオデコーダ７２−２である。すなわち、再生装置１は、２つのビデオストリームをデコードするために、２つのビデオデコーダ（１stビデオデコーダ７２−１、２ndビデオデコーダ７２−２）を有している。また、１stビデオデコーダ７２−１は、２ndビデオデコーダ７２−２よりも優先的に使用されるビデオデコーダであるものとすることもできる。すなわち、デコードするビデオストリームが１つしかない場合、そのビデオストリームがメインClip AVストリームファイルに含まれるビデオストリームであっても、サブClip AVストリームファイルに含まれるビデオストリームであっても、１stビデオデコーダ７２−１でデコードされるようにしてもよい。なお、以下において、１stビデオデコーダ７２−１と２ndビデオデコーダ７２−２とを個々に区別しない場合、ビデオデコーダ７２と称する。
また、１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２も、ともにオーディオストリームをデコードする。基本的には、STN_table()において、primary_audio_stream_idで与えられるオーディオストリームをデコードするためのものが１stオーディオデコーダ７５−１であり、Secondary_audio_stream_idで与えられるオーディオストリームをデコードするためのものが２ndオーディオデコーダ７５−２である。すなわち、再生装置１は、２つのオーディオストリームをデコードするために、２つのオーディオデコーダ（１stオーディオデコーダ７５−１、２ndオーディオデコーダ７５−２）を有している。また、１stオーディオデコーダ７５−１は、２ndオーディオデコーダ７５−２よりも優先的に使用されるオーディオデコーダであるものとすることもできる。すなわち、デコードするオーディオストリームが１つしかない場合、そのオーディオストリームがメインClip AVストリームファイルに含まれるオーディオストリームであっても、サブClip AVストリームファイルに含まれるオーディオストリームであっても、１stオーディオデコーダ７５−１でデコードされるようにしてもよい。なお、以下において、１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２とを個々に区別しない場合、オーディオデコーダ７５と称する。
コントローラ２１により読み出されたファイルデータは、図示せぬ復調、ＥＣＣ復号部により、復調され、復調された多重化ストリームに誤り訂正が施される。スイッチ３２は、復調され、誤り訂正が施されたデータを、コントローラ２１からの制御に基づいて、ストリームの種類ごとに選択し、対応するバッファ５１乃至５４に供給する。具体的には、スイッチ３２は、コントローラ２１からの制御に基づいて、バックグラウンドイメージデータをバッファ５１に供給し、メインClip AVストリームファイルのデータをバッファ５２に供給し、サブClipのデータをバッファ５３に供給し、Text-STのデータをバッファ５４に供給するようスイッチ３２を切り替える。
バッファ５１は、バックグラウンドイメージデータをバッファリングし、バッファ５２は、メインClip AVストリームファイルのデータをバッファリングし、バッファ５３は、サブClip AVストリームファイルのデータをバッファリングし、バッファ５４は、Text-STデータをバッファリングする。
メインClip AVストリームファイルは、ビデオとオーディオとビットマップ字幕(Presentation Graphics stream)とインタラクティブグラフィックスのうち、ビデオに加えて１つ以上のストリームを多重化したストリーム（例えばトランスポートストリーム）である。サブClip AVストリームファイルは、ビデオとオーディオとビットマップ字幕(Presentation Graphics stream)とインタラクティブグラフィックスとのうち、１つ以上のストリームを多重化したストリームである。なお、テキストサブタイトルデータファイル（Text-ST）のデータは、トランスポートストリームのような多重化ストリームの形式であっても、そうでなくてもよい。
また、メインClip AVストリームファイルとサブClip AVストリームファイルおよびテキストサブタイトルデータを、ストレージドライブ２２（記録媒体１１）またはローカルストレージ２４から読み出すときに、それぞれのファイルを時分割に交互に読み出しても良いし、または、メインClipを読み出す前に、サブClip AVストリームファイルやテキストサブタイトルデータを予め読み出しておき、先行してバッファ(バッファ５３またはバッファ５４)へプリロードしてもよい。
そして、メインClip AVストリームファイル用リードバッファであるバッファ５２から読み出されたストリームデータは、所定のタイミングで、後段のPID（パケットＩＤ）フィルタ５５へ出力される。このPIDフィルタ５５は、入力されたメインClip AVストリームファイルをPID（パケットＩＤ）に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ５５は、ビデオストリームを１stビデオデコーダ７２−１と２ndビデオデコーダ７２−２への供給元となるPIDフィルタ６０に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ７３への供給元となるスイッチ５７に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ７４への供給元となるスイッチ５８に供給し、オーディオストリームを１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２への供給元となるスイッチ５９に供給する。
なお、プレゼンテーショングラフィックスストリームは、上述したように、例えば、ビットマップの字幕データであり、テキストサブタイトルデータは、上述したように、例えば、テキスト字幕データである。
サブClip AVストリームファイル用リードバッファであるバッファ５３から読み出されたストリームデータは、所定のタイミングで、後段のPID（パケットＩＤ）フィルタ５６へ出力される。このPIDフィルタ５６は、入力されたサブClip AVストリームファイルをPID（パケットＩＤ）に応じて、後段の各エレメンタリストリームのデコーダへ振り分けて出力する。すなわち、PIDフィルタ５６は、ビデオストリームを１stビデオデコーダ７２−１と２ndビデオデコーダ７２−２への供給元となるPIDフィルタ６０に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ７３への供給元となるスイッチ５７に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ７４への供給元となるスイッチ５８に供給し、オーディオストリームを１stオーディオデコーダ７５−１と２ndオーディオデコーダ７５−２への供給元となるスイッチ５９に供給する。
また、PIDフィルタ６０には、メインClip AV Streamのビデオストリーム、または、サブClip AV Streamのビデオストリームが、PIDフィルタ５５またはPIDフィルタ５６を介して入力されてくる。そこで、PIDフィルタ６０は、入力されたビデオストリームを、そのPID（パケットID)に応じて、後段の1stビデオデコーダ７２−１または2ndビデオデコーダ７２−２に振り分けて出力する。即ち、PIDフィルタ６０は、プライマリビデオストリームが入力された場合には、そのプライマリビデオストリームを1stビデオデコーダ７２−１に供給する。これに対して、PIDフィルタ６０は、セカンダリビデオストリームが入力された場合には、そのセカンダリビデオストリームを2ndビデオデコーダ７２−２に供給する。
なお、ここでは、プライマリビデオストリームとして、メインClip AV Streamのビデオストリームのみが利用され、サブClip AV Streamのビデオストリームは利用されないとされている。ただし、将来、サブClip AV Streamのビデオストリームもプライマリビデオストリームとして利用され得ることも考慮して、PIDフィルタ５６から供給されたサブClip AV Streamのビデオストリームも１stビデオデコーダ７２に供給され得るように、PIDフィルタ６０が構成されている。すなわち、Subpathにより指定されたサブClipに含まれるビデオストリームのみを再生し、ビデオストリームの再生にメインClipを使わず、オーディオストリームの再生は、サブClip、もしくは、メインClipを用いる場合である。
バックグラウンドイメージデータをバッファリングするバッファ５１から読み出されたデータは、所定のタイミングでバックグラウンドデコーダ７１に供給される。バックグラウンドデコーダ７１は、バックグラウンドイメージデータをデコードし、デコードしたバックグラウンドイメージデータをバックグラウンドプレーン生成部９１に供給する。
１stビデオデコーダ７２−１は、ビデオストリームをデコードし、デコードしたビデオデータを１stビデオプレーン生成部９２−１へ出力する。2ndビデオデコーダ７２−２は、ビデオストリームをデコードし、デコードしたビデオデータを2ndビデオプレーン生成部９２−２へ出力する。
スイッチ５７は、PIDフィルタ５５から供給されたメインClip AVストリームファイルに含まれるプレゼンテーショングラフィックスストリームと、PIDフィルタ５６から供給されたサブClip AVストリームファイルに含まれるプレゼンテーショングラフィックスストリームのうちのいずれか１つを選択し、選択したプレゼンテーショングラフィックスストリームを、後段のプレゼンテーショングラフィックスデコーダ７３に供給する。プレゼンテーショングラフィックスデコーダ７３は、プレゼンテーショングラフィックスストリームをデコードし、デコードしたプレゼンテーショングラフィックスストリームのデータをプレゼンテーショングラフィックスプレーン生成部９３への供給元となるスイッチ７７に供給する。
また、スイッチ５８は、PIDフィルタ５５から供給されたメインClip AVストリームファイルに含まれるインタラクティブグラフィックスストリームと、PIDフィルタ５６から供給されたサブClip AVストリームファイルに含まれるインタラクティブグラフィックスストリームのうちのいずれか１つを選択し、選択したインタラクティブグラフィックスストリームを、後段のインタラクティブグラフィックスストリームデコーダ７４に供給する。インタラクティブグラフィックスデコーダ７４は、インタラクティブグラフィックスストリームをデコードし、デコードしたインタラクティブグラフィックスストリームのデータを、プリロードバッファ８１に供給する。
プリロード用バッファ８１は、インタラクティブグラフィックスデコーダ７４から供給されたインタラクティブグラフィックスストリームを一時記憶する。例えば、再生装置１が、一度に２つのＴＳ(Transport stream)しか読み出せないという制限が課せられている場合などにおいて、再生装置１は、インタラクティブグラフィックスストリームを予め取得しておくことで（プリロードしておくことで）、ビデオストリームやオーディオストリームを再生するときに、プリロードしておいたインタラクティブグラフィックスストリームも同時再生することができる、といった機能を有している。かかる機能を実現するために、即ち、プリロードされたインタラクティブグラフィックスストリームを、ビデオストリームやオーディオストリームが再生されるタイミングまで保存しておくために、プリロード用バッファ８１が設けられているのである。
プリロード用バッファ８１に蓄積されたデコード済みのインタラクティブグラフィックスストリームは、所定のタイミングでインタラクティブグラフィックスプレーン生成部９４に供給される。
さらに、スイッチ５９は、PIDフィルタ５５から供給されたメインClip AVストリームファイルに含まれるオーディオストリームと、PIDフィルタ５６から供給されたサブClip AVストリームファイルに含まれるオーディオストリームを、後段の１stオーディオデコーダ７５−１、または、２ndオーディオデコーダ７５−２に供給する。具体的には、スイッチ５９は、stream_entry()のtypeの値によって、その選択を切り替える。
１stオーディオデコーダ７５−１は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部１０１に供給する。また、２ndオーディオデコーダ７５−２は、オーディオストリームをデコードし、デコードしたオーディオストリームのデータをミキシング処理部１０１に供給する。
ここで、２つのオーディオストリームを重畳して再生するような場合、１stオーディオデコーダ７５−１によりデコードされたオーディオストリームと、２ndオーディオデコーダ７５−２によりデコードされたオーディオストリームとが、ミキシング処理部１０１に供給される。
例えば、メインパスで参照される１stオーディオストリームとサブパスで参照される２ndオーディオストリームとを重畳して再生するような場合、１stオーディオデコーダ７５−１によりデコードされたメインClip AVストリームファイルのオーディオストリームと、２ndオーディオデコーダ７５−２によりデコードされたサブClip AVストリームファイルのオーディオストリームとが、ミキシング処理部１０１に供給される。
また、例えば、サブパスで参照される２本のオーディオストリームを重畳して再生するような場合、１stオーディオデコーダ７５−１によりデコードされたサブClip AVストリームファイルのオーディオストリームと、２ndオーディオデコーダ７５−２によりデコードされたサブClip AVストリームファイルのオーディオストリームとが、ミキシング処理部１０１に供給される。
ミキシング処理部１０１は、１stオーディオデコーダ７５−１からのオーディオデータと、２ndオーディオデコーダ７５−２からのオーディオデータとをミキシング（重畳）し、後段のミキシング処理部９７に出力する。なお、本実施の形態においては、１stオーディオデコーダ７５−１から出力されるオーディオデータと２ndオーディオデコーダ７５−２から出力されるオーディオデータとをミキシング（重畳）することを、合成するとも称する。すなわち、合成とは、２つのオーディオデータを、ミキシングすることも示すものとする。
また、スイッチ３２により選択されたサウンドデータは、バッファ９５に供給され、バッファリングされる。バッファ９５は、所定のタイミングでサウンドデータをミキシング処理部９７に供給する。サウンドデータは、例えば、メニュー選択などによる効果音のデータなどである。ミキシング処理部９７は、ミキシング処理部１０１によりミキシングされたオーディオデータ（１stオーディオデコーダ７５−１から出力されたオーディオデータと２ndオーディオデコーダ７５−２から出力されたオーディオデータとがミキシングされたオーディオデータ）と、バッファ９５から供給されてきたサウンドデータをミキシング（重畳、または合成）し、音声信号として出力する。
テキストサブタイトル用リードバッファであるバッファ５４から読み出されたデータは、所定のタイミングで、後段のテキストサブタイトルコンポジション（デコーダ）７６へ出力される。テキストサブタイトルコンポジション７６は、Text-STデータをデコードし、スイッチ７７に供給する。
スイッチ７７は、プレゼンテーショングラフィックスデコーダ７３によりデコードされたプレゼンテーショングラフィックスストリームと、Text-ST（テキストサブタイトルデータ）のうち、いずれかを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部９３に供給する。すなわち、プレゼンテーショングラフィックスプレーン生成部９３へ同時に供給される字幕画像は、プレゼンテーショングラフィックスデコーダ７３またはテキストサブタイトル（Text-ST）コンポジション７６のうちのいずれかの出力である。また、プレゼンテーショングラフィックスデコーダ７３へ同時に入力されるプレゼンテーショングラフィックスストリームは、メインClip AVストリームファイルまたはサブClip AVストリームファイルのいずれかから分離されたストリームである。したがって、プレゼンテーショングラフィックスプレーン生成部９３へ同時に出力される字幕画像は、メインClip AVストリームファイルからのプレゼンテーショングラフィックスストリーム、またはサブClip AVストリームファイルからのからのプレゼンテーショングラフィックスストリーム、またはテキストサブタイトルデータのデコード出力である。
バックグラウンドプレーン生成部９１は、バックグラウンドデコーダ７１から供給されたバックグラウンドイメージデータに基づいて、例えば、ビデオ画像を縮小表示した場合や、ストリーム再生中以外に後述するGUI表示画面を表示する場合に壁紙画像となるバックグラウンドプレーンを生成し、これを、ビデオデータ処理部９６に供給する。
１ｓｔビデオプレーン生成部９２−１は、１ｓｔビデオデコーダ７２−１から供給されたビデオデータに基づいて、ビデオプレーンを生成し、これをビデオデータ処理部９６に供給する。２ｎｄビデオプレーン生成部９２−２は、２ｎｄビデオデコーダ７２−２から供給されたビデオデータに基づいて、ビデオプレーンを生成し、これをビデオデータ処理部９６に供給する。
プレゼンテーショングラフィックスプレーン生成部９３は、スイッチ７７により選択され、供給されたデータ（プレゼンテーショングラフィックスストリームまたはテキストサブタイトルデータ）に基づいて、例えば、レンダリング画像であるプレゼンテーショングラフィックスプレーンを生成し、これをビデオデータ処理部９６に供給する。
インタラクティブグラフィックスプレーン生成部９４は、インタラクティブグラフィックスデコーダ７４から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成し、これをビデオデータ処理部９６に供給する。
ビデオデータ処理部９６は、バックグラウンドプレーン生成部９１からのバックグラウンドプレーン、１ｓｔビデオプレーン生成部９２−１からのビデオプレーン、２ｎｄビデオプレーン生成部９２−２からのビデオプレーン、プレゼンテーショングラフィックスプレーン生成部９３からのプレゼンテーショングラフィックスプレーン、およびインタラクティブグラフィックスプレーン生成部９４からのインタラクティブグラフィックスプレーンを合成し、ビデオ信号として出力する。
なお、ビデオデータ処理部９６は、ピクチャインピクチャ表示が行われる場合、すなわち、１ｓｔビデオプレーン生成部９２−１からのビデオプレーン、および、２ｎｄビデオプレーン生成部９２−２からのビデオプレーンの両方の入力を受けるとき、メイン画面（親画面）の中に、サブ画面（子画面）を有するピクチャインピクチャ表示画面（図３１を用いて後述する）を生成する。
また、これらのスイッチ５７乃至５９、並びにスイッチ７７は、操作入力部２９を介するユーザからの選択に基づいて、または、対象となるデータが含まれるファイルが供給される側に、スイッチを切り替える。例えば、サブClip ＡＶストリームファイルのみにしか、オーディオストリームが含まれていない場合、スイッチ５９はサブClip ＡＶストリームファイルを供給する側（ＰＩＤフィルタ５６の出力）にスイッチを切り替える。
次に、再生装置１における再生処理について説明する。操作入力部２９を用いてユーザにより所定のＡＶストリームの再生が指令されたとき、コントローラ２１は、ストレージドライブ２２を介して記録媒体１１から、または、HDD(Hard Disk Drive)などで構成されるローカルストレージ２４から、PlayListファイルに含まれるPlayList（PlayListに含まれるPlayItemおよびSubPlayItem）に基づいて、メインClip AVストリーム、サブClip AVストリーム、およびテキストサブタイトルデータ（Text-STデータ）を読み出して、ＡＶデコーダ部２６に供給する。
コントローラ２１は、バックグラウンドイメージデータをバッファ５１に供給し、メインClip AVストリームのデータをバッファ５２に供給し、サブClip AVストリームのデータをバッファ５３に供給し、Text-STのデータをバッファ５４に供給するようスイッチ３２を切り替える。
そして、スイッチ３２が切り替えられて、バックグラウンドイメージデータはバッファ５１に供給され、メインClip AVストリームのデータはバッファ５２に供給され、サブClip AVストリームのデータはバッファ５３に供給され、テキストサブタイトルデータはバッファ５４に供給され、各バッファ５１乃至５４は、供給されたデータをそれぞれバッファリングする。
そして、バッファ５１は、バックグラウンドイメージデータをバックグラウンドデコーダ７１に出力し、バッファ５２はメインClip AVストリームのストリームデータをPIDフィルタ５５に出力し、バッファ５４は、テキストサブタイトルデータをテキストサブタイトルコンポジション７６に出力し、バッファ５３は、サブClip AVストリームのストリームデータをPIDフィルタ５６に出力する。
PIDフィルタ５５は、ビデオストリームをPIDフィルタ６０に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ７３への供給元となるスイッチ５７に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ７４への供給元となるスイッチ５８に供給し、オーディオストリームをスイッチ５９に供給する。すなわち、ビデオストリーム、プレゼンテーショングラフィックスストリーム、インタラクティブグラフィックスストリーム、およびオーディオストリームには、それぞれ異なるPIDが付されている。
そして、PIDフィルタ５６は、ビデオストリームをPIDフィルタ６０に供給し、プレゼンテーショングラフィックスストリームをプレゼンテーショングラフィックスデコーダ７３への供給元となるスイッチ５７に供給し、インタラクティブグラフィックスストリームをインタラクティブグラフィックスデコーダ７４への供給元となるスイッチ５８に供給し、オーディオストリームをスイッチ５９に供給する。
PIDフィルタ６０は、プライマリビデオストリームが入力された場合には、そのプライマリビデオストリームを1stビデオデコーダ７２−１に供給する。これに対して、PIDフィルタ６０は、セカンダリビデオストリームが入力された場合には、そのセカンダリビデオストリームを2ndビデオデコーダ７２−２に供給する。
そして、PIDフィルタ５５およびPIDフィルタ５６の後段のスイッチ５７、および、スイッチ５８は、コントローラ２１からの制御に基づいて、メインClipとサブClipのいずれかを選択する。すなわち、スイッチ５７は、PIDフィルタ５５から供給されたメインClip AVストリームまたはサブClip AVストリームのプレゼンテーショングラフィックスストリームを選択し、後段のプレゼンテーショングラフィックスデコーダ７３に供給する。また、スイッチ５８は、PIDフィルタ５５から供給されたメインClip AVストリームまたはサブClip AVストリームのインタラクティブグラフィックスストリームを選択し、後段のインタラクティブグラフィックスストリームデコーダ７４に供給する。
さらに、スイッチ５９は、オーディオの合成が行われない場合、PIDフィルタ５５から供給されたメインClip AVストリーム、または、PIDフィルタ５６から供給されたサブClip AVストリームのオーディオストリームのうちのいずれかを選択し、後段の１stオーディオデコーダ７５−１に供給する。なお、音声を切り替えるような指令や、音声を合成するような指令がユーザにより行われた場合には、スイッチ５９は、メインClip AVストリームのオーディオストリームを２ndオーディオデコーダ７５−２に供給したり、サブClip AVストリームのオーディオストリームを１stオーディオデコーダ７５−１や２ndオーディオデコーダ７５−２に供給する。
そして、バックグラウンドデコーダ７１は、バックグラウンドイメージデータをデコードし、これをバックグラウンドプレーン生成部９１に出力し、１ｓｔビデオデコーダ７２−１および２ｎｄビデオデコーダ７２−２は、ビデオストリームをデコードし、これを、それぞれ、１ｓｔビデオプレーン生成部９２−１および２ｎｄビデオプレーン生成部９２−２に出力し、プレゼンテーショングラフィックスデコーダ７３は、スイッチ５７により選択され、供給されたプレゼンテーショングラフィックスストリームをデコードし、これを後段のスイッチ７７に出力し、インタラクティブグラフィックスデコーダ７４は、スイッチ５８により選択され、供給されたインタラクティブグラフィックスストリームをデコードし、これを後段のインタラクティブグラフィックスプレーン生成部９４に出力し、Text-STコンポジション７６は、テキストサブタイトルデータをデコードし、これを後段のスイッチ７７に出力する。
そして、１stオーディオデコーダ７５−１は、スイッチ５９により選択され、供給されたオーティオストリーム（プライマリオーディオストリーム）をデコードし、これを後段のミキシング処理部１０１に出力する。例えば、音声の切り替えがユーザにより指示されていない状態における再生処理では、２ndオーディオデコーダ７５−２からオーディオデータが出力されることはないので、ミキシング処理部１０１は、１stオーディオデコーダ７５−１から出力されたオーディオデータを、そのまま後段のミキシング処理部９７に供給する。また、音声の合成がユーザにより指令されている状態においては、２ndオーディオデコーダ７５−２は、スイッチ５９により選択され、供給されたオーティオストリームをデコードし、これを後段のミキシング処理部１０１に出力する。ミキシング処理部１０１は、１stオーディオデコーダ７５−１から出力されたオーディオデータと２ndオーディオデコーダ７５−２から出力されたオーディオデータとを合成(ミキシング)し、後段のミキシング処理部９７に供給する。
スイッチ７７は、プレゼンテーショングラフィックスデコーダ７３またはText-STコンポジション７６からのデータのいずれかを選択し、選択したデータをプレゼンテーショングラフィックスプレーン生成部９３に供給する。
バックグラウンドプレーン生成部９１は、バックグラウンドデコーダ７１から供給されたバックグラウンドイメージデータに基づいて、バックグラウンドプレーンを生成し、ビデオプレーン生成部９２は、ビデオデコーダ７２から供給されたビデオデータに基づいて、ビデオプレーンを生成し、プレゼンテーショングラフィックスプレーン生成部９３は、スイッチ７７により選択され、供給されたプレゼンテーショングラフィックスデコーダ７３からのデータまたはText-STコンポジション７６からのデータに基づいて、プレゼンテーショングラフィックスプレーンを生成し、インタラクティブグラフィックスプレーン生成部９４は、インタラクティブグラフィックスデコーダ７４から供給されたインタラクティブグラフィックスストリームのデータに基づいて、インタラクティブグラフィックスプレーンを生成する。
そして、ビデオデータ処理部９６は、各プレーンのデータを合成し、ビデオデータとして出力する。
また、バッファ９５は、供給されたサウンドデータをバッファリングし、所定のタイミングでミキシング処理部９７に供給する。ミキシング処理部９７は、オーディオデータ（ミキシング処理部１０１から出力されたオーディオデータ）とサウンドデータをミキシング（合成）し、出力する。
このような処理により、PlayListに含まれるメインパスとサブパスによりメインClip AVストリーム、サブClip AVストリーム、およびテキストサブタイトルデータが参照され、再生される。PlayListにメインパスとサブパスを設けるようにし、サブパスで、メインパスで指定するClip ＡＶストリームファイルとは異なるClip AVストリームである、サブClip AVストリームを指定可能な構成としたので、メインパスのPlayItemが指すメインClipとは異なるClipであるサブClipに含まれるデータとメインClipに含まれるデータとを一緒に（同じタイミングで）再生することができる。
ところで、上述したように、本発明の再生装置１に装着される記録媒体１１上、または、再生装置１のローカルストレージ２４に記録されるデータのアプリケーションフォーマットは、PlayListとClipの２つのレイヤを有している。そして、PlayListは、１つ以上のPlayItemの並びによって（連続するPlayItemにより）作られるメインパス(Main Path)と、そのMain Pathに並行（並列）して、１つ以上のSubPlayItemの並びによって（非連続でもよいし、連続してもよいSubPlayItemにより）作られるサブパス（Sub Path）を1以上含むことができる。
このような構成を有するデータを、図２９および図３０を用いて説明した再生装置１において再生することにより、図３１に示されるように、全画面（親画面）３０１と子画面３０２のそれぞれに別々のコンテンツを同時再生させる、といったピクチャインピクチャ手法を適用することが可能になる。
例えば、図３１に示されるように、１画面のうちの、全画面３０１に、メインパスで参照されるＡＶストリーム（図３１中、Primary Videoと記述されているビデオストリーム３１１、および、Primary Audioと記述されているオーディオストリーム３１２）に対応する映画本編等のコンテンツを再生させるとともに、全画面３０１に配置される子画面３０２に、サブパスで参照されるＡＶストリーム（図３１中、Secondary Videoと記述されているビデオストリーム３１３、および、Secondary Audioと記述されているオーディオストリーム３１４）に対応する映画の監督のコメンタリー等、メインパスで参照されるＡＶストリームとは別のコンテンツを再生させる、といった手法を適用することが可能になる。
具体的には、ピクチャインピクチャは、例えば映画本編(Primary Video, Primary Audio)を全画面３０１に表示しているときに、監督のコメンタリー(Secondary Video, Secondary Audio)を子画面３０２に入れ子画面にして、必要に応じて、音声を合成し、同時に表示出力されるように再生するアプリケーションである。
なお、サブタイトルストリームの再生位置（字幕等の表示位置）は、特に子画面内である必要は無く、全画面のうちの何れの位置でもよい。このため、図３１の例では、サブタイトルストリーム３１５は、子画面３０２からはみ出すように描画されている。
ユーザがピクチャインピクチャアプリケーションに関して許されているユーザオペレーションは、セカンダリビデオを表示するか否か、換言すれば、ピクチャインピクチャアプリケーションのon/offを指令するためのユーザオペレーションと、一つの区間に複数のセカンダリビデオが用意されている場合に、現在表示されているセカンダリビデオを他のセカンダリビデオに切り替えるユーザオペレーションである。また、セカンダリビデオが表示されている場合には、セカンダリオーディオのon/offおよび再生されるセカンダリオーディオの変更、並びに、ピクチャインピクチャ用の字幕のon/offおよび字幕の変更を指令するユーザオペレーションも許されている。
ピクチャインピクチャにおいて、子画面３０２として表示可能なSecondary Videoは、１つのPlayList中に複数定義することができる。例えば、１つのPlayList中に子画面３０２として表示可能なSecondary Videoを２５５個含めることができるようになされているなど、多数のピクチャインピクチャアプリケーションがPlayList中に定義されていた場合、ユーザが、そのコンテンツにおいて再生可能なピクチャインピクチャアプリケーションを把握することは困難である。
また、例えば、全画面３０１に表示されるPrimary Videoに対しては、従来行われてきたように、チャプタなどを用いて、特定のシーンを呼び出して再生させることなどができる。しかしながら、これに対して、全画面３０１に表示されるPrimary Videoの再生区間に対して、いずれの区間に、いずれのSecondary Videoが子画面３０２として再生可能なようになされているかをユーザが把握することは困難である。したがって、全画面３０１に表示されるPrimary Videoとともに子画面３０２に表示されるSecondary Videoの特定のシーンを呼び出す方法は提供されていない。
また、Secondary VideoおよびSecondary Audioは、Primary Videoの全ての再生区間に対して用意されているとは限らず、また、同一の再生区間に、複数のSecondary VideoおよびSecondary Audioが用意されている場合もある。また、Secondary Videoと、それに対応するSecondary Audioは、全てが所定のタイミングで再生されるのではなく、ユーザの所望のタイミングで再生される（非同期）のものも存在する。このため、例えば、再生開始時刻を指定することにより、Secondary Videoと、それに対応するSecondary Audioの特定のシーンを任意に呼び出すのは困難であった。
そこで、再生装置１においては、全画面３０１に表示されるPrimary Videoの再生区間に対して、いずれの区間に、いずれのSecondary Videoが子画面３０２として再生可能なようになされているかをユーザが把握することができるようなGUI表示画面を生成して表示する機能を有するものとする。
ユーザは、このGUI表示画面を参照することにより、Secondary Videoと、それに対応するSecondary Audioの特定のシーンを効率的に選択することが可能となる。
また、再生装置１は、全画面３０１に表示されるPrimary Videoの再生区間に対して、いずれの区間に、いずれのSecondary Videoが子画面３０２として再生可能なようになされているかをユーザが把握することができるようなGUI表示画面のみならず、例えば、Primary VideoとSecondary Videoとをユーザが明確に区別することなく、Primary VideoとSecondary Videoとのいずれかの特定のシーンを選択することができるようなGUI表示画面を生成して表示するようにしてもよい。
図３２に、コントローラ２１が有する機能のうち、このようなGUI表示画面を生成して表示する機能について説明するための機能ブロック図を示す。
なお、コントローラ２１は、例えば、GUI表示画面を生成して表示する機能や、装着された記録媒体１１またはローカルストレージ２４に記録されているデータを再生する処理以外にも、さまざまな機能を有するものとしてもよいが、図３２においては、GUI表示画面の生成および表示の制御、並びに、ストリームデータの再生の制御以外の機能については、省略する。
PlayList読み出し制御部３５１は、PlayListファイルを取得する。PlayList読み出し制御部３５１は、例えば、通常再生時においては、取得したPlayListファイルに含まれるPlayItemおよびSubPlayItemに基づいて、対応するClipのClip_Information_file_nameを検出し、ストリームデータ読み出し制御部３５４に供給する。また、PlayList読み出し制御部３５１は、例えば、上述したようなGUI表示画面を表示するために、取得したPlayListファイルを、PlayList解析部３５２に供給する。
PlayList解析部３５２は、供給されたPlayListファイルから、STN_table（）を読み出し、STN_table（）のstream_entryに基づいて、このPlayListファイルによって再生されるストリームに含まれるSecondary VideoおよびSecondary Audioに対応するref_to_Subpath_idを取得し、IN_time/OUT_time取得部３５６に供給する。
操作入力取得部３５３は、操作入力部２９から供給されるユーザの操作入力を取得し、ストリームデータ読み出し制御部３５４、再生開始位置情報記憶制御部３５８、または、GUI表示制御部３５９に供給する。
ストリームデータ読み出し制御部３５４は、PlayList読み出し制御部３５１から供給されたClip_Information_file_nameを基に、対応するClipに含まれるストリームデータの読み出しと、AVデコーダ部２６への供給を制御する。またストリームデータ読み出し制御部３５４は、操作入力取得部３５３から供給された、GUI表示画面を参照したユーザの操作入力を基に、再生開始位置情報記憶制御部３５８により記憶が制御されている再生開始位置に関する情報を参照し、対応するClipに含まれるストリームデータの読み出しと、AVデコーダ部２６への供給を制御する。
再生制御部３５５は、ストリームデータ読み出し制御部３５４の制御に基づいて、AVデコーダ部２６へ供給されたデータのデコードおよび再生出力を制御する。
IN_time/OUT_time取得部３５６は、PlayList解析部３５２から供給された、Secondary VideoおよびSecondary Audioに対応するref_to_Subpath_idを基に、対応するSubpathに含まれるSubPlayItemを抽出し、それらのSubPlayItem から、それぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_timeを取得し、GUI生成部３５７および再生開始位置情報記憶制御部３５８に供給する。
GUI生成部３５７は、IN_time/OUT_time取得部３５６から供給された、Secondary VideoおよびSecondary Audioに対応するそれぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_timeを基に、GUI表示画面に対応するデータを生成し、GUI表示制御部３５９に供給する。また、GUI生成部３５７は、必要に応じて、ストリームデータ読み出し制御部３５４により、Secondary Videoに対応するサムネイル画像の基となる画像データ（例えば、Secondary Video のストリームの先頭、すなわち、SubPlayItem_IN_timeに対応する部分のフレーム画像データや、その他のいずれかのフレーム画像データなど）を取得し、生成するGUI表示画面データに含ませるようにすることも可能である。また、GUI生成部３５７は、生成したGUI表示画面データに関する情報を、再生開始位置情報記憶制御部３５８に供給する。
再生開始位置情報記憶制御部３５８は、IN_time/OUT_time取得部３５６から供給された、Secondary VideoおよびSecondary Audioに対応するそれぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_time、並びに、GUI生成部３５７から供給されたGUI表示画面データに関する情報を基に、GUI表示画面において表現されているSecondary VideoおよびSecondary Audioと、それらの再生開始位置（SubPlayItem_IN_time）とを関連つけて記憶する。これにより、操作入力取得部３５３から、生成されたGUI表示画面を参照したユーザが行う操作入力に関する情報が取得された場合、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかをMainPathのPrimary VideoおよびPrimary Audioとともに再生させるための再生開始位置情報を抽出し、ストリームデータ読み出し制御部３５４に供給することができる。
GUI表示制御部３５９は、操作入力取得部３５３から供給されるユーザの操作入力に基づいて、GUI生成部３５７により生成されたGUI表示画面データの表示および表示の取り消しを制御する。具体的には、GUI表示制御部３５９は、ＯＳＤ３０を制御し、AVデコーダ部２６から供給されたビデオ信号または画像信号への、GUI表示画面データの重畳を制御する。
図３２に示されるような機能を有するコントローラ２１は、再生装置１に記録媒体１１が装着されるなどにより、記録媒体１１またはローカルストレージ２４に記録されているコンテンツの再生が可能な状態となったとき、GUI表示画面データを生成する。
すなわち、PlayList読み出し制御部３５１により読み出されたPlayListファイルが、PlayList解析部３５２により解析されて、このPlayListファイルによって再生されるストリームに含まれるSecondary VideoおよびSecondary Audioに対応するref_to_Subpath_idが取得され、IN_time/OUT_time取得部３５６により、対応するSubpathに含まれるSubPlayItemが抽出されて、それらのSubPlayItem から、それぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_timeが取得される。
GUI生成部３５７は、IN_time/OUT_time取得部３５６から供給された、Secondary VideoおよびSecondary Audioに対応するそれぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_time、必要に応じて、ストリームデータ読み出し制御部３５４により取得される、Secondary Videoに対応するサムネイル画像の基となる画像データ（例えば、Secondary Video のストリームの先頭、すなわち、SubPlayItem_IN_timeに対応する部分のフレーム画像データや、その他のいずれかのフレーム画像データなど）などを基に、GUI表示画面に対応するデータを生成し、GUI表示制御部３５９に供給する。
例えば、ユーザが、映画本編など、MainPathのPrimary VideoおよびPrimary Audioを再生中に、操作入力部１９よりGUI表示画面の表示を指令すると、操作入力取得部３５３は、GUI表示画面の表示を指令するユーザの操作入力を取得し、GUI表示制御部３５９に、GUI表示画面の表示を制御させる。
そのとき、例えば、図３３に示されるように、映画本編などが表示されている画面３８１の一部に、Primary Videoの再生区間に対して、いずれの区間に、いずれのSecondary Videoが子画面３０２として再生可能なようになされているかをユーザが把握することができるようなGUI表示画面３９１が表示される。
GUI表示画面３９１について、図３４を参照して説明する。
GUI表示画面３９１には、例えば、MainMovie、すなわち、Primary Videoの再生区間全体に対応するメインタイムライン４０１と、メインタイムライン４０１上に、現在のPrimary Videoの再生位置を示すスライダ４０２が表示され、メインタイムライン４０１に対応付けて、Primary Videoの再生区間に対して、いずれの区間に、いずれのSecondary Videoが子画面３０２として再生可能であり、Secondary Audioが対応して再生されるかが分かるように、このPlayListファイルによって再生されるストリームに含まれるSecondary VideoまたはSecondary Audioに応じたサブタイムライン４０３(図３４においては、サブタイムライン４０３−１乃至サブタイムライン４０３−５)が表示される。
そして、サブタイムライン４０３に対応付けられて、そのサブタイムライン４０３が対応付けられているストリームが、Secondary VideoまたはSecondary Audioのいずれであるかを示すためのアイコン４０４(図３４においては、アイコン４０４-１乃至アイコン４０４-５)が表示されている。
また、例えば、ストリームデータ読み出し制御部３５４により、Secondary Videoに対応するサムネイル画像の基となる画像データ（例えば、Secondary Video のストリームの先頭、すなわち、SubPlayItem_IN_timeに対応する部分のフレーム画像データや、その他のいずれかのフレーム画像データなど）を取得し、アイコン４０４のうち、ビデオストリームに対応するアイコン４０４を、いわゆるサムネイル画像としてもよい。
また、ユーザの所望のタイミングで再生される（非同期の）Secondary VideoまたはSecondary Audioに対応するサブタイムライン４０３は、ユーザの所望のタイミングで再生される（非同期)であることがユーザに認識可能なように表示されると好適である。このようなサブタイムライン４０３は、例えば、メインタイムライン４０１に対して、再生先頭位置に対応するように表示されても良いし、メインタイムライン４０１に対応しない異なる位置に表示されるようにしても良い。
このようなGUI表示画面３９１を表示させることにより、ユーザは、全画面３０１において、現在本編のどこが再生されているかを認識することができるとともに、いずれの再生位置において、ピクチャインピクチャアプリケーションが何通り存在するか、または、非同期のピクチャインピクチャアプリケーションが何通り存在するかを、視覚的に容易に把握することが可能になる。
したがって、ユーザは、GUI表示画面３９１を参照することにより、セカンダリビデオを表示するか否かのユーザオペレーションを容易に実行することができる。また、ユーザは、更に、複数のピクチャインピクチャアプリケーションが存在しているか否かも容易に認識できるので、ピクチャインピクチャアプリケーションのon/offを指令するユーザオペレーションを容易に効率的に実行することができる。更に、GUI表示画面３９１は、ユーザによるForward Play/Backward Play操作にも役立つと考えられる。
また、ストリームデータ読み出し制御部３５４により、Secondary Videoに対応するサムネイル画像の基となる画像データ（例えば、Secondary Video のストリームの先頭、すなわち、SubPlayItem_IN_timeに対応する部分のフレーム画像データや、その他のいずれかのフレーム画像データなど）を取得して、サムネイル画像をサブタイムライン４０３とともに表示した場合、ユーザは、ピクチャインピクチャアプリケーションの内容を容易に認識することが可能となる。
なお、MainPathのPrimary VideoおよびPrimary Audioを再生していないときに、GUI表示画面３９１の表示が指令された場合、ＡＶデコーダ部２６から出力されるバックグラウンドプレーン、すなわち、いわゆる背景画像に対して、ＯＳＤ３０によりGUI表示画面３９１が重畳されて表示される。
そして、ユーザにより、サブタイムライン４０３またはアイコン４０４が選択された場合、再生開始位置情報記憶制御部３５８により記憶が制御されている再生開始位置情報が参照されて、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかが、MainPathのPrimary VideoおよびPrimary Audioとともに再生される。
なお、非同期のSecondary VideoまたはSecondary Audioに対応するサブタイムライン４０３またはアイコン４０４が選択された場合、例えば、MainPath先頭位置からのPrimary VideoおよびPrimary Audioとともに、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかが再生されるものとすることができる。
また、GUI生成部３５７は、ストリームデータ読み出し制御部３５４により、Secondary Videoに対応するサムネイル画像の基となる画像データを取得して、これを基にGUI表示画面を生成することが可能であるので、例えば、図３５に示されるように、ピクチャインピクチャアプリケーション（Secondary VideoおよびSecondary Audio）とMainMovie（Primary VideoおよびPrimary Audio）とを詳細に区別する必要なくユーザが選択できるようなGUI表示画面４２１を生成し、表示するようにしても良い。
図３５のGUI表示画面４２１には、例えば、MainMovieに対応するサムネイル画像４１１に加えて、ピクチャインピクチャのそれぞれに対応するサムネイル画像４４２（図３５においては、サムネイル画像４４２-１乃至４４２-６）が表示される。
なお、MainPathのPrimary VideoおよびPrimary Audioが再生されているときに、図３５を用いて説明したGUI表示画面４２１の表示が指令された場合、ＡＶデコーダ部２６から出力される画像信号（例えば、Primary Videoに字幕などが合成された画像信号）に対して、ＯＳＤ３０によりGUI表示画面４２１が重畳されて表示される。MainPathのPrimary VideoおよびPrimary Audioを再生していないときに、GUI表示画面４２１の表示が指令された場合、ＡＶデコーダ部２６から出力されるバックグラウンドプレーン、すなわち、いわゆる背景画像に対して、ＯＳＤ３０によりGUI表示画面４２１が重畳されて表示される。
このようなGUI表示画面４２１を参照したユーザは、ピクチャインピクチャアプリケーションがMainMovieに対して同期しているか否か、同期されている場合にはPlayList中でどの再生位置となるように定義されているかなどの詳細を知ることなく、所望のピクチャインピクチャアプリケーションの再生を指令することが可能となる。
この場合においても、ユーザにより、ピクチャインピクチャのそれぞれに対応するサムネイル画像４４２が選択された場合、再生開始位置情報記憶制御部３５８により記憶が制御されている再生開始位置情報が参照されて、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかが、MainPathのPrimary VideoおよびPrimary Audioとともに再生される。
また、同様にして、非同期のSecondary VideoまたはSecondary Audioに対応する、ピクチャインピクチャのそれぞれに対応するサムネイル画像４４２が選択された場合、例えば、MainPath先頭位置からのPrimary VideoおよびPrimary Audioとともに、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかが再生されるものとすることができる。
すなわち、再生開始位置情報記憶制御部３５８は、IN_time/OUT_time取得部３５６から、Secondary VideoおよびSecondary Audioに対応するそれぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_timeの情報の供給を受けるとともに、GUI生成部３５７から、GUI表示画面データに関する情報の供給を受ける。そして、再生開始位置情報記憶制御部３５８は、これらの情報を基に、GUI表示画面において、いずれかのサブタイムライン４０３、アイコン４０４、または、サムネイル画像４４２として表現されているそれぞれのSecondary VideoおよびSecondary Audioと、それらの再生開始位置（SubPlayItem_IN_time）とが関連つけて記憶されるように制御を行っているので、ストリームデータ読み出し制御部３５４は、この情報を基に、ユーザが所望するピクチャインピクチャ表示における再生開始を指令することが可能となる。
具体的には、図３３および図３４を用いて説明したGUI表示画面３９１、または、図３５を用いて説明したGUI表示画面４２１がＡＶデコーダ部２６から出力される画像信号または背景画像などに重畳されて表示されているときに、ユーザにより、いずれかのサブタイムライン４０３、アイコン４０４、または、サムネイル画像４４２を選択する操作入力を受けた場合、操作入力取得部３５３は、サブタイムライン４０３、アイコン４０４、または、サムネイル画像４４２のうちのいずれが選択されたかを示す情報を再生開始位置情報記憶制御部３５８に供給する。
再生開始位置情報記憶制御部３５８は、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかをMainPathのPrimary VideoおよびPrimary Audioとともに再生させるための再生開始位置情報を抽出し、ストリームデータ読み出し制御部３５４に供給する。
ストリームデータ読み出し制御部３５４は、操作入力取得部３５３から供給された、GUI表示画面を参照したユーザの操作入力と、再生開始位置情報記憶制御部３５８から供給された再生開始位置情報を基に、対応するClipに含まれるPrimary VideoおよびPrimary Audio、並びに、Secondary Video、および、必要に応じてSecondary Audioのストリームデータの読み出しを制御するとともに、読み出したストリームデータのAVデコーダ部２６への供給を制御する。
再生制御部３５５は、ストリームデータ読み出し制御部３５４の制御に基づいて、AVデコーダ部２６へ供給されたデータのデコード、合成、および再生出力を制御する。そして、ピクチャインピクチャ表示で、ユーザが指定した位置から、コンテンツの再生が開始される。
次に、図３６のフローチャートを参照して、再生装置１において実行される再生処理について説明する。
ステップＳ１において、PlayList読み出し制御部３５１は、記録媒体１１が装着されたか否かを判断する。ステップＳ１において、記録媒体１１が装着されたと判断されなかった場合、記録媒体１１が装着されたと判断されるまで、ステップＳ１の処理が繰り返される。
ステップＳ１において、記録媒体１１が装着されたと判断された場合、ステップＳ２において、図３７を用いて後述するGUI表示準備処理が実行される。
ステップＳ３において、操作入力取得部３５３は、ストリームの再生を指令する操作入力を取得したか否かを判断する。ステップＳ３において、ストリームの再生を指令する操作入力は取得されていないと判断された場合、処理は、後述するステップＳ６に進む。
ステップＳ３において、ストリームの再生を指令する操作入力を取得したと判断された場合、ステップＳ４において、PlayList読み出し制御部３５１は、装着された記録媒体１１からPlayListファイルを読み出し、取得したPlayListファイルに含まれるPlayItemおよびSubPlayItemに基づいて、対応するClipのClip_Information_file_nameを検出し、ストリームデータ読み出し制御部３５４に供給する。
ステップＳ５において、ストリームデータ読み出し制御部３５４は、PlayList読み出し制御部３５１から供給されたPlayListのClip_Information_file_nameを基に、対応するClipに含まれるストリームデータの読み出しと、AVデコーダ部２６への供給を制御する。再生制御部３５５は、AVデコーダ部２６へ供給されたデータのデコードおよび再生出力を制御する。
ステップＳ３において、ストリームの再生を指令する操作入力は取得されていないと判断された場合、または、ステップＳ５の処理の終了後、ステップＳ６において、操作入力取得部３５３は、GUI表示が指令されたか否かを判断する。ステップＳ６において、GUI表示が指令されていないと判断された場合、処理は、後述するステップＳ１３に進む。
ステップＳ６において、GUI表示が指令されたと判断された場合、ステップＳ７において、GUI表示制御部３５９は、ステップＳ２のＧＵＩ表示準備処理において生成されたGUIの表示を制御する。
ステップＳ８において、操作入力取得部３５３は、いずれかのSubPlayItemに対応するサムネイル等（いずれかのサブタイムライン４０３、アイコン４０４、または、サムネイル画像４４２）を選択する操作入力を受けたか否かを判断する。ステップＳ８において、いずれかを選択する操作入力を受けていないと判断された場合、処理は、後述するステップＳ１１に進む。
ステップＳ８において、いずれかを選択する操作入力を受けたと判断された場合、ステップＳ９において、操作入力取得部３５３は、サブタイムライン４０３、アイコン４０４、または、サムネイル画像４４２のうちのいずれが選択されたかを示す情報を再生開始位置情報記憶制御部３５８に供給する。再生開始位置情報記憶制御部３５８は、ユーザが所望するSecondary VideoまたはSecondary Audioの少なくともいずれかをMainPathのPrimary VideoおよびPrimary Audioとともに再生させるための再生開始位置情報を抽出し、ストリームデータ読み出し制御部３５４に供給する。ストリームデータ読み出し制御部３５４は、対応する再生開始位置を示す情報を取得する。
ステップＳ１０において、ストリームデータ読み出し制御部３５４は、再生開始位置情報記憶制御部３５８から取得した対応する再生開始位置を示す情報を基に、対応するClipに含まれるストリームデータの読み出しと、AVデコーダ部２６への供給を制御する。再生制御部３５５は、AVデコーダ部２６へ供給されたデータのデコードおよび再生出力、すなわち、所定の再生開始位置からのピクチャインピクチャアプリケーションの再生を制御する。
なお、Subpath_type=6の場合には、サブパスはメインパスに対して非同期であるが、サブパス、すなわち、子画面に対応するsecondary videoおよびsecondary audioは、SubPlayItem_IN_timeおよびSubPlayItem_Out_timeのそのままの値に基づいて、ストリームの読み出しが制御され、全画面に対応するprimary videoおよびprimary audioは、そのPlayListにより再生される先頭位置からの読み出しが制御されて、それぞれが合成されて再生される。
ステップＳ８において、いずれかを選択する操作入力を受けていないと判断された場合、ステップＳ１１において、操作入力取得部３５３は、GUIの表示の終了が指令されたか否かを判断する。ステップＳ１１において、GUIの表示の終了が指令されていないと判断された場合、処理は、ステップＳ６に戻り、それ以降の処理が繰り返される。
ステップＳ１１において、GUIの表示の終了が指令されたと判断された場合、ステップＳ１２において、GUI表示制御部３５９は、ステップＳ６において表示されたGUIの表示を終了する。
ステップＳ１０またはステップＳ１２の処理の終了後、ステップＳ１３において、操作入力取得部３５３は、処理の終了が指令されたか否かを判断する。ステップＳ１３において、処理の終了が指令されていないと判断された場合、処理は、ステップＳ６に戻り、それ以降の処理が繰り返される。ステップＳ１３において、処理の終了が指令されたと判断された場合、処理が終了される。
このような処理により、ＧＵＩ表示画面が表示されるので、ユーザは、複数のピクチャインピクチャアプリケーションの内容やメインストリームに対する再生位置などを、容易に明確に認識することができる。そして、ＧＵＩ表示画面を参照したユーザの操作入力を基に、ユーザが所望するピクチャインピクチャ表示の再生を開始させることが可能となる。
次に、図３７のフローチャートを参照して、図３６のステップＳ２において実行されるGUI表示準備処理について説明する。
ステップＳ４１において、PlayList読み出し制御部３５１は、装着された記録媒体１１に記録されているPlayListファイルを読み出し、PlayList解析部３５２に供給する。
ステップＳ４２において、PlayList解析部３５２は、供給されたPlayListに含まれるそれぞれのPlayItemを確認し、STN_tableを取得する。
ステップＳ４３において、PlayList解析部３５２は、供給されたPlayListによって再生可能なストリームにSecondary AudioまたはSecondary Videoが存在するか否かを判断する。ステップＳ４３において、Secondary AudioまたはSecondary Videoが存在しないと判断された場合、処理は、図３６のステップＳ２に戻り、ステップＳ３に進む。
ステップＳ４３において、Secondary AudioまたはSecondary Videoが存在すると判断された場合、ステップＳ４４において、PlayList解析部３５２は、STN_tableのstream_entryから、Secondary Audio、Secondary Videoに対応するref_to_SubPath_idを取得し、IN_time/OUT_time取得部３５６に供給する。
ステップＳ４５において、IN_time/OUT_time取得部３５６は、ステップＳ４４において取得されたref_to_SubPath_idに対応する未処理のSubPathのうちの一つを選択する。
ステップＳ４６において、IN_time/OUT_time取得部３５６は、選択されたSubPathは、SubPath_type=5であるか否かを判断する。ステップＳ４６において、SubPath_type=5であると判断された場合、処理は、後述するステップＳ５０に進む。
ステップＳ４６において、SubPath_type=5ではないと判断された場合、ステップＳ４７において、IN_time/OUT_time取得部３５６は、選択されたSubPathは、SubPath_type=６であるか否かを判断する。
ステップＳ４７において、SubPath_type=６であると判断された場合、ステップＳ４８において、IN_time/OUT_time取得部３５６は、非同期のサブパスをメインストリームの最初の位置に対応つけるため、すなわち、図３３および図３４を用いて説明したＧＵＩ表示画面３９１において、対応するサブタイムライン４０３をメインタイムライン４０１の先頭に対応つけて表示させたり、図３５を用いて説明したＧＵＩ表示画面４２１の対応するサムネイルが選択された場合のメインムービーの再生開始位置をストリームの先頭とするため、SubplayItem_IN_time´＝０とし、SubPlayItem_OUT_time´＝SubPlayItem_OUT_time−SubplayItem_IN_timeとし、GUI生成部３５７および再生開始位置情報記憶制御部３５８に供給する。
ステップＳ４７において、SubPath_type=６ではない、すなわち、SubPath_type=７であると判断された場合、または、ステップＳ４８の処理の終了後、ステップＳ４９において、GUI生成部３５７は、Secondary VideoおよびSecondary Audioに対応するそれぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_timeを基に、対応するメインタイムライン４０１、サブタイムライン４０３、または、アイコン４０４など、もしくは、サムネイル４４１またはサムネイル４４２等のデータを生成する。ステップＳ４９の処理の終了後、処理は、後述するステップＳ５２に進む。
ステップＳ４６において、SubPath_type=5であると判断された場合、ステップＳ５０において、IN_time/OUT_time取得部３５６は、PlayList解析部３５２から供給された、Secondary VideoおよびSecondary Audioに対応するref_to_Subpath_idを基に、対応するSubpathに含まれるSubPlayItemを抽出してストリームを解析する。具体的には、IN_time/OUT_time取得部３５６は、それらのSubPlayItem から、それぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_timeを取得するとともに、STN_tableを基に、それらのストリームがsecondary audioであるか、secondary videoであるかなどのストリームの種類を検出し、これらの情報をGUI生成部３５７および再生開始位置情報記憶制御部３５８に供給する。
ステップＳ５１において、GUI生成部３５７は、IN_time/OUT_time取得部３５６から供給された、Secondary VideoおよびSecondary Audioに対応するそれぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_time、並びに、その他の解析データを基に、対応するメインタイムライン４０１、サブタイムライン４０３、または、アイコン４０４など、もしくは、サムネイル４４１またはサムネイル４４２等のデータを生成する。
ステップＳ４９またはステップＳ５１の処理の終了後、ステップＳ５２において、IN_time/OUT_time取得部３５６は、全てのSubPathについて処理が終了したか否かを判断する。ステップＳ５２において、全てのSubPathについて処理が終了していないと判断された場合、処理は、ステップＳ４５に戻り、それ以降の処理が繰り返される。
ステップＳ５２において、全てのSubPathについて処理が終了したと判断された場合、ステップＳ５３において、GUI生成部３５７は、GUI表示画面３９１またはＧＵＩ表示画面４２１に対応するデータを生成し、GUI表示制御部３５９に供給するとともに、生成したGUI表示画面データに関する情報を、再生開始位置情報記憶制御部３５８に供給する。
ステップＳ５４において、再生開始位置情報記憶制御部３５８は、IN_time/OUT_time取得部３５６から供給された、Secondary VideoおよびSecondary Audioに対応するそれぞれのSubPlayItem_IN_timeおよびSubPlayItem_Out_time、並びに、GUI生成部３５７から供給されたGUI表示画面データに関する情報を基に、GUI表示画面において表現されているSecondary VideoおよびSecondary Audioのそれぞれのサムネイル等と、それらの再生開始位置（SubPlayItem_IN_time）とを関連つけて記憶し、処理は、図３６のステップＳ２に戻り、ステップＳ３に進む。
このような処理により、再生装置１において再生される複数のパスにより再生されるストリームのデータが解析されて、複数のパスのうちの特に副の再生パスにより再生されるSecondary VideoまたはSecondary Audioの再生位置やその内容を示すGUI表示画面が生成される。
具体的には、例えば、全画面３０１において、現在本編のどこが再生されているかを認識することができるとともに、いずれの再生位置において、ピクチャインピクチャアプリケーションが何通り存在するか、または、非同期のピクチャインピクチャアプリケーションが何通り存在するかを、視覚的に容易に把握することが可能なGUI表示画面(例えば、図３３および図３４を用いて説明したGUI表示画面３９１)や、ピクチャインピクチャアプリケーションがMainMovieに対して同期しているか否か、同期されている場合にはPlayList中でどの再生位置となるように定義されているかなどの詳細を知ることなく、所望のピクチャインピクチャアプリケーションの再生を指令することが可能となるようなGUI表示画面(例えば、図３５を用いて説明したGUI表示画面４２１)が生成される。
このようなGUI表示画面を参照することにより、ユーザは、再生可能なピクチャインピクチャアプリケーションについて、視覚的に明確に認識することが可能となる。
また、このようなGUI表示画面を参照することにより、ユーザは、所望のピクチャインピクチャアプリケーションの再生を指令することが可能となる。
次に、図３８および図３９を参照して、再生装置１において再生可能なデータが記録された記録媒体１１の製造方法について、記録媒体１１がディスク状の記録媒体だった場合を例として説明する。
即ち、図３８に示すように、例えばガラスなどよりなる原盤が用意され、その上に、例えばフォトレジストなどよりなる記録材料が塗布される。これにより、記録用原盤が製作される。
そして、図３９に示すように、ソフト製作処理部において、符号化装置（ビデオエンコーダ）で符号化された、再生装置１において再生可能な形式のビデオデータが、一時バッファに記憶され、オーディオエンコーダで符号化されたオーディオデータが、一時バッファに記憶されるとともに、更に、データエンコーダで符号化された、ストリーム以外のデータ（例えば、Indexes、PlayList、PlayItemなど）が一時バッファに記憶される。それぞれのバッファに記憶されたビデオデータ、オーディオデータ、および、ストリーム以外のデータは、多重化器（ＭＰＸ）で同期信号と共に多重化され、誤り訂正符号回路（ＥＣＣ）でエラー訂正用のコードが付加される。そして、変調回路（ＭＯＤ）で所定の変調がかけられ、所定のフォーマットにしたがって、例えば磁気テープなどに一旦記録され、再生装置１において再生可能な記録媒体１１に記録されるソフトウェアが製作される。
このソフトウェアを必要に応じて編集（プリマスタリング）し、光ディスクに記録すべきフォーマットの信号が生成される。そして、図３８に示すように、この記録信号に対応して、レーザビームが変調されて、このレーザビームが原盤上のフォトレジスト上に照射される。これにより、原盤上のフォトレジストが記録信号に対応して露光される。
その後、この原盤を現像し、原盤上にピットを出現させる。このようにして用意された原盤に、例えば電鋳等の処理を施し、ガラス原盤上のピットを転写した金属原盤を製作する。この金属原盤から、さらに金属スタンパを製作し、これを成形用金型とする。
この成形用金型に、例えばインジェクションなどによりＰＭＭＡ（アクリル）またはＰＣ（ポリカーボネート）などの材料を注入し、固定化させる。あるいは、金属スタンパ上に２Ｐ（紫外線硬化樹脂）などを塗布した後、紫外線を照射して硬化させる。これにより、金属スタンパ上のピットを、樹脂よりなるレプリカ上に転写することができる。
このようにして生成されたレプリカ上に、反射膜が、蒸着あるいはスパッタリングなどにより形成される。あるいはまた、生成されたレプリカ上に、反射膜が、スピンコートにより形成される。
その後、このディスクに対して内外径の加工が施され、２枚のディスクを張り合わせるなどの必要な処置が施される。さらに、ラベルを貼り付けたり、ハブが取り付けられて、カートリッジに挿入される。このようにして再生装置１によって再生可能なデータが記録された記録媒体１１が完成する。
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウェアにより実行させることもできる。この場合、上述した処理は、図４０に示されるようなパーソナルコンピュータ５００により実行される。
図４０において、CPU（Central Processing Unit）５０１は、ROM(Read Only Memory)５０２に記憶されているプログラム、または、記憶部５０８からRAM(Random Access Memory)５０３にロードされたプログラムに従って各種の処理を実行する。RAM５０３にはまた、CPU５０１が各種の処理を実行する上において必要なデータなどが適宜記憶される。
CPU５０１、ROM５０２、およびRAM５０３は、内部バス５０４を介して相互に接続されている。この内部バス５０４にはまた、入出力インターフェース５０５も接続されている。
入出力インターフェース５０５には、キーボード、マウスなどよりなる入力部５０６、CRT，LCDなどよりなるディスプレイ、スピーカなどよりなる出力部５０７、ハードディスクなどより構成される記憶部５０８、並びに、モデム、ターミナルアダプタなどより構成される通信部５０９が接続されている。通信部５０９は、電話回線やCATVを含む各種のネットワークを介しての通信処理を行う。
入出力インターフェース５０５にはまた、必要に応じてドライブ５１０が接続され、磁気ディスク、光ディスク、光磁気ディスク、あるいは半導体メモリなどによりなるリムーバブルメディア５２１が適宜装着され、それから読み出されたコンピュータプログラムが、必要に応じて記憶部５０８にインストールされる。
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、ネットワークやプログラム格納媒体からインストールされる。
このプログラム格納媒体は、図４０に示されるように、コンピュータとは別に、ユーザにプログラムを提供するために配布される、プログラムが記録されているリムーバブルメディア５２１よりなるパッケージメディアにより構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される、プログラムが記録されているROM５０２や記憶部５０８が含まれるハードディスクなどで構成される。
なお、本明細書において、コンピュータプログラムを記述するステップは、記載された順序に従って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的あるいは個別に実行される処理をも含むものである。
また、ドライブ５１０は、装着されたリムーバブルメディア５２１に記録されたデータを読み出すことができるのみならず、装着されたリムーバブルメディア５２１にデータを記録することができる。そして、パーソナルコンピュータ５００が、図３９を用いて説明したソフト製作処理部と同様の機能を有する（例えば、ＣＰＵ５０１を用いて、ソフト製作処理部と同様の機能を実現するためのプログラムを実行する）ことが可能であるのは言うまでもない。
すなわち、パーソナルコンピュータ５００は、図３９を用いて説明したソフト制作処理部により生成されたデータと同様のデータを、ＣＰＵ５０１の処理により生成するか、または、外部の装置で生成された図３９を用いて説明したソフト制作処理部により生成されたデータと同様のデータを、通信部５０９またはドライブ５１０に装着されたリムーバブルメディア５２１を介して取得することができる。そして、パーソナルコンピュータ５００は、生成または取得された図３９を用いて説明したソフト制作処理部により生成されたデータと同様のデータを、ドライブ５１０に装着されたリムーバブルメディア５２１に記録する記録装置としての機能を実現することができる。
なお、本発明の実施の形態は、上述した実施の形態に限定されるものではなく、本発明の要旨を逸脱しない範囲において種々の変更が可能である。
従来の音声切り替えを説明する図である。 従来の音声切り替えを説明する図である。 MPEG２プログラムストリームの構成を説明する図である。 本発明を適用した再生装置に装着される記録媒体上のアプリケーションフォーマットの例を示す図である。 メインパスとサブパスの構造を説明する図である。 メインパスとサブパスの例を説明する図である。 メインパスとサブパスの別の例を説明する図である。 再生装置で再生可能なデータのデータ構成例を説明する図である。 index.bdmvのシンタクスを示す図である。 indexesシンタクスを示す図である。 PlayListファイルのデータ構造ついて説明するための図である。 AppInfoPlayList()のシンタクスについて説明するための図である。 PlayList()のシンタクスを示す図である。 PlayItem()のシンタクスを示す図である。 STN_table()のシンタクスを示す図である。 STN_table()のシンタクスを示す図である。 stream_entry()のシンタクスを示す図である。 stream_attribute()のシンタクスを示す図である。 stream_cording_typeを説明する図である。 video_formatを説明する図である。 frame_rateを説明する図である。 aspect_ratioを説明する図である。 audio_presentation_typeを説明する図である。 sampling_frequencyを説明する図である。 Character codeを説明する図である。 SubPath()のシンタクスを示す図である。 SubPath_typeを説明する図である。 SubPlayItem(i)のシンタクスを示す図である。 再生装置の構成を示すブロック図である。 図２９の再生装置のＡＶデコーダ部の構成を示すブロック図である。 ピクチャインピクチャ表示について説明するための図である。 図２９の再生装置のコントローラが有する機能を示す機能ブロック図である。 GUI表示画面について説明するための図である。 GUI表示画面について説明するための図である。 GUI表示画面について説明するための図である。 再生処理について説明するフローチャートである。 GUI表示準備処理について説明するフローチャートである。 再生装置で再生可能なデータを記録した記録媒体の製造について説明するための図である。 再生装置で再生可能なデータを記録した記録媒体の製造について説明するための図である。 パーソナルコンピュータの構成を示す図である。
符号の説明
１ 再生装置， １１ 記録媒体， ２１ コントローラ， ２６ AVデコーダ部， ３０ OSD， ３２ スイッチ， ３３ ＡＶデコーダ部， ３４ コントローラ， ５１乃至５４ バッファ， ５５，５６ PIDフィルタ， ５７乃至５９ スイッチ， ７１ バックグラウンドデコーダ， ７２ ビデオデコーダ， ７３ プレゼンテーショングラフィックスデコーダ， ７４ インタラクティブグラフィックスデコーダ， ７５ オーディオデコーダ， ７６ Text-STコンポジション， ７７ スイッチ， ９１ バックグラウンドプレーン生成部， ９２ ビデオプレーン生成部， ９３ プレゼンテーショングラフィックスプレーン生成部， ９４ インタラクティブグラフィックスプレーン生成部， ９５ バッファ ９６ ビデオデータ処理部， ９７ ミキシング処理部， １０１ ミキシング処理部， ３５１ PlayList読み出し制御部， ３５２ PlayList解析部， ３５３ 操作入力取得部３５３， ３５４ ストリームデータ読み出し制御部， ３５５ 再生制御部， ３５６ IN_time/OUT_time取得部， ３５７ GUI生成部， ３５８ 再生開始位置情報記憶制御部， ３５９ GUI表示制御部， ３９１ GUI表示画面， ４０１ メインタイムライン， ４０２ スライダ， ４０３ サブタイムライン， ４０４ アイコン， ４２１ GUI表示画面， ４４１，４４２ サムネイル画像

Claims (9)

  1. 記録媒体から第１および第２のストリームの再生を制御するための再生管理情報を取得する第１の取得手段と、
    前記第１の取得手段により取得された前記再生管理情報を解析し、解析結果から、前記第１のストリームを再生する主の再生パスとは異なる再生パスであって、１つまたは複数の副の再生パスにより再生される前記第２のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報を取得する第２の取得手段と、
    前記第２の取得手段により取得された前記副の再生パスに関する情報を基に、前記第１のストリームの再生時間軸に対応づけて、前記第２のストリームの再生位置と種類を示す画像を生成する情報生成手段と、
    前記情報生成手段により生成された前記画像の表示を制御する表示制御手段と、
    前記第１の取得手段により取得された前記再生管理情報に基づいて、前記第１および第２のストリームの再生を制御する再生制御手段と
    を備える情報処理装置。
  2. 前記第２のストリームが前記第１のストリームに非同期である場合、前記第２のストリームの再生位置を示す情報は、前記第１のストリームの再生時間軸の先頭に対応づけられる
    請求項１に記載の情報処理装置。
  3. 前記第２のストリームが前記第１のストリームに同期している場合、前記第２のストリームの再生位置を示す情報は、前記第１のストリームの再生時間軸に対応づけられる
    請求項１に記載の情報処理装置。
  4. 前記第２のストリームの所定のフレームの画像データを取得する第３の取得手段
    を更に備え、
    前記情報生成手段は、前記第３の取得手段により取得された前記第２のストリームの所定のフレームの画像データを基に、前記第２のストリームの種類を示す情報を生成する
    請求項１に記載の情報処理装置。
  5. 前記第１のストリームを取得する第３の取得手段
    を更に備え、
    前記再生制御手段は、前記第１の取得手段により取得された前記再生管理情報に基づいて、前記第３の取得手段により取得された前記第１のストリームの再生を制御し、
    前記表示制御手段は、前記再生制御手段により再生が制御される前記第１のストリームの画像に、前記情報生成手段により生成された前記画像が重畳されて表示されるように、その画像の表示を制御する
    請求項１に記載の情報処理装置。
  6. ユーザによる操作入力を取得する操作入力取得手段
    を更に備え、
    前記操作入力取得手段によって、前記表示制御手段により表示が制御された前記画像を参照したユーザによる前記第２のストリームの再生位置を選択する操作入力が取得された場合、前記再生制御手段は、選択された前記再生位置からの前記第１および第２のストリームの再生を制御する
    請求項１に記載の情報処理装置。
  7. 情報処理装置が、記録媒体から第１および第２のストリームの再生を制御するための再生管理情報を取得し、
    前記情報処理装置が、取得された前記再生管理情報を解析して、前記第１のストリームを再生する主の再生パスとは異なる再生パスであって、１つまたは複数の副の再生パスにより再生される前記第２のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報を取得し、
    前記情報処理装置が、取得された前記副の再生パスに関する情報を基に、前記第１のストリームの再生時間軸に対応づけて、前記第２のストリームの再生位置と種類を示す画像を生成し、
    前記情報処理装置が、生成された前記画像の表示を制御し、
    前記情報処理装置が、取得された前記再生管理情報に基づいて、前記第１および第２のストリームの再生を制御する
    ステップを含む情報処理方法。
  8. コンピュータに、
    記録媒体から第１および第２のストリームの再生を制御するための再生管理情報を取得し、
    取得された前記再生管理情報を解析して、前記第１のストリームを再生する主の再生パスとは異なる再生パスであって、１つまたは複数の副の再生パスにより再生される前記第２のストリームの再生位置と種類を示す情報を含む前記副の再生パスに関する情報を取得し、
    取得された前記副の再生パスに関する情報を基に、前記第１のストリームの再生時間軸に対応づけて、前記第２のストリームの再生位置と種類を示す画像を生成し、
    生成された前記画像の表示を制御し、
    取得された前記再生管理情報に基づいて、前記第１および第２のストリームの再生を制御する
    ステップを含む処理を実行させるためのプログラム。
  9. 請求項８に記載のプログラムが記録されているプログラム格納媒体。
JP2006173677A 2006-06-23 2006-06-23 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体 Expired - Fee Related JP4770601B2 (ja)

Priority Applications (1)

Application Number Priority Date Filing Date Title
JP2006173677A JP4770601B2 (ja) 2006-06-23 2006-06-23 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
JP2006173677A JP4770601B2 (ja) 2006-06-23 2006-06-23 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体

Publications (2)

Publication Number Publication Date
JP2008005288A JP2008005288A (ja) 2008-01-10
JP4770601B2 true JP4770601B2 (ja) 2011-09-14

Family

ID=39009302

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2006173677A Expired - Fee Related JP4770601B2 (ja) 2006-06-23 2006-06-23 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体

Country Status (1)

Country Link
JP (1) JP4770601B2 (ja)

Families Citing this family (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US9607655B2 (en) 2010-02-17 2017-03-28 JBF Interlude 2009 LTD System and method for seamless multimedia assembly
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
US8600220B2 (en) 2012-04-02 2013-12-03 JBF Interlude 2009 Ltd—Israel Systems and methods for loading more than one video content at a time
US9009619B2 (en) 2012-09-19 2015-04-14 JBF Interlude 2009 Ltd—Israel Progress bar for branched videos
US9257148B2 (en) 2013-03-15 2016-02-09 JBF Interlude 2009 LTD System and method for synchronization of selectably presentable media streams
US9832516B2 (en) 2013-06-19 2017-11-28 JBF Interlude 2009 LTD Systems and methods for multiple device interaction with selectably presentable media streams
US10448119B2 (en) 2013-08-30 2019-10-15 JBF Interlude 2009 LTD Methods and systems for unfolding video pre-roll
US9530454B2 (en) 2013-10-10 2016-12-27 JBF Interlude 2009 LTD Systems and methods for real-time pixel switching
US9520155B2 (en) 2013-12-24 2016-12-13 JBF Interlude 2009 LTD Methods and systems for seeking to non-key frames
US9641898B2 (en) 2013-12-24 2017-05-02 JBF Interlude 2009 LTD Methods and systems for in-video library
US9792026B2 (en) 2014-04-10 2017-10-17 JBF Interlude 2009 LTD Dynamic timeline for branched video
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US11412276B2 (en) 2014-10-10 2022-08-09 JBF Interlude 2009 LTD Systems and methods for parallel track transitions
US10582265B2 (en) 2015-04-30 2020-03-03 JBF Interlude 2009 LTD Systems and methods for nonlinear video playback using linear real-time video players
US9672868B2 (en) 2015-04-30 2017-06-06 JBF Interlude 2009 LTD Systems and methods for seamless media creation
US10460765B2 (en) 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US11164548B2 (en) 2015-12-22 2021-11-02 JBF Interlude 2009 LTD Intelligent buffering of large-scale video
US10462202B2 (en) 2016-03-30 2019-10-29 JBF Interlude 2009 LTD Media stream rate synchronization
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
US10218760B2 (en) 2016-06-22 2019-02-26 JBF Interlude 2009 LTD Dynamic summary generation for real-time switchable videos
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
US12096081B2 (en) 2020-02-18 2024-09-17 JBF Interlude 2009 LTD Dynamic adaptation of interactive video players using behavioral analytics
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
US12047637B2 (en) 2020-07-07 2024-07-23 JBF Interlude 2009 LTD Systems and methods for seamless audio and video endpoint transitions
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US12549818B2 (en) 2021-08-31 2026-02-10 JBF Interlude 2009 LTD Shader-based dynamic video manipulation
US12155897B2 (en) 2021-08-31 2024-11-26 JBF Interlude 2009 LTD Shader-based dynamic video manipulation
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3717880B2 (ja) * 2002-10-01 2005-11-16 パイオニア株式会社 情報記録媒体、情報記録装置及び方法、情報再生装置及び方法、情報記録再生装置及び方法、記録又は再生制御用のコンピュータプログラム、並びに制御信号を含むデータ構造
JP4222869B2 (ja) * 2002-12-10 2009-02-12 株式会社ソニー・コンピュータエンタテインメント 画像再生装置
DE602004030734D1 (de) * 2003-06-18 2011-02-03 Panasonic Corp Interaktive Wiedergabevorrichtung, Programm und Wiedergabeverfahren
US7609947B2 (en) * 2004-09-10 2009-10-27 Panasonic Corporation Method and apparatus for coordinating playback from multiple video sources

Also Published As

Publication number Publication date
JP2008005288A (ja) 2008-01-10

Similar Documents

Publication Publication Date Title
JP4770601B2 (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
TWI479892B (zh) Reproducing apparatus and reproducing method, program, program storage medium, data structure, manufacturing method of recording medium
JP4923751B2 (ja) 再生装置、並びに記録媒体及びその製造方法
JP4674618B2 (ja) 再生装置、再生方法、プログラム、データ、記録媒体
US9076495B2 (en) Reproducing apparatus, reproducing method, computer program, program storage medium, data structure, recording medium, recording device, and manufacturing method of recording medium
JP4849343B2 (ja) データ生成方法、記録装置および方法、並びに、プログラム
JP4720676B2 (ja) 情報処理装置および情報処理方法、データ構造、記録媒体の製造方法、プログラム、並びに、プログラム格納媒体
JP2008193604A (ja) 再生装置および方法、並びにプログラム
JP4821456B2 (ja) 情報処理装置および情報処理方法、プログラム、データ構造、並びに記録媒体
JP4968562B2 (ja) 再生装置、再生方法、および記録方法
JP2008052836A (ja) 情報処理装置および情報処理方法、プログラム、並びに、プログラム格納媒体
JP4900708B2 (ja) 再生装置および再生方法、プログラム、並びにプログラム格納媒体
JP5201428B2 (ja) データ生成方法、記録装置および方法、並びに、プログラム
JP5234144B2 (ja) 再生装置、並びに記録媒体及びその製造方法

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20090612

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20101028

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20101102

A521 Written amendment

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20101222

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20110524

A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20110606

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

FPAY Renewal fee payment (event date is renewal date of database)

Free format text: PAYMENT UNTIL: 20140701

Year of fee payment: 3

LAPS Cancellation because of no payment of annual fees