JP7736005B2 - 情報処理装置および方法 - Google Patents

情報処理装置および方法

Info

Publication number
JP7736005B2
JP7736005B2 JP2022550453A JP2022550453A JP7736005B2 JP 7736005 B2 JP7736005 B2 JP 7736005B2 JP 2022550453 A JP2022550453 A JP 2022550453A JP 2022550453 A JP2022550453 A JP 2022550453A JP 7736005 B2 JP7736005 B2 JP 7736005B2
Authority
JP
Japan
Prior art keywords
subpicture
information
bitstream
track
identification information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2022550453A
Other languages
English (en)
Other versions
JPWO2022059495A1 (ja
Inventor
充 勝股
光浩 平林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Sony Group Corp
Original Assignee
Sony Corp
Sony Group Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp, Sony Group Corp filed Critical Sony Corp
Publication of JPWO2022059495A1 publication Critical patent/JPWO2022059495A1/ja
Application granted granted Critical
Publication of JP7736005B2 publication Critical patent/JP7736005B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85—Assembly of content; Generation of multimedia applications
    • H04N21/854—Content authoring
    • H04N21/85406—Content authoring involving a specific file format, e.g. MP4 format
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83—Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845—Structuring of content, e.g. decomposing content into time segments
    • H04N21/8455—Structuring of content, e.g. decomposing content into time segments involving pointers to the content, e.g. pointers to the I-frames of the video stream

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

本開示は、情報処理装置および方法に関し、特に、再生処理の負荷の増大を抑制することができるようにした情報処理装置および方法に関する。
従来、画像符号化方式の標準仕様のVVC（Versatile Video Coding）では、各画像（ピクチャ）は、1つ以上のスライスに分割される。また、各ピクチャは1つ以上のサブピクチャに分割することも可能である（例えば、非特許文献１参照）。また、VVCで符号化されたピクチャのファイル格納の方式として、動画圧縮の国際標準技術MPEG-4（Moving Picture Experts Group - 4）のファイルコンテナ仕様であるISOBMFF（International Organization for Standardization Base Media File Format）を利用したVVC File Formatが策定中である（例えば、非特許文献２乃至非特許文献４参照）。
さらに、３次元空間上に位置情報と属性情報(色や反射等)を同時に持った点の集合であるポイントクラウド（point cloud）について、そのポイントクラウドをセグメンテーションして領域を形成し、領域毎に平面投影してアトリビュート画像(色情報等)とジオメトリ画像(depth情報から構成される), オキュパンシーマップ画像、アトラス情報 (point cloudをpatchから再構成するための情報)を生成し、３つの画像を動画コーデックにより符号化するVideo-based Point Cloud Compression (V-PCC)があった。そしてそのV-PCCで符号化されたビットストリーム（V3Cビットストリームと称する）のローカルストレージからの再生処理やネットワーク配信の効率化を目的とし、V3CビットストリームをISOBMFFに格納する技術が提案された（例えば非特許文献５参照）。
上述のVVC File Formatでは、複数のサブピクチャを１つのトラック（VVC track）に格納し、それを再生することができる。
Benjamin Bross, Jianle Chen, Shan Liu, Ye-Kui Wang, "Versatile Video Coding (Draft 10)", JVET-S2001-vH, Joint Video Experts Team (JVET) of ITU-T SG 16 WP 3 and ISO/IEC JTC 1/SC 29/WG 11 19th Meeting: by teleconference, 22 June - 1 July 2020 "Information technology - Coding of audio-visual objects - Part 15: Carriage of network abstraction layer (NAL) unit structured video in the ISO base media file format - Amendment 2: Carriage of VVC and EVC in ISOBMFF", ISO/IEC JTC 1/SC 29/WG 11, ISO/IEC 14496-15:2019(E) Amendment 2, 2020 July 30th "Information technology - Coding of audio-visual objects - Part 15: Carriage of network abstraction layer (NAL) unit structured video in the ISO base media file format",ISO/IEC JTC 1/SC 29/WG 11,2019 Sep "Information technology - Coding of audio-visual objects - Part 12:ISO base media file format", ISO/IEC JTC 1/SC 29/WG 11,2015 Dec "Information technology - Coded representation of immersive media- Part 10: Carriage of Visual Volumetric Video-based Coding Data", ISO/IEC JTC1/SC 29/WG 11, ISO 23090-10:2020(E), 2020 August 23rd
しかしながら、そのトラック（VVC track）内の一部のサブピクチャを再生するためには、VVCビットストリームのパラメータセットの解析と生成が必要であり、再生処理の負荷が増大するおそれがあった。
本開示は、このような状況に鑑みてなされたものであり、再生処理の負荷の増大を抑制することができるようにするものである。
本技術の一側面の情報処理装置は、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルを生成するファイル生成部を備え、前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む情報処理装置である。
本技術の一側面の情報処理方法は、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルを生成し、前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む情報処理方法である。
本技術の他の側面の情報処理装置は、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルの前記抽出ベーストラックに基づいて、前記ビットストリームトラックから前記サブピクチャを抽出し、ビットストリームを生成するビットストリーム生成部を備え、前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む情報処理装置である。
本技術の他の側面の情報処理方法は、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルの前記抽出ベーストラックに基づいて、前記ビットストリームトラックから前記サブピクチャを抽出し、ビットストリームを生成し、前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む情報処理方法である。
本技術の一側面の情報処理装置および方法においては、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルが生成される。このサブピクチャ特定情報には、サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報が含まれる。
本技術の他の側面の情報処理装置および方法においては、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルの抽出ベーストラックに基づいて、ビットストリームトラックからサブピクチャが抽出され、ビットストリームが生成される。このサブピクチャ特定情報には、サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報が含まれる。
VVCビットストリームの主な構成例を示す図である。 シーケンスパラメータセットのシンタックスの例を示す図である。 ピクチャパラメータセットのシンタックスの例を示す図である。 ピクチャパラメータセットのシンタックスの例を示す図である。 VVCトラックの主な構成例を示す図である。 Subpicture order sample groupの例を示す図である。 Subpicture ID sample groupの例を示す図である。 タイルリージョンについて説明する図である。 Tile region sample groupの例を示す図である。 NAL unit map sample groupの例を示す図である。 サブピクチャのユースケースについて説明する図である。 V3C File Formatの例を示す図である。 VVC抽出ベーストラックを用いた再構成情報のシグナリング方法について説明する図である。 VVC抽出ベーストラックを格納するファイルの構成例を示す図である。 Subpicture Extraction sample groupの例を示す図である。 Subpicture ID sample groupの例を示す図である。 Subpicture ID sample groupの例を示す図である。 VVCベーストラックとVVC抽出ベーストラックの併用について説明する図である。 Subpicture order sample groupの例を示す図である。 V3Cビットストリームの場合の適用例について説明する図である。 ファイル生成装置の主な構成例を示すブロック図である。 ファイル生成処理の流れの例を示すフローチャートである。 クライアント装置の主な構成例を示すブロック図である。 再生処理の流れの例を示すフローチャートである。 コンピュータの主な構成例を示すブロック図である。
以下、本開示を実施するための形態（以下実施の形態とする）について説明する。なお、説明は以下の順序で行う。
１．一部のサブピクチャの再生
２．抽出ベーストラック
３．Subpicture ID sample groupの拡張
４．VVCベーストラックとVVCエクストラベーストラックの併用
５．V3C File Formatの適用
６．第１の実施の形態（ファイル生成装置）
７．第２の実施の形態（再生装置）
８．付記
＜１．一部のサブピクチャの再生＞
＜技術内容・技術用語をサポートする文献等＞
本技術で開示される範囲は、実施の形態に記載されている内容だけではなく、出願当時において公知となっている以下の非特許文献等に記載されている内容や以下の非特許文献において参照されている他の文献の内容等も含まれる。
非特許文献１：（上述）
非特許文献２：（上述）
非特許文献３：（上述）
非特許文献４：（上述）
非特許文献５：（上述）
つまり、上述の非特許文献に記載されている内容や、上述の非特許文献において参照されている他の文献の内容等も、サポート要件を判断する際の根拠となる。
＜VVCビットストリーム＞
従来、画像符号化方式の標準仕様のVVC（Versatile Video Coding）では、例えば、非特許文献１に記載のように、各画像（ピクチャ）は、１つ以上のスライスに分割される。また、各ピクチャは１つ以上のサブピクチャに分割することも可能である。
図１は、VVCにより画像データが符号化されたビットストリーム（VVCビットストリームとも称する）の主な構成例を示す図である。図１に示されるように、VVCビットストリーム１０は、１本の動画像が符号化された符号化ビデオシーケンス（coded video sequence）１１の集合（単数または複数の符号化ビデオシーケンス１１）により構成される。そして、符号化ビデオシーケンス１１は、動画像の１フレームであるピクチャ（Picture）１２の符号化データの集合（単数または複数のピクチャ１２の符号化データ）により構成される。各ピクチャ１２は、複数のサブピクチャ（subpicture）１３に分割し得る。
つまり、サブピクチャ１３は、矩形のピクチャ１２を分割した矩形領域である。ピクチャ１２に符号化データの存在しない画素は存在しない。サブピクチャ１３同士の重なりは存在しない。ピクチャ１２の画素でどのサブピクチャ１３にも含まれない画素は存在しない。
サブピクチャ１３は、独立に復号可能とすることができる。つまり、単数または複数のサブピクチャ１３を独立に復号可能とすることができる。例えば、ピクチャ１２を構成するサブピクチャ１３の内の一部の符号化データのみを復号することができるようにしてもよい。その場合、VVCビットストリーム１０から復号対象のサブピクチャ１３の符号化データを抽出し、パラメータセット等を付加して新たなビットストリームを生成する（ビットストリームを再構成する）。
このVVCビットストリーム１０のシーケンスパラメータセットのシンタックスの例を図２に示す。シーケンスパラメータセットは、符号化ビデオシーケンス１１毎のパラメータセット（符号化ビデオシーケンス１１内で変化しないメタデータ）である。図２においては、シーケンスパラメータセットの一部のシンタックスが示されている。
図２に示されるように、シーケンスパラメータセットは、ピクチャ１２の解像度に関するパラメータにより構成される「ピクチャの解像度情報」を含む。例えば、この「ピクチャの解像度情報」は、符号化ビデオシーケンス１１内のピクチャ１２の解像度の最大値を示すパラメータ（sps_pic_width_max_in_luma_samples, sps_pic_height_max_in_luma_sample等）を含む。
また、シーケンスパラメータセットは、サブピクチャ１３のレイアウトに関するパラメータにより構成される「サブピクチャのレイアウト情報」を含む。例えば、この「サブピクチャのレイアウト情報」は、サブピクチャ１３の位置を示すパラメータ（sps_subpic_ctu_top_left_x[i], sps_subpic_ctu_top_left_y[i]等）を含む。また、「サブピクチャのレイアウト情報」は、サブピクチャ１３の解像度を示すパラメータ（sps_subpic_width_minus1[i], sps_subpic_height_minus1[i]等）を含む。さらに、「サブピクチャのレイアウト情報」は、サブピクチャ１３の独立した復号に関するパラメータ（sps_subpic_treated_as_pic_flag[i], sps_loop_filter_across_subpic_enabled_flag[i]等）を含む。
さらに、シーケンスパラメータセットは、その「サブピクチャのレイアウト情報」の省略に関する情報により構成される「サブピクチャのレイアウト省略フラグ」を含む。例えば、この「サブピクチャのレイアウト省略フラグ」は、全てのサブピクチャ１３が独立に復号可能であるか否かを示すフラグ情報（sps_independent_subpic_flag）や、全てのサブピクチャ１３が互いに同一の解像度であるか否かを示すフラグ情報（sps_subpic_same_size_flag）等を含む。例えば、全てのサブピクチャ１３が独立に復号可能であり、かつ、互いに同一の解像度である場合、サブピクチャ１３の数に関わらず、サブピクチャ１３の幅（width）に関するパラメータと、高さ（height）に関するパラメータとが１つずつシーケンスパラメータセットに格納される。
また、シーケンスパラメータセットは、サブピクチャ１３の識別に関するパラメータにより構成される「サブピクチャの識別情報」を含む。例えば、この「サブピクチャの識別情報」は、符号化ビデオシーケンスに含まれる各サブピクチャ１３の識別情報（sps_subpic_id[i]）等を含む。例えば、シーケンス内の各サブピクチャに対して順に番号を割り当て（例えば、０、１、２、・・・のように「＋１」ずつ増加する整数値を割り当て）、その番号をサブピクチャ１３の識別情報としてもよい。なお、この「サブピクチャの識別情報」は、省略される場合、シーケンスパラメータセットに格納される場合、ピクチャパラメータセットに格納される場合の３通りがある。
このようなVVCビットストリーム１０から一部のサブピクチャ１３を抽出して復号する場合、符号化ビデオシーケンス１１に含まれるサブピクチャの数が変化するので、「サブピクチャの識別情報」や「サブピクチャのレイアウト情報」は変化し得る。つまり、この場合、VVCビットストリーム１０（符号化ビデオシーケンス１１）のシーケンスパラメータセットを更新し、抽出したサブピクチャのビットストリームに対応するシーケンスパラメータセットを生成する必要がある。
また、図１のVVCビットストリーム１０のピクチャパラメータセットのシンタックスの例を図３および図４に示す。ピクチャパラメータセットは、ピクチャ１２毎のパラメータセット（ピクチャ１２内で変化しないメタデータ）である。図３および図４においては、ピクチャパラメータセットの一部のシンタックスが示されている。
図３に示されるように、ピクチャパラメータセットは、そのピクチャ１２の解像度に関するパラメータにより構成される「ピクチャの解像度情報」を含む。例えば、この「ピクチャの解像度情報」は、そのピクチャ１２の解像度を示すパラメータ（pps_pic_width_in_luma_samples, pps_pic_height_in_luma_samples等）を含む。
また、ピクチャパラメータセットは、サブピクチャ１３の識別に関するパラメータにより構成される「サブピクチャの識別情報」を含む。例えば、この「サブピクチャの識別情報」は、そのピクチャ１２に含まれる各サブピクチャ１３の識別情報（pps_subpic_id[i]）等を含む。例えば、そのピクチャ１２内の各サブピクチャ１３に対して順に番号を割り当て（例えば、０、１、２、・・・のように「＋１」ずつ増加する整数値を割り当て）、その番号をサブピクチャ１３の識別情報としてもよい。
さらに、ピクチャパラメータセットは、ピクチャ１２内のタイルの構成に関するパラメータにより構成されるタイル情報（tile情報）を含む。幅（width）または高さ（height）が同一のタイルが画面端まで続く場合、このタイル情報は省略し得る。
また、図４に示されるように、ピクチャパラメータセットは、ピクチャ内のスライスの構成に関するパラメータにより構成されるスライス情報（Slice情報）を含む。全てのサブピクチャ１３が１つのスライスで構成される場合、このスライス情報は省略し得る。
このようなVVCビットストリーム１０から一部のサブピクチャ１３を抽出して復号する場合、ピクチャ内のサブピクチャの構成が変化するので、ピクチャパラメータセットの上述の情報が変化し得る。つまり、この場合、VVCビットストリーム１０（ピクチャ１２）のピクチャパラメータセットを更新し、抽出したサブピクチャのビットストリームに対応するピクチャパラメータセットを生成する必要がある。
＜VVCファイルフォーマット＞
ところで、VVCで符号化されたピクチャのファイル格納の方式として、例えば非特許文献２乃至非特許文献４に示されるように、動画圧縮の国際標準技術MPEG-4（Moving Picture Experts Group - 4）のファイルコンテナ仕様であるISOBMFF（International Organization for Standardization Base Media File Format）を利用したVVCファイルフォーマット（VVC File Format）が策定中である。
図５は、VVCファイルフォーマットのトラックの構成例を示す図である。図５に示されるように、VVCトラック２０は、VVCビットストリームを格納するトラックであり、moovボックスとmdatボックスとを有する。moovボックスには、そのトラックに関するメタデータ等が格納され、mdatボックスには、VVCビットストリームが格納される。
ピクチャ内に複数のサブピクチャが構成される場合、このVVCファイルフォーマットでは、例えば、ピクチャ内のサブピクチャを、複数のトラック（track）に分けて格納することもできるし、１つのトラックにまとめて格納することもできる。
例えば、サブピクチャを複数のトラックに分けて格納する場合、復号の際に、復号対象とするトラックを選択することにより、一部のサブピクチャの独立した復号を実現し得る。その場合、選択したトラックの併合（merge）に関する情報（メタデータ）が、サブピクチャのビットストリームを格納するトラックとは別のトラックに格納される。このトラックをVVCベーストラック（VVC base track）とも称する。また、サブピクチャのビットストリームを格納するトラックをVVCサブピクチャトラック（VVC subpicture track）とも称する。
サブピクチャを複数のトラックに分けて格納する場合のVVCベーストラックに格納されるVVCサブピクチャオーダーエントリ（VvcSubpicOrderEntry）のシンタックスの例を図６に示す。図６に示されるように、VVCベーストラックにおいて、VisualSampleGroupEntryが拡張されて、VVCサブピクチャオーダーエントリ（VvcSubpicOrderEntry() extends VisualSampleGroupEntry('spor')）が生成される。このVVCサブピクチャオーダーエントリは、再構成するサブピクチャのグループであるサブピクチャオーダーサンプルグループ（Subpicture order sample group）を定義する情報を格納する。このサブピクチャオーダーサンプルグループは、併合するサブピクチャの数を示す「サブピクチャの数」、併合するサブピクチャの復号順を示す「サブピクチャの復号順」、サブピクチャの識別情報の書き換えに関する情報である「サブピクチャIDの書き換え情報」等の情報を含み得る。例えばsubp_track_ref_idxは、マージするサブピクチャを含むトラック若しくはトラックグループを示す。また、subpic_id_info_flagは、「サブピクチャIDの書き換え情報」の有無を示す。
また、サブピクチャを複数のトラックに分けて格納する場合のVVCサブピクチャトラックに格納されるVVCサブピクチャIDエントリ（VvcSubpicIDEntry）のシンタックスの例を図７に示す。図７に示されるように、VVCサブピクチャトラックにおいて、VisualSampleGroupEntryが拡張されて、VVCサブピクチャIDエントリ（VvcSubpicIDEntry() extends VisualSampleGroupEntry('spid')）が生成される。このV VVCサブピクチャIDエントリは、VVCサブピクチャトラックのサンプル（sample）に含まれるサブピクチャ識別情報（subpic_id）のグループであるサブピクチャIDサンプルグループ（Subpicture ID sample group）を定義する情報を格納する。このサブピクチャIDサンプルグループは、トラックに含まれるサブピクチャの識別情報（subpic_id）を復号順で示す。
上述したように、ピクチャ内のサブピクチャを、１つのトラックにまとめて格納することもできる。図５の例のVVCトラック２０は、６つのサブピクチャからなるピクチャのビットストリームをサンプル２３としてmdatボックスに格納している。つまり、サンプル２３は、６つのサブピクチャのビットストリーム２４（subpicture1 data 乃至 subpicture6 data）を含む。
この場合、VVCトラック２０のmoovボックスには、タイルリージョングループエントリ（TlieRegionGroupEntry(trif)）２１と、ナルユニットマップエントリ（NALUMapEntry(nalm)）２２とが形成される。
タイルリージョングループエントリ２１は、ピクチャのタイルリージョン（tile region）を示すサンプルグループ（Sample group）であるタイルリージョンサンプルグループ（Tile region sample group）を定義する情報を格納する。ナルユニットマップエントリ２２は、サンプル２３に含まれるナルユニット（NAL unit）をタイルリージョン毎に分類するサンプルグループであるナルユニットマップサンプルグループ（NAL unit map sample group）を定義する情報を格納する。
タイルリージョングループエントリ２１には、その識別子としてgroupIDが格納される。つまりgroupIDは、タイルリージョンの識別情報である。例えば、図８のＡに示されるようにピクチャに４つのタイルリージョンが形成される場合、それぞれに互いに異なるgroupIDが付与される（groupID=1 乃至 groupID=4）。タイルリージョングループエントリ２１には、また、タイルリージョン（の位置および大きさ）を指定する情報が格納される。VVCでは、１つのタイルリージョンが１つ以上のサブピクチャを内包し得る。つまり、図８のＢに示されるように、１つのタイルリージョンが、１つのサブピクチャにより構成されてもよいし、複数のサブピクチャにより構成されてもよい。
タイルリージョングループエントリ２１のシンタックスの例を図９に示す。図９に示されるように、タイルリージョングループエントリ２１には、タイルリージョングループエントリ２１の識別子（groupID）、タイルリージョンの位置を示すパラメータ（horizontal_offset, vertical_offset）、タイルリージョンの大きさを示すパラメータ（region_width, region_height）、タイルリージョンの間の依存関係を示すパラメータ（dependency_tile_count, dependencyTileGroupID）等が格納される。
ナルユニットマップエントリ２２には、ナルユニットとgroupIDの対応関係を示す情報が格納される。上述のようにgroupIDは、タイルリージョンに付与されるので、ナルユニットは、図１０のＡに示されるように、いずれかのgroupIDに対応する。そのナルユニットとgroupIDの対応関係がナルユニットマップエントリ２２において示される。ナルユニットマップエントリ２２のシンタックスの例を図１０のＢに示す。図１０に示されるように、各groupIDに対応するナルユニットを示す情報（NALU_start_number）が示される。
＜ユースケース：全天球映像＞
図１１は、サブピクチャを適用する場合のユースケースを示す図である。例えば、図１１のＡに示されるような、上下左右前後の６方向の映像からなる（Cubemapの）全天球映像コンテンツの各面の映像をサブピクチャとしてもよい。このような全天球映像コンテンツの場合、６面の内、１面だけ復号するケース、２面だけ復号するケース、・・・・、６面全て復号するケース、等といった多様なケースが考えられる。
そこで、図１１のＢに示されるように、全ての面の映像を１つのVVCトラックに格納し、適宜一部のサブサンプルを抽出することができるようにして、上述の各ケースに対応することが可能である。
＜ユースケース：V3Cビットストリーム＞
また、３次元空間上に位置情報と属性情報(色や反射等)を同時に持った点の集合であるポイントクラウド（point cloud）について、そのポイントクラウドをセグメンテーションして領域を形成し、領域毎に平面投影してアトリビュート画像(色情報等)とジオメトリ画像（depth情報から構成される）、オキュパンシーマップ画像、アトラス情報（ポイントクラウドをパッチから再構成するための情報）を生成し、３つの画像を動画コーデックにより符号化するV-PCC（Video-based Point Cloud Compression）があった。非特許文献５には、このようなV-PCCで符号化されたビットストリーム（V3Cビットストリームと称する）のローカルストレージからの再生処理やネットワーク配信の効率化を目的とし、V3CビットストリームをISOBMFFに格納する技術が開示された。
V3C（Video based Point Cloud data）ファイルフォーマット（V3C File Format）は、V-PCCを格納するISO base media fileを利用したファイルフォーマットである。V3Cファイルフォーマットは、例えば図１２のＡに示されるように、ポイントクラウドデータを複数のトラック（V3C track, occ, geo, att）に格納することが可能である。この場合、V3Cトラック（V3C track）にポイントクラウドを再構成するためのメタデータが含まれる。さらに、V3Cトラックは、V-PCCのオキュパンシーマップ（occupancy map）、ジオメトリ（geometry）、アトリビュート（attribute）のそれぞれのビデオコンポーネント（Video component）を含むトラック（ビデオコンポーネントトラック（Video component track））を参照する。
また、V3Cファイルフォーマットは、ポイントクラウドデータのパーシャルアクセス（ポイントクラウドの一部の領域を独立に復号すること）を可能にするために、例えば図１２のＢに示されるように、部分領域毎にトラックを分けることができる。その場合、以下のようなトラック構成が可能である。V3Cトラックは部分領域毎のV3Cアトラスタイルトラック（V3C Atlas tile track）を参照する。それぞれのV3Cアトラスタイルトラックは、そのアトラスタイル（Atlas tile）に含まれるオキュパンシーマップ、ジオメトリ、アトリビュートのそれぞれのビデオコンポーネントトラックを参照する。各ビデオコンポーネントトラックは、例えば、VVCビットストリームを格納し、独立に復号し得る。VVCビットストリームの場合、各ビデオコンポーネントトラックには、VVCファイルフォーマットが適用される。
このようなV3Cファイルフォーマットのコンテンツの場合も、パーシャルアクセスを実現するために、各部分領域をサブピクチャとし、全ての部分領域を１つのVVCトラックに格納し、適宜一部のサブピクチャを抽出することができるようにすることが考えられる。
＜パラメータセットの再構成＞
以上のように、VVCファイルフォーマットでは、１つのトラックに複数のサブピクチャを格納し、その一部のサブピクチャを抽出して復号することができる。しかしながら、その場合、抽出したサブピクチャを用いて１本のビットストリームを再構成し、そのビットストリームを復号することになる。再構成前のビットストリームと再構成後のビットストリームとでは、サブピクチャの構成が異なるので、パラメータセット（例えばシーケンスパラメータセットやピクチャパラメータセット）をそのまま流用することはできない。そのため、例えば再構成前のパラメータセットを更新する等して、再構成後のビットストリームに対応するパラメータセットを導出する必要がある。
つまり、再構成前のビットストリームとそのパラメータセットを解析し、そのパラメータセットを更新し、再構成後のビットストリームに対応するパラメータセットを導出するといった煩雑な作業が必要であり、それにより再生処理の負荷が増大するおそれがあった。なお、ここで再生処理とは、少なくとも、ファイルに格納されるコンテンツのビットストリームを復号する処理と、その復号に関係する処理（例えば、復号対象とするビットストリームを再構成する処理等）を含む。また、復号して得られたデータを用いて表示画像を生成する処理がこの再生処理に含まれるようにしてもよいし、その他の処理が含まれてもよい。
例えば、サーバから複数のサブピクチャを有するコンテンツのファイルを配信し、クライアント装置においてそのファイルに格納される一部のサブピクチャのみを復号して表示画像を生成する場合、クライアント装置の負荷が増大するおそれがあった。一般的に、クライアント装置の処理能力はサーバに比べて低い。そのため、このような負荷の増大により、処理が遅延したり破綻したりするおそれがあった。換言するに、処理遅延や破綻を発生させないようにするためには、クライアント装置の処理能力を増大させなければならず、コストが増大するおそれがあった。
なお、上述したように、サブピクチャ毎に分けて複数のトラックに格納する方法の場合、VVCベーストラックを用いてビットストリームの再構成に必要なパラメータセットを格納することができる。しかしながら、このVVCベーストラックでは、トラック内に複数存在するサブピクチャの中から所望のサブピクチャを抽出することはできなかった。
＜２．抽出ベーストラック＞
＜方法１＞
そこで、図１３の表の一番上の段に示されるように、一部のサブピクチャからビットストリームを再構成する際に必要なパラメータセット等の再構成情報を持つVVC抽出ベーストラック（VVC extract base track）を設け、ファイルに格納する（方法１）。そして、一部のサブピクチャを再生する場合、そのVVC抽出ベーストラックに格納される情報に基づいて、再構成後のビットストリームを生成する。
図１４は、本技術を適用したファイルの主な構成例を示す図である。図１４に示されるファイル１００は、VVCビットストリームをISOBMFFに格納するVVCファイルフォーマットに準拠するファイルである。図１４に示されるように、ファイル１００は、VVCビットストリームトラック１１０と、VVC抽出ベーストラック（VVC extract base track）１２０を有する。
VVCビットストリームトラック１１０は、上述したVVCトラック２０と同様に、VVCビットストリームを格納するトラックである。VVCビットストリームトラック１１０は、複数のサブピクチャを有するVVCビットストリームを格納し得る。この例の場合、VVCビットストリームトラック１１０のmdatボックスには、６つのサブピクチャからなるピクチャのビットストリームをサンプル１１５として格納されている。つまり、サンプル１１５は、６つのサブピクチャのビットストリーム１１６（subpicture1 data 乃至 subpicture6 data）を含む。
また、VVCビットストリームトラック１１０のmoovボックスには、タイルリージョングループエントリ（TlieRegionGroupEntry(trif)）１１１と、ナルユニットマップエントリ（NALUMapEntry(nalm)）１１２とが格納される。タイルリージョングループエントリ１１１には、上述したタイルリージョングループエントリ２１と同様に、タイルリージョンサンプルグループ（Tile region sample group）を定義する情報が格納される。ナルユニットマップエントリ１１２には、上述したナルユニットマップエントリ２２と同様に、ナルユニットとgroupIDの対応関係を示す情報が格納される。
さらに、VVCビットストリームトラック１１０のmoovボックスには、サンプルエントリ（SampleEntry(vvc1)）１１３が格納される。サンプルエントリ１１３には、VVCコンフィギュレーションボックス（VvcConfigurationBox）１１４が格納される。
VVC抽出ベーストラック１２０は、一部のサブピクチャからビットストリームを再構成する際に必要な再構成情報を格納する。再生装置は、このようなVVC抽出ベーストラック１２０に格納される再構成情報に基づいて、VVCビットストリームトラック１１０内から所望のサブピクチャのビットストリーム１１６を抽出し、抽出したサブピクチャのビットストリームを再構成することができる。
例えば、再生装置は、まず、VVCビットストリームトラック１１０のタイルリージョングループエントリ１１１に格納される情報に基づいて、再生する領域を決める。これにより、その再生する領域を示すgroupIDが決定する。次に、再生装置は、再生する領域を含むVVC抽出ベーストラック１２０を検索する。そして、再生装置は、検索したVVC抽出ベーストラック１２０に格納される情報に基づいてパラメータセット（シーケンスパラメータセットやピクチャパラメータセット等）を更新する（書き換える）。そして、再生装置は、VVCビットストリームトラック１１０のナルユニットマップエントリ１１２において定義されるナルユニットマップサンプルグループを用いて、サンプル１１５から再生する領域のナルユニットを抽出し、VVC抽出ベーストラック１２０に格納される情報を使ってサンプルを再構成する。
このように、再生装置は、VVCビットストリームトラック１１０に格納されるVVCビットストリームを解析せずに、容易に、ビットストリームを再構成し得る。したがって、再生処理の負荷の増大を抑制することができる。
なお、図１４の例の場合、ファイル１００は、VVC抽出ベーストラック１２０として、１サブピクチャ（１面）再生用の再構成情報を格納するVVC抽出ベーストラック１２１、２サブピクチャ（２面）再生用の再構成情報を格納するVVC抽出ベーストラック１２２、３サブピクチャ（３面）再生用の再構成情報を格納するVVC抽出ベーストラック１２３、４サブピクチャ（４面）再生用の再構成情報を格納するVVC抽出ベーストラック１２４、および５サブピクチャ（５面）再生用の再構成情報を格納するVVC抽出ベーストラック１２５を有する。このように、再構成するサブピクチャの数毎にVVC抽出ベーストラックを生成してもよい。
＜方法１－１＞
なお、図１３の表の上から２番目の段に示されるように、VVC抽出ベーストラックに、再生で利用するトラックと、そのトラックに格納される、再生対象のサブピクチャを特定する抽出情報（extract情報）を格納してもよい（方法１－１）。そして、一部のサブピクチャを再生する場合、そのVVC抽出ベーストラックに格納される抽出情報に基づいて、再構成後のビットストリームを生成するようにしてもよい。
例えば、VVC抽出ベーストラック１２０が、その再構成情報として、VVCビットストリームトラック１１０において、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納するようにしてもよい。
例えば、情報処理方法において、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルを生成するようにする。
例えば、情報処理装置において、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルを生成するファイル生成部を備えるようにする。
このようにすることにより、サブピクチャ特定情報を格納する抽出ベーストラックを含むファイルが生成される。これにより、再生装置は、この抽出ベーストラックに基づいて、ビットストリームトラック内から所望のサブピクチャを抽出し、ビットストリームを再構成することができる。つまり、再生装置は、ビットストリームを解析せずに、容易に、ビットストリームを再構成し得る。したがって、再生処理の負荷の増大を抑制することができる。
また、例えば、情報処理方法において、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルの抽出ベーストラックに基づいて、ビットストリームトラックからサブピクチャを抽出し、ビットストリームを生成するようにする。
例えば、情報処理装置において、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルの抽出ベーストラックに基づいて、ビットストリームトラックからサブピクチャを抽出し、ビットストリームを生成するビットストリーム生成部を備えるようにする。
このようにすることにより、サブピクチャ特定情報を含む抽出ベーストラックに基づいて、ビットストリームトラック内から所望のサブピクチャを抽出し、ビットストリームを再構成することができる。つまり、ビットストリームを解析せずに、容易に、ビットストリームを再構成し得る。したがって、再生処理の負荷の増大を抑制することができる。
なお、このサブピクチャ特定情報は、サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含むようにしてもよい。例えば、図８を参照して説明したようなgroupIDを、サブピクチャ特定情報として用いてもよい。このようにすることにより、再生装置は、再生対象とするタイルリージョン（サブピクチャ）をより容易に特定することができる。
＜方法１－１－１＞
なお、図１３の表の上から３番目の段に示されるように、サンプルグループ（sample group）を定義し、そのサンプルグループに、クライアントが複数のサブピクチャのセットから１つを選択することができる抽出情報を格納してもよい（方法１－１－１）。そして、一部のサブピクチャを再生する場合、そのサンプルグループに基づいて、抽出するサブピクチャのセットを選択するようにしてもよい。
例えば、ビジュアルサンプルグループエントリ（VisualSampleGroupEntry(spex)）を拡張してVVCサブピクチャ抽出エントリ（VvcSubpictureExtractionEntry()）を生成し、そのVVCサブピクチャ抽出エントリに、抽出する（再生対象の）サブピクチャのサンプルグループであるサブピクチャ抽出サンプルグループ（Subpicture Extraction sample group）を定義する情報を格納してもよい。
このサブピクチャ抽出サンプルグループは、例えば、抽出するサブピクチャの候補のトラックのタイルリージョングループエントリのgroupID情報（リージョンセット（region set）ととも称する）示す情報を含み得る。なお、タイルリージョンを直接指定する場合、１つのタイルリージョンを含むリージョンセットを格納すればよい。また、サブピクチャ抽出サンプルグループは、サブピクチャの識別情報であるサブピクチャ識別情報の書き換え（更新）に関する情報（subpic_id書き換え情報）を含みうる。このように、リージョンセットを適用することにより、再生装置はより容易に複数のタイルリージョンを抽出することができる。
再生装置（クライアント）は、サブピクチャ抽出サンプルグループのリージョンセットから１つのgroupIDを選択し、抽出する。
この場合のVVCサブピクチャ抽出エントリ（VvcSubpictureExtractionEntry()）のシンタックスの例を図１５に示す。図１５の例の場合、VVCサブピクチャ抽出エントリには、以下のようなパラメータが格納され得る。num_region_setは、リージョンセットの数を示す。num_region_in_setは、リージョンセットに含まれるタイルリージョンの数を示す。groupIDは、リージョンセットに含まれるタイルリージョンを示すgroupIDを示す。num_regionsは、抽出するタイルリージョンの数を示す。region_idxは、リージョンセットの識別情報であるregion_set_idまたはgroupIDを用いて指定する。
例えば、抽出ベーストラックが、抽出して１本のビットストリームとするサブピクチャを１セットとし、そのサブピクチャ特定情報をセット毎に格納してもよい。
また、抽出ベーストラックが、さらに、そのセットの識別情報であるセット識別情報を格納してもよい。
以上のようにリージョンセットを設定することにより、１つのVVC抽出ベーストラックに複数のパタンの抽出情報を格納することができる。つまり、１つのVVC抽出ベーストラックにおいて、抽出するサブピクチャの組み合わせを複数定義することができる。したがって、再生装置は、そのようなVVC抽出ベーストラックに基づいて、より多様な組み合わせのサブピクチャを抽出することができる。つまり、トラック数を増大させずに、サブピクチャの抽出パタン（組み合わせの数）を増大させることができる。これにより、冗長なトラックをまとめることができ、符号化効率の低減を抑制することができる。
なお、図１５に示されるシンタックス例において、「if(subpic_id_info_flag)｛」の行以下は、サブピクチャ識別情報の書き換えに関する情報である。つまり、シーケンスパラメータセットやピクチャパラメータセット等のパラメータセットを再構成後のビットストリームに対応させるように更新するための情報が、VVCサブピクチャ抽出エントリに格納されている。より具体的には、パラメータセットに含まれるサブピクチャ識別情報を再構成後のビットストリームに対応させるように更新するための情報が、VVCサブピクチャ抽出エントリに格納されている。
つまり、抽出ベーストラックが、さらに、パラメータセットを、抽出されたサブピクチャのビットストリームに対応させるように更新するための情報であるパラメータセット更新情報を格納してもよい。
例えば、そのパラメータセット更新情報が、サブピクチャの識別情報であるサブピクチャ識別情報を、抽出されたサブピクチャのビットストリームに対応させるように更新するための情報であるサブピクチャ更新情報を含むようにしてもよい。
このようにすることにより、再生装置は、この抽出ベーストラックに格納される情報に基づいて、より容易に、パラメータセットを再構成後のビットストリームに対応させることができる。例えば、再生装置は、この抽出ベーストラックに格納される情報に基づいて、より容易に、パラメータセットに含まれるサブピクチャ識別情報を再構成後のビットストリームに対応させることができる。
＜３．Subpicture ID sample groupの拡張＞
＜方法１－２＞
図１３の表の上から４番目の段に示されるように、サブピクチャIDサンプルグループを拡張し、サブピクチャおよびタイルリージョンの対応関係を示すマッピング情報を格納してもよい（方法１－２）。例えば、そのようなマッピング情報として、サブピクチャを含むタイルリージョンを示す情報を、サブピクチャIDサンプルグループに格納してもよい。
例えば、図７に示されるサブピクチャIDサンプルグループの場合、サブピクチャとタイルリージョンとの関係（サブピクチャがどのタイルリージョンに内包されるか）がわからない。図８を参照して説明したように、タイルリージョンとサブピクチャは、１対１に対応するとは限らないので、図１５に示されるサブピクチャ抽出サンプルグループに基づいて、所望のタイルリージョン（groupID）に必要なサブピクチャを特定することができないケースがあり得る。
そこで、サブピクチャIDサンプルグループにおいて、サブピクチャ（subpic_id）を内包するタイルリージョン（groupID）を示すようにする。
その場合のサブピクチャIDサンプルグループを定義する情報を格納するVvcSubpicIDEntry()のシンタックスの例を図１６に示す。図１６に示されるように、VvcSubpicIDEntry()には、サブピクチャ識別情報（subpic_id）の次に、そのサブピクチャ識別情報（subpic_id）に対応するサブピクチャを含むタイルリージョンの識別情報（groupID）が格納される。これにより、サブピクチャ（subpic_id）とタイルリージョン（groupID）との対応関係が明示される。
つまり、ビットストリームトラックが、さらに、そのビットストリームトラックに格納されるサブピクチャ毎に、そのサブピクチャ識別情報と、そのサブピクチャを内包するタイルリージョンのタイルリージョン識別情報とを格納してもよい。
このようにすることにより、再生装置は、そのサブピクチャIDサンプルグループに格納された情報に基づいて、より容易に、所望のタイルリージョンに含まれるサブピクチャ（subpic_id）を特定することができる。したがって、再生装置は、より容易に、サブピクチャ抽出サンプルグループの情報に基づいてサブピクチャ識別情報（subpic_id）の書き換え（更新）を行うことができる。
＜方法１－２－１＞
図１３の表の上から５番目の段に示されるように、上述したサブピクチャおよびタイルリージョンの対応関係を示すマッピング情報の格納を省略することができるようにしてもよい（方法１－２－１）。
その場合のサブピクチャIDサンプルグループを定義する情報を格納するVvcSubpicIDEntry()のシンタックスの例を図１７に示す。図１７に示されるように、この場合、VvcSubpicIDEntry()には、all_subpic_id_is_same_as groupID_flagが格納される。all_subpic_id_is_same_as groupID_flagは、ピクチャ内の全てのサブピクチャ（subpic_id）とタイルリージョン（groupID）とが一致する（１対１に対応する）か否かを示すフラグ情報である。all_subpic_id_is_same_as groupID_flagの値が真（例えば１）の場合、ピクチャ内の全てのサブピクチャ（subpic_id）とタイルリージョン（groupID）とが一致することを示す。また、all_subpic_id_is_same_as groupID_flagの値が偽（例えば０）の場合、少なくとも一部のサブピクチャとタイルリージョンが１対１に対応しない（１つのタイルリージョンが複数のサブピクチャを内包する）ことを示す。そして、all_subpic_id_is_same_as groupID_flagの値が偽（例えば０）の場合のみ、groupIDが格納されるように定義されている。換言するに、ピクチャ内の全てのサブピクチャ（subpic_id）とタイルリージョン（groupID）とが一致する（１対１に対応する）場合、groupIDの格納が省略される。
つまり、ビットストリームトラックが、サブピクチャ識別情報とタイルリージョン識別情報とが一致するサブピクチャについては、サブピクチャ識別情報のみを格納してもよい。
ピクチャ内の全てのサブピクチャ（subpic_id）とタイルリージョン（groupID）とが１対１に対応する場合、マッピング情報がなくても容易にgroupIDとsubpic_idとが１対１に対応付けられるので、このようにすることにより、不要な符号量の増大を抑制することができる。したがって、符号化効率の低減を抑制することができる。
＜４．VVCベーストラックとVVCエクストラベーストラックの併用＞
＜方法２＞
図１３の表の上から６番目の段に示されるように、VVCベーストラックとVVC抽出ベーストラックの両方を用いて複数のトラックからサブピクチャを抽出してもよい（方法２）。つまり、VVC抽出ベーストラックは、１つのトラックからの抽出のみをサポートし、複数のトラックから抽出する場合は、VVCベーストラックを併用するようにしてもよい。
例えば、図１８のＡに示されるように、２つのピクチャからそれぞれ一部のサブピクチャを抽出し、抽出したそれらのサブピクチャを併合して１つのピクチャとする。この場合、図１８のＢに示されるように、ピクチャからサブピクチャを抽出する際は、VVC抽出ベーストラックの情報を適用し、抽出されたサブピクチャを併合する際は、VVCベーストラックの情報を適用してもよい。
つまり、ビットストリームトラックと抽出ベーストラックとを格納するファイルが、その抽出ベーストラックに基づいて互いに異なるビットストリームトラックから抽出された複数のサブピクチャの併合に関する情報を格納する併合ベーストラックをさらに含むようにしてもよい。
このVVC抽出ベーストラックには、＜２．抽出ベーストラック＞および＜３．Subpicture ID sample groupの拡張＞において説明したVVC抽出ベーストラックのいずれも適用することができる。
また、このVVCベーストラックのVVCサブピクチャオーダーエントリ（VvcSubpicOrderEntry() extends VisualSampleGroupEntry('spor')）のシンタックスの例を図１９に示す。
図１９に示されるように、この例の場合、VVCサブピクチャオーダーエントリには、extract_track_exist_flagが格納される。このextract_track_exist_flagは、参照するトラックにVVC抽出ベーストラックが含まれるか否かを示すフラグ情報である。例えば、このextract_track_exist_flagが真（例えば１）の場合、参照するトラックにVVC抽出ベーストラックが含まれることを示す。また、extract_track_exist_flagが偽（例えば０）の場合、参照するトラックにVVC抽出ベーストラックが含まれないことを示す。
このようなextract_track_exist_flagを格納することにより、参照するトラックにVVC抽出ベーストラックが含まれるか否かを容易に識別することができる。つまり、上述したようなVVC抽出ベーストラックとVVCベーストラックの併用をより容易に行うことができる。また、VVCベーストラックにおいて併合可能なトラックにVVC抽出ベーストラックを含めることができる。また、VVCベーストラックにVVC抽出ベーストラックが含まれるかを容易に判断することができる。
＜５．V3C File Formatの適用＞
＜方法３＞
図１３の表の一番下の段に示されるように、本技術をV3Cファイルフォーマットに適用してもよい（方法３）。
図１２を参照して説明したように、V3Cファイルフォーマットでは、V-PCCビットストリームをISOBMFFのファイルに格納することができる。このようなV3Cファイルフォーマットにおいて本技術を適用し、サブピクチャを用いてパーシャルアクセスを実現するようにしてもよい。
つまり、コンテンツは、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであり、サブピクチャは、ポイントクラウドの独立に復号が可能な部分領域により構成されるようにしてもよい。
例えば、図２０のＡに示されるように、VVC抽出ベーストラックを用いて、V-PCCビットストリームのパーシャルアクセスを実現するようにしてもよい。図２０のＡに示される例の場合、V3Cアトラスタイルトラック（V3C Atlas tile track）が存在する。このような場合、図２０のＡにおいて点線枠内に示されるように、オキュパンシーマップ、ジオメトリ、アトリビュートのそれぞれについて、VVC抽出ベーストラックを設けるようにすればよい。
このVVC抽出ベーストラックには、＜２．抽出ベーストラック＞、＜３．Subpicture ID sample groupの拡張＞、および＜４．VVCベーストラックとVVCエクストラベーストラックの併用＞のいずれかにおいて説明した各例のVVC抽出ベーストラックが適用し得る。また、これらの例の内の複数を組み合わせて適用してもよい。つまり、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックがファイルに格納される。
再生の際は、オキュパンシーマップ、ジオメトリ、アトリビュートのそれぞれについて、VVC抽出ベーストラックを用いて必要なサブピクチャを抽出し、復号すればよい。
また、図２０のＢに示されるように、V3Cファイルフォーマットは、V3Cアトラストラックが存在しない、オキュパンシーマップ、ジオメトリ、アトリビュートのそれぞれを互いに異なるトラックに格納するマルチトラック構成であってもよい。
ただし、オキュパンシーマップを格納するトラックは複数のサブピクチャを含むVVCトラックになっている。ジオメトリおよびアトリビュートも同様である。部分再生する場合は、特定のサブピクチャを抽出して再生することで実現することができる。
＜６．第１の実施の形態＞
＜ファイル生成装置＞
以上に説明した本技術（の各方法）は、任意の装置において適用することができる。図２１は、本技術を適用した情報処理装置の一態様であるファイル生成装置の構成の一例を示すブロック図である。図２１に示されるファイル生成装置３００は、サブピクチャを有する動画コンテンツをVVCで符号化したVVCビットストリームをISOBMFFに格納する装置である。
ファイル生成装置３００は、上述した本技術を適用し、複数のサブピクチャを１つのトラックに格納し、かつ、一部のサブピクチャを独立に再生することができるようにVVCビットストリームをファイルに格納する。つまり、ファイル生成装置３００は、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとをファイルに格納する。
なお、図２１においては、処理部やデータの流れ等の主なものを示しており、図２１に示されるものが全てとは限らない。つまり、ファイル生成装置３００において、図２１においてブロックとして示されていない処理部が存在したり、図２１において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図２１に示されるようにファイル生成装置３００は、制御部３０１およびファイル生成処理部３０２を有する。制御部３０１は、ファイル生成処理部３０２を制御する。ファイル生成処理部３０２は、制御部３０１により制御されて、ファイルの生成に関する処理を行う。例えば、ファイル生成処理部３０２は、ピクチャ内にサブピクチャを有するコンテンツのデータを取得し、そのデータを符号化し、VVCビットストリームを生成する。ファイル生成処理部３０２は、さらに、生成したVVCビットストリームをISOBMFFのファイルに格納し、そのファイルをファイル生成装置３００の外部に出力する。
ファイル生成処理部３０２は、入力部３１１、前処理部３１２、符号化部３１３、ファイル生成部３１４、記録部３１５、および出力部３１６を有する。
入力部３１１は、ピクチャ内にサブピクチャを有するコンテンツのデータを取得し、それを前処理部３１２に供給する。前処理部３１２は、そのコンテンツのデータからファイル生成に必要な情報を抽出する。前処理部３１２は、抽出した情報をファイル生成部３１４に供給する。また、前処理部３１２は、コンテンツのデータを符号化部３１３に供給する。
符号化部３１３は、前処理部３１２から供給されるコンテンツのデータをVVC方式で符号化し、VVCビットストリームを生成する。符号化部３１３は、生成したVVCビットストリームをファイル生成部３１４に供給する。
ファイル生成部３１４は、符号化部３１３から供給されたVVCビットストリームをISOBMFFのファイルに格納する。その際、ファイル生成部３１４は、前処理部３１２から供給された情報を適宜そのファイルに格納する。
また、ファイル生成部３１４は、＜２．抽出ベーストラック＞、＜３．Subpicture ID sample groupの拡張＞＜４．VVCベーストラックとVVCエクストラベーストラックの併用＞、および＜５．V3C File Formatの適用＞のいずれかにおいて説明した本技術、またはそれらの組み合わせを適用し、VVCビットストリームを格納するファイルを生成する。
つまり、ファイル生成部３１４は、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、ビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルを生成する。
ファイル生成部３１４は、生成したファイルを記録部３１５に供給する。記録部３１５は、例えば、ハードディスクや半導体メモリ等、任意の記録媒体を有し、ファイル生成部３１４から供給されるファイルをその記録媒体に記録する。また、記録部３１５は、制御部３０１若しくは出力部３１６の要求に従って、または所定のタイミングにおいて、記録媒体に記録されているファイルを読み出し、出力部３１６に供給する。
出力部３１６は、記録部３１５から供給されるファイルを取得し、そのファイルをファイル生成装置３００の外部（例えば配信サーバや再生装置等）に出力する。
このような構成を有することにより、ファイル生成装置３００は、抽出ベーストラックに、一部のサブピクチャからビットストリームを再構成する際に必要な再構成情報を格納することができる。これにより、そのファイルを再生する再生装置は、このような抽出ベーストラックに格納される再構成情報に基づいて、ビットストリームトラック内から所望のサブピクチャのビットストリームを抽出し、抽出したサブピクチャのビットストリームを再構成することができる。したがって、再生処理の負荷の増大を抑制することができる。
＜ファイル生成処理の流れ＞
図２１のファイル生成部３１４により実行されるファイル生成処理の流れの例を、図２２のフローチャートを参照して説明する。
ファイル生成処理が開始されると、ファイル生成装置３００のファイル生成部３１４は、ステップＳ３０１において、VVCビットストリームを格納するVVCビットストリームトラックを生成する。
ステップＳ３０２において、ファイル生成部３１４は、抽出するサブピクチャの組み合わせを決定する。
ステップＳ３０３において、ファイル生成部３１４は、ステップＳ３０２において決定されたサブピクチャの組み合わせ毎に、一部のサブピクチャからビットストリームを再構成する際に必要な再構成情報を生成する。つまり、ファイル生成部３１４は、その再構成情報として、ビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を生成する。
ステップＳ３０４において、ファイル生成部３１４は、ステップＳ３０３において生成された再構成情報をVVC抽出ベーストラックに格納し、ファイルを生成する。すなわち、ファイル生成部３１４は、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、ビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納するファイルを生成する。
ファイルが生成されると、ファイル生成処理が終了する。
以上のように、各処理を実行することにより、ファイル生成装置３００は、一部のサブピクチャからビットストリームを再構成する際に必要な再構成情報を格納する抽出ベーストラックを生成し、その抽出ベーストラックを格納するファイルを生成することができる。これにより、そのファイルを再生する再生装置は、このような抽出ベーストラックに格納される再構成情報に基づいて、ビットストリームトラック内から所望のサブピクチャのビットストリームを抽出し、抽出したサブピクチャのビットストリームを再構成することができる。したがって、再生処理の負荷の増大を抑制することができる。
＜７．第２の実施の形態＞
＜クライアント装置＞
図２３は、本技術を適用した情報処理装置の一態様である再生装置の構成の一例を示すブロック図である。図２３に示されるクライアント装置４００は、VVCファイルフォーマットのファイルに格納されるVVCビットストリームを復号し、生成された動画像コンテンツの表示画像を生成して表示する再生装置である。例えば、クライアント装置４００は、ファイル生成装置３００により生成されたファイルに格納されるVVCビットストリームを復号し、生成された動画像コンテンツの表示画像を生成して表示する。その際、クライアント装置４００は、上述した本技術を適用し、ファイルから一部のサブピクチャを抽出してそのビットストリームを再構成し、その再構成したビットストリームを復号する。
なお、図２３においては、処理部やデータの流れ等の主なものを示しており、図２３に示されるものが全てとは限らない。つまり、クライアント装置４００において、図２３においてブロックとして示されていない処理部が存在したり、図２３において矢印等として示されていない処理やデータの流れが存在したりしてもよい。
図２３に示されるようにクライアント装置４００は、制御部４０１および再生処理部４０２を有する。制御部４０１は、再生処理部４０２の制御に関する処理を行う。再生処理部４０２は、ファイルに格納される動画コンテンツの再生に関する処理を行う。例えば、再生処理部４０２は、制御部４０１により制御されて、配信サーバ（図示せず）等からファイルを取得する。
このファイルは、本技術を適用して生成されたVVCファイルフォーマットに準拠するファイルである。例えば、ファイル生成装置３００により生成されたファイルである。つまり、このファイルは、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとを格納する。
再生処理部４０２は、取得したファイルに対して、再生処理を実行し、そのファイルに格納される動画コンテンツのビットストリームを復号し、その動画コンテンツの表示画像を生成し、表示する。
再生処理部４０２は、ファイル取得部４１１、ファイル処理部４１２、復号部４１３、表示情報生成部４１４、表示部４１５、計測部４１６、および表示制御部４１７を有する。
ファイル取得部４１１は、例えば配信サーバやファイル生成装置３００等、クライアント装置４００の外部から供給されるVVCファイルフォーマットのファイルを取得する。上述したようにこのファイルには、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、そのビットストリームトラックにおいて、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックとが格納される。ファイル取得部４１１は、取得したファイルをファイル処理部４１２に供給する。
ファイル処理部４１２は、ファイル取得部４１１から供給されるファイルを取得する。ファイル処理部４１２は、計測部４１６から供給される計測結果を取得する。ファイル処理部４１２は、表示制御部４１７から供給される制御情報を取得する。
ファイル処理部４１２は、それらの情報を用いて、ファイルから一部のサブピクチャを抽出し、抽出したサブピクチャのビットストリームを生成する。その際、ファイル処理部４１２は、＜２．抽出ベーストラック＞、＜３．Subpicture ID sample groupの拡張＞、＜４．VVCベーストラックとVVCエクストラベーストラックの併用＞、および＜５．V3C File Formatの適用＞のいずれかにおいて説明した本技術、またはそれらの組み合わせを適用し、そのファイル対する処理を行う。
つまり、ファイル処理部４１２は、そのファイルに格納される抽出ベーストラックに基づいて、そのファイルに格納されるビットストリームトラックからサブピクチャを抽出し、抽出したサブピクチャのビットストリームを生成する。
ファイル処理部４１２は、生成したビットストリームを復号部４１３に供給する。復号部４１３は、供給されたビットストリームを復号し、抽出したサブピクチャの動画コンテンツのデータを生成する。復号部４１３は、生成した動画コンテンツのデータを表示情報生成部４１４に供給する。
表示情報生成部４１４は、復号部４１３から供給される動画コンテンツのデータを取得する。また、表示情報生成部４１４は、表示制御部４１７から供給される制御情報を取得する。そして、表示情報生成部４１４は、その制御情報に従って、取得した動画コンテンツのデータから、その表示画像等を生成する。表示情報生成部４１４は、生成した表示画像等を表示部４１５に供給する。表示部４１５は、表示デバイスを有し、供給された表示画像をその表示デバイスを用いて表示する。計測部４１６は、任意の情報を計測し、その計測結果をファイル処理部４１２に供給する。表示制御部４１７は、ファイル処理部４１２や表示情報生成部４１４に対して制御情報を供給することにより、表示を制御する。
このような構成を有することにより、クライアント装置４００は、一部のサブピクチャからビットストリームを再構成する際に必要な再構成情報を格納する抽出ベーストラックに基づいて、その一部のサブピクチャのビットストリームをファイルか抽出することができる。これにより、クライアント装置４００は、より容易に、その抽出したサブピクチャのビットストリームを再構成することができる。したがって、再生処理の負荷の増大を抑制することができる。
＜再生処理の流れ＞
図２３のクライアント装置４００により実行される再生処理の流れの例を、図２４のフローチャートを参照して説明する。
再生処理が開始されると、クライアント装置４００のファイル処理部４１２は、ステップＳ４０１において、VVCファイルフォーマットのファイルを取得する。
ステップＳ４０２において、ファイル処理部４１２は、ステップＳ４０１において取得したファイルに格納されるVVCビットストリームトラックに格納される情報に基づいて、再生する一部のタイルリージョンを決定する。
ステップＳ４０３において、ファイル処理部４１２は、ファイルの中から、ステップＳ４０２において決定されたタイルリージョンを含むVVC抽出ベーストラックを検索し、取得する。
ステップＳ４０４において、ファイル処理部４１２は、ステップＳ４０３の処理により取得したVVC抽出ベーストラックの再構成情報に基づいて、再生する一部のタイルリージョンに対応するサブピクチャをファイルから抽出し、そのビットストリームを再構成する。
すなわち、ファイル処理部４１２は、そのファイルに格納される、抽出するサブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックに基づいて、そのファイルに格納される、フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックから、所望のサブピクチャを抽出し、ビットストリームを生成する。
ステップＳ４０５において、復号部４１３は、ステップＳ４０４において再構成されたビットストリームを復号し、所望のタイルリージョンの動画像コンテンツのデータを得る。表示情報生成部４１４は、その表示画像を生成する。表示部４１５は、その表示画像を表示する。
ステップＳ４０５の処理が終了すると、再生処理が終了する。
以上のように、各処理を実行することにより、クライアント装置４００は、サブピクチャ特定情報を含む抽出ベーストラックに基づいて、ビットストリームトラック内から所望のサブピクチャを抽出し、ビットストリームを再構成することができる。つまり、ビットストリームを解析せずに、容易に、ビットストリームを再構成し得る。したがって、再生処理の負荷の増大を抑制することができる。
＜８．付記＞
＜コンピュータ＞
上述した一連の処理は、ハードウエアにより実行させることもできるし、ソフトウエアにより実行させることもできる。一連の処理をソフトウエアにより実行する場合には、そのソフトウエアを構成するプログラムが、コンピュータにインストールされる。ここでコンピュータには、専用のハードウエアに組み込まれているコンピュータや、各種のプログラムをインストールすることで、各種の機能を実行することが可能な、例えば汎用のパーソナルコンピュータ等が含まれる。
図２５は、上述した一連の処理をプログラムにより実行するコンピュータのハードウエアの構成例を示すブロック図である。
図２５に示されるコンピュータ９００において、CPU（Central Processing Unit）９０１、ROM（Read Only Memory）９０２、RAM（Random Access Memory）９０３は、バス９０４を介して相互に接続されている。
バス９０４にはまた、入出力インタフェース９１０も接続されている。入出力インタフェース９１０には、入力部９１１、出力部９１２、記憶部９１３、通信部９１４、およびドライブ９１５が接続されている。
入力部９１１は、例えば、キーボード、マウス、マイクロホン、タッチパネル、入力端子などよりなる。出力部９１２は、例えば、ディスプレイ、スピーカ、出力端子などよりなる。記憶部９１３は、例えば、ハードディスク、RAMディスク、不揮発性のメモリなどよりなる。通信部９１４は、例えば、ネットワークインタフェースよりなる。ドライブ９１５は、磁気ディスク、光ディスク、光磁気ディスク、または半導体メモリなどのリムーバブルメディア９２１を駆動する。
以上のように構成されるコンピュータでは、CPU９０１が、例えば、記憶部９１３に記憶されているプログラムを、入出力インタフェース９１０およびバス９０４を介して、RAM９０３にロードして実行することにより、上述した一連の処理が行われる。RAM９０３にはまた、CPU９０１が各種の処理を実行する上において必要なデータなども適宜記憶される。
コンピュータが実行するプログラムは、例えば、パッケージメディア等としてのリムーバブルメディア９２１に記録して適用することができる。その場合、プログラムは、リムーバブルメディア９２１をドライブ９１５に装着することにより、入出力インタフェース９１０を介して、記憶部９１３にインストールすることができる。
また、このプログラムは、ローカルエリアネットワーク、インターネット、デジタル衛星放送といった、有線または無線の伝送媒体を介して提供することもできる。その場合、プログラムは、通信部９１４で受信し、記憶部９１３にインストールすることができる。
その他、このプログラムは、ROM９０２や記憶部９１３に、あらかじめインストールしておくこともできる。
＜本技術の適用可能な対象＞
本技術は、任意の画像符号化・復号方式に適用することができる。
また、本技術は、任意の構成に適用することができる。例えば、本技術は、様々な電子機器に応用され得る。
また、例えば、本技術は、システムLSI（Large Scale Integration）等としてのプロセッサ（例えばビデオプロセッサ）、複数のプロセッサ等を用いるモジュール（例えばビデオモジュール）、複数のモジュール等を用いるユニット（例えばビデオユニット）、または、ユニットにさらにその他の機能を付加したセット（例えばビデオセット）等、装置の一部の構成として実施することもできる。
また、例えば、本技術は、複数の装置により構成されるネットワークシステムにも適用することもできる。例えば、本技術を、ネットワークを介して複数の装置で分担、共同して処理するクラウドコンピューティングとして実施するようにしてもよい。例えば、コンピュータ、AV（Audio Visual）機器、携帯型情報処理端末、IoT（Internet of Things）デバイス等の任意の端末に対して、画像（動画像）に関するサービスを提供するクラウドサービスにおいて本技術を実施するようにしてもよい。
なお、本明細書において、システムとは、複数の構成要素（装置、モジュール（部品）等）の集合を意味し、全ての構成要素が同一筐体中にあるか否かは問わない。したがって、別個の筐体に収納され、ネットワークを介して接続されている複数の装置、および、１つの筐体の中に複数のモジュールが収納されている１つの装置は、いずれも、システムである。
＜本技術を適用可能な分野・用途＞
本技術を適用したシステム、装置、処理部等は、例えば、交通、医療、防犯、農業、畜産業、鉱業、美容、工場、家電、気象、自然監視等、任意の分野に利用することができる。また、その用途も任意である。
例えば、本技術は、観賞用コンテンツ等の提供の用に供されるシステムやデバイスに適用することができる。また、例えば、本技術は、交通状況の監理や自動運転制御等、交通の用に供されるシステムやデバイスにも適用することができる。さらに、例えば、本技術は、セキュリティの用に供されるシステムやデバイスにも適用することができる。また、例えば、本技術は、機械等の自動制御の用に供されるシステムやデバイスに適用することができる。さらに、例えば、本技術は、農業や畜産業の用に供されるシステムやデバイスにも適用することができる。また、本技術は、例えば火山、森林、海洋等の自然の状態や野生生物等を監視するシステムやデバイスにも適用することができる。さらに、例えば、本技術は、スポーツの用に供されるシステムやデバイスにも適用することができる。
＜その他＞
なお、本明細書において「フラグ」とは、複数の状態を識別するための情報であり、真(1)または偽(0)の２状態を識別する際に用いる情報だけでなく、３以上の状態を識別することが可能な情報も含まれる。したがって、この「フラグ」が取り得る値は、例えば1/0の２値であってもよいし、３値以上であってもよい。すなわち、この「フラグ」を構成するbit数は任意であり、1bitでも複数bitでもよい。また、識別情報（フラグも含む）は、その識別情報をビットストリームに含める形だけでなく、ある基準となる情報に対する識別情報の差分情報をビットストリームに含める形も想定されるため、本明細書においては、「フラグ」や「識別情報」は、その情報だけではなく、基準となる情報に対する差分情報も包含する。
また、符号化データ（ビットストリーム）に関する各種情報（メタデータ等）は、符号化データに関連づけられていれば、どのような形態で伝送または記録されるようにしてもよい。ここで、「関連付ける」という用語は、例えば、一方のデータを処理する際に他方のデータを利用し得る（リンクさせ得る）ようにすることを意味する。つまり、互いに関連付けられたデータは、１つのデータとしてまとめられてもよいし、それぞれ個別のデータとしてもよい。例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の伝送路上で伝送されるようにしてもよい。また、例えば、符号化データ（画像）に関連付けられた情報は、その符号化データ（画像）とは別の記録媒体（または同一の記録媒体の別の記録エリア）に記録されるようにしてもよい。なお、この「関連付け」は、データ全体でなく、データの一部であってもよい。例えば、画像とその画像に対応する情報とが、複数フレーム、１フレーム、またはフレーム内の一部分などの任意の単位で互いに関連付けられるようにしてもよい。
なお、本明細書において、「合成する」、「多重化する」、「付加する」、「一体化する」、「含める」、「格納する」、「入れ込む」、「差し込む」、「挿入する」等の用語は、例えば符号化データとメタデータとを１つのデータにまとめるといった、複数の物を１つにまとめることを意味し、上述の「関連付ける」の１つの方法を意味する。
また、本技術の実施の形態は、上述した実施の形態に限定されるものではなく、本技術の要旨を逸脱しない範囲において種々の変更が可能である。
例えば、１つの装置（または処理部）として説明した構成を分割し、複数の装置（または処理部）として構成するようにしてもよい。逆に、以上において複数の装置（または処理部）として説明した構成をまとめて１つの装置（または処理部）として構成されるようにしてもよい。また、各装置（または各処理部）の構成に上述した以外の構成を付加するようにしてももちろんよい。さらに、システム全体としての構成や動作が実質的に同じであれば、ある装置（または処理部）の構成の一部を他の装置（または他の処理部）の構成に含めるようにしてもよい。
また、例えば、上述したプログラムは、任意の装置において実行されるようにしてもよい。その場合、その装置が、必要な機能（機能ブロック等）を有し、必要な情報を得ることができるようにすればよい。
また、例えば、１つのフローチャートの各ステップを、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。さらに、１つのステップに複数の処理が含まれる場合、その複数の処理を、１つの装置が実行するようにしてもよいし、複数の装置が分担して実行するようにしてもよい。換言するに、１つのステップに含まれる複数の処理を、複数のステップの処理として実行することもできる。逆に、複数のステップとして説明した処理を１つのステップとしてまとめて実行することもできる。
また、例えば、コンピュータが実行するプログラムは、プログラムを記述するステップの処理が、本明細書で説明する順序に沿って時系列に実行されるようにしても良いし、並列に、あるいは呼び出しが行われたとき等の必要なタイミングで個別に実行されるようにしても良い。つまり、矛盾が生じない限り、各ステップの処理が上述した順序と異なる順序で実行されるようにしてもよい。さらに、このプログラムを記述するステップの処理が、他のプログラムの処理と並列に実行されるようにしても良いし、他のプログラムの処理と組み合わせて実行されるようにしても良い。
また、例えば、本技術に関する複数の技術は、矛盾が生じない限り、それぞれ独立に単体で実施することができる。もちろん、任意の複数の本技術を併用して実施することもできる。例えば、いずれかの実施の形態において説明した本技術の一部または全部を、他の実施の形態において説明した本技術の一部または全部と組み合わせて実施することもできる。また、上述した任意の本技術の一部または全部を、上述していない他の技術と併用して実施することもできる。
なお、本技術は以下のような構成も取ることができる。
（１） フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルを生成するファイル生成部
を備える情報処理装置。
（２） 前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む
（１）に記載の情報処理装置。
（３） 前記抽出ベーストラックは、抽出して１本のビットストリームとする前記サブピクチャを１セットとし、前記サブピクチャ特定情報を前記セット毎に格納する
（２）に記載の情報処理装置。
（４） 前記抽出ベーストラックは、さらに、前記セットの識別情報であるセット識別情報を格納する
（３）に記載の情報処理装置。
（５） 前記ビットストリームトラックは、さらに、前記ビットストリームトラックに格納される前記サブピクチャ毎に、前記サブピクチャの識別情報であるサブピクチャ識別情報と、前記サブピクチャを内包するタイルリージョンの前記タイルリージョン識別情報とを格納する
（２）乃至（４）のいずれかに記載の情報処理装置。
（６） 前記ビットストリームトラックは、前記サブピクチャ識別情報と前記タイルリージョン識別情報とが一致する前記サブピクチャについては、前記サブピクチャ識別情報のみを格納する
（５）に記載の情報処理装置。
（７） 前記抽出ベーストラックは、さらに、パラメータセットを、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるパラメータセット更新情報を格納する
（１）乃至（６）のいずれかに記載の情報処理装置。
（８） 前記パラメータセット更新情報は、前記サブピクチャの識別情報であるサブピクチャ識別情報を、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるサブピクチャ更新情報を含む
（７）に記載の情報処理装置。
（９） 前記ファイルは、前記抽出ベーストラックに基づいて互いに異なる前記ビットストリームトラックから抽出された複数の前記サブピクチャの併合に関する情報を格納する併合ベーストラックをさらに含む
（１）乃至（８）のいずれかに記載の情報処理装置。
（１０） 前記コンテンツは、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであり、
前記サブピクチャは、前記ポイントクラウドの独立に復号が可能な部分領域により構成される
（１）乃至（９）のいずれかに記載の情報処理装置。
（１１） フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルを生成する
情報処理方法。
（３１） フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルの前記抽出ベーストラックに基づいて、前記ビットストリームトラックから前記サブピクチャを抽出し、ビットストリームを生成するビットストリーム生成部
を備える情報処理装置。
（３２） 前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む
（３１）に記載の情報処理装置。
（３３） 前記抽出ベーストラックは、抽出して１本のビットストリームとする前記サブピクチャを１セットとし、前記サブピクチャ特定情報を前記セット毎に格納する
（３２）に記載の情報処理装置。
（３４） 前記抽出ベーストラックは、さらに、前記セットの識別情報であるセット識別情報を格納する
（３３）に記載の情報処理装置。
（３５） 前記ビットストリームトラックは、さらに、前記ビットストリームトラックに格納される前記サブピクチャ毎に、前記サブピクチャの識別情報であるサブピクチャ識別情報と、前記サブピクチャを内包するタイルリージョンの前記タイルリージョン識別情報とを格納する
（３２）乃至（３４）のいずれかに記載の情報処理装置。
（３６） 前記ビットストリームトラックは、前記サブピクチャ識別情報と前記タイルリージョン識別情報とが一致する前記サブピクチャについては、前記サブピクチャ識別情報のみを格納する
（３５）に記載の情報処理装置。
（３７） 前記抽出ベーストラックは、さらに、パラメータセットを、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるパラメータセット更新情報を格納する
（３１）乃至（３６）のいずれかに記載の情報処理装置。
（３８） 前記パラメータセット更新情報は、前記サブピクチャの識別情報であるサブピクチャ識別情報を、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるサブピクチャ更新情報を含む
（３７）に記載の情報処理装置。
（３９） 前記ファイルは、前記抽出ベーストラックに基づいて互いに異なる前記ビットストリームトラックから抽出された複数の前記サブピクチャの併合に関する情報を格納する併合ベーストラックをさらに含む
（３１）乃至（３８）のいずれかに記載の情報処理装置。
（４０） 前記コンテンツは、３次元形状のオブジェクトをポイントの集合として表現するポイントクラウドであり、
前記サブピクチャは、前記ポイントクラウドの独立に復号が可能な部分領域により構成される
（３１）乃至（３９）のいずれかに記載の情報処理装置。
（４１） フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
を格納するファイルの前記抽出ベーストラックに基づいて、前記ビットストリームトラックから前記サブピクチャを抽出し、ビットストリームを生成する
情報処理方法。
３００ ファイル生成装置， ３０１ 制御部， ３０２ ファイル生成処理部， ３１１ 入力部， ３１２ 前処理部， ３１３ 符号化部， ３１４ ファイル生成部， ３１５ 記録部， ３１６ 出力部， ４００ クライアント装置， ４０１ 制御部， ４０２ 再生処理部， ４１１ ファイル取得部， ４１２ ファイル処理部， ４１３ 復号部， ４１４ 表示情報生成部， ４１５ 表示部， ４１６ 計測部， ４１７ 表示制御部

Claims (18)

  1. フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
    前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
    を格納するファイルを生成するファイル生成部
    を備え、
    前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む
    情報処理装置。
  2. 前記抽出ベーストラックは、抽出して１本のビットストリームとする前記サブピクチャを１セットとし、前記サブピクチャ特定情報を前記セット毎に格納する
    請求項１に記載の情報処理装置。
  3. 前記抽出ベーストラックは、さらに、前記セットの識別情報であるセット識別情報を格納する
    請求項２に記載の情報処理装置。
  4. 前記ビットストリームトラックは、さらに、前記ビットストリームトラックに格納される前記サブピクチャ毎に、前記サブピクチャの識別情報であるサブピクチャ識別情報と、前記サブピクチャを内包するタイルリージョンの前記タイルリージョン識別情報とを格納する
    請求項１に記載の情報処理装置。
  5. 前記ビットストリームトラックは、前記サブピクチャ識別情報と前記タイルリージョン識別情報とが一致する前記サブピクチャについては、前記サブピクチャ識別情報のみを格納する
    請求項４に記載の情報処理装置。
  6. 前記抽出ベーストラックは、さらに、パラメータセットを、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるパラメータセット更新情報を格納する
    請求項１に記載の情報処理装置。
  7. 前記パラメータセット更新情報は、前記サブピクチャの識別情報であるサブピクチャ識別情報を、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるサブピクチャ更新情報を含む
    請求項６に記載の情報処理装置。
  8. 前記ファイルは、前記抽出ベーストラックに基づいて互いに異なる前記ビットストリームトラックから抽出された複数の前記サブピクチャの併合に関する情報を格納する併合ベーストラックをさらに含む
    請求項１に記載の情報処理装置。
  9. フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
    前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
    を格納するファイルを生成し、
    前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む
    情報処理方法。
  10. フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
    前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
    を格納するファイルの前記抽出ベーストラックに基づいて、前記ビットストリームトラックから前記サブピクチャを抽出し、ビットストリームを生成するビットストリーム生成部
    を備え、
    前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む
    情報処理装置。
  11. 前記抽出ベーストラックは、抽出して１本のビットストリームとする前記サブピクチャを１セットとし、前記サブピクチャ特定情報を前記セット毎に格納する
    請求項１０に記載の情報処理装置。
  12. 前記抽出ベーストラックは、さらに、前記セットの識別情報であるセット識別情報を格納する
    請求項１１に記載の情報処理装置。
  13. 前記ビットストリームトラックは、さらに、前記ビットストリームトラックに格納される前記サブピクチャ毎に、前記サブピクチャの識別情報であるサブピクチャ識別情報と、前記サブピクチャを内包するタイルリージョンの前記タイルリージョン識別情報とを格納する
    請求項１０に記載の情報処理装置。
  14. 前記ビットストリームトラックは、前記サブピクチャ識別情報と前記タイルリージョン識別情報とが一致する前記サブピクチャについては、前記サブピクチャ識別情報のみを格納する
    請求項１３に記載の情報処理装置。
  15. 前記抽出ベーストラックは、さらに、パラメータセットを、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるパラメータセット更新情報を格納する
    請求項１０に記載の情報処理装置。
  16. 前記パラメータセット更新情報は、前記サブピクチャの識別情報であるサブピクチャ識別情報を、抽出された前記サブピクチャのビットストリームに対応させるように更新するための情報であるサブピクチャ更新情報を含む
    請求項１５に記載の情報処理装置。
  17. 前記ファイルは、前記抽出ベーストラックに基づいて互いに異なる前記ビットストリームトラックから抽出された複数の前記サブピクチャの併合に関する情報を格納する併合ベーストラックをさらに含む
    請求項１０に記載の情報処理装置。
  18. フレームにサブピクチャを有するコンテンツのビットストリームを格納するビットストリームトラックと、
    前記ビットストリームトラックにおいて、抽出する前記サブピクチャを特定するための情報であるサブピクチャ特定情報を格納する抽出ベーストラックと
    を格納するファイルの前記抽出ベーストラックに基づいて、前記ビットストリームトラックから前記サブピクチャを抽出し、ビットストリームを生成し、
    前記サブピクチャ特定情報は、前記サブピクチャを内包するタイルリージョンの識別情報であるタイルリージョン識別情報を含む
    情報処理方法。
JP2022550453A 2020-09-15 2021-09-02 情報処理装置および方法 Active JP7736005B2 (ja)

Applications Claiming Priority (5)

Application Number Priority Date Filing Date Title
US202063078573P 2020-09-15 2020-09-15
US63/078,573 2020-09-15
US202063118797P 2020-11-27 2020-11-27
US63/118,797 2020-11-27
PCT/JP2021/032228 WO2022059495A1 (ja) 2020-09-15 2021-09-02 情報処理装置および方法

Publications (2)

Publication Number Publication Date
JPWO2022059495A1 JPWO2022059495A1 (ja) 2022-03-24
JP7736005B2 true JP7736005B2 (ja) 2025-09-09

Family

ID=80776918

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2022550453A Active JP7736005B2 (ja) 2020-09-15 2021-09-02 情報処理装置および方法

Country Status (5)

Country Link
US (1) US12256086B2 (ja)
EP (1) EP4207769A4 (ja)
JP (1) JP7736005B2 (ja)
CN (1) CN116018809B (ja)
WO (1) WO2022059495A1 (ja)

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3972269A1 (en) 2020-09-17 2022-03-23 Lemon Inc. Subpicture entity groups in video coding
EP3972278A1 (en) 2020-09-17 2022-03-23 Lemon Inc. Subpicture tracks in coded video

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190014350A1 (en) 2017-07-10 2019-01-10 Qualcomm Incorporated Enhanced high-level signaling for fisheye virtual reality video in dash
WO2019168304A1 (ko) 2018-02-27 2019-09-06 엘지전자 주식회사 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11062738B2 (en) * 2017-03-23 2021-07-13 Qualcomm Incorporated Signalling of video content including sub-picture bitstreams for video coding
WO2019002662A1 (en) * 2017-06-26 2019-01-03 Nokia Technologies Oy APPARATUS, METHOD AND COMPUTER PROGRAM FOR OMNIDIRECTIONAL VIDEO
US20210092374A1 (en) * 2018-01-12 2021-03-25 Sony Corporation Information processing apparatus and method
CN110035331B (zh) * 2018-01-12 2021-02-09 华为技术有限公司 一种媒体信息的处理方法及装置
EP3850863B1 (en) * 2018-09-12 2026-04-01 Nokia Technologies Oy An apparatus, a method and a computer program for video coding and decoding
GB201902829D0 (en) * 2019-03-01 2019-04-17 Canon Kk Method and apparatus for encoding and decoding a video bitsream for merging regions of interest

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20190014350A1 (en) 2017-07-10 2019-01-10 Qualcomm Incorporated Enhanced high-level signaling for fisheye virtual reality video in dash
WO2019168304A1 (ko) 2018-02-27 2019-09-06 엘지전자 주식회사 카메라 렌즈 정보를 포함한 360도 비디오를 송수신하는 방법 및 그 장치

Also Published As

Publication number Publication date
US12256086B2 (en) 2025-03-18
CN116018809A (zh) 2023-04-25
EP4207769A1 (en) 2023-07-05
WO2022059495A1 (ja) 2022-03-24
EP4207769A4 (en) 2024-02-21
US20230308661A1 (en) 2023-09-28
CN116018809B (zh) 2025-10-31
JPWO2022059495A1 (ja) 2022-03-24

Similar Documents

Publication Publication Date Title
US11962809B2 (en) Image data encapsulation with referenced description information
US11477542B2 (en) Method, device, and computer program for generating timed media data
JP7487742B2 (ja) 画像処理装置および方法
JP7726209B2 (ja) 情報処理装置および方法
CN114697668B (zh) 点云媒体的编解码方法及相关产品
WO2014111421A1 (en) Method of displaying a region of interest in a video stream
JP7331852B2 (ja) 画像処理装置および方法
CN115462062B (zh) 信息处理装置和方法
JP7768130B2 (ja) 情報処理装置および方法
EP3883250A1 (en) Information processing device and information processing method
JP7746995B2 (ja) 情報処理装置および方法
JP7736005B2 (ja) 情報処理装置および方法
US11915390B2 (en) Image processing device and method
US12587678B2 (en) Information processing apparatus and method thereof
JP7779268B2 (ja) 情報処理装置および方法
US20230119281A1 (en) Method for decoding immersive video and method for encoding immersive video
HK40070805B (en) Coding and decoding method of point cloud media and related products
GB2560649A (en) Image data encapsulation with tile support

Legal Events

Date Code Title Description
A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20240718

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20250430

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20250623

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20250729

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20250811

R150 Certificate of patent or registration of utility model

Ref document number: 7736005

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R150