JP6632550B2 - タイムピリオドにまたがってオブジェクトを識別する方法および対応デバイス - Google Patents

タイムピリオドにまたがってオブジェクトを識別する方法および対応デバイス Download PDF

Info

Publication number
JP6632550B2
JP6632550B2 JP2016574439A JP2016574439A JP6632550B2 JP 6632550 B2 JP6632550 B2 JP 6632550B2 JP 2016574439 A JP2016574439 A JP 2016574439A JP 2016574439 A JP2016574439 A JP 2016574439A JP 6632550 B2 JP6632550 B2 JP 6632550B2
Authority
JP
Japan
Prior art keywords
sub
representation
representations
period
mpd
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
JP2016574439A
Other languages
English (en)
Other versions
JP2017525244A (ja
JP2017525244A5 (ja
Inventor
マゼ フレデリック
マゼ フレデリック
ドゥヌアル フランク
ドゥヌアル フランク
コンコラト シリル
コンコラト シリル
ル フェーブル ジャン
ル フェーブル ジャン
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Canon Inc
Original Assignee
Canon Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Canon Inc filed Critical Canon Inc
Publication of JP2017525244A publication Critical patent/JP2017525244A/ja
Publication of JP2017525244A5 publication Critical patent/JP2017525244A5/ja
Application granted granted Critical
Publication of JP6632550B2 publication Critical patent/JP6632550B2/ja
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/70Media network packetisation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/25Management operations performed by the server for facilitating the content distribution or administrating data related to end-users or client devices, e.g. end-user or client device authentication, learning user preferences for recommending movies
    • H04N21/262Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists
    • H04N21/26258Content or additional data distribution scheduling, e.g. sending additional data at off-peak times, updating software modules, calculating the carousel transmission frequency, delaying a video stream transmission, generating play-lists for generating a list of items to be played back in a given order, e.g. playlist, or scheduling item distribution according to such list
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/61Network streaming of media packets for supporting one-way streaming services, e.g. Internet radio
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L65/00Network arrangements, protocols or services for supporting real-time applications in data packet communication
    • H04L65/60Network streaming of media packets
    • H04L65/65Network streaming protocols, e.g. real-time transport protocol [RTP] or real-time control protocol [RTCP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04LTRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00Network arrangements or protocols for supporting network services or applications
    • H04L67/01Protocols
    • H04L67/02Protocols based on web technology, e.g. hypertext transfer protocol [HTTP]
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/23Processing of content or additional data; Elementary server operations; Server middleware
    • H04N21/234Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs
    • H04N21/2343Processing of video elementary streams, e.g. splicing of video streams or manipulating encoded video stream scene graphs involving reformatting operations of video signals for distribution or compliance with end-user requests or end-user device requirements
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/47End-user applications
    • H04N21/472End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content
    • H04N21/4728End-user interface for requesting content, additional data or services; End-user interface for interacting with content, e.g. for content reservation or setting reminders, for requesting event notification, for manipulating displayed content for selecting a Region Of Interest [ROI], e.g. for requesting a higher resolution version of a selected region
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/83Generation or processing of protective or descriptive data associated with content; Content structuring
    • H04N21/845Structuring of content, e.g. decomposing content into time segments
    • H04N21/8456Structuring of content, e.g. decomposing content into time segments by decomposing the content in the time domain, e.g. in time segments
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/85406Content authoring involving a specific file format, e.g. MP4 format
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/85Assembly of content; Generation of multimedia applications
    • H04N21/854Content authoring
    • H04N21/8543Content authoring using a description language, e.g. Multimedia and Hypermedia information coding Expert Group [MHEG], eXtensible Markup Language [XML]

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Security & Cryptography (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Databases & Information Systems (AREA)
  • Human Computer Interaction (AREA)
  • Information Transfer Between Computers (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Description

本発明は、メディアデータを、さらに具体的には、ウェブアクセスの圧縮ビデオを送信するための方法およびデバイスに関する。望ましくは、メディアデータのストリーミングは、プロトコルHTTPを用い(インターネットなどの)IPネットワークを介して行われる。
メディアプレゼンテーションは、通常、オーディオ、ビデオ、またはテキストなどメディアアイテムとも呼ばれる1つまたは複数のメディアコンテンツ構成要素から成る、メディアコンテンツの符号化され配信可能なバージョンの集合体の形を取る。メディアアイテムまたは構成要素の組み合わせも考えられる。これらは、クライアントデバイスによって一緒に併せて再生するため、サーバからクライアントに送信することができる。メディアコンテンツは、クライアントによってサーバからダウンロードされる。
これに関連して、DASH(「Dynamic Adaptive Streaming over HTTP(HTTPを介するダイナミック適応ストリーミング)」の略)と呼ばれる新規格が最近出現してきた(ISO/IEC23009−1、Dynamic adaptive streaming over HTTP(DASH)(HTTP(DASH)を介するダイナミック適応ストリーミング)、Part1:Media presentation description and segment formats(メディアプレゼンテーション記述およびセグメントのフォーマット)を参照)。この規格は、メディアプレゼンテーションのコンテンツ(群)のコンパクトな記述とHTTPアドレスとの間の関連性を生成することを可能にする。通常、この関連性は、マニフェストファイルまたは記述ファイルと呼ばれるファイルに記述される。DASHのコンテキストにおいて、このマニフェストファイルはMPD(Media Presentation Description(メディアプレゼンテーション記述)の略)ファイルとも呼ばれる。
クライアントデバイスがMPDファイルを取得すれば、クライアントは、メディアコンテンツの各々の符号化および配信可能バージョンの記述を容易に知ることができる。クライアントは、マニフェストファイルを読み取ることによって、メディアプレゼンテーション中に提案されたメディアコンテンツ構成要素の種類を知り、関連するメディアコンテンツ構成要素をダウンロードするためのHTTPアドレスを知る。したがって、クライアントは、(HTTPの要求を介して)どのメディアコンテンツ構成要素をダウンロードし、再生(メディアデータセグメントを受信した後の復号および再生)するかを決めることができる。
DASH規格は、全体のメディアプレゼンテーションを1つ以上のタイムピリオド(「Period」と言う)中に記述することを可能にする。Periodは、共通の時系列、およびどのように提示されるかの関係性を有するメディアコンテンツ構成要素のセットを記述する。これらPeriodのそれぞれは、メディアコンテンツ構成要素の同じセット、またはメディアコンテンツ構成要素の完全に別個のセット(例えば、映画に対応するタイムピリオド、それに続く広告に対応する別のタイムピリオド、およびその直後の映画の続きに対応する別のタイムピリオド…)を包含することが可能である。
この関係性に加え、DASH規格は、1Period内で、各メディアコンテンツ構成要素を、より小さなタイムピリオドを表すセグメントに分割することを提案する。しかして、セグメントは、HTTPアドレス(またはURL)と、より小さなタイムピリオドに亘る各メディアコンテンツ構成要素のコンパクトな記述との間の関係を表す。セグメントは、メディアコンテンツ構成要素が多重化(メディアアイテムまたは構成要素の組み合わせ)されている場合、複数のメディアコンテンツ構成要素に対するデータを包含することが可能である。
本発明は、(DASH MPDを例として取り上げて)マニフェストファイル中のビデオ記述に焦点を当てる。たとえ、メディアプレゼンテーションの他の構成要素(例えば、オーディオ、テキスト…)が明示で記載されていなくても、それらは、以下に説明するようにより広範なメディア記述中に容易に組み入れることができる。
さらに具体的には、本発明は、複数のビデオまたはオーディオコンテンツ構成要素から成るメディアプレゼンテーションに焦点を当てている。これら複数のビデオコンテンツ構成要素は、マルチビューまたはマルチカメラのメディアプレゼンテーション中の複数の別々のビデオにも対応できる。また、これは、高解像度メディアプレゼンテーションが複数の空間的サブパートに分割されて各空間的サブパートがビデオコンテンツ構成要素を形成している場合に、相異なるタイル(すなわち、空間的サブパート)に対応することが可能である。ビデオをタイルに分割することによって、低容量アプリケーションのユーザがビデオのサブパートを表示またはサブパートに焦点を当てたいと欲する場合、当該サブパートに対応するタイルだけを送信させることができる。この処理は、良好な品質を有するビデオの部分を維持することを可能にする。
DASHのコンテキストにおいて、メディアプレゼンテーションを形成すべくメディアコンテンツ構成要素をメディアデータセグメント中にカプセル化するために、周知の規格「ISO BMFF(「Base Media File Format(ベースメディアファイルフォーマット)」)が使用される。例えば、ビデオコンテンツ構成要素は、フォーマットMPEG4、AVC、SVC、HEVC、スケーラブルまたはマルチビューHEVCを使って符号化されたビデオビットストリームを表すことができる。
典型的には、DASHは、MPDを構成する各種要素を定義する属性の一部として識別子(例えば、AdaptationSet(改編セット)またはRepresentation(表現)「id」属性)を定義する。これらの識別子は、DASHに対し「Period」と呼ばれるタイムピリオドの範囲内だけで定義され、しかして、これら識別子は同じコンテンツがPeriodをまたいで続くことを可能にしない。DASHは、或るPeriodが、前の1つ以上のPeriodの時間的継続であることの認識を可能にする、Periodレベルの「AssetIdentifier(アセット識別子)」と呼ばれる特定の識別子を定義しているが、これは、相異なるピリオドにまたがる同じメディアコンテンツ構成要素の認識をすべての場合にいつでも可能にするわけではない。
さらに、改編セットレベルと呼ばれるより細かいレベルで、識別子を設けることが可能である。改編セットレベルは、所与のタイムピリオドに対するメディアアイテムまたはメディアアイテムの組み合わせに関連するパラメータに対応する。文書m33112(Yasuaki Tokumoら著、「DASH:signaling the continuity of adaptation sets across periods(ピリオドを横断する改編セットの継続のシグナリング)」、108MPEG会議;ヴァレンシア;(MOTION PICTURE EXPERT GROUPまたはISO/IEC JTC1/SC29/WG11)、m33112、2014年4月)は、改編セットレベルで挿入される識別子を記載している。
しかしながら、既存のソリューションは、多くの状況において、特にメディアコンテンツが区分化、例えば空間的に区分化されている場合、ユーザがMPDの効率的な構文解析を行うことを可能にしない。
実際上、メディアコンテンツおよびそのパラメータが複数のピリオドに亘り追跡するためのソリューションが存在するとしても、それらのソリューションは以下を可能にしない:
− 特に、オブジェクトが相異なるピリオドに対しメディアコンテンツの同じ部分に属していないとき、メディアコンテンツの或る部分において定義された特定のオブジェクトを追跡すること;
− 改編セットをいくつかの異なるメディアコンテンツに関連付けるべきことを示すこと、またはいくつかの空間的サブパートが相異なるタイムピリオドに亘る空間中の時間継続であることを示すこと。
さらに、相異なるピリオドに亘りメディア構成要素を追跡するためのソリューションが存在するとしても、所与のピリオドに対し、別のメディア構成要素と共通のコンテンツを有するメディア構成要素を識別することが必要になり得る。
本発明は、前述の懸案事項の1つ以上に対処するために考案された。
本発明の第一態様によれば、MPEG−DASHにおいて規定されるMPD(MediaPresentationDescription)をクライアントに提供するサーバであって、第1ピリオドに関連付けられた第1リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第1サブリプリゼンテーションと、前記第1ピリオドとは異なる第2ピリオドに関連付けられた第2リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第2サブリプリゼンテーションと、が所定の連続性を有していることを表すMPDを生成する生成手段と、前記生成手段により生成されたMPDをクライアントへ提供する提供手段と、を有し、前記第1及び第2サブリプリゼンテーションが前記所定の連続性を有していることは、前記MPDが有する前記第1及び第2サブリプリゼンテーションに同じ識別情報が記述されることによって表され、前記識別情報はアセットの識別のための識別子であることを特徴とする。
例えば、本方法がISOBMFFパート15に適合しているとき、第1レベルのサブボックスは改編セットであり、第2レベルのサブボックスはRepresentationであり、第3レベルのサブボックスはSub−Representation(サブ表現)である。
この識別子は、望ましくは、メディアのコンテンツに関連付けられているか、またはメディアのコンテンツに対応しており、諸実施形態において、第一および第二ピリオドを通して識別子の値は同じであって、コンテンツの継続を示す。
本発明の第一態様の諸実施形態は、タイル化されたビデオに対してさえも、いくつかのタイムピリオドの間で編集上の継続性を与える利点を提供する。
或る実施形態において、同じレベルに属する少なくとも2つの主サブボックスは、各々が1つのメディアアイテムまたはメディアアイテムの組み合わせを識別するための少なくとも1つの識別子を含み、同じ前記レベルに属する少なくとも1つの追加サブボックスは、1つの識別子が該2つの主サブボックスの1つに属し、他方の1つの識別子が他方の主サブボックスに属する少なくとも2つの識別子を含む。
或る実施形態において、メディアアイテムはタイル化ビデオである。
或る実施形態において、少なくとも2ピリオドに対し、少なくとも1つの第2レベルまたは第3レベルサブボックス中に少なくとも1つの識別子が挿入され、タイル化ビデオのタイル化構成は、第一ピリオドと第二ピリオドとに対して相異なる。
或る実施形態では、各第2レベルボックスは、少なくとも第一および第二の第3レベルボックスを含み、少なくとも1つの識別子が、少なくとも2ピリオドに対し、少なくとも1つの第3レベルサブボックス中に挿入されるとき、前記識別子は、第一ピリオドに対しては第一の第3レベルサブボックスに、第二ピリオドに対しては第二の第3レベルサブボックスに挿入される。
或る実施形態では、第一の第3レベルサブボックスは、1つ以上のタイルを含むタイルの第一セットに関連付けられ、タイルの第二セットは、1つ以上のタイルを含むタイルの第二セットに関連付けられ、第一セットと第二セットとは少なくとも1タイルは異なっている。
本発明の第二態様によれば、1つ以上のメディアアイテムまたはメディアアイテムの組み合わせに対応するデータをストリーミングする方法が提供され、前記メディアアイテムまたはメディアアイテムの組み合わせはタイムピリオド中に編成される。本方法は、
・サーバによって、記述ファイルをクライアントデバイスに送信するステップであって、前記記述ファイルは、各々が或るタイムピリオドに関連付けられたデータボックス中に編成され、少なくとも1つのボックスは、所与のタイムピリオドに対する、メディアアイテムまたはメディアアイテムの組み合わせに関連付けられたパラメータを含む複数のレベル1サブボックスを含み、各レベル1サブボックスは、所与のタイムピリオドに対する対応メディアアイテムまたはメディアアイテムの組み合わせの時間セグメントに専用の複数のレベル2サブボックスの中に編成され、各レベル2サブボックスは、各々が所与のメディアアイテムまたはメディアアイテムの組み合わせに対する時間セグメントの一部に関連付けられている複数のレベル3サブボックスに編成される、該送信するステップ、
を含み、
同じレベルに属する少なくとも2つの主サブボックスが、各々が1つのメディアアイテムまたはメディアアイテムの組み合わせを識別するための、少なくとも1つの識別子を含み、同じ前記レベルに属する少なくとも1つの追加サブボックスが少なくとも2つの識別子を含み、1つの識別子は該2つの主サブボックスの1つに属し、他の1つの識別子は他方の主サブボックスに属する。
例えば、本方法がISOBMFFパート15に適合しているとき、第1レベルのサブボックスは改編セットであり、第2レベルのサブボックスはRepresentationであり、第3レベルのサブボックスはSub−Representationである。
本発明の第二態様は、対象のタイムピリオドに従って、相異なるメディアアイテムに属する空間領域の時間的継続性の提供を可能にする。
或る実施形態において、メディアアイテムは、タイル化ビデオからのタイルである。
或る実施形態では、主および追加サブボックスは、第1レベルサブボックスである。
或る実施形態では、メディアアイテムはタイル化ビデオである。
或る実施形態では、主および追加サブボックスは、第3レベルサブボックスである。
或る実施形態では、前記方法は、ISOBMFFパート15に適合する。
或る実施形態では、識別子はアセット識別子(AssetIdentifier)である。
本発明の第三態様によれば、プログラマブル装置のためのコンピュータプログラム製品が提供され、該コンピュータプログラム製品は、プログラムがプログラマブル装置にロードされ実行されたとき前述の方法の各ステップを遂行するための命令を含む。
本発明の第四態様によれば、前述の方法を実装するためのコンピュータプログラムの命令を格納するコンピュータ可読ストレージ媒体が提供される。
本発明の第五態様によれば、前述の方法を伝送するようになされた手段を含むサーバにおいて多層区分化された同期性メディアデータをカプセル化するためのデバイスが提供される。
或る実施形態において、該デバイスはサーバデバイス中に組み込まれる。
また、以下の説明から本発明の他の特徴および利点も明らかになろう。本発明は、純粋に例示のためにだけ説明されるものであり、添付の図面を使って解説される。
HTTPによるメディアストリーミングの一般的原理の一例についてのブロック図である。 本発明の或る実施形態による、特にフレームがタイルに分割されているときの、HTTPによるメディアストリーミングをさらに詳細に説明するフローチャートである。 各フレームがタイルに分割され、或るタイムピリオドから別のタイムピリオドへと、一部のオブジェクトが空間的に移動している2つの相異なるタイムピリオドに対する2つのフレームを概略的に表す。 各タイムピリオドに対する相異なるタイル化構成によって各フレームがタイルに分割される、2つの異なるタイムピリオドに対する2つのフレームを概略的に表す。 従来技術によるメディアプレゼンテーション記述を示す。 本発明の或る実施形態によるメディアプレゼンテーション記述を示す。 本発明の別の実施形態によるメディアプレゼンテーション記述を示す。 1つ以上の実施形態が中に実装可能な、サーバまたはクライアントデバイスのブロック図を表す。
図1aは、具体的にはDASHなどの、HTTPによるメディアストリーミングの一般的原理を表す。HTTPによるメディアストリーミングに対する新規プロトコルおよび規格のほとんどがこの原理に基づいている。
メディアサーバ100は、各種のメディアプレゼンテーションを包含する。メディアプレゼンテーション101の或る例が示されている。ここでは、該プレゼンテーションは、1つのオーディオコンテンツ構成要素および2つのビデオコンテンツ構成要素を包含する。このメディアプレゼンテーションを構成する方法は当業者には周知である。このメディアプレゼンテーションは、各メディアコンテンツ構成要素に対し、小さな独立した継続する時間セグメント102a、102b、および102c(例えば、mp4セグメント)に時間的に分割された各メディアコンテンツ構成要素の、複数のバージョン、103aおよび103bを提案する。これらの時間セグメントは、独立的に取り扱えてダウンロードが可能である。これらセグメントのダウンロード先アドレスはHTTPアドレスである。(1つのHTTPアドレスが、各メディアコンテンツ構成要素の各時間セグメントに関連付けられている)これらアドレスは、サーバ100によって、これらの時間セグメントの各1つに対し設定される。
マニフェストファイル104(または記述ファイル)は、フォーマット化された文書(典型的にはXML文書)である。これは、例えば、メディアの種類(オーディオ、ビデオ、オーディオ−ビデオ、テキスト…)符号化フォーマット、およびセグメントの持続時間など、各メディアコンテンツ構成要素、および関連する時間的メディアセグメントを記述する。さらに、該文書は、記述された各メディアコンテンツセグメントに対し1つのURLを関連付ける。
マニフェストファイル104は、クライアントまたはユーザに関わるクライアントデバイス110に送信される。クライアントは、受信されたマニフェストファイル105を読み取ることによって、メディアコンテンツ構成要素の各種バージョンの時間セグメントと、それら時間セグメントを指定するHTTPアドレスとの間の関係を知ることができる。さらに、マニフェストファイル105は、メディアプレゼンテーションを構成する各メディアコンテンツ構成要素の各バージョンを特徴付ける情報を伝える。例えば、該情報は、解像度、コーディックのフォーマット、および/またはビットレートを含んでよい。
しかして、クライアントデバイス110は、自分が欲する時間セグメントをダウンロードするためのHTTP要求106を発信することができ、それらの時間セグメントは、受信されたマニフェストファイル105中に記載される。
応答として、サーバ100は、要求された時間セグメント、107を送信する。これらの時間セグメントは、クライアントデバイス110によって表示109のため復号108することができる。
図1bは、本発明の或る実施形態による、(具体的にはDASHにおける)HTTPによるメディアストリーミングをさらに綿密に説明する。
最初に、クライアントデバイスが、サーバから記述ファイル(またはDASH中のMPD)を得る、ステップ1008。クライアントデバイスは、この記述ファイルをメディアプレゼンテーションの開始時に1回だけ得ることができるか、あるいは該ファイルをメディアプレゼンテーションの開始時に1回得ることができ、且つその後クライアントはメディアプレゼンテーションの全経過時間を通して記述ファイルのいくつかの更新を得ることができる。
図3でさらに説明するように、この記述ファイルは、1つ以上のタイムピリオド内で利用可能な全てのメディアコンテンツ構成要素についてのデータを含む。
クライアントが新規または更新記述ファイルを受信する都度、彼またはそれは、ステップ1010で、彼がレンダリングしたいと欲する1つ以上のメディアコンテンツ構成要素の1つのバージョンを選択する。その選択は、ユーザの好みまたは選び、ネットワーク状態(例えば、利用可能なバンド幅)、およびクライアントのレンダリング能力(例えば、表示解像度、対応可能コーディック、計算パフォーマンス)に従って行われる。
クライアントによって選択されたメディアコンテンツ構成要素のバージョンに対応する時間セグメントのURLがクライアントデバイスによって選択される、ステップ1020。
選択された時間セグメントに対する要求メッセージがクライアントデバイスからサーバに送信される、ステップ1030。各要求メッセージは、同じURLがいろいろな時間セグメントを指定している場合随意的にバイト範囲を使って、1つの時間セグメントのURLを含む。
要求メッセージに応答して、サーバは、クライアントデバイスに、ビデオデータ(すなわち、以下に詳記するようなセグメント)を送信する、ステップ1040。
さらに、ステップ1010で、Periodが変更される場合、クライアントは、前のPeriodの間に行われた自分の選択に従ってメディアコンテンツ構成要素を選ぶこと、例えば、1つのPeriodから別のPeriodへの編集継続性を確実にすることを欲すること、もある。この問題を処理するため、DASHは、PeriodまたはAdaptationSetレベルだけで定義される「AssetIdentifier」と呼ばれる特定の記述子を定義済みである。この記述子のおかげで、クライアントは、例えば、広告に対応するPeriodから、同じ映画に関連するPeriodを区別化できる。
しかしながら、既存のソリューションは、多くの状況において、特に、メディアコンテンツが区分化、例えば、以降に図4を参照して説明するように空間的に区分化されている場合、ユーザがMPDの効率的な構文解析を行うことを可能にしない。
図2aおよび2bは、既存のソリューションが、既存の識別子を介して適正且つ効率的に操作できないシナリオを示す。
図2aは、ここでは8つのタイルT1、T2、…、T8に分割されたビデオフレーム200および210を示す。
DASHおよびISOBMFFのカプセル化によれば、各タイルは、相異なるビデオコンテンツ構成要素またはビデオコンテンツ構成要素のサブパートを表すことができる。前者の場合、MPDでは、各タイルはタイルごとに1つのAdaptationSetを定義することによって表現される。後者の場合、各タイルは、フレーム全体を表現する単一のAdaptationSetを定義することによって表現され、各Representationは、(図3の304によって表されるように)タイルごとに1つのSubRepresentationのいくつかのSubRepresentation(すなわち、Representationのサブパート)から成る。タイルの属性は、「urn:mpeg:dash:srd:2014」(前述の文書m33112を参照)に等しい@schemeIdURIを使ったSupplementalProperty(補足属性)またはEssentialProperty(基本属性)記述子のいずれかを用いて構成される空間関係記述子を使用して記述される。@value属性は、タイル座標(x,yの幅、および高さ)を含む値の、カンマで分離されたリストを提供する。
ビデオフレーム200は、PeriodNの期間のビデオを表現する。2つのオブジェクト202および203がある。オブジェクト202は、タイルT6およびT8によってカバーされ、オブジェクト203はタイルT1によってカバーされている。別のビデオフレーム210は、後の時間の別のPeriod(PeriodN+Mと言う)の期間の同じビデオを表現する。PeriodNとPeriodN+Mとの間で、オブジェクト202および203は移動し、それぞれオブジェクト212および213によって表されており、両方ともタイルT3によってカバーされている。
これらタイルが、SubRepresentationレベル(第3レベルサブボックス)で記述されている場合、PeriodおよびAdaptationSetのレベルだけで識別子を提供する既存のソリューションは、複数のPeriodにまたがるアプリケーションを使った迅速で効率的な照合を可能にしない。言い換えれば、既存のソリューションでは、アプリケーションは、第一オブジェクト213が他の第一オブジェクト203と同じオブジェクトであること、または第二オブジェクト212が他の第一オブジェクト202と同じオブジェクトであることを認識できない。さらに、既存のソリューションは、AdaptationSetまたはSubRepresentationレベルでの複数のオブジェクト(例えば、フレーム210のタイルT3は2つのオブジェクト212および213をカバーしている)を識別することができない。
また、図2bは、2つの異なるピリオド(PeriodNおよびPeriodN+M)の期間の2つの相異なるビデオフレームを示す。各フレームは、いくつかのタイルから成り、2つの異なるビュー(ビューAおよびビューB)を表現している。フレーム2100は、4つのタイル(A1〜A4)から成り、別のフレーム2101は16のタイル(B1〜B16)から成る。ボックス2203は仮想であり、PeriodNとPeriodN+Mとにおける2つのビューの間の空間的関係を概略的に示す。略図2203に表されるように、PeriodN+M期間でタイルB1、B2、B5、およびB6は、PeriodNの期間でタイルA4がカバーするのと同じ空間領域をカバーしている。言い換えれば、B1、B2、B5、B6は、タイルA4によってカバーされる空間領域の時間的継続を表す。しかしながら、フレーム2100とフレーム2101との間の相異なるタイル編成に起因して、アプリケーションは、タイルA4によってカバーされる時間的継続が分からない。この場合もやはり、既存のソリューションは、SubRepresentationレベルでのかかる関係を表現することを可能にしない。さらに、例えば、A4とB1、B2、B5、B6との間の関係を表すためだけでなく、タイルA4、B2,およびB6中のオブジェクト2202を識別するためにもタイルごとに複数の識別子が必要であり、これは既存のソリューションでは可能でない。
図3は、従来技術による、DASHマニフェストファイルまたはMPDの階層的コンテンツの一例を示す。このマニフェストファイルは、サーバで利用可能なメディアプレゼンテーションのメディアコンテンツ、およびメディアデータとも呼ばれる各メディア構成要素またはアイテムと、HTTPアドレスとの関係を記載している。このMPDでは、メディアコンテンツは、以降でさらに詳しく説明するように、相異なるレベルのいくつかのボックスおよびサブボックス中に編成される。
例えば、メディアプレゼンテーションは、Periodと呼ばれる粗な期間に時間的に分割(任意のコンテンツのスプライシング)することができる。
MPDレベルでの「Period」は、或るタイムピリオド(1つのPeriodだけある場合は、メディアプレゼンテーションのその全期間であり得る)に対し利用可能な全てのメディア構成要素を記述する。このピリオドの中で、構成要素に対するメディアコンテンツは、容易なストリーミング/ランダムアクセス/切り替えを可能にするために、前述のものより小さなタイムピリオドに対応する複数のデータセグメントで構成することができる。
XMLのMPDは、各ピリオドに関連する全てのデータを包含する。クライアントは、この情報を受信することによって、各タイムピリオドのコンテンツを知る。
前述され図3に表されるように、メディアプレゼンテーション記述ファイル300は、各1つがPeriodに関連付けられた複数の部分3001、3002、および3003に分割される。例えば、第二Periodは100s〜294sに含められる。
各メディアプレゼンテーションのPeriodは、対応するタイムピリオドに対し利用可能なメディアコンテンツ構成要素を記述するデータを包含する。相異なるPeriod中のコンテンツ(すなわち、メディアコンテンツ構成要素のセット)は、或るピリオドと別のピリオドとで完全に独立的であってもよく、逆に、メディアプレゼンテーション記述の2つ以上のPeriodが、同じ全体的コンテンツに属するメディアコンテンツ構成要素を含んでいてもよい。言い換えれば、全体的コンテンツを、連続するまたは不連続のいくつかのPeriodに亘って区分化または分配することができる。各メディアプレゼンテーション記述のPeriodは、同じ全体的コンテンツに関連するコンテンツ部分を識別するために、例えば、AssetIdentifierと呼ばれる、記述子を包含することが可能である。この識別子は、相異なるPeriodの間の分配された同じコンテンツの部分を識別することを可能にする。2つの異なるPeriodが同様のAssetIdentifierを包含している場合、それら2つのPeriodに対するメディアコンテンツは、同じ全体的コンテンツ(アセットとも呼ばれる)に属する。
しかして、このMPDに示されるように、第一Period3001および第三Period3003は同じAssetIdentifier「映画」を含む。上述の定義による結果として、これら2つのピリオドに関連付けられたコンテンツは、同じ全体的コンテンツの部分である。対照的に、第二Period3002は、異なるAssetIdentifier「広告」を含む。これは、このコンテンツが、第一および第三Period3001、3003に関連付けられたものと同じコンテンツの部分ではないことを知らせる。
明確化のため、メディアプレゼンテーションのPeriod3001の1つが301にさらに詳しく示されている。
Periodは、いくつかの「改編セット」要素で構成することができる。改編セットは、1つまたは複数のメディアコンテンツ構成要素の相互交換可能な符号化バージョンのセットを表す。例えば、Period301は、2つの異なるビデオコンテンツ構成要素に対応する2つの改編セット(またはレベル1サブボックス)から成る。また、改編セットはメディアアイテムの組み合わせ(例えば、オーディオ/ビデオ)とも呼ばれる複数のメディアコンテンツ構成要素の多重化された形態を直接包含することが可能である。言い換えれば、メディアコンテンツ構成要素がISOBMFF中にカプセル化される場合、各改編セットは、ISOBMFFから分離されたトラックに関連付けられる。この例において、第一グループの改編セットは、第一ビデオトラックに関連付けられ、第二改編セットは、第二ビデオトラックに関連付けられる。
改編セット構造体302は、サーバで利用可能な符号化ビデオの相異なる可能なまたは代替の表現を記述する属性および/または要素および/または記述子(これらの属性および/または要素はレベル2サブボックスと称される)(例えば「Representation」)3020中に編成された情報を包含する。この例において、第一表現「Representation1」は、500kbit/sのビットレートで符号化された空間解像度640×480の符号化ビデオである。第二表現「Representation2」は、同様なビデオであるが、250kbit/sで符号化されている。このビデオのそれぞれは、クライアントが該ビデオに関連するHTTPアドレスを知っていれば、HTTP要求によってダウンロードすることができる。各表現のコンテンツとHTTPアドレスとの間の関連付けは、追加の時間サブレイヤを使って行われる。
参照符号303によって示されるように、ビデオ表現「Representation1」は、(この例では10秒の)時間セグメントに分割される。
第一表現「Representation1」は、500kbit/sのバンド幅、640画素の幅、および480画素の高さを有する。フィールド「Segment Info(セグメント情報)」303によって、以降に説明するさらなるパラメータが与えられる。
第二表現「Representation2」は、250kbit/sのバンド幅、640画素の幅、および480画素の高さを有する。この第二表現は、例えば第一表現に比べて品質の低減を示し得る。クライアントは、ネットワーク上で利用可能なバンド幅の如何によって、これら2つの異なる表現の間での切り替えをすることができよう。
各時間セグメント303は、HTTPアドレスを介してアクセス可能な、サーバに格納されたコンテンツである。加えて、初期化セグメントが利用可能である。この初期化セグメントは、(ビデオがISO BMFFまたは拡張版を用いてカプセル化されていれば)カプセル化されたビデオのMP4コンテンツを記述したMP4初期化情報を包含する。例えば、該情報は、クライアントが、ビデオに関連する復号アルゴリズムのインスタンス生成をするのを助力する。初期化セグメントおよびメディアセグメントのHTTPアドレスは、MPD(または記述)ファイル中で与えられる。
さらに、参照符号304で示されるように、Representationは、SubRepresentation(またはレベル3サブボックス)と呼ばれるいくつかのサブボックスで構成することができる。Representationと対照的に、SubRepresentationは、メディアセグメントのサブパートに対処するために、これらメディアセグメント中に組み込まれた、ISOBMFFからの特定のボックス(サブセグメントインデックス(「ssix」)およびレベル割り当て(「leva」)ボックス)に依存する。言い換えれば、SubRepresentationは、対応するRepresentation中に組み込まれたメディア構成要素またはメディア構成要素の組み合わせのコンテンツに関連する属性を記述する。例えば、これは、何らかの組み込まれたより低品質のレイヤ(例えば、図中に示されるような、ビデオに対する何らかのより低いフレームレート)または、Representationがオーディオおよびビデオ構成要素の混成体を記述している場合、組み込まれたオーディオまたはビデオ構成要素を記述してもよい。また、SubRepresentationは、ビデオの空間的サブパート(またはタイル)を記述してもよい。
上記のように定義されたMPDは、ピリオド群にまたがってメディア構成要素のコンテンツを追跡または追尾するようになされるが、これは、例えば、混合オーディオ信号から抽出された1つのオーディオ信号、または全体ピクチャの代わりに区分化されたピクチャからの1つの空間タイル(もしくは複数のタイル)など、異なるピリオドにまたがるメディア構成要素に対するより微細な追尾には適していない。
しかして、ユーザが、第一Periodのタイル「1」(図2a参照)上、および第二Periodのタイル「2」上に包含された或るオブジェクト(例えば或る人物)を追尾しようと欲する場合、図3に示されるように、MPDを使ってそれを実行する効率的仕方はない。
図4は、本発明による、DASHマニフェストファイルまたはMPDの階層的コンテンツの一例を示す。MPD400は、3つの異なるタイムピリオド(「Period」)から成る。Periodレベルで値「広告」を備える識別子「AssetIdentifier」によってシグナリングされる、第二Period(すなわち、メディアコンテンツ構成要素のセット)のコンテンツは、AssetIdentifier「映画」を使ってシグナリングされる2つの他のPeriodから完全に独立している。この例において、第二Periodのコンテンツは、映画の合間における広告を表現する。
映画に対応する各Period401および404中には、前に定義されたように、2つのビデオコンテンツ構成要素または改編セットボックスがある。各改編セット中に定義された「AssetIdentifier」と名付けられた記述子は、Periodにまたがって別の改編セットからの時間継続を表す対応改編セットボックスを読み出すことを可能にする。この例において、値「cam1」を有するAssetIdentifierは、Period404中の改編セット「2」が、Period401からの改編セット「1」の編集上の継続であることを示す。
本発明の或る実施形態によれば、DASHにおけるこのAssetIdentifierの定義を、「RepresentationBaseType(表現ベース型)」レベルで定義するように拡張することが提案される。このようにすれば、AssetIdentifierは、Periodレベルだけでなく、全ての他のサブレベル:AdaptationSet(特に複数のAssetIdentifierに対し)、Representation、およびSubRepresentation、でも使用が可能となる。
この場合、MPDスキーマは、以下のように修正される:
<!−−Representationベース(共通属性および要素)→
<xs:complexType name=“RepresentationBaseType”>

<xs:element name=“InbandEventStream”type=“DescriptorType” minOccurs=“0” maxOccurs=“unbounded”/>
<xs:element name=“AssetIdentifier” type=“DescriptorType” minOccurs=“0“/>

</xs:complexType>
図4において、各改編セット402および405は、複数のSubRepresentation403および406によって表現される複数のオブジェクトまたはタイルを組み込んだ、ビデオコンテンツ構成要素のバージョン(またはRepresentation)を包含する。SubRepresentationレベルでAssetIdentifierを定義することによって、クライアントは、406中のレベル1のSubRepresentationが403中のレベル0のSubRepresentationの編集上の継続であることを知る。この識別子なしでは、クライアントは、どのSubRepresentationを選択しなければならないかを判断することができない。
加えて、かかる関係を表すことは、例えば、タイル化が、PeriodNの期間ではSubRepresentationレベルで、その後、PeriodN+Mの期間では改編セットレベルで記述されている場合などに特に有用である。実際に、タイル化が、SubRepresentationレベルで記述されているとき、クライアントは、タイルの全てが同じメディアセグメントに組み込まれているので、全タイルをダウンロードしなければならない。しかしながら、タイル化がAdaptationSetレベルで記述されている場合、クライアントは、その関心域によってカバーされているタイルだけをダウンロードすればよい。SubRepresentationレベルでPeriod横断的な識別子を設けることによって、タイル化がSubRepresentationレベルのタイル化からAdaptationSetレベルのタイル化に変更された場合でも、クライアントがPeriodにまたがる関連タイルをより迅速に読み出すことが可能になる。
オブジェクト追尾に対する本発明の利益の例示として、図2aを参照すると、クライアントが202として参照されたオブジェクトを見ることを決めた場合、PeriodN期間は画像の右底部の部分201に焦点を当てればよい。図2a中に示されるように、この選択部分201または関心域(ROI:Region−of−Interest)は、オブジェクト202をカバーする2つのタイルT6およびT8に包含されている。
これらのタイルがSubRepresentationレベルで記述され、クライアントが、例えばオブジェクト202を追うオブジェクト追尾を行うことを欲する場合、この識別子のおかげで、クライアントは、ステップ1010で、PeriodNの期間ではタイルT6およびT8を、PeriodN+Mの期間ではタイルT3だけを選択する必要があることを知る。
別の実施形態において、「AssetIdentifier」を拡張する代わりに、本発明による識別子は、特定のschemeIdURI(例えば、「urn:mpeg:dash:id:2014」または「urn:mpeg:dash:objId:2014」)を備える、SupplementalProperty(補足属性)、EssentialProperty(必須属性)、または任意の新規記述子を再使用することによって表すことも可能で、@value属性が識別子値に相当することになろう。
或る別の実施形態では、本発明による識別子は、「AssetIdentifier」を拡張する代わりに当業者には周知の記述子Role(役割)を再使用することによって表してもよい。
さらに別の実施形態において、オブジェクト追尾のコンテキストにおいて、識別子を表す記述子は識別されるオブジェクトを特徴づける記述も含むことができる(例えば、「このオブジェクトは赤い傘を表す」)。また、この識別子は、いくつかのタイルによってカバーされるオブジェクトと、専用のメタデータコンテンツ構成要素中で搬送されるであろうオブジェクト記述とを関連付けるために用いることもできよう。
図5は、本発明による、DASHマニフェストファイルまたはMPDの階層的コンテンツの別の例を示す。
図2a中に示されるように、フレーム200は相異なるタイルのセットによってカバーされる複数のオブジェクト202,203を包含可能である(203はT1によりカバーされ、202はT6およびT8によりカバーされている)。1つのピリオドから別のピリオドへ、これらのオブジェクトがビデオフレーム内部で移動されることが生じ得て、その結果、1つのPeriodから別のPeriodへと、これらオブジェクトは、タイルの相異なるセットによってカバーされる。また、ビデオフレーム210中に示されるように、複数のオブジェクトが同じタイルのセットによってカバーされることも生じ得る。タイルT3中に2つのオブジェクト211および213が存在する。従来技術は1つのレベルで複数のAssetIdentifierを定義することを可能にしない。
本発明は、「RepresentationBaseType」レベルで複数のAssetIdentifierの定義を許可することを提案する。このようにすれば、各サブレベル:AdaptationSet、RepresentationおよびSubRepresentation、において、AssetIdentifierを複数回定義することができる。言い換えれば、一部の用途に対しては、型「RepresentationBaseType」の1つの要素を複数の識別子に関連付けるのが望ましい。
この場合、MPDスキーマは、以下のように修正される:
<!−−Representationベース(共通属性および構成要素)→
<xs:complexType name=“RepresentationBaseType”>

<xs:element name=“InbandEventStream”type=“DescriptorType” minOccurs=“0” maxOccurs=“unbounded”/>
<xs:element name=“AssetIdentifier” type=“DescriptorType” minOccurs=“0“ maxOccurs=”unbounded“/>

</xs:complexType>
図5はかかるシナリオを示す。MPD500は、3つのPeriodから成る。図2aを参照すると、Period501は、フレーム200に対応しており、AdaptationSet「1」はフレーム200中のタイル「T6」、AdaptationSet「2」はタイル「T8」、AdaptationSet「3」はタイル「T1」に対応していることになろう。識別子「ObjA」は、オブジェクト202、および「別の識別子ObjB」がオブジェクト213に対応していることになろう。Period502は、フレーム210に対応しており、AdaptationSet「1」はフレーム210中のタイル「T3」に対応し、識別子「ObjA」はオブジェクト212に対応し、識別子「ObjB」はオブジェクト213に対応していることになろう。第三Period503(図2aには表されていない)では、オブジェクトは再度移動し、2つの異なるタイルによってカバーされてもよい。しかしながら、設けられた識別子AssetIdentifier「ObjA」および「ObjB」のおかげで、対象となるPeriodに従ってタイルから他のタイルへと移動するこれらオブジェクトの識別および追尾はより容易である。
図6は、本発明の1つ以上の実施形態の実装のためのコンピューティングデバイス600の概略ブロック図である。コンピューティングデバイス600は、マイクロコンピュータ、ワークステーション、または軽量携帯デバイスなどのデバイスであってよい。コンピューティングデバイス600は、
− マイクロプロセッサなどのCPUとも言われる中央処理ユニット601と;
− 本発明の諸実施形態の方法の実行可能コード、並びにマニフェストを読み取り書き込むため、および/またはビデオを符号化するため、および/または所与のファイルフォーマットの下でデータを読み取りまたは生成するための方法を実装するのに必要な変数およびパラメータを記録するようになされたレジスタ、を格納するRAMとも言われるランダムアクセスメモリ602であって、そのメモリ容量は、例えば拡張ポートに接続された随意的RAMによって拡張可能な、該ランダムアクセスメモリと;
− 本発明の諸実施形態を実装するためのコンピュータプログラムを格納するROMとも言われる読み取り専用メモリ603と;
− ネットワークインターフェース604は、通常、処理対象のデジタルデータがそれを介して送信され受信される通信ネットワークに接続される。ネットワークインターフェース604は、単一のネットワークインターフェースでもよく、または各種のネットワークインターフェース(例えば、有線および無線インターフェース、または相異なる種類の有線または無線インターフェース)のセットで構成されてもよい。データは、CPU601中で実行されるソフトウェアアプリケーションの制御の下で、送信のためネットワークインターフェースに書き込まれ、受信のためネットワークインターフェースから読み取られる;
− ユーザから入力を受信し、またはユーザに対し情報を表示するためのユーザインターフェース605と;
− HDとも言われるハードディスク606と、
− ビデオソースまたはディスプレイなどの外部デバイスとの間でデータを受信/送信するためのI/Oモジュール607と;
に接続された通信バスを含む。
実行可能コードは、読み取り専用メモリ603中、ハードディスク606上、または、例えばディスクなどのリムーバブルデジタル媒体上のいずれかに格納されてよい。別形によれば、プログラムの実行可能コードは、実行される前に、ハードディスク606など、通信デバイス600のストレージ手段の1つに格納するために、ネットワークインターフェース604を介し通信ネットワークを用いて受信することができる。
中央処理装置601は、本発明の諸実施形態によるプログラムまたはプログラム群の命令またはソフトウェアコードの部分の実行を制御し命令するようになされ、これら命令は、前述のストレージ手段の1つに格納される。電源が入ると、CPU601は、例えば、プログラムROM603またはハードディスク(HD:hard−disc)606からこれらの命令がロードされた後、主RAMメモリ602からの、ソフトウェアアプリケーションに関連する命令を実行することができる。かかるソフトウェアアプリケーションは、CPU601によって実行されると、前の図に示されたフローチャートのステップが実施されるようにする。
この実施形態において、装置は、本発明を実装するためにソフトウェアを用いるプログラマブル装置である。但し、これに換えて、本発明は、ハードウェアに(例えば、特定用途向け集積回路またはASIC(Application Specific Integrated Circuit)の形で)実装することも可能である。
上記で本発明を特定の実施形態を参照しながら説明してきたが、本発明はこれらの特定の実施形態に限定されるものでなく、当業者には諸修改が明らかであろうがそれらは本発明の範囲に含まれる。
例えば、本発明は、カメラ、スマートフォン、または、例えば特定の関心域にズームインするためTVに対する遠隔コントローラとして機能するタブレット、などのデバイスに組み込むことが可能である。また、本発明は、同様なデバイスから、特定の関心域を選択することによって、TVプログラムの個人的なブラウジング体験を得るために用いることもできる。ユーザによる、これらのデバイスおよび方法の別の利用法は、自分の好みのビデオの一部の選択されたサブパートを、他の接続されたデバイス群と共有することである。また、本発明は、監視カメラが本発明に沿ったデータを提供する方法に対応していれば、監視の下に置かれている建物の特定の区域中に発生したことを監視するためスマートフォンまたはタブレットで使用することも可能である。
前述の例示的な実施形態を参照して、当業者には、多くのさらなる修改および別形が浮かんでこよう。これらの実施形態は、例としてだけ示されたものであって本発明の範囲を限定するものでなく、その範囲は添付の特許請求の範囲だけによって決定される。具体的に、各種の実施形態による各種の特徴は適切な場合置き換えが可能である。

Claims (24)

  1. MPEG−DASHにおいて規定されるMPD(MediaPresentationDescription)をクライアントに提供するサーバであって、
    第1ピリオドに関連付けられた第1リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第1サブリプリゼンテーションと、前記第1ピリオドとは異なる第2ピリオドに関連付けられた第2リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第2サブリプリゼンテーションと、が所定の連続性を有していることを表すMPDを生成する生成手段と、
    前記生成手段により生成されたMPDをクライアントへ提供する提供手段と、を有し、前記第1及び第2サブリプリゼンテーションが前記所定の連続性を有していることは、前記MPDが有する前記第1及び第2サブリプリゼンテーションに同じ識別情報が記述されることによって表され、前記識別情報はアセットの識別のための識別子であることを特徴とするサーバ。
  2. MPEG−DASHにおいて規定されるMPD(MediaPresentationDescription)をクライアントに提供するサーバであって、
    第1ピリオドに関連付けられた第1リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第1サブリプリゼンテーションと、前記第1ピリオドとは異なる第2ピリオドに関連付けられた第2リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第2サブリプリゼンテーションと、が所定の連続性を有していることを表すMPDを生成する生成手段と、
    前記生成手段により生成されたMPDをクライアントへ提供する提供手段と、を有し、前記第1及び第2サブリプリゼンテーションが前記所定の連続性を有していることは、前記MPDが有する前記第1及び第2サブリプリゼンテーションに同じ識別情報が記述されることによって表され、前記第1リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの前記第1サブリプリゼンテーション以外のサブリプリゼンテーションと前記第2リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの前記第2サブリプリゼンテーション以外のサブリプリゼンテーションには、前記識別情報が記述されないことを特徴とするサーバ。
  3. 前記複数のサブリプリゼンテーションは、複数の画像領域に対応することを特徴とする請求項1又は2に記載のサーバ。
  4. 前記所定の連続性を有する前記第1及び第2サブリプリゼンテーションに対応する第1及び第2画像領域には、同一のオブジェクトが存在することを特徴とする請求項1乃至3のうち、何れか1項に記載のサーバ。
  5. 前記所定の連続性を有する前記第1及び第2サブリプリゼンテーションに対応する第1及び第2画像領域には、同一人物が存在することを特徴とする請求項1乃至3のうち、何れか1項に記載のサーバ。
  6. 前記MPDを取得した前記クライアントからメディアコンテンツの要求を受信する受信手段と、
    前記受信手段による前記要求の受信に応じて、前記要求に対応するメディアコンテンツを前記クライアントに対して送信する送信手段とを有することを特徴とする請求項1乃至5のうち、何れか1項に記載のサーバ。
  7. 前記提供手段は、前記クライアントからの要求に応じて前記MPDを提供することを特徴とする請求項1乃至6のうち、何れか1項に記載のサーバ。
  8. サブリプリゼンテーションは、リプリゼンテーションの一部であることを特徴とする請求項1乃至7のうち、何れか1項に記載のサーバ。
  9. サブリプリゼンテーションには、メディアコンテンツ構成要素に関する情報が記述されることを特徴とする請求項1乃至8のうち、何れか1項に記載のサーバ。
  10. MPEG−DASHにおいて規定されるMPD(MediaPresentationDescription)をサーバから受信するクライアントであって、
    第1ピリオドに関連付けられた第1リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第1サブリプリゼンテーションと、前記第1ピリオドとは異なる第2ピリオドに関連付けられた第2リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第2サブリプリゼンテーションと、が所定の連続性を有していることが、アセットの識別のための同じ識別子が前記第1及び第2サブリプリゼンテーションに記述されることによって表わされたMPDをサーバから受信する受信手段と、
    前記受信手段により受信されたMPDを参照して、要求すべきデータを決定する決定手段と、
    前記決定手段により決定されたデータを要求する要求手段と、を有することを特徴とするクライアント。
  11. MPEG−DASHにおいて規定されるMPD(MediaPresentationDescription)をサーバから受信するクライアントであって、
    第1ピリオドに関連付けられた第1リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第1サブリプリゼンテーションと、前記第1ピリオドとは異なる第2ピリオドに関連付けられた第2リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第2サブリプリゼンテーションと、が所定の連続性を有していることが前記第1及び第2サブリプリゼンテーションに同じ識別情報が記述されることによって表わされ、他のサブリプリゼンテーションには前記識別情報が記述されていないMPDをサーバから受信する受信手段と、
    前記受信手段により受信されたMPDを参照して、要求すべきデータを決定する決定手段と、
    前記決定手段により決定されたデータを要求する要求手段と、を有することを特徴とするクライアント。
  12. 前記要求手段による要求により前記サーバから取得されたビデオストリームに基づいてビデオを再生する再生手段を有することを特徴とする請求項10又は11に記載のクライアント。
  13. 前記再生手段は、前記第1ピリオドのメディアコンテンツとして前記第1サブリプリゼンテーションに対応する第1ビデオを再生し、前記第1ピリオドに続く前記第2ピリオドのメディアコンテンツとして、前記第1サブリプリゼンテーションと前記所定の連続性を有する前記第2サブリプリゼンテーションに対応する第2ビデオを再生することを特徴とする請求項12に記載のクライアント。
  14. 前記第1ビデオと前記第2ビデオはそれぞれ異なる画像領域に対応するビデオであることを特徴とする請求項13に記載のクライアント。
  15. MPEG−DASHにおいて規定されるMPD(MediaPresentationDescription)を提供するための情報処理方法であって、
    第1ピリオドに関連付けられた第1リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第1サブリプリゼンテーションと、前記第1ピリオドとは異なる第2ピリオドに関連付けられた第2リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第2サブリプリゼンテーションと、が所定の連続性を有していることを表すMPDを生成する生成工程と、
    前記生成工程により生成されたMPDを提供する提供工程と、を有し、
    前記第1及び第2サブリプリゼンテーションが前記所定の連続性を有していることは、前記MPDが有する前記第1及び第2サブリプリゼンテーションに同じ識別情報が記述されることによって表され、前記識別情報はアセットの識別のための識別子であることを特徴とする情報処理方法。
  16. MPEG−DASHにおいて規定されるMPD(MediaPresentationDescription)を提供するための情報処理方法であって、
    第1ピリオドに関連付けられた第1リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第1サブリプリゼンテーションと、前記第1ピリオドとは異なる第2ピリオドに関連付けられた第2リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第2サブリプリゼンテーションと、が所定の連続性を有していることを表すMPDを生成する生成工程と、
    前記生成工程により生成されたMPDをクライアントへ提供する提供工程と、を有し、前記第1及び第2サブリプリゼンテーションが前記所定の連続性を有していることは、前記MPDが有する前記第1及び第2サブリプリゼンテーションに同じ識別情報が記述されることによって表され、前記第1リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの前記第1サブリプリゼンテーション以外のサブリプリゼンテーションと前記第2リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの前記第2サブリプリゼンテーション以外のサブリプリゼンテーションには、前記識別情報が記述されないことを特徴とする情報処理方法。
  17. 前記複数のサブリプリゼンテーションは、複数の画像領域に対応することを特徴とする請求項15又は16に記載の情報処理方法。
  18. 前記第1及び第2サブリプリゼンテーションに対応する第1及び第2画像領域には、同一のオブジェクトが存在することを特徴とする請求項15又は17のうち、何れか1項に記載の情報処理方法。
  19. MPEG−DASHにおいて規定されるMPD(MediaPresentationDescription)に基づいてメディアコンテンツ構成要素を取得するための情報処理方法であって、
    第1ピリオドに関連付けられた第1リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第1サブリプリゼンテーションと、前記第1ピリオドとは異なる第2ピリオドに関連付けられた第2リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第2サブリプリゼンテーションと、が所定の連続性を有していることが、アセットの識別のための同じ識別子が前記第1及び第2サブリプリゼンテーションに記述されることによって表わされたMPDをサーバから受信する受信工程と、
    前記受信工程により受信されたMPDを参照して、要求すべきデータを決定する決定工程と、
    前記決定工程により決定されたデータを要求する要求工程と、を有することを特徴とする情報処理方法。
  20. MPEG−DASHにおいて規定されるMPD(MediaPresentationDescription)に基づいてメディアコンテンツ構成要素を取得するための情報処理方法であって、
    第1ピリオドに関連付けられた第1リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第1サブリプリゼンテーションと、前記第1ピリオドとは異なる第2ピリオドに関連付けられた第2リプリゼンテーションが有する複数のサブリプリゼンテーションのうちの第2サブリプリゼンテーションと、が所定の連続性を有していることが前記第1及び第2サブリプリゼンテーションに同じ識別情報が記述されることによって表わされ、他のサブリプリゼンテーションには前記識別情報が記述されていないMPDをサーバから受信する受信工程と、
    前記受信工程により受信されたMPDを参照して、要求すべきデータを決定する決定工程と、
    前記決定工程により決定されたデータを要求する要求工程と、を有することを特徴とする情報処理方法。
  21. 前記要求工程による要求により前記サーバから取得されたビデオストリームに基づいてビデオを再生する再生工程を有することを特徴とする請求項19又は20に記載の情報処理方法。
  22. 前記再生工程においては、前記第1ピリオドのメディアコンテンツとして前記第1サブリプリゼンテーションに対応する第1ビデオが再生され、前記第1ピリオドに続く前記第2ピリオドのメディアコンテンツとして前記第2サブリプリゼンテーションに対応する第2ビデオが再生されることを特徴とする請求項21のうち、何れか1項に記載の情報処理方法。
  23. コンピュータを請求項1乃至9のうち、何れか1項に記載のサーバの各手段として動作させるためのプログラム。
  24. コンピュータを請求項10乃至14のうち、何れか1項に記載のクライアントの各手段として動作させるためのプログラム。
JP2016574439A 2014-07-01 2015-07-01 タイムピリオドにまたがってオブジェクトを識別する方法および対応デバイス Active JP6632550B2 (ja)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
GB1411734.5 2014-07-01
GB1411734.5A GB2528039A (en) 2014-07-01 2014-07-01 Method for identifying objects across time periods and corresponding device
PCT/EP2015/065046 WO2016001336A1 (en) 2014-07-01 2015-07-01 Method for identifying objects across time periods and corresponding device

Publications (3)

Publication Number Publication Date
JP2017525244A JP2017525244A (ja) 2017-08-31
JP2017525244A5 JP2017525244A5 (ja) 2018-08-09
JP6632550B2 true JP6632550B2 (ja) 2020-01-22

Family

ID=51410467

Family Applications (1)

Application Number Title Priority Date Filing Date
JP2016574439A Active JP6632550B2 (ja) 2014-07-01 2015-07-01 タイムピリオドにまたがってオブジェクトを識別する方法および対応デバイス

Country Status (7)

Country Link
US (1) US10778743B2 (ja)
EP (1) EP3164996A1 (ja)
JP (1) JP6632550B2 (ja)
KR (1) KR101944601B1 (ja)
CN (2) CN106471815B (ja)
GB (1) GB2528039A (ja)
WO (1) WO2016001336A1 (ja)

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018173874A1 (ja) * 2017-03-24 2018-09-27 ソニー株式会社 コンテンツ提供システムおよびコンテンツ提供方法、並びにプログラム
CN113330751B (zh) * 2019-01-04 2024-03-01 诺基亚技术有限公司 用于媒体片段大小和优先级排名的存储和信令的方法和装置
US11438287B2 (en) * 2020-06-15 2022-09-06 Interactive Standard LLC System and method for generating and reproducing ultra short media content
KR102869436B1 (ko) * 2020-07-23 2025-10-14 삼성전자주식회사 통신 시스템에서 컨텐츠의 송수신을 제어하기 위한 방법 및 장치

Family Cites Families (40)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10387920B2 (en) * 2003-12-23 2019-08-20 Roku, Inc. System and method for offering and billing advertisement opportunities
JP4933354B2 (ja) * 2007-06-08 2012-05-16 キヤノン株式会社 情報処理装置、及び情報処理方法
EP2191402A4 (en) * 2007-08-20 2014-05-21 Nokia Corp SEGMENTED METADATA AND INDICES FOR STREAMED MULTIMEDIA DATA
GB2472264B (en) 2009-07-31 2014-12-17 British Sky Broadcasting Ltd Media substitution system
EP2290982A1 (en) * 2009-08-25 2011-03-02 Alcatel Lucent Method for interactive delivery of multimedia content, content production entity and server entity for realizing such a method
US9917874B2 (en) * 2009-09-22 2018-03-13 Qualcomm Incorporated Enhanced block-request streaming using block partitioning or request controls for improved client-side handling
KR101777347B1 (ko) * 2009-11-13 2017-09-11 삼성전자주식회사 부분화에 기초한 적응적인 스트리밍 방법 및 장치
US8510375B2 (en) * 2009-12-11 2013-08-13 Nokia Corporation Apparatus and methods for time mapping media segments in streaming media files
US9596447B2 (en) * 2010-07-21 2017-03-14 Qualcomm Incorporated Providing frame packing type information for video coding
US9467493B2 (en) * 2010-09-06 2016-10-11 Electronics And Telecommunication Research Institute Apparatus and method for providing streaming content
US9137555B2 (en) * 2010-10-05 2015-09-15 Telefonaktiebolaget L M Ericsson (Publ) Client, a content creator entity and methods thereof for media streaming
US9986009B2 (en) * 2010-10-06 2018-05-29 Electronics And Telecommunications Research Institute Apparatus and method for providing streaming content
CA2837638C (en) * 2011-06-07 2017-01-31 Lg Electronics Inc. Method for transmitting and receiving broadcast service and receiving device thereof
BR112013032846A2 (pt) 2011-06-28 2017-02-21 Ericsson Telefon Ab L M técnica para gerenciar o tráfego de mídia de transmissão em uma entidade de rede
CN103650451B (zh) * 2011-07-07 2016-10-19 瑞典爱立信有限公司 网络容量优化的自适应http流播
US9357275B2 (en) * 2011-09-06 2016-05-31 Qualcomm Incorporated Network streaming of coded video data
CN103765910B (zh) * 2011-09-12 2017-06-09 英特尔公司 用于视频流和其他内容的基于关键字的非线性导航的方法和设备
US8977704B2 (en) * 2011-12-29 2015-03-10 Nokia Corporation Method and apparatus for flexible caching of delivered media
WO2013098317A1 (en) * 2011-12-29 2013-07-04 Koninklijke Kpn N.V. Network-initiated content streaming control
CN102710603B (zh) * 2012-05-02 2014-10-08 华为技术有限公司 媒体信息的生成方法、终端、服务器及ahs系统
US10616297B2 (en) * 2012-07-09 2020-04-07 Futurewei Technologies, Inc. Content-specific identification and timing behavior in dynamic adaptive streaming over hypertext transfer protocol
US9954717B2 (en) * 2012-07-11 2018-04-24 Futurewei Technologies, Inc. Dynamic adaptive streaming over hypertext transfer protocol as hybrid multirate media description, delivery, and storage format
KR20150042255A (ko) * 2012-08-22 2015-04-20 후아웨이 테크놀러지 컴퍼니 리미티드 Mpeg-2 트랜스포트 스트림에서 iso-bmff 이벤트 박스의 캐리지
US9813740B2 (en) * 2012-08-24 2017-11-07 Google Inc. Method and apparatus for streaming multimedia data with access point positioning information
KR101786276B1 (ko) * 2012-10-12 2017-11-15 캐논 가부시끼가이샤 데이터를 스트리밍하기 위한 방법, 데이터를 제공하기 위한 방법, 데이터를 획득하기 위한 방법, 컴퓨터 판독 가능 저장 매체, 서버 장치, 및 클라이언트 장치
US9607132B2 (en) * 2012-10-22 2017-03-28 Koninklijke Kpn N.V. Token-based validation method for segmented content delivery
KR102015204B1 (ko) * 2012-10-26 2019-08-27 인텔 코포레이션 비디오 방향에 기초한 멀티미디어 적응
US9900609B2 (en) * 2013-01-04 2018-02-20 Nokia Technologies Oy Apparatus, a method and a computer program for video coding and decoding
JP6221142B2 (ja) * 2013-01-18 2017-11-01 ホアウェイ・テクノロジーズ・カンパニー・リミテッド メディアコンテンツに適応ストリーミングを実行するための方法及び装置
WO2014134177A2 (en) * 2013-02-27 2014-09-04 Apple Inc. Adaptive streaming techniques
GB2513140B (en) * 2013-04-16 2016-05-04 Canon Kk Methods, devices, and computer programs for streaming partitioned timed media data
US9705955B2 (en) * 2013-04-18 2017-07-11 Futurewei Technologies, Inc. Period labeling in dynamic adaptive streaming over hypertext transfer protocol
US9917869B2 (en) * 2013-09-23 2018-03-13 Spotify Ab System and method for identifying a segment of a file that includes target content
US10225319B2 (en) * 2013-09-30 2019-03-05 Telefonaktiebolaget Lm Ericsson (Publ) System and method of a link surfed http live streaming broadcasting system
JPWO2015060349A1 (ja) * 2013-10-22 2017-03-09 シャープ株式会社 表示制御装置、配信装置、表示制御方法、および表示制御システム
US20180376177A1 (en) * 2013-10-23 2018-12-27 Vidillion, Inc. System and methods for individualized digital video program insertion
CN103826123B (zh) * 2014-03-04 2017-01-18 无锡海之量软件科技有限公司 面向对象的视频控制流的编码及传输方法
US9866608B2 (en) * 2014-03-24 2018-01-09 Qualcomm Incorporated Processing continuous multi-period content
US10165028B2 (en) * 2014-03-25 2018-12-25 Intel Corporation Context-aware streaming of digital content
EP3162074A1 (en) * 2014-06-27 2017-05-03 Koninklijke KPN N.V. Determining a region of interest on the basis of a hevc-tiled video stream

Also Published As

Publication number Publication date
GB2528039A (en) 2016-01-13
KR20170009977A (ko) 2017-01-25
KR101944601B1 (ko) 2019-01-31
CN110708577A (zh) 2020-01-17
US10778743B2 (en) 2020-09-15
JP2017525244A (ja) 2017-08-31
EP3164996A1 (en) 2017-05-10
CN110708577B (zh) 2022-02-22
CN106471815B (zh) 2019-09-27
US20170142183A1 (en) 2017-05-18
GB201411734D0 (en) 2014-08-13
WO2016001336A1 (en) 2016-01-07
CN106471815A (zh) 2017-03-01

Similar Documents

Publication Publication Date Title
CN109804635B (zh) 在定时媒体数据流式传输期间改进渲染显示的方法和设备
US10862943B2 (en) Methods, devices, and computer programs for improving streaming of partitioned timed media data
KR102406887B1 (ko) 시간 설정형 미디어 데이터를 발생시키는 방법, 디바이스, 및 컴퓨터 프로그램
CN108476324B (zh) 增强视频流的视频帧中的感兴趣区域的方法、计算机和介质
US9794649B2 (en) Methods, devices, and computer programs for streaming partitioned timed media data
JP6289478B2 (ja) ビデオデータをストリーミングするための方法および対応するデバイス
US10931930B2 (en) Methods and apparatus for immersive media content overlays
KR20190008901A (ko) 가상 현실 미디어 콘텐트의 스트리밍을 개선하는 방법, 디바이스, 및 컴퓨터 프로그램
US20160029091A1 (en) Method of displaying a region of interest in a video stream
GB2506911A (en) Streaming data corresponding to divided image portions (tiles) via a description file including spatial and URL data
JP6632550B2 (ja) タイムピリオドにまたがってオブジェクトを識別する方法および対応デバイス
CN118633292A (zh) 用于媒体容器文件和流传输清单中的画中画的信令

Legal Events

Date Code Title Description
A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20180627

A621 Written request for application examination

Free format text: JAPANESE INTERMEDIATE CODE: A621

Effective date: 20180627

A977 Report on retrieval

Free format text: JAPANESE INTERMEDIATE CODE: A971007

Effective date: 20190123

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190205

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190405

A131 Notification of reasons for refusal

Free format text: JAPANESE INTERMEDIATE CODE: A131

Effective date: 20190423

A521 Request for written amendment filed

Free format text: JAPANESE INTERMEDIATE CODE: A523

Effective date: 20190621

TRDD Decision of grant or rejection written
A01 Written decision to grant a patent or to grant a registration (utility model)

Free format text: JAPANESE INTERMEDIATE CODE: A01

Effective date: 20191112

A61 First payment of annual fees (during grant procedure)

Free format text: JAPANESE INTERMEDIATE CODE: A61

Effective date: 20191210

R151 Written notification of patent or utility model registration

Ref document number: 6632550

Country of ref document: JP

Free format text: JAPANESE INTERMEDIATE CODE: R151