ES2515967T3 - Datos multimedia de múltiples vistas - Google Patents

Datos multimedia de múltiples vistas Download PDF

Info

Publication number
ES2515967T3
ES2515967T3 ES08877324.7T ES08877324T ES2515967T3 ES 2515967 T3 ES2515967 T3 ES 2515967T3 ES 08877324 T ES08877324 T ES 08877324T ES 2515967 T3 ES2515967 T3 ES 2515967T3
Authority
ES
Spain
Prior art keywords
multimedia
view
data
views
content
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES08877324.7T
Other languages
English (en)
Inventor
Per FRÖJDH
Zhuangfei Wu
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Telefonaktiebolaget LM Ericsson AB
Original Assignee
Telefonaktiebolaget LM Ericsson AB
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Telefonaktiebolaget LM Ericsson AB filed Critical Telefonaktiebolaget LM Ericsson AB
Application granted granted Critical
Publication of ES2515967T3 publication Critical patent/ES2515967T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/816—Monomedia components thereof involving special video data, e.g 3D video
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
    • H04N21/21—Server components or server architectures
    • H04N21/218—Source of audio or video content, e.g. local disk arrays
    • H04N21/21805—Source of audio or video content, e.g. local disk arrays enabling multiple viewpoints, e.g. using a plurality of cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/41—Structure of client; Structure of client peripherals
    • H04N21/422—Input-only peripherals, i.e. input devices connected to specially adapted client devices, e.g. global positioning system [GPS]
    • H04N21/4223—Cameras
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/60—Network structure or processes for video distribution between server and client or between remote clients; Control signalling between clients, server and network components; Transmission of management data between server and client, e.g. sending from server to client commands for recording incoming content stream; Communication details between server and client 
    • H04N21/65—Transmission of management data between client and server
    • H04N21/658—Transmission by the client directed to the server
    • H04N21/6587—Control parameters, e.g. trick play commands, viewpoint selection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
    • H04N21/81—Monomedia components thereof
    • H04N21/8126—Monomedia components thereof involving additional data, e.g. news, sports, stocks, weather forecasts
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H04N19/67—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience involving unequal error protection [UEP], i.e. providing protection according to the importance of the data

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Databases & Information Systems (AREA)
  • Testing, Inspecting, Measuring Of Stereoscopic Televisions And Televisions (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Television Signal Processing For Recording (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Signal Processing For Digital Recording And Reproducing (AREA)
  • Management Or Editing Of Information On Record Carriers (AREA)

Abstract

Un método de generación de datos multimedia de múltiples vistas que comprende: - proporcionar datos multimedia codificados representativos de múltiples vistas multimedia de un contenido multimedia, cada vista multimedia que está asociada con un identificador de prioridad estructural indicativo de una interrelación de codificación de datos multimedia de dicha vista multimedia en relación con datos multimedia de al menos otra vista multimedia de dichas múltiples vistas multimedia; caracterizado por - determinar, para cada vista multimedia de al menos una parte de dichas múltiples vistas multimedia, un identificador de prioridad de contenido indicativo de un nivel de importancia de representación de datos multimedia de dicha vista multimedia para un espectador; y - asociar dicho identificador de prioridad de contenido a dicha vista multimedia.

Description

5
10
15
20
25
30
35
40
45
50
E08877324
14-10-2014
DESCRIPCIÓN
Datos multimedia de múltiples vistas
Campo técnico
La presente invención se refiere de manera general a datos multimedia de múltiples vistas y en particular a generación y procesamiento de tales datos multimedia de múltiples vistas.
Antecedentes
La estandarización en curso de Codificación de Vídeo de Múltiples Vistas (MVC) por el Grupo de Expertos de Imágenes en Movimiento (MPEG) [1] y el Grupo de Estudio 16 (SG16) del Sector de Estandarización de Telecomunicación (ITU-T) es una tecnología de codificación de vídeo que codifica secuencias de vídeo producidas por varias cámaras o una disposición de cámaras. MVC explota la redundancia entre las múltiples vistas de vídeo de una manera eficiente para proporcionar un flujo de vídeo codificado compacto. MVC se basa en el estándar de Codificación de Vídeo Avanzada (AVC), también conocido como H.264 del ITU-T y consecuentemente la sintaxis y semántica de flujo de bits de MVC se ha mantenido similar a la sintaxis y semántica del flujo de bits de AVC.
ISO/IEC 14496-15 [2] es un estándar internacional diseñado para contener información del flujo de bits AVC en un formato flexible y extensible que facilita la gestión del flujo de bits de AVC. Este estándar es compatible con el Formato de Ficheros MP4 [3] y el Formato de Ficheros del 3GPP [4]. Todos estos estándares se derivan del Formato de Ficheros Multimedia Base ISO [5] definido por el MPEG. El almacenamiento de flujos de vídeo de MVC se conoce como el formato de ficheros de MVC.
En el formato de ficheros de MVC, un flujo de vídeo de múltiples vistas se representa por una o más pistas de vídeo en un fichero. Cada pista representa una o más vistas del flujo. El formato de fichero de MVC comprende, además de los datos de vídeo de múltiples vistas codificados por sí mismos, metadatos a ser usados cuando se procesan los datos de vídeo. Por ejemplo, cada vista tiene un identificador de vista asociado que implica que las unidades de la Capa de Abstracción de Red (NAL) de MVC dentro de una vista tienen todas el mismo identificador de vista, es decir el mismo valor de los campos view_id en las extensiones de cabecera de unidad de NAL de MVC.
La extensión de cabecera de unidad de NAL de MVC también comprende un campo priority_id que especifica un identificador de prioridad para la unidad de NAL. En los estándares propuestos [6], un valor inferior del priority_id especifica una mayor prioridad. El priority_id se usa para definir la prioridad de la unidad de NAL y es dependiente del flujo de bits ya que refleja la relación intercodificación de los datos de vídeo de diferentes vistas.
Compendio
Los identificadores de prioridad usados hoy en día especifican meramente relaciones intercodificación de los datos de vídeo de las vistas de cámara proporcionadas en el fichero de MVC. Tales prioridades relacionadas con codificación son, sin embargo, de uso limitado para lograr un procesamiento basado en contenido de los datos de vídeo de las diferentes vistas de cámara.
Las presentes realizaciones superan estos y otros inconvenientes de las disposiciones de la técnica anterior.
Es un objetivo general proporcionar datos multimedia de múltiples vistas que se pueden procesar más eficientemente.
Este y otros objetivos se cumplen por las realizaciones que se definen por las reivindicaciones de patente anexas.
En pocas palabras, una realización presente implica generar datos multimedia de múltiples vistas proporcionando datos multimedia codificados representativos de múltiples vistas multimedia de una escena. Cada una de las vistas multimedia se asocia con un identificador de prioridad estructural. El identificador de prioridad estructural es representativo de la interrelación de codificación de los datos multimedia de la vista multimedia asociada en relación con datos multimedia de al menos otra vista multimedia. De esta manera, los identificadores de prioridad estructural son dependientes del flujo de bits en la medida que se refieren a la codificación de los datos multimedia y proporcionan instrucciones del nivel jerárquico de predicciones entre vistas usadas en la codificación de datos multimedia.
Un identificador de prioridad de contenido se determina para cada vista multimedia de al menos una parte de las múltiples vistas multimedia. En claro contraste con los identificadores de prioridad estructural, un identificador de prioridad de contenido es representativo del nivel de importancia de representación de los datos multimedia de la vista multimedia asociada. El identificador de prioridad de contenido determinado se asocia con la vista multimedia relevante, por ejemplo estando incluido en uno o más paquetes de datos que transportan los datos multimedia de la vista multimedia o que se conecta a un identificador de vista indicativo de la vista multimedia.
Los datos multimedia codificados se pueden incluir opcionalmente como una o más pistas multimedia de un fichero contenedor multimedia. Los identificadores de prioridad estructural y los identificadores de prioridad de contenido
10
15
20
25
30
35
40
45
50
E08877324
14-10-2014
entonces se incluyen como metadatos aplicables a la pista o pistas multimedia durante el procesamiento de datos multimedia.
Los identificadores de prioridad de contenido permiten un procesamiento basado en contenido selectivo y diferencial de los datos multimedia de múltiples vistas en un dispositivo de procesamiento de datos. En tal caso, se selecciona un subconjunto de datos multimedia de los datos multimedia codificados en base a los identificadores de prioridad de contenido y preferiblemente también se basan en los identificadores de prioridad estructural. El procesamiento de datos multimedia entonces se aplica únicamente al subconjunto de datos multimedia seleccionado u otro tipo de procesamiento de datos multimedia se usa para el subconjunto de datos multimedia seleccionado comparado con los datos multimedia restantes.
Breve descripción de los dibujos
Las realizaciones junto con objetivos y ventajas adicionales de las mismas, se pueden comprender mejor haciendo referencia a la siguiente descripción tomada junto con los dibujos anexos, en los que:
La Fig. 1 es un diagrama de flujo que ilustra un método de generación de datos multimedia de múltiples vistas según una realización.;
La Fig. 2 es una ilustración esquemática de una disposición de cámaras que se pueden usar para grabar datos de vídeo de múltiples vistas;
La Fig. 3 es un diagrama de flujo que ilustra pasos adicionales del método de generación de datos multimedia en la Fig. 1;
La Fig. 4 es una ilustración esquemática de un fichero contenedor multimedia según una realización;
La Fig. 5 es un diagrama de bloques esquemático de un dispositivo de generación multimedia según una realización;
La Fig. 6 es un diagrama de flujo que ilustra un método de procesamiento de datos multimedia de múltiples vistas según una realización;
Las Fig. 7 a 11 son diagramas de flujo que ilustran diferentes realizaciones del paso de procesamiento del método de procesamiento de datos multimedia en la Fig. 6;
La Fig. 12 es un diagrama de bloques esquemático de un dispositivo de procesamiento de datos según una realización;
La Fig. 13 es un diagrama de bloques esquemático de un dispositivo de procesamiento de datos según otra realización; y
La Fig. 14 es una vista general de un ejemplo de sistema de comunicación en el que se pueden implementar las realizaciones.
Descripción detallada
En todos los dibujos, los mismos caracteres de referencia se usarán para elementos correspondientes o similares.
Las presentes realizaciones se refieren de manera general a generación y procesamiento de los denominados datos multimedia de múltiples vistas y en particular al suministro de información de prioridad y uso de tal información de prioridad en conexión con el procesamiento de datos multimedia.
Los datos multimedia de múltiples vistas implican que están disponibles múltiples vistas multimedia de un contenido multimedia, donde cada vista multimedia tal genera datos multimedia representativos del contenido multimedia pero desde una de múltiples vistas multimedia disponibles. Un ejemplo típico de tales medios de múltiples vistas es el vídeo de múltiples vistas. En tal caso, se proporcionan múltiples cámaras u otros equipos de grabación/creación multimedia o una disposición de múltiples cámaras tales respecto a una escena a grabar. Como las cámaras tienen diferentes posiciones en relación con el contenido y/o diferentes direcciones de apuntamiento y/o longitudes focales, proporcionan por ello vistas alternativas para el contenido. La Fig. 2 ilustra esquemáticamente este concepto con una disposición 10 de múltiples cámaras 12-18 colocadas cerca de una escena 30, por ejemplo un campo de futbol donde va a ser grabado un partido de fútbol por las diferentes cámaras 12-18. La figura también indica las vistas de cámara respectivas 22-28 de las cámaras 12-18. Las cámaras 12-18 se colocan, en este ejemplo ilustrativo, en diferentes posiciones a lo largo de la longitud del campo de fútbol y por lo tanto graban diferentes partes del campo. Esto supone que las cámaras 12-18 capturan diferentes versiones del contenido multimedia como se ven desde sus vistas de cámara respectivas 22-28.
Como es bien conocido en la técnica, la codificación de datos de vídeo se basa típicamente en predicciones de píxeles relativas, tal como en H.261, H.263, MPEG-4 y H.264. En H.264 hay tres métodos utilizados de predicción de píxeles, esto es intra, inter y bipredicción. Intrapredicción proporciona una predicción espacial de un bloque de
10
15
20
25
30
35
40
45
50
E08877324
14-10-2014
píxeles actuales a partir de píxeles decodificados previamente de la trama actual. Interpredicción da una predicción temporal del bloque de píxeles actual que usa un bloque de píxeles correspondiente pero desplazado en una trama decodificada previamente. La predicción bidireccional da una media ponderada de dos interpredicciones. De esta manera, las intratramas no dependen de ninguna trama previa en el flujo de vídeo, mientras que las intertramas, que incluyen tales intertramas con predicción bidireccional, usan compensación de movimiento de una o más de otras tramas de referencia en el flujo de vídeo.
La codificación de vídeo de múltiples vistas ha tomado un paso más allá esta codificación basada en predicción no solamente permitiendo predicciones entre tramas desde una única vista de cámara sino también predicción intervistas. De esta manera, una trama de referencia puede ser una trama de un mismo instante de tiempo relativo pero que pertenece a otra vista de cámara comparado con una trama actual a codificar. Una combinación de predicción intervistas e intravistas también es posible teniendo por ello múltiples tramas de referencia a partir de diferentes vistas de cámara.
Este concepto de tener múltiples vistas multimedia e intercodificación de los datos multimedia de las vistas multimedia no está limitado necesariamente a datos de vídeo. En claro contraste, el concepto de medios de múltiples vistas también se puede aplicar a otros tipos de medios, incluyendo por ejemplo gráficos, por ejemplo Gráficos de Vectores Escalables (SVG). Realmente, las realizaciones de la invención se pueden aplicar a cualquier tipo de medios que se pueden representar en forma de múltiples vistas multimedia y donde la codificación multimedia se puede realizar al menos parcialmente entre las vistas multimedia.
En la técnica y como se describe en el borrador de estándar MVC [6], la prioridad en forma del denominado priority_id se incluye en la cabecera de la unidad de NAL. En un caso particular, todas las unidades de NAL que pertenecen a una vista particular podrían tener el mismo priority_id, dando de esta manera un único identificador de prioridad de la técnica anterior por vista. Estos identificadores de prioridad de la técnica anterior se pueden considerar como los denominados identificadores de prioridad estructural dado que los identificadores de prioridad son indicativos de la interrelación de codificación de los datos multimedia de las diferentes de vistas multimedia. Por ejemplo y con referencia de Fig. 2, suponemos que la vista de cámara 26 se considera como la vista base. Esto supone que la vista de cámara 26 es una vista independiente, que está codificada y se puede codificar a partir de sus propios datos de vídeo sin ninguna predicción a partir de las otras vistas de cámara 22, 24, 28. Las dos vistas de cámara adyacentes 24, 28 entonces pueden ser dependientes de la vista base 26, implicando que esos datos de vídeo de estas vistas de cámara 24, 28 se pueden predecir a partir de datos de vídeo de la vista base 26. Finalmente, la última vista de cámara 22 podría ser dependiente de la vista de cámara colindante 24. Estos aspectos de dependencia dan una prioridad estructural como sigue:
Tabla I – identificadores de prioridad estructural
Vista de cámara*
22 24 26 28
Identificador de prioridad estructural
3 2 1 2
* Número de referencia de vista de cámara según la Fig. 2
En la Tabla I como en el estándar propuesto [6], un valor menor del identificador de prioridad estructural especifica una prioridad mayor. De esta manera, se da a la vista base 26 el menor identificador de prioridad estructural y con las dos vistas de cámara 22, 28 que se codifican en dependencia de la vista base 26 que tiene el siguiente menor identificador de prioridad estructural. La vista de cámara 22 que está siendo codificada en dependencia de una de las vistas de cámara 24, 28 con el segundo menor indicador de prioridad estructural por lo tanto tiene el mayor identificador de prioridad estructural de las cuatro vistas de cámara en este ejemplo.
Los identificadores de prioridad estructural son, de esta manera, dependientes del flujo de bits ya que reflejan la relación intercodificación de los datos de vídeo de diferentes vistas de cámara. Las realizaciones proporcionan y usan una forma alternativa de identificadores de prioridad que son aplicables a medios de múltiples vistas y son en su lugar dependientes del contenido.
La Fig. 1 es un diagrama de flujo que ilustra un método de generación de datos multimedia de múltiples vistas según una realización. El método comienza en el paso S1 donde se proporcionan datos codificados representativos de múltiples vistas multimedia de un contenido multimedia. Cada una de estas múltiples vistas multimedia está asociada con un identificador de prioridad estructural respectivo como se trató anteriormente. De esta manera, un identificador de prioridad estructural es indicativo de la interrelación de codificación de los datos multimedia de la vista multimedia en relación con datos multimedia de al menos otra vista multimedia de las múltiples vistas multimedia.
Este suministro de datos multimedia de múltiples vistas del paso S1 se puede implementar trayendo los datos multimedia desde una memoria multimedia accesible, en la que se han introducido previamente los datos multimedia. Alternativamente, los datos multimedia se reciben desde alguna otra unidad externa, donde se han
10
15
20
25
30
35
40
45
E08877324
14-10-2014
almacenado, grabado o generado los datos multimedia. Una posibilidad adicional es crear y codificar realmente los datos multimedia, tal como grabando una secuencia de vídeo o generando sintéticamente los datos multimedia.
Un siguiente paso S2 determina un denominado identificador de prioridad de contenido para una vista multimedia de las múltiples vistas multimedia disponibles. En claro contraste con los identificadores de prioridad estructural que son dependientes de interrelaciones de codificación entre las vistas multimedia, el identificador de prioridad de contenido determinado en el paso S2 es indicativo de un nivel de importancia de representación de los datos multimedia de la vista multimedia. De esta manera, los identificadores de prioridad de contenido son más relativos al contenido multimedia real y proporcionan prioridades a las vistas multimedia respecto a cómo son de importantes los datos multimedia que se originan desde una de las vistas multimedia en relación con los datos multimedia de las otras vistas multimedia.
Con una nueva referencia a la Fig. 2, generalmente se considera como que es de más valor para un espectador ver datos de vídeo relativos al área alrededor de una de las porterías en el campo de futbol. De esta manera, la vista de cámara 12 por lo tanto será considerada típicamente como que es de la mayor prioridad desde el punto de vista de contenido y representación. En línea con cómo se organizan los identificadores de prioridad estructural, el identificador de prioridad de contenido de la vista de cámara 12 tendría por lo tanto el menor valor de prioridad que corresponde a la mayor prioridad, ver la Tabla II.
Tabla II – identificadores de prioridad de contenido
Vista de cámara*
22 24 26 28
Identificador de prioridad de contenido
1 2 3 4
* Número de referencia de vista de cámara según la Fig. 2
De esta manera, desde un punto de vista de presentación, cuanto más cerca está la vista de cámara de la parte más interesante del campo de fútbol, es decir la portería, mayor es la prioridad de contenido y menor el identificador de prioridad de contenido de la vista de cámara.
En un planteamiento alternativo, cuanto mayor es la prioridad estructural/de contenido de una vista multimedia, mayor es el valor de identificador de prioridad estructural/de contenido.
El identificador de prioridad de contenido determinado del paso S2 entonces se asocia y asigna a la vista multimedia relevante de las múltiples vistas multimedia en el paso S3. Esta asociación se puede implementar almacenando el identificador de prioridad de contenido junto con un identificador de vista de la vista multimedia. Alternativamente, el identificador de prioridad de contenido se almacena junto con los datos multimedia de la vista multimedia relevante.
El identificador de prioridad de contenido se determina para al menos una parte de las múltiples vistas multimedia, la cual se ilustra esquemáticamente por la línea L1. Esto supone que el bucle formado por los pasos S2 y S3 se puede realizar una vez de manera que solamente una de las vistas multimedia tiene un identificador de prioridad de contenido. Preferiblemente, los pasos S2 y S3 se determinan múltiples veces y más preferiblemente una vez para cada vista multimedia de las múltiples vistas multimedia. De esta manera, si los datos multimedia de múltiples vistas se han grabado desde M vistas multimedia, los pasos S2 y S3 se pueden realizar N veces, donde 1 < N < M y M > 2.
El método entonces finaliza.
El identificador de prioridad de contenido es indicativo del nivel de importancia de representación o reproducción de los datos multimedia de la vista multimedia con la que está asociado el identificador de prioridad de contenido. Como se trató anteriormente en conexión con la Fig. 2, el valor del identificador de prioridad de contenido se puede determinar por lo tanto en base a las posiciones de grabación de las múltiples vistas multimedia en relación con la escena grabada. De esta manera, las posiciones, direcciones focales y/o longitudes focales de las cámaras 12-18 de las vistas de cámara 22-28 se pueden usar para determinar los identificadores de prioridad de contenido respectivos de las vistas de cámara 22-28. Un parámetro adicional o alternativo que se puede usar para determinar los identificadores de prioridad de contenido es la resolución a la que diferentes cámaras 12-18 graban una escena 30. Generalmente, es de mayor importancia de representación tener datos de vídeo de alta resolución de una escena 30 comparado con una versión de menor resolución de los datos de vídeo.
Los identificadores de prioridad de contenido de las realizaciones se pueden determinar por el proveedor de contenido grabando y/o procesando, tal como codificando, los datos multimedia de múltiples vistas. Por ejemplo, un operador manual puede, inspeccionando los datos multimedia grabados de las diferentes vistas multimedia, determinar y asociar identificadores de prioridad de contenido en base a sus opiniones de qué vista o vistas multimedia se considera o consideran como que son más importantes para un usuario espectador durante una representación multimedia comparado con otras vistas multimedia.
10
15
20
25
30
35
40
45
50
55
E08877324
14-10-2014
La determinación de identificadores de prioridad de contenido también se puede determinar automáticamente, es decir sin ninguna operación humana. En tal caso, cualquiera de los parámetros antes mencionados, tales como posición de cámara, dirección focal, longitud focal, resolución de cámara, se pueden usar por un procesador o algoritmo para clasificar las vistas de cámara en diferentes niveles de prioridad de contenido.
Los identificadores de prioridad de contenido determinados son, como los identificadores de prioridad estructural, típicamente estáticos, lo que implica que un único identificador de prioridad de contenido está asociado con una vista de cámara para el propósito de un contenido grabado. No obstante, algunas veces puede ser posible que el nivel de importancia de representación de datos multimedia de diferentes vistas multimedia realmente pueda cambiar con el tiempo. En tal caso, los identificadores de prioridad de contenido se pueden asociar con un denominado valor de tiempo de vida o ser diseñados para aplicar durante un periodo limitado de tiempo o durante una cantidad limitada de tramas multimedia. Por ejemplo, una vista multimedia podría tener un primer identificador de prioridad de contenido para las primeras f tramas multimedia o los primeros m minutos de contenido multimedia, mientras que se usa un segundo identificador de prioridad de contenido, diferente, para las siguientes tramas multimedia o la parte restante de los datos multimedia de esa vista multimedia. Esto se puede extender por supuesto a una situación con más de un cambio entre identificadores de prioridad de contenido para una vista multimedia.
La Fig. 3 es un diagrama de flujo que ilustra pasos opcionales, adicionales del método de generación de datos multimedia de múltiples vistas. El método continúa desde el paso S3 de la Fig. 1. Un siguiente paso S10 organiza los datos multimedia codificados de las múltiples vistas multimedia como al menos una pista multimedia de un fichero contenedor multimedia. El fichero contenedor multimedia puede ser, por ejemplo, un denominado fichero MVC o algún otro formato de fichero que se basa preferiblemente en el Formato de Ficheros Multimedia Base ISO.
El fichero contenedor multimedia se puede considerar como un paquete de entrada completo que se usa por un servidor multimedia durante una sesión multimedia para proporcionar contenido multimedia y formar datos multimedia en paquetes de datos transmisibles. De esta manera, el fichero contenedor preferiblemente comprende, además del contenido multimedia en sí mismo, información e instrucciones requeridas por el servidor multimedia para realizar el procesamiento y permitir la transmisión del contenido multimedia durante una sesión multimedia.
En una realización, cada vista multimedia tiene una pista multimedia asignada separadamente del fichero contenedor, proporcionando por ello una relación uno a uno entre el número de vistas multimedia y el número de pistas multimedia. Alternativamente, los datos multimedia de al menos dos, posiblemente todas, las vistas multimedia se pueden alojar en una única pista multimedia del fichero contenedor multimedia. La Fig. 4 ilustra esquemáticamente un ejemplo de un fichero contenedor multimedia 30 que tiene una o más pistas multimedia 32 que transportan los datos multimedia de múltiples vistas codificados.
Los datos multimedia respectivos de las múltiples vistas multimedia, independientemente de estar organizados en una o más pistas multimedia, se asignan preferiblemente respecto a los identificadores de vistas asociados con las vistas multimedia.
Un siguiente paso S11 de la Fig. 3 organiza asociativamente los identificadores de prioridad estructural en el fichero contenedor multimedia en relación con la al menos una pista multimedia desde el paso S10. Organizar asociativamente implica que un identificador de prioridad estructural se incluye en el fichero contenedor multimedia de tal manera que proporciona una asociación entre el identificador de prioridad estructural y la vista multimedia a la que aplica el identificador de prioridad estructural. De la misma manera, tal asociación en su lugar puede ser entre el identificador de prioridad estructural y los datos multimedia que se originan desde la vista multimedia a la que aplica el identificador de prioridad estructural.
La asociación puede ser en forma de un puntero desde la ubicación de almacenamiento de los datos multimedia de la vista multimedia dentro del fichero contenedor multimedia a la ubicación de almacenamiento del identificador de prioridad estructural o viceversa. Este puntero o metadatos por lo tanto permite, dados los datos multimedia particulares o su ubicación dentro del fichero contenedor multimedia, la identificación del identificador de prioridad estructural asociado o la ubicación de almacenamiento del identificador de prioridad estructural dentro del fichero. En lugar de emplear un puntero, los metadatos pueden incluir un identificador de vista de los datos multimedia/vista multimedia. Los metadatos entonces se usan para identificar uno de los datos multimedia a los que aplica el identificador de prioridad estructural.
La Fig. 4 ilustra esquemáticamente una realización de organización asociativamente de los identificadores de prioridad estructural 36 en el fichero contenedor multimedia 30. En esta realización, cada identificador de prioridad estructural 36 está asociado con un identificador de vista 34 que indica los datos multimedia y la vista multimedia a la que aplica el identificador de prioridad estructural 36.
El siguiente paso S12 de la Fig. 3 organiza asociativamente de la misma manera el identificador o identificadores de prioridad de contenido en el fichero contenedor multimedia en relación con la al menos una pista multimedia. De manera similar a los identificadores de prioridad estructural, la asociación se puede realizar mediante metadatos, tales como identificadores de vista que proporcionan la conexión entre datos multimedia/vista multimedia e identificador de prioridad de contenido en el fichero contenedor multimedia. Esto también se ilustra en la Fig. 4,
E08877324
14-10-2014
donde cada identificador de prioridad de contenido 38 está asociado con un identificador de vista 34 que indica los
datos multimedia y vista multimedia a la que aplica el identificador de prioridad de contenido 36. Un ejemplo no limitante de suministro de identificadores de prioridad de contenido a un fichero contenedor multimedia es incluir una casilla “vipr” en la Casilla de Descripción de Grupo de Muestras del fichero contenedor multimedia [6].
Tipos de Casilla: ‘vipr’ Contenedor: Casilla de Descripción de Grupo de Muestras (‘sgpd’) Obligatorio: No Cantidad: Cero o más
imagen1
donde view_count es el número total de vistas multimedia, view_id es el identificador de vista de la vista multimedia como se indica en ViewIdentifierBox en el documento [6] y content_priority_id es el identificador de prioridad de contenido.
Alternativamente, la casilla “vipr” se podría proporcionar en la Entrada de Muestras del fichero contenedor 15 multimedia. Tipos de Casilla: ‘vipr’ Contenedor: Entrada de Muestras (‘avc1’, ‘avc2’, ‘mvc1’) Obligatorio: No Cantidad: Exactamente uno
imagen2
Los pasos adicionales S10 a S12 de la Fig. 3 se pueden realizar en el orden descrito en la figura. Alternativamente, se puede usar cualquier otro orden secuencial de los pasos de operación S10-S12. Los pasos S10-S12 también se pueden realizar en paralelo o al menos parcialmente en paralelo.
Los identificadores de prioridad estructural y de contenido incluidos en el fichero contenedor multimedia además de
10
15
20
25
30
35
40
45
50
55
E08877324
14-10-2014
las pistas multimedia se pueden considerar como metadatos que se pueden usar durante el procesamiento de datos multimedia de múltiples vistas en las pistas multimedia. De esta manera, los identificadores de prioridad son aplicables a y útiles como datos adicionales para facilitar el procesamiento del fichero contenedor multimedia formado como se describe además en la presente memoria.
La Fig. 5 es un dispositivo de generación multimedia 100 para generar datos multimedia de múltiples vistas según una realización. El dispositivo de generación multimedia 100 comprende un proveedor multimedia 120 implementado para proporcionar datos multimedia codificados representativos de múltiples vistas multimedia de un contenido multimedia. Cada vista multimedia está asociada con un identificador de prioridad estructural indicativo de la interrelación de codificación de los datos multimedia de la vista multimedia en relación con datos multimedia de al menos otra vista multimedia. El proveedor multimedia 120 se puede conectar con un motor multimedia interno o externo que comprende equipos 12-18 para grabar o generar los datos multimedia de las múltiples vistas multimedia y un codificador 180 para codificar los datos multimedia grabados o generados. Alternativamente, el proveedor multimedia 120 recibe los datos multimedia, típicamente en una forma codificada o como datos multimedia no codificados, desde un receptor 110 conectado del dispositivo de generación multimedia 100. El receptor 110 entonces recibe los datos multimedia a través de una comunicación cableada o inalámbrica desde un terminal externo en el sistema de comunicación. Como alternativa adicional, el proveedor multimedia 120 puede traer los datos multimedia de múltiples vistas desde una memoria multimedia 140 conectada del dispositivo de generación multimedia 100.
Un asignador de prioridad 130 se implementa en el dispositivo de generación multimedia 100 para asignar identificadores de prioridad de contenido a una o más de las múltiples vistas multimedia. Los identificadores de prioridad de contenido son indicativos de los niveles de importancia de representación de los datos multimedia de las múltiples vistas multimedia. El asignador de prioridad 130 puede recibir los identificadores de prioridad de contenido de una fuente externa, tal como a través del receptor 110. Alternativamente, los identificadores de prioridad de contenido se pueden introducir manualmente por un creador de contenido, en cuyo caso el asignador de prioridad 130 incluye o se conecta a una entrada de usuario y trae los identificadores de prioridad de contenido de la entrada de usuario.
En una realización adicional, el dispositivo de generación multimedia 100 comprende un determinador de prioridad 150 conectado al asignador de prioridad 130. El determinador de prioridad 150 se dispone para determinar un identificador de prioridad de contenido para al menos una vista multimedia de las múltiples vistas multimedia. El determinador de prioridad 150 usa preferiblemente parámetros de entrada, tales como desde el motor multimedia, el proveedor multimedia 120, el receptor 110 o una entrada de usuario, respecto a las cámaras 12-18 o equipos usados para grabar o generar los datos multimedia de múltiples vistas. Estos parámetros de entrada incluyen al menos uno de la posición de cámara en relación con la escena grabada, dirección focal, longitud focal o resolución de cámara.
Los identificadores de prioridad de contenido determinados se reenvían desde el determinador de prioridad 150 al asignador de prioridad 130, el cual los asigna a las vistas multimedia respectivas. Cada vista multimedia por lo tanto recibe preferiblemente un identificador de prioridad de contenido asignado por el asignador de prioridad 130, aunque otras realizaciones asignan meramente los identificadores de prioridad de contenido a un subconjunto de al menos una vista multimedia de las múltiples vistas multimedia.
Un organizador de pistas opcional 160 se proporciona en el dispositivo de generación multimedia 100 y llega a ser operado si los datos multimedia de múltiples vistas desde el proveedor multimedia 120 van a ser organizados en un fichero contenedor multimedia. En tal caso, el organizador de pistas organiza los datos multimedia codificados desde el proveedor multimedia 120 como al menos una pista multimedia en el fichero contenedor multimedia.
Un organizador de prioridad 170 se implementa preferiblemente en el dispositivo de generación multimedia 100 para organizar identificadores de prioridad en el fichero contenedor multimedia. El organizador de prioridad 170 organiza asociativamente por lo tanto los identificadores de prioridad estructural y los identificadores de prioridad de contenido en el fichero contenedor multimedia en relación con la una o más pistas multimedia. En tal caso, el organizador de prioridad 170 almacena preferiblemente cada uno de los identificadores de prioridad estructural y de contenido junto con un identificador de vista respectivo que representa la vista multimedia y los datos multimedia a los que aplica el identificador de prioridad estructural o de contenido.
La trama de contenedor multimedia generada según una realización del dispositivo de generación multimedia 100 se puede introducir en la memoria multimedia 140 para una transmisión posterior a una unidad externa que es para reenviar o procesar el fichero contenedor multimedia. Alternativamente, el fichero contenedor multimedia se puede transmitir directamente a esta unidad externa, tal como un servidor multimedia, transcodificador o terminal de usuario con facilidades de representación o reproducción multimedia.
Las unidades 110-130 y 150-170 del dispositivo de generación multimedia 100 se pueden proporcionar en hardware, software o una combinación de hardware y software. El dispositivo de generación multimedia 100 se puede disponer ventajosamente en un nodo de red de un sistema de comunicación basado en radio, cableado o preferiblemente inalámbrico. El dispositivo de generación multimedia 100 puede constituir una parte de un proveedor o servidor de
10
15
20
25
30
35
40
45
E08877324
14-10-2014
contenido o se puede conectar al mismo.
Los identificadores de prioridad de contenido determinados y asignados a datos multimedia de múltiples vistas como se trató anteriormente proporcionan procesamiento basado en contenido mejorado de los datos multimedia de múltiples vistas comparado con datos multimedia de múltiples vistas correspondientes que meramente han asignado identificadores de prioridad estructural.
Por ejemplo, supongamos una disposición de grabación de vídeo como se ilustra en la Fig. 2 con cuatro cámaras de grabación de vídeo. Los identificadores de prioridad estructural se asignan como se trató anteriormente e ilustró en la Tabla I y los identificadores de prioridad de contenido se asignan como se ilustró en la Tabla II. La Tabla III es básicamente una fusión entre la Tabla I y la Tabla II y enumera tanto los identificadores de prioridad estructural como de contenido para el ejemplo ilustrado en la Fig. 2.
Tabla III – identificadores de prioridad
Vista de cámara*
22 24 26 28
Identificador de prioridad estructural
3 2 1 2
Identificador de prioridad de contenido
1 2 3 4
* Número de referencia de vista de cámara según la Fig. 2
Supongamos una situación donde datos multimedia que corresponden a una de las vistas multimedia tienen que ser cortados y descartados, por ejemplo, debido a una capacidad de almacenamiento limitada y/o ancho de banda limitado cuando se transmiten los datos multimedia de múltiples vistas.
Según las técnicas de la técnica anterior, se descartan datos multimedia en base únicamente a los identificadores de prioridad estructural. Esto supone que los datos multimedia desde la vista multimedia 22 y la cámara 12 que se coloca más cerca de una de las porterías del campo de fútbol se descartarán ya que tienen el mayor identificador de prioridad estructural asignado y por lo tanto la menor prioridad estructural. No obstante, en realidad esta vista de cámara 22 se considera típicamente como que es la más importante ya que está más cerca de la portería y es la única vista de cámara de las cuatro vistas de cámara ilustradas 22-28 que capturará cualquier gol marcado durante el partido de fútbol.
No obstante, utilizando también los identificadores de prioridad de contenido en el procesamiento multimedia, es decir el corte multimedia en este ejemplo, se logra un procesamiento multimedia más correcto desde un punto de vista de representación multimedia. De esta manera, usando solamente los identificadores de prioridad de contenido
o en realidad tanto los identificadores de prioridad de contenido como los identificadores de prioridad estructural en el corte multimedia, los datos multimedia que se originan a partir de la vista multimedia 28 se descartarán ya que tienen el mayor identificador de prioridad de contenido y también el mayor identificador de prioridad total, es decir el identificador de prioridad de contenido más el identificador de prioridad estructural. Extraer los datos multimedia de la vista multimedia 28 en lugar de la vista multimedia 22 más cerca de la portería es mucho más preferido desde un punto de vista del usuario espectador cuando la anotación de un gol se considera como la parte más interesante para ver de un partido de fútbol.
La Fig. 6 es un diagrama de flujo que ilustra un método que procesa datos multimedia de múltiples vistas según una realización. El método comienza en el paso S20, donde se reciben datos multimedia codificados representativos de múltiples vistas multimedia de contenido multimedia. Esta recepción de datos puede ser en forma de paquetes de datos de recepción de los datos multimedia codificados de un servidor multimedia o proveedor de contenidos. Alternativamente, los datos multimedia se pueden incluir en un fichero contenedor multimedia que se recibe en forma de un número de paquetes de datos. Cada una de las vistas multimedia relativas a los datos multimedia tiene un identificador de prioridad estructural respectivo y al menos una parte de las vistas multimedia además tiene un identificador de prioridad de contenido respectivo como se describió previamente.
El siguiente paso S21 selecciona un subconjunto de datos multimedia de los datos multimedia de múltiples vistas recibidos. De esta manera, este paso S21 selecciona datos multimedia que corresponden a un subconjunto de las múltiples vistas multimedia. Como consecuencia, el paso S21 selecciona datos multimedia de P vistas multimedia, donde 1<P<M y M representa el número total de vistas multimedia para los datos multimedia de múltiples vistas presentes.
La selección de subconjunto se realiza además al menos parcialmente en base a al menos un identificador de prioridad de contenido asociado con las vistas multimedia. El paso S21 se puede realizar únicamente en base a los identificadores de prioridad de contenido pero preferiblemente también se basa en los identificadores de prioridad estructural. Esto es ventajoso en particular cuando se cortan o descartan datos multimedia ya que de otro modo se podrían descartar datos multimedia de una vista base cuando solamente se consideran los identificadores de
10
15
20
25
30
35
40
45
50
55
E08877324
14-10-2014
prioridad de contenido, haciendo por ello los datos multimedia restantes indecodificables.
El subconjunto de datos multimedia seleccionados a partir del paso S21 se procesa además en el paso S22. De esta manera, el identificador de prioridad de contenido de las realizaciones se usa para clasificar datos multimedia de diferentes vistas para lograr por ello un procesamiento de datos multimedia diferencial procesando solamente un subconjunto de datos multimedia o aplicando opcionalmente al menos otra forma de procesamiento a los datos multimedia restantes de los datos multimedia de múltiples vistas.
El método entonces finaliza.
Las Fig. 7 a 11 ilustran diferentes realizaciones de procesamiento diferencial que se puede realizar en respuesta a la selección multimedia basada en prioridad.
En la Fig. 7 algunos de los datos multimedia de los datos multimedia de múltiples vistas tienen que ser cortados o descartados, tal como del fichero contenedor multimedia. Esto puede ser necesario a fin de reducir el tamaño total en términos de bits de los datos multimedia de múltiples vistas codificados en aplicaciones de almacenamiento limitado. Una situación alternativa pero relacionada es cuando es necesario o al menos deseable extraer algunos de los datos multimedia con el propósito de reducir la cantidad de datos que se transmiten a un receptor. Tal aplicación de ancho de banda limitado a menudo surge en sistemas de comunicación basados en radio, inalámbricos, donde la cantidad disponible de recursos de comunicación, tales como intervalos de tiempo, frecuencias, códigos de espectro ensanchado o canal, etc., es limitada.
El paso S30 de la Fig. 7 realiza el corte y descarte del subconjunto de datos multimedia seleccionado en el paso S21 de la Fig. 6. De esta manera, los datos multimedia de los datos de múltiples vistas codificados a descartar se basan al menos parcialmente en los identificadores de prioridad de contenido y preferiblemente en base a estos identificadores y los identificadores de prioridad estructural. En lugar de usar también los identificadores de prioridad estructural además de los identificadores de prioridad de contenido en la selección de los datos multimedia a cortar, se podría usar otra información descriptiva de la dependencia de codificación de los datos multimedia a partir del diferente uso junto con los identificadores de prioridad de contenido.
La Fig. 8 es una realización alternativa del paso de procesamiento de datos. Esta realización también es aplicable en aplicaciones de ancho de banda limitado. No obstante, en contraste con la Fig. 7, los datos multimedia no se descartan necesariamente. En claro contraste, el subconjunto de datos multimedia seleccionados en la Fig. 6 en base a los identificadores de prioridad de contenido se transmite por cable o inalámbricamente a otro terminal, nodo de red o unidad que tiene capacidad de recepción en el paso S40. Los datos multimedia restantes entonces no se envían a la unidad o posiblemente se envían en una ocasión posterior.
Si un terminal tiene capacidad de representación, tal como un reproductor multimedia, pero no puede o no selecciona para decodificar y representar todos los datos multimedia de múltiples vistas, los identificadores de prioridad de contenido se pueden usar para seleccionar el subconjunto de datos multimedia para decodificar y representar en el paso S50 de la Fig. 9. El paso S50 se puede usar, por ejemplo, cuando el reproductor multimedia solamente puede representar datos multimedia de una única vista multimedia o de un conjunto de vistas multimedia. Entonces es importante que los medios decodificados y reproducidos tengan un nivel de importancia para un usuario espectador tan alto como sea posible. Aunque obsérvese que incluso aunque los datos multimedia de un subconjunto de vistas multimedia se decodifican y representan en el paso S50 esos datos multimedia podrían requerir la decodificación pero no necesariamente la representación de datos multimedia de otra vista multimedia no incluida en el subconjunto, debido a las predicciones intervistas en la codificación y decodificación multimedia. Por ejemplo, una vista base no seleccionada para ser incluida en el subconjunto de datos multimedia se podría necesitar para decodificar una de las vistas multimedia que deberían ser tanto decodificadas como representadas.
La protección de datos se aplica a menudo a datos multimedia y paquetes de datos transmitidos sobre redes basadas en radio para combatir los efectos perjudiciales del desvanecimiento y las interferencias. Generalmente, cuanto mayor es el nivel de protección de datos, más datos extra o de sobrecarga se necesitan. Es por lo tanto un equilibrio entre nivel de protección y la sobrecarga extra. Los identificadores de prioridad de contenido se pueden usar ventajosamente como base para identificar los datos multimedia en una disposición de múltiples vistas que debería tener el mayor nivel de protección de datos. De esta manera, los datos multimedia que tienen identificadores de prioridad de contenido baja y por lo tanto se consideran como que son de alta importancia de representación pueden tener un primer nivel de protección de datos en el paso S60 de la Fig. 10, mientras que los datos multimedia menos importantes de otras vistas multimedia pueden tener un segundo nivel, más bajo, de protección de datos. Esto por supuesto se puede extender a una situación que proporcione más de dos niveles diferentes de protección de datos.
Ejemplos de tal protección de datos que se puede usar en conexión con esta realización son Corrección de Error sin Canal de Retorno (FEC), suma de comprobación, código de Hamming, Comprobación de Redundancia Cíclica (CRC), etc., los cuales son adecuados para transmisión en tiempo real ya que cualquier error se puede corregir instantáneamente.
Para aplicaciones no en tiempo real, una Petición de Repetición Automática (ARQ), tal como en TCP/IP (Protocolo
10
15
20
25
30
35
40
45
50
55
E08877324
14-10-2014
de Control de Transmisión/Protocolo de Internet), donde se requieren retransmisiones cuando ocurre un error, también se pueden usar para proporcionar protección de datos.
El cifrado es otro tipo de protección de datos de alto nivel que se podría considerar en la presente memoria. En tal caso, los identificadores de prioridad de contenido se pueden usar para determinar en qué medida se debería aplicar la intensidad de protección de cifrado.
La prioridad de contenido también se puede usar para proporcionar una tarificación diferencial de contenido multimedia proporcionado. De esta manera, los datos multimedia de vistas multimedia que se consideran como que son de mayor relevancia de representación e importancia para los espectadores que compran se pueden tarificar de manera diferente, es decir, a un coste mayor, que los datos multimedia menos importantes, los cuales tienen comparativamente mayores identificadores de prioridad de contenido. Este concepto se ilustra en la Fig. 11, donde el paso S70 proporciona información de tarificación para los datos multimedia de múltiples vistas en base al menos parcialmente a los identificadores de prioridad de contenido.
La Fig. 12 es una ilustración esquemática de una realización de un dispositivo de procesamiento de datos 200 para procesar datos multimedia de múltiples vistas. En la figura, el dispositivo de procesamiento de datos 200 se ha ilustrado de manera no limitada en forma de un terminal de usuario que tiene funcionalidad de reproducción multimedia. Tal terminal de usuario 200 puede, por ejemplo, ser un terminal de usuario portátil de un sistema de comunicación inalámbrico, tal como un teléfono móvil, Asistente Digital Personal, ordenador portátil con equipo de comunicación, etc. Otros ejemplos de terminales de usuario que pueden beneficiarse de la invención incluyen ordenadores, consolas de juegos, decodificadores de TV y otros equipos adaptados para procesar y representar datos multimedia de múltiples vistas. Además, el dispositivo de procesamiento de datos 200 no tiene que ser necesariamente un dispositivo de representación multimedia. En claro contraste, el dispositivo de procesamiento de datos 200 podría usar los identificadores de prioridad de contenido como se describe en la presente memoria para otros propósitos de procesamiento.
El dispositivo de procesamiento de datos 200 comprende un receptor 210 para recibir datos multimedia codificados representativos de múltiples vistas multimedia de un contenido multimedia. Los datos multimedia, transportados en un número de paquetes de datos, pueden estar en forma de un fichero contenedor multimedia que comprende, además de los datos multimedia codificados en al menos una pista multimedia, metadatos aplicables durante el procesamiento de los datos multimedia. Estos metadatos comprenden, entre otros, los identificadores de prioridad estructural y de contenido descritos en la presente memoria. Si los datos multimedia de múltiples vistas no se proporcionan en forma de un fichero contenedor multimedia, los datos multimedia de cada vista multimedia comprenden en al menos uno de sus paquetes de datos, tal como en la cabecera de los mismos, el identificador de prioridad estructural y de contenido aplicable a esa vista multimedia.
El dispositivo de procesamiento de datos 200 también comprende un selector multimedia 220 dispuesto para seleccionar un subconjunto de datos multimedia de los datos multimedia de múltiples vistas recibidos. El selector multimedia 220 recupera los identificadores de prioridad de contenido para las diferentes vistas multimedia asociadas con los datos multimedia y preferiblemente también recupera los identificadores de prioridad estructural. El selector multimedia 220 usa los identificadores de prioridad de contenido recuperados y preferiblemente los identificadores de prioridad estructural para identificar y seleccionar el subconjunto de datos multimedia particular para proceso adicional.
El procesamiento adicional de los datos multimedia del subconjunto de datos multimedia seleccionado se puede realizar por el dispositivo de procesamiento 200 de usuario en sí mismo o por un dispositivo adicional conectado al mismo. Por ejemplo, el dispositivo de procesamiento de datos 200 puede comprender un cortador multimedia 250 para cortar y descartar datos multimedia que corresponden a uno o un subconjunto de todas las vistas multimedia de los datos multimedia de múltiples vistas. El cortador multimedia 250 entonces corta el subconjunto de datos multimedia seleccionado por el selector multimedia 220 en base al menos parcialmente a los identificadores de prioridad de contenido.
El corte de los datos multimedia se puede requerir para reducir el tamaño de bits total de los datos multimedia de múltiples vistas cuando se almacenan en una memoria multimedia 230 o reducir el ancho de banda cuando se transmiten por un transmisor 210 del dispositivo de procesamiento de datos 200.
El dispositivo de procesamiento de datos 200 se puede adaptar para decodificar los datos multimedia recibidos y entonces representarlos en una pantalla de visualización incluida o conectada 280. En tal caso, un decodificador 245 podría operar para decodificar solamente el subconjunto de datos multimedia seleccionado por el selector multimedia 220. Los datos multimedia decodificados se representan por un reproductor multimedia 240 y por lo tanto se visualizan en la pantalla de visualización 280. En un planteamiento alternativo, el decodificador 245 puede decodificar más datos multimedia que el subconjunto de datos multimedia seleccionado. No obstante, el reproductor multimedia 240 representa meramente los datos multimedia correspondientes al subconjunto de datos multimedia seleccionado por el selector multimedia 220. Cualesquiera datos multimedia no representados pero decodificados se podrían requerir para decodificar al menos algunos de los datos multimedia en el subconjunto de datos multimedia seleccionados debido a cualquier codificación/decodificación predictiva intervistas.
10
15
20
25
30
35
40
E08877324
14-10-2014
Las unidades 210, 220, 240 y 250 del dispositivo de procesamiento de datos 200 se pueden proporcionar en hardware, software o una combinación de hardware y software.
La Fig. 13 es un diagrama de bloques esquemático de otra realización de un dispositivo de procesamiento de datos
300. Este dispositivo de procesamiento de datos 300 se puede implementar en un nodo de red, tal como una estación base, de un sistema o red de comunicación inalámbrica. En similitud con la realización ilustrada en la Fig. 12, el dispositivo de procesamiento de datos 300 de la Fig. 13 comprende un transmisor/receptor (TX/RX) 310 para transmitir y recibir datos. El dispositivo de procesamiento de datos 300 además comprende un selector multimedia 320, una memoria multimedia 330 y un cortador multimedia 350. La operación de estas unidades es similar a las unidades correspondientes en el dispositivo de procesamiento de datos 200 de la Fig. 12 por lo tanto no se trata más en la presente memoria.
Un aplicador de protección 360 se proporciona opcionalmente en el dispositivo de procesamiento de datos para aplicar niveles diferenciales de protección de datos a los paquetes de datos que transportan los datos multimedia de múltiples vistas. Esta protección de datos diferencial permite al aplicador de protección aplicar un primer nivel de protección de datos a paquetes de datos que transportan datos multimedia del subconjunto de datos multimedia seleccionado por el selector multimedia 320. De la misma manera, un segundo, diferente o múltiples niveles diferentes de protección de datos se aplican entonces a los paquetes de datos que transportan el resto de los datos multimedia.
Un aplicador de tarificación opcional 370 se puede disponer en el dispositivo de procesamiento de datos 300 para proporcionar información de tarificación aplicable a los datos multimedia de múltiples vistas. Un coste diferenciado para datos multimedia de diferentes vistas multimedia entonces se usa preferiblemente por el aplicador de tarificación 370 usando los identificadores de prioridad de contenido. De esta manera, el aplicador de tarificación 370 determina un primer coste de tarificación para los datos multimedia del subconjunto de datos multimedia seleccionado por el selector multimedia 320. Al menos un segundo coste de tarificación, diferente, se determina de la misma manera para el resto de los datos multimedia.
Las unidades 310, 320 y 350-370 del dispositivo de procesamiento de datos 300 se pueden proporcionar en hardware, software o una combinación de hardware y software.
En las Fig. 12 y 13 se ha usado una unidad combinada, es decir un transceptor, que comprende tanto una funcionalidad de recepción como de transmisión. Alternativamente, se pueden usar un receptor dedicado y un transmisor dedicado conectados opcionalmente, en implementaciones inalámbricas, para separar una antena de recepción y una antena de transmisión o una antena de recepción y de transmisión combinadas.
La Fig. 14 es una vista general esquemática de una parte de un sistema de comunicación inalámbrico 600 en el que se pueden implementar realizaciones. El sistema de comunicación 600 comprende uno o más nodos de red o estaciones base 500, 550 que proporcionan servicios de comunicación a terminales de usuario conectados 200. Al menos una de las estaciones base 500 comprende o está conectada a un servidor o proveedor multimedia 400 que comprende el dispositivo de generación de medios 100 descrito anteriormente y divulgado en la Fig. 5. Los datos multimedia de múltiples vistas con los identificadores de prioridad estructural o de contenido se distribuyen a terminales de usuario y/u otros dispositivos de procesamiento 300 proporcionados en el sistema de comunicación
600. En tal caso, los datos de múltiples vistas se pueden transmitir, a terminales de usuario 200, en una transmisión unidifusión o en forma de una transmisión multidifusión o de difusión como se ilustra esquemáticamente en la figura.
Se entenderá por los expertos en la técnica se que pueden hacer diversas modificaciones y cambios a la presente invención sin apartarse del alcance de la misma, el cual se define por las reivindicaciones adjuntas.
E08877324
14-10-2014
REFERENCIAS
[1] ISO/IEC JTC1/SC29/WG11 – Coding of Moving Pictures and Audio, MPEG-4 Overview, julio de 2000
[2] ISO/IEC 14496-15:2004 – Information Technology, Coding of AudioVisual Objects, Part 15: Advanced Video Coding (AVC) File Format
5 [3] ISO/IEC 14496-14:2003 – Information Technology, Coding of AudioVisual Objects, Part 14: MP4 File Format
[4] 3GPP TS 26.244 V7.3.0 – 3rd Generation Partnership Project; Technical Specification Group Services and Systems Aspects; Transparent end-to-end packet switched streaming service (PSS); 3GPP file format, 2007.
[5] ISO/IEC 14496-12:2005 – Information Technology, Coding of AudioVisual Objects, Part 12: ISO Base Media File Format
10 [6] ISO/IEC 14496-15, Working Draft 2.0 MVC File Format, julio de 2008, Hannover, Alemania, Documento nº 10062

Claims (21)

  1. 5
    10
    15
    20
    25
    30
    35
    40
    45
    E08877324
    14-10-2014
    REIVINDICACIONES
    1. Un método de generación de datos multimedia de múltiples vistas que comprende:
    -
    proporcionar datos multimedia codificados representativos de múltiples vistas multimedia de un contenido multimedia, cada vista multimedia que está asociada con un identificador de prioridad estructural indicativo de una interrelación de codificación de datos multimedia de dicha vista multimedia en relación con datos multimedia de al menos otra vista multimedia de dichas múltiples vistas multimedia; caracterizado por
    -
    determinar, para cada vista multimedia de al menos una parte de dichas múltiples vistas multimedia, un identificador de prioridad de contenido indicativo de un nivel de importancia de representación de datos multimedia de dicha vista multimedia para un espectador; y
    -
    asociar dicho identificador de prioridad de contenido a dicha vista multimedia.
  2. 2.
    El método según la reivindicación 1, en donde dicha determinación de un identificador de prioridad de contenido comprende determinar, para cada vista multimedia de dichas múltiples vistas multimedia, un identificador de prioridad de contenido respectivo.
  3. 3.
    El método según la reivindicación 1 o 2, en donde dicha determinación de un identificador de prioridad de contenido comprende determinar dicho identificador de prioridad de contenido en base a las posiciones de grabación respectivas de dichas múltiples vistas multimedia en relación con una escena grabada.
  4. 4.
    El método según cualquiera de las reivindicaciones 1 a 3, que además comprende:
    - organizar dichos datos multimedia codificados de dichas múltiples vistas multimedia como al menos una pista multimedia de un fichero contenedor multimedia;
    -
    incluir dichos identificadores de prioridad estructural en dicho fichero contenedor multimedia;
    -
    asociar dichos identificadores de prioridad estructural con las vistas multimedia respectivas a las cuales aplican dichos identificadores de prioridad estructural;
    -
    incluir dicho al menos un identificador de prioridad de contenido en dicho fichero contenedor multimedia; y
    -
    asociar dicho al menos un identificador de prioridad de contenido con una vista multimedia respectiva a la cual aplica dicho identificador de prioridad de contenido.
  5. 5.
    El método según la reivindicación 4, en donde dicha asociación de dicho al menos un identificador de prioridad de contenido comprende almacenar dicho al menos un identificador de prioridad de contenido junto con un identificador de vista asignado a dicha vista multimedia asociada.
  6. 6.
    Un dispositivo de generación multimedia para generar datos multimedia de múltiples vistas que comprende:
    -
    un proveedor multimedia para proporcionar datos multimedia codificados representativos de múltiples vistas multimedia de un contenido multimedia, cada vista multimedia que está asociada con un identificador de prioridad estructural indicativo de una interrelación de codificación de datos multimedia de dicha vista multimedia en relación con datos multimedia de al menos otra vista multimedia de dichas múltiples vistas multimedia; caracterizado por
    -
    un asignador de prioridad para asignar, a cada vista multimedia de al menos una parte de dichas múltiples vistas multimedia, un identificador de prioridad de contenido indicativo de un nivel de importancia de representación de datos multimedia de dicha vista multimedia para un espectador.
  7. 7.
    El dispositivo según la reivindicación 6, que además comprende un determinador de prioridad para determinar, para cada vista multimedia de dicha al menos una parte de dichas múltiples vistas multimedia, dicho identificador de prioridad de contenido en base a las posiciones de grabación respectivas de dichas múltiples vistas multimedia en relación con una escena grabada.
  8. 8.
    El dispositivo según la reivindicación 6 o 7, que además comprende:
    -
    un organizador de pistas para organizar dichos datos multimedia codificados de dichas múltiples vistas multimedia según al menos una pista multimedia de un fichero contenedor multimedia; y
    -
    un organizador de prioridad para incluir dichos identificadores de prioridad estructural en dicho fichero contenedor multimedia, asociando dichos identificadores de prioridad estructural con las vistas multimedia respectivas a las cuales aplican los identificadores de prioridad estructural, incluyendo dicho al menos un identificador de prioridad de contenido en dicho fichero contenedor multimedia y asociando dicho al menos un identificador de prioridad de contenido con una vista multimedia respectiva a la cual aplica dicho identificador de prioridad de contenido.
  9. 9. El dispositivo según la reivindicación 8, en donde dicho organizador de prioridad se dispone para asociar dicho al
    14
    5
    10
    15
    20
    25
    30
    35
    40
    45
    50
    E08877324
    14-10-2014
    menos un identificador de prioridad de contenido y dichos identificadores de prioridad estructural con una vista multimedia respectiva almacenando dicho al menos un identificador de prioridad de contenido y dichos identificadores de prioridad estructural junto con un identificador de vista asignado a dicha vista multimedia asociada.
  10. 10. Un fichero contenedor multimedia que comprende:
    -
    al menos una pista multimedia que comprende datos multimedia codificados representativos de múltiples vistas multimedia de un contenido multimedia;
    -
    múltiples identificadores de prioridad estructural, en donde cada vista multimedia de dichas múltiples vistas multimedia tiene un identificador de prioridad estructural asociado con ella, el identificador de prioridad estructural que es indicativo de una interrelación de codificación de datos multimedia de dicha vista multimedia en relación con datos multimedia de al menos otra vista multimedia de dichas múltiples vistas multimedia; y caracterizado por
    -
    al menos un identificador de prioridad de contenido, en donde cada vista multimedia de al menos una parte de dichas múltiples vistas multimedia tiene un identificador de prioridad de contenido asociado con ella, el identificador de prioridad de contenido que es indicativo de un nivel de importancia de representación de datos multimedia de dicha vista multimedia para un espectador.
  11. 11.
    El fichero contenedor multimedia según la reivindicación 10, en donde cada vista multimedia de dichas múltiples vistas multimedia tiene un identificador de vista asignado y cada identificador de prioridad de contenido de dicho al menos un identificador de prioridad de contenido se organiza en dicho fichero contenedor multimedia junto con un identificador de vista asignado a dicha vista multimedia asociada.
  12. 12.
    Un método de procesamiento de datos multimedia de múltiples vistas que comprende:
    -
    recibir datos multimedia codificados representativos de múltiples vistas multimedia de un contenido multimedia, cada vista multimedia que está asociada con un identificador de prioridad estructural indicativo de una interrelación de codificación de datos multimedia de dicha vista multimedia en relación con datos multimedia de al menos otra vista multimedia de dichas múltiples vistas multimedia y caracterizado por cada vista multimedia de al menos una parte de dichas múltiples vistas multimedia que están asociadas con un identificador de prioridad de contenido indicativo de un nivel de importancia de representación de datos multimedia de dicha vista multimedia para un espectador; y
    -
    seleccionar un subconjunto de datos multimedia de dichos datos multimedia de dichas múltiples vistas multimedia para procesar en base a dicho al menos un identificador de prioridad de contenido.
  13. 13.
    El método según la reivindicación 12, en donde dicho paso de selección comprende seleccionar dicho subconjunto de datos multimedia para procesar en base a dichos identificadores de prioridad estructural y dicho al menos un identificador de prioridad de contenido.
  14. 14.
    El método según la reivindicación 12 o 13, que además comprende cortar dicho subconjunto de datos multimedia seleccionados a partir de dichos datos multimedia codificados.
  15. 15.
    El método según cualquiera de las reivindicaciones 12 a 14, que además comprende decodificar y representar dicho subconjunto de datos multimedia seleccionados.
  16. 16.
    El método según cualquiera de las reivindicaciones 12 a 15, que además comprende:
    -
    aplicar un primer nivel de protección de datos a dicho subconjunto de datos multimedia seleccionados; y
    -
    aplicar un segundo nivel de protección de datos, diferente, a datos multimedia restantes no comprendidos en dicho subconjunto de datos multimedia seleccionados.
  17. 17. Un dispositivo de procesamiento de datos para procesar datos multimedia de múltiples vistas que comprende:
    -
    un receptor para recibir datos multimedia codificados representativos de múltiples vistas multimedia de un contenido multimedia, cada vista multimedia que está asociada con un identificador de prioridad estructural indicativo de una interrelación de codificación de datos multimedia de dicha vista multimedia en relación con datos multimedia de al menos otra vista multimedia de dichas múltiples vistas multimedia y caracterizado por cada vista multimedia de al menos una parte de dichas múltiples vistas multimedia que están asociadas con un identificador de prioridad de contenido indicativo de un nivel de importancia de representación de datos multimedia de dicha vista multimedia para un espectador; y
    -
    un selector multimedia para seleccionar un subconjunto de datos multimedia de dichos datos multimedia de dichas múltiples vistas multimedia para procesar en base a dicho al menos un identificador de prioridad de contenido.
  18. 18. El dispositivo según la reivindicación 17, en donde dicho selector multimedia se dispone para seleccionar dicho subconjunto de datos multimedia para procesar en base a dichos identificadores de prioridad estructural y dicho al
    15
    E08877324
    14-10-2014
    menos un identificador de prioridad de contenido.
  19. 19.
    El dispositivo según la reivindicación 17 o 18, que además comprende un cortador multimedia para cortar dicho subconjunto de datos multimedia seleccionados a partir de dichos datos multimedia codificados.
  20. 20.
    El dispositivo según cualquiera de las reivindicaciones 17 a 19, que además comprende un decodificador para
    5 decodificar dicho subconjunto de datos multimedia seleccionados y un reproductor multimedia para representar dicho subconjunto de datos multimedia decodificados, seleccionados.
  21. 21. El dispositivo según cualquiera de las reivindicaciones 17 a 20, que además comprende un aplicador de protección para aplicar un primer nivel de protección de datos a dicho subconjunto de datos multimedia seleccionados y aplicar un segundo nivel de protección de datos, diferente, a datos multimedia restantes no
    10 comprendidos en dicho subconjunto de datos multimedia seleccionados.
    16
ES08877324.7T 2008-10-07 2008-12-15 Datos multimedia de múltiples vistas Active ES2515967T3 (es)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US10339908P 2008-10-07 2008-10-07
US103399P 2008-10-07
PCT/SE2008/051459 WO2010041998A1 (en) 2008-10-07 2008-12-15 Multi-view media data

Publications (1)

Publication Number Publication Date
ES2515967T3 true ES2515967T3 (es) 2014-10-30

Family

ID=42100782

Family Applications (1)

Application Number Title Priority Date Filing Date
ES08877324.7T Active ES2515967T3 (es) 2008-10-07 2008-12-15 Datos multimedia de múltiples vistas

Country Status (9)

Country Link
US (2) US20110202575A1 (es)
EP (2) EP2332336B1 (es)
JP (2) JP2012505569A (es)
CN (2) CN102177718B (es)
AU (2) AU2008362821A1 (es)
CA (2) CA2767794A1 (es)
ES (1) ES2515967T3 (es)
RU (2) RU2508609C2 (es)
WO (2) WO2010041999A1 (es)

Families Citing this family (48)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5689705A (en) * 1995-02-13 1997-11-18 Pulte Home Corporation System for facilitating home construction and sales
US9190110B2 (en) 2009-05-12 2015-11-17 JBF Interlude 2009 LTD System and method for assembling a recorded composition
US20110077990A1 (en) * 2009-09-25 2011-03-31 Phillip Anthony Storage Method and System for Collection and Management of Remote Observational Data for Businesses
US11232458B2 (en) 2010-02-17 2022-01-25 JBF Interlude 2009 LTD System and method for data mining within interactive multimedia
US9716920B2 (en) * 2010-08-05 2017-07-25 Qualcomm Incorporated Signaling attributes for network-streamed video data
US9065936B2 (en) * 2010-12-09 2015-06-23 Allot Communications Ltd. Cellular traffic monitoring and charging using application detection rules
US9693033B2 (en) * 2011-11-11 2017-06-27 Saturn Licensing Llc Transmitting apparatus, transmitting method, receiving apparatus and receiving method for transmission and reception of image data for stereoscopic display using multiview configuration and container with predetermined format
US20130188922A1 (en) * 2012-01-23 2013-07-25 Research In Motion Limited Multimedia File Support for Media Capture Device Position and Location Timed Metadata
US20140032820A1 (en) * 2012-07-25 2014-01-30 Akinori Harasawa Data storage apparatus, memory control method and electronic device with data storage apparatus
US9444862B2 (en) * 2012-09-29 2016-09-13 Intel Corporation Dynamic media content output for mobile devices
JP6493765B2 (ja) * 2013-07-19 2019-04-03 ソニー株式会社 情報処理装置および方法
JP6439981B2 (ja) * 2013-07-22 2018-12-19 ソニー株式会社 情報処理装置および方法
CN105900401B (zh) * 2014-01-07 2020-03-06 佳能株式会社 用于对层间依赖性进行编码的方法、装置和计算机程序
KR20150083243A (ko) * 2014-01-09 2015-07-17 삼성전자주식회사 영상표시장치, 영상표시장치의 구동방법 및 영상표시방법
US9653115B2 (en) 2014-04-10 2017-05-16 JBF Interlude 2009 LTD Systems and methods for creating linear video from branched video
US9792957B2 (en) 2014-10-08 2017-10-17 JBF Interlude 2009 LTD Systems and methods for dynamic video bookmarking
US9922680B2 (en) * 2015-02-10 2018-03-20 Nokia Technologies Oy Method, an apparatus and a computer program product for processing image sequence tracks
US10582265B2 (en) 2015-04-30 2020-03-03 JBF Interlude 2009 LTD Systems and methods for nonlinear video playback using linear real-time video players
US10460765B2 (en) * 2015-08-26 2019-10-29 JBF Interlude 2009 LTD Systems and methods for adaptive and responsive video
US11128853B2 (en) 2015-12-22 2021-09-21 JBF Interlude 2009 LTD Seamless transitions in large-scale video
US11856271B2 (en) 2016-04-12 2023-12-26 JBF Interlude 2009 LTD Symbiotic interactive video
KR102170550B1 (ko) * 2016-05-24 2020-10-29 노키아 테크놀로지스 오와이 미디어 콘텐츠를 인코딩하는 방법, 장치 및 컴퓨터 프로그램
GB2553315A (en) * 2016-09-01 2018-03-07 Nokia Technologies Oy Determining inter-view prediction areas
US11050809B2 (en) 2016-12-30 2021-06-29 JBF Interlude 2009 LTD Systems and methods for dynamic weighting of branched video paths
CN110999312B (zh) * 2017-06-15 2022-01-21 Lg电子株式会社 发送360度视频的方法、接收360度视频的方法、发送360度视频的装置和接收360度视频的装置
US10679415B2 (en) * 2017-07-05 2020-06-09 Qualcomm Incorporated Enhanced signaling of regions of interest in container files and video bitstreams
US11051040B2 (en) * 2017-07-13 2021-06-29 Mediatek Singapore Pte. Ltd. Method and apparatus for presenting VR media beyond omnidirectional media
CN109327699B (zh) * 2017-07-31 2021-07-16 华为技术有限公司 一种图像的处理方法、终端和服务器
US10257578B1 (en) 2018-01-05 2019-04-09 JBF Interlude 2009 LTD Dynamic library display for interactive videos
CN108184136B (zh) * 2018-01-16 2020-06-02 北京三体云联科技有限公司 一种视频合流方法及装置
JP7401453B2 (ja) * 2018-04-05 2023-12-19 ヴィド スケール インコーポレイテッド 全方位ビデオに対する視点メタデータ
US11601721B2 (en) 2018-06-04 2023-03-07 JBF Interlude 2009 LTD Interactive video dynamic adaptation and user profiling
US20200296316A1 (en) 2019-03-11 2020-09-17 Quibi Holdings, LLC Media content presentation
US20200296462A1 (en) 2019-03-11 2020-09-17 Wci One, Llc Media content presentation
CN110324708A (zh) * 2019-07-16 2019-10-11 浙江大华技术股份有限公司 视频处理方法、终端设备及计算机存储介质
CN114731416B (zh) * 2019-09-30 2025-12-12 交互数字Ce专利控股有限公司 用于对体积视频进行编码、传输和解码的方法和装置
US11490047B2 (en) 2019-10-02 2022-11-01 JBF Interlude 2009 LTD Systems and methods for dynamically adjusting video aspect ratios
US11245961B2 (en) 2020-02-18 2022-02-08 JBF Interlude 2009 LTD System and methods for detecting anomalous activities for interactive videos
US12096081B2 (en) 2020-02-18 2024-09-17 JBF Interlude 2009 LTD Dynamic adaptation of interactive video players using behavioral analytics
EP4074029A4 (en) 2020-04-10 2023-01-18 ZTE Corporation RANK INFORMATION IN IMMERSIVE MULTIMEDIA PROCESSING
US12047637B2 (en) 2020-07-07 2024-07-23 JBF Interlude 2009 LTD Systems and methods for seamless audio and video endpoint transitions
KR102935798B1 (ko) * 2020-09-21 2026-03-05 삼성전자주식회사 전자 장치 및 그 동작 방법
US11997336B2 (en) * 2021-05-14 2024-05-28 Qualcomm Incorporated Scheduling compressed video frame for in-vehicle wireless networks
US11882337B2 (en) 2021-05-28 2024-01-23 JBF Interlude 2009 LTD Automated platform for generating interactive videos
US12155897B2 (en) 2021-08-31 2024-11-26 JBF Interlude 2009 LTD Shader-based dynamic video manipulation
US12549818B2 (en) 2021-08-31 2026-02-10 JBF Interlude 2009 LTD Shader-based dynamic video manipulation
US11934477B2 (en) 2021-09-24 2024-03-19 JBF Interlude 2009 LTD Video player integration within websites
EP4297418A1 (en) * 2022-06-24 2023-12-27 Beijing Xiaomi Mobile Software Co., Ltd. Signaling encapsulated data representing primary video sequence and associated auxiliary video sequence

Family Cites Families (34)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7782363B2 (en) * 2000-06-27 2010-08-24 Front Row Technologies, Llc Providing multiple video perspectives of activities through a data network to a remote multimedia server for selective display by remote viewing audiences
KR100814426B1 (ko) * 2001-07-14 2008-03-18 삼성전자주식회사 다 채널 영상 중계 처리기 및 이를 적용한 다 채널 영상보안 시스템
EP2268049A3 (en) * 2002-04-25 2013-06-05 Sharp Kabushiki Kaisha Image data creation device, image data reproduction device, and image data recording medium
KR100491724B1 (ko) * 2002-10-14 2005-05-27 한국전자통신연구원 공간영상의 효율적인 저장 및 검색을 지원하기 위한공간영상정보시스템 및 그 검색방법
EP2009640A3 (en) * 2002-10-15 2009-04-29 Samsung Electronics Co., Ltd. Information storage medium with data structure for multi-angle and method therefor
US20040076042A1 (en) * 2002-10-16 2004-04-22 Sifang Wu High performance memory column group repair scheme with small area penalty
KR100636129B1 (ko) * 2002-12-16 2006-10-19 삼성전자주식회사 멀티 앵글을 지원하는 데이터 구조로 기록된 정보저장매체및 그 장치
US8832732B2 (en) * 2003-04-16 2014-09-09 Accenture Global Services Limited Controlled multi-media program review
US7778328B2 (en) * 2003-08-07 2010-08-17 Sony Corporation Semantics-based motion estimation for multi-view video coding
KR20070029105A (ko) * 2003-09-23 2007-03-13 코닌클리케 필립스 일렉트로닉스 엔.브이. 비디오 콘텐트 및 은닉 의존성 에러 보호 및 스케줄링알고리즘을 제공하는 시스템 및 방법
JP4110105B2 (ja) * 2004-01-30 2008-07-02 キヤノン株式会社 文書処理装置及び文書処理方法及び文書処理プログラム
US7787013B2 (en) * 2004-02-03 2010-08-31 Panasonic Corporation Monitor system and camera
US20050193015A1 (en) * 2004-02-19 2005-09-01 Sandraic Logic, Llc A California Limited Liability Company Method and apparatus for organizing, sorting and navigating multimedia content
KR101568899B1 (ko) * 2004-04-22 2015-11-20 테크니컬러, 인크. 디지털 다기능 디스크를 위한 컨텍스트 의존형 멀티-앵글 내비게이션 기법
KR100679740B1 (ko) * 2004-06-25 2007-02-07 학교법인연세대학교 시점 선택이 가능한 다시점 동영상 부호화/복호화 방법
US7444664B2 (en) * 2004-07-27 2008-10-28 Microsoft Corp. Multi-view video format
JP4630149B2 (ja) * 2005-07-26 2011-02-09 シャープ株式会社 画像処理装置
US20070103558A1 (en) * 2005-11-04 2007-05-10 Microsoft Corporation Multi-view video delivery
EP1982518A4 (en) * 2006-01-12 2010-06-16 Lg Electronics Inc PROCESSING MORE VIEW VIDEO
WO2007114612A1 (en) * 2006-03-30 2007-10-11 Lg Electronics Inc. A method and apparatus for decoding/encoding a video signal
KR101350591B1 (ko) * 2006-07-06 2014-01-14 톰슨 라이센싱 멀티뷰 비디오 인코딩 및 디코딩을 위해 프레임 넘버 및/또는 픽쳐 오더 카운트를 분리시키는 방법 및 장치
US8365060B2 (en) * 2006-08-24 2013-01-29 Nokia Corporation System and method for indicating track relationships in media files
AU2007287222A1 (en) * 2006-08-24 2008-02-28 Nokia Corporation System and method for indicating track relationships in media files
BRPI0718206B1 (pt) * 2006-10-16 2020-10-27 Nokia Technologies Oy método para codificar uma pluralidade de visões de uma cena; método de codificação de uma sequência de bits de vídeo codificada e aparelho
WO2008051381A2 (en) * 2006-10-24 2008-05-02 Thomson Licensing Picture management for multi-view video coding
WO2008084443A1 (en) * 2007-01-09 2008-07-17 Nokia Corporation System and method for implementing improved decoded picture buffer management for scalable video coding and multiview video coding
CN100588250C (zh) * 2007-02-05 2010-02-03 北京大学 一种多视点视频流的自由视点视频重建方法及系统
CN101242530B (zh) * 2007-02-08 2011-06-01 华为技术有限公司 运动估计方法、基于运动估计的多视编解码方法及装置
JP2010520697A (ja) * 2007-03-02 2010-06-10 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
US8253797B1 (en) * 2007-03-05 2012-08-28 PureTech Systems Inc. Camera image georeferencing systems
JP5156088B2 (ja) * 2007-03-23 2013-03-06 エルジー エレクトロニクス インコーポレイティド ビデオ信号のデコーディング／エンコーディング方法及び装置
JP2010525724A (ja) * 2007-04-25 2010-07-22 エルジー エレクトロニクス インコーポレイティド ビデオ信号をデコーディング／エンコーディングする方法および装置
KR101524146B1 (ko) * 2007-04-25 2015-05-29 톰슨 라이센싱 다운샘플링된 기준 화상을 이용한 인터-뷰 예측
US8355019B2 (en) * 2007-11-02 2013-01-15 Dimension Technologies, Inc. 3D optical illusions from off-axis displays

Also Published As

Publication number Publication date
RU2011118367A (ru) 2012-11-20
EP2332336A4 (en) 2014-01-01
CN102177718B (zh) 2014-03-12
RU2504917C2 (ru) 2014-01-20
EP2332337A1 (en) 2011-06-15
EP2332336A1 (en) 2011-06-15
AU2008362821A1 (en) 2010-04-15
WO2010041999A1 (en) 2010-04-15
CA2767794A1 (en) 2010-04-15
JP5298201B2 (ja) 2013-09-25
RU2011118384A (ru) 2012-12-10
CA2739716A1 (en) 2010-04-15
CN102177717B (zh) 2014-01-29
JP2012505569A (ja) 2012-03-01
EP2332336B1 (en) 2014-08-13
US20110182366A1 (en) 2011-07-28
EP2332337A4 (en) 2014-01-01
JP2012505570A (ja) 2012-03-01
AU2008362801A1 (en) 2010-04-15
WO2010041998A1 (en) 2010-04-15
CN102177717A (zh) 2011-09-07
CN102177718A (zh) 2011-09-07
RU2508609C2 (ru) 2014-02-27
US20110202575A1 (en) 2011-08-18

Similar Documents

Publication Publication Date Title
ES2515967T3 (es) Datos multimedia de múltiples vistas
US12035020B2 (en) Split rendering of extended reality data over 5G networks
ES2892329T3 (es) Señalización de datos para el soporte de prebúsqueda para datos multimedia de transmisión continua
ES2896687T3 (es) Región más interesada en una imagen
US11902350B2 (en) Video processing method and apparatus
EP2987330B1 (en) Method and apparatus for transmitting media data in multimedia transport system
US9591361B2 (en) Streaming of multimedia data from multiple sources
ES2903112T3 (es) Atributos de señalización para datos de vídeo transmitidos por red
KR101350331B1 (ko) 모바일 디바이스로부터 무선 디스플레이로 콘텐츠를 전송하는 시스템 및 방법
KR101029854B1 (ko) 스케일러블 비디오 코딩에서 픽쳐들의 역방향-호환 집합
US8689343B2 (en) System and method for securely transmitting video data
ES2650220T3 (es) Señalización de las características de un punto de operación de MVC
ES2784613T3 (es) Identificación de conjuntos de parámetros en archivos de vídeo
US20120324521A1 (en) Method and apparatus for creating content in a broadcasting system
US20190068946A1 (en) Processing omnidirectional media with dynamic region-wise packing
US12489958B2 (en) Split rendering of extended reality data over 5G networks
US11765444B2 (en) Streaming media data including an addressable resource index track
US20220295034A1 (en) Camera control data for virtual camera in virtual interactive scene defined by streamed media data
CN102326403A (zh) 利用外部图片属性标记来加快频道改变时间
KR20160033027A (ko) 멀티미디어의 전송 또는 수신 방법 및 그 장치
KR101343877B1 (ko) 순방향 오류 정정 패킷 생성방법과 이를 이용한 서버와 클라이언트 장치
JP2007258796A (ja) Ｉｐ送信装置およびｉｐ送信方法
WO2023078048A1 (zh) 视频比特流封装、解码、访问方法及装置
CN115484476A (zh) Vr直播视频的传输方法、装置以及存储介质
Go et al. A systematic reallocation and prioritization scheme for error-resilient transmission of video packets