ES2623635T3 - Decodificador de referencia generalizado de procesamiento de imagen o video - Google Patents

Decodificador de referencia generalizado de procesamiento de imagen o video Download PDF

Info

Publication number
ES2623635T3
ES2623635T3 ES02019056.7T ES02019056T ES2623635T3 ES 2623635 T3 ES2623635 T3 ES 2623635T3 ES 02019056 T ES02019056 T ES 02019056T ES 2623635 T3 ES2623635 T3 ES 2623635T3
Authority
ES
Spain
Prior art keywords
multiple sets
reference decoder
parameters
decoder
bit stream
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES02019056.7T
Other languages
English (en)
Inventor
Jordi Ribas-Corbera
Philip A. Chou
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Microsoft Technology Licensing LLC
Original Assignee
Microsoft Technology Licensing LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Microsoft Technology Licensing LLC filed Critical Microsoft Technology Licensing LLC
Application granted granted Critical
Publication of ES2623635T3 publication Critical patent/ES2623635T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T1/00—General purpose image data processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/115—Selection of the code volume for a coding unit prior to coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/149—Data rate or code amount at the encoder output by estimating the code amount by means of a model, e.g. mathematical model or statistical model
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/152—Data rate or code amount at the encoder output by measuring the fullness of the transmission buffer
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)
  • Communication Control (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

Un procedimiento implementado en ordenador que comprende: con un codificador de vídeo, codificar datos para video dado para producir un flujo de bits de datos codificados para el video dado; generar múltiples conjuntos (214) de parámetros de decodificador de referencia para el flujo de bits, en el que cada uno de los múltiples conjuntos (214) comprende un parámetro de tasa y un parámetro de tamaño de memoria intermedia de decodificador, en el que cada uno de los múltiples conjuntos (214) caracteriza un modelo de depósito con fugas para el flujo de bits, estando el modelo de depósito con fugas para cada uno de los múltiples conjuntos (214), estando adicionalmente caracterizado por un llenado de memoria intermedia de decodificador inicial o retardo de memoria intermedia inicial, y en el que, para cada uno de los múltiples conjuntos (214) de parámetros de decodificador de referencia, el conjunto de parámetros de decodificador de referencia contiene el flujo de bits, de tal forma que no existe infrautilización de una memoria (208) intermedia de decodificador de un decodificador (210) de referencia que opera de acuerdo con el conjunto de parámetros de decodificador de referencia para la decodificación de los datos codificados para el video dado; proporcionar el flujo de bits para distribución a uno o más dispositivos de decodificador para la decodificación de los datos codificados para el video dado; proporcionar un valor numérico N junto con el flujo de bits, en el que el valor numérico N indica cuántos conjuntos de parámetros de decodificador de referencia hay en los múltiples conjuntos (214) de parámetros de decodificador de referencia; y proporcionar los múltiples conjuntos (214) de parámetros de decodificador de referencia junto con el flujo de bits para hacer cada uno de los múltiples conjuntos de parámetros de decodificador de referencia disponibles para su uso en determinación de un tamaño de memoria intermedia mínimo o una tasa máxima mínima para la decodificación de los datos codificados para el video dado, incluyendo la determinación: 1) determinar el tamaño de memoria intermedia a partir de una tasa dada y uno o más de los múltiples conjuntos (214) proporcionados de parámetros de decodificador de referencia, o 2) determinar la tasa máxima a partir de un tamaño de memoria intermedia dado y uno o más de los múltiples conjuntos (214) proporcionados de parámetros de decodificador de referencia.

Description

Decodificador de referencia generalizado de procesamiento de imagen o video
La presente invención se refiere a la decodificación señales de imagen y video, así como otras señales que varían en el tiempo tales como voz y audio.
En las normas de codificación de video, un flujo de bits es compatible si puede decodificarse, al menos conceptualmente, mediante un modelo matemático de un decodificador que se conecta a la salida de un codificador. Un decodificador modelo de este tipo es conocido como el decodificador ficticio de referencia (HRD) en la norma de codificación H.263 y el verificador de memoria intermedia de video (VBV) en la norma de codificación MPEG. En general, un dispositivo (o terminal) de decodificador real comprende una memoria intermedia de decodificador, un decodificador y una unidad de visualización. Si un dispositivo de decodificador real se construye de acuerdo con el modelo matemático del decodificador y se transmite un flujo de bits compatible al dispositivo en condiciones específicas, entonces la memoria intermedia de decodificador no se desbordará o infrautilizará y la decodificación se realizará correctamente.
Decodificadores de referencia (modelo) anteriores asumen que un flujo de bits se transmitirá a través de un canal a una tasa de bits constante dada y se decodificarán (tras un retardo de almacenamiento temporal dado) mediante un dispositivo que tiene algún tamaño de memoria intermedia dado. Por lo tanto, estos modelos son bastante inflexibles y no abordan los requisitos de muchas de las aplicaciones de video importantes actuales tales como difusión de video en directo o flujo continuo de video precodificado sobre demanda en trayectorias de red con diversas tasas de bit máximas, a dispositivos con diversos tamaños de memoria intermedia.
En decodificadores de referencia anteriores, el flujo de bits de video se recibe a una tasa de bits constante dada (normalmente la tasa media en bits por segundo del flujo) y se almacena en la memoria intermedia de decodificador hasta que la memoria intermedia alcanza algún nivel deseado de llenado. Por ejemplo, al menos los datos correspondientes a un fotograma inicial de información de video se necesitan antes de que la decodificación pueda reconstruir un fotograma de salida del mismo. Este nivel deseado se representa como el llenado de memoria intermedia de decodificador inicial y a una tasa de bits constante es directamente proporcional al retardo de transmisión o de puesta en marcha (memoria intermedia). Una vez que este llenado se alcanza, el decodificador instantáneamente (en esencia) elimina los bits para el primer fotograma de video de la secuencia y decodifica los bits para mostrar el fotograma. Los bits para los siguientes fotogramas también se eliminan, codifican y muestran instantáneamente en intervalos de tiempo posteriores.
Un decodificador de referencia de este tipo opera a una tasa de bits fija, tamaño de memoria intermedia y retardo inicial. Sin embargo, en muchas aplicaciones de video contemporáneas (por ejemplo, flujo continuo de video a través de la Internet o redes ATM), el ancho de banda máximo varía de acuerdo con la trayectoria de red. Por ejemplo, el ancho de banda máximo difiere a base de si la conexión a la red es por módem, ISDN, DSL, cable y así sucesivamente. Además, el ancho de banda máximo también puede fluctuar en el tiempo de acuerdo con las condiciones de red, por ejemplo, a base de congestión de red, el número de usuarios conectados y otros factores conocidos. Además todavía, el flujo de bits de videos se distribuyen a una diversidad de dispositivos con diferentes capacidades de memoria intermedia, incluyendo microteléfonos, Asistentes Digitales Personales (PDA), PC, dispositivos informáticos de bolsillo, caja de conexión de televisión, dispositivos de tipo DVD y similares y se crean para escenarios con diferentes requisitos de retardo, por ejemplo, flujo continuo de bajo retardo, descarga progresiva y similares.
Los decodificadores de referencia existentes no se ajustan para tales variables. Al mismo tiempo, los codificadores habitualmente no saben y no pueden saber de antemano cuáles serán las condiciones variables para un receptor dado. Como resultado, a menudo se desperdician recursos y tiempo de retardo innecesariamente o son inadecuados en muchos casos.
El documento EP-A-O 852 445 (NCR INT INC), 8 de julio 1998 () desvela un procedimiento de optimización de ancho de banda para la transmisión de flujos de datos de video comprimidos. Un servidor en el sistema determina primero el tamaño de la memoria intermedia de receptor y a continuación el número mínimo de bloques consecutivos que cabrían en la memoria intermedia. El servidor adicionalmente ordena al receptor que espere antes de descomprimir y mostrar datos durante una cantidad de tiempo suficiente para recibir la cantidad de datos de los primeros bloques de datos comprimidos que son iguales a la cantidad de datos en el bloque de datos comprimidos más largo en el archivo.
HSU C-Y ET AL: ’JOINT SELECTION OF SOURCE AND CHANNEL RATE FOR VBR VIDEO TRANSMISSION UNDER ATM POLICING CONSTRAINTS’ IEEE JOURNAL ON SELECTED AREAS IN COMMUNICATIONS, IEEE INC. NUEVA YORK, ESTADOS UNIDOS, vol. 15, n.º 6, 1 de agosto 1997 (), páginas 1016-1028 describe una transmisión de tasa de bits variable de video en redes ATM.
REIBMAN A R ET AL: ’CONSTRAINTS ON VARIABLE BIT-RATE VIDEO FOR ATM NETWORKS’ IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, IEEE INC. NUEVA YORK, ESTADOS UNIDOS vol. 2, n.º 4, 1 de diciembre 1992 (), páginas 361-372 considera restricciones en la
tasa de bits codificados de una señal de video que se imponen por un canal y memorias intermedias de codificador y decodificador.
ITU: ’Annex B -Hypothetical Reference Decoder (HRD)’ ITU-TRECOMMENDATION H.263, febrero 1998 (02-1998), páginas 49-50 desvela una infraestructura de servicios audiovisuales y codificación de video en movimiento.
ITU: "Annex C -Video Buffering Verifier (VBV)" ITU-T RECOMMENDATION H.262, febrero 2000 (02-2000), páginas 138-142 desvela la infraestructura de servicios audiovisuales y codificación de video en movimiento de acuerdo con
H.262.
El documento el documento EP 0 515 101 A2 desvela un control de memoria intermedia para canal de tasa de bits variable. Se desvela un procesamiento de imagen de video que evita el desbordamiento e infrautilización de memoria intermedia de codificador y decodificador cuando la imagen se transmite en un canal de tasa de bits variable, que incluye la supervisión de una indicación de llenado de una memoria intermedia de codificador y una memoria intermedia de decodificador.
Por lo tanto el objeto de la presente invención es proporcionar un procedimiento mejorado y un correspondiente medio legible por ordenador y sistema informático para proporcionar datos para la distribución a un dispositivo decodificador para la decodificación de un flujo de bits de video.
Este objeto se resuelve mediante el objeto de las reivindicaciones independientes.
Realizaciones preferidas se definen mediante el objeto de las reivindicaciones dependientes.
Brevemente, la presente invención proporciona un decodificador de referencia generalizado mejorado que opera de acuerdo con cualquier número de conjuntos de tasas y parámetros de memoria intermedia para un flujo de bits dado. Cada conjunto caracteriza lo que se denomina como un modelo de depósito con fugas, o conjunto de parámetros, y contiene tres valores (R, B, F), en el que R es la tasa de bits de transmisión, B es el tamaño de memoria intermedia y F es el llenado de memoria intermedia de decodificador inicial. Como se aprecia, F/R es la puesta en marcha o retardo de memoria intermedia inicial.
Un codificador crea un flujo de bits de video que se contiene mediante algún número N deseado de depósitos con fugas o el codificador puede simplemente calcular los N conjuntos después de que el flujo de bits se ha generado. El codificador pasa el número al decodificador (al menos) una vez, con un correspondiente número de conjuntos (R, B, F) de alguna manera, tales como en un encabezamiento de flujo inicial o fuera de banda.
Cuando se recibe en el decodificador, si al menos dos conjuntos están presentes, el decodificador de referencia generalizado selecciona uno o interpola entre los parámetros de depósito con fugas y de este modo puede operar en cualquier tasa de bits máxima, tamaño de memoria intermedia o retardo deseados. Más particularmente, dada una tasa de transmisión máxima R’ deseada, que se conoce en el extremo de decodificador, el decodificador de referencia generalizado selecciona el tamaño de memoria intermedia y retardo más pequeños (de acuerdo con los conjuntos (R, B, F) disponibles ya sea mediante la selección de uno, interpolación entre dos o más o mediante extrapolación) que será capaz de decodificar el flujo de bits sin sufrir infrautilización o desbordamiento de memoria intermedia. Como alternativa, para un tamaño de memoria intermedia B’ dado de decodificador, el decodificador ficticio seleccionará y operará a la mínima tasa de transmisión máxima requerida.
Beneficios del decodificador de referencia generalizado incluyen que un proveedor de contenidos puede crear un flujo de bits una vez y un servidor puede distribuir el mismo a múltiples dispositivos de diferentes capacidades, usando una diversidad de canales de diferentes tasas de transmisión máximas. Como alternativa, un servidor y un terminal pueden negociar los mejores parámetros de depósito con fugas para las condiciones de red dadas, por ejemplo, el que produzca el menor retardo de puesta en marcha (memoria intermedia) o el que requiera la menor tasa de transmisión máxima para el tamaño de memoria intermedia dado del dispositivo. En la práctica, el tamaño de memoria intermedia y el retardo para algunos terminales pueden reducirse en un orden de magnitud o la tasa de transmisión máxima puede reducirse en un factor significativo (por ejemplo, cuatro veces) y/o la relación señal-ruido (SNR) puede aumentar quizás por varios dB sin aumentar la tasa de bits media, excepto para una cantidad insignificante de bits adicionales para comunicar la información de depósito con fugas.
Otros beneficios y ventajas serán evidentes a partir de la descripción detallada cuando se tome en conjunción con los dibujos, en los que:
Breve descripción de los dibujos
La Figura 1 en un diagrama de bloques que representa un sistema informático ilustrativo en el que puede incorporarse la presente invención; la Figura 2 en un diagrama de bloques que representa el codificador mejorado y decodificador de referencia generalizado y sus respectivas memorias intermedias de codificado y decodificado de datos de video o imagen de acuerdo con un aspecto de la presente invención; la Figura 3 es un gráfico de llenado de memoria intermedia con el paso del tiempo cuando se contiene en un
depósito con fugas de parámetros (R, B, F); la Figura 4 es una representación de una tasa frente a curva de tamaño de memoria intermedia para un clip de video representativo; y la Figura 5 es una representación de la tasa frente a curva de tamaño de memoria intermedia para un clip de video representativo con dos modelos de depósito con fugas (conjuntos de parámetros) proporcionados al decodificador de referencia generalizado para interpolación y extrapolación de acuerdo con un aspecto de la presente invención.
Descripción detallada
ENTORNO OPERATIVO ILUSTRATIVO
La Figura 1 ilustra un ejemplo de un entorno 120 operativo adecuado en el que puede implementarse la invención, particularmente para la decodificación de datos de imagen de video. El entorno 120 operativo es únicamente un ejemplo de un entorno operativo adecuado y no pretende sugerir ninguna limitación al ámbito de uso o funcionalidad de la invención. Otros sistemas informáticos bien conocidos y/o configuraciones que pueden ser adecuadas para su uso con la invención incluyen, pero sin limitación, ordenadores personales, ordenadores de servidor, dispositivos portátiles o de mano, sistemas de multiprocesador, sistemas basado en microprocesador, electrónica de consumo programable, PC de red, miniordenadores, ordenadores centrales, entornos informáticos distribuidos que incluyen cualquiera de los sistemas o dispositivos anteriores y similares. Por ejemplo, es probable que datos de imagen decodificada y/o de imagen de video se realicen en un ordenar con más potencia de procesamiento que ordenadores personales de mano contemporáneos, pero no hay razón por la que la codificación no pueda realizarse en el dispositivo ilustrativo o la decodificación en una máquina más potente.
La invención puede describirse en el contexto general de instrucciones ejecutables por ordenador, tales como módulos de programa, ejecutadas por uno o más ordenadores u otros dispositivos. En general, módulos de programa incluyen rutinas, programas, objetos, componentes, estructuras de datos y así sucesivamente que realizan tareas particulares o implementan tipos de datos abstractos particulares. Habitualmente la funcionalidad de los módulos de programa pueden combinarse o distribuirse como se desee en diversas realizaciones. El dispositivo 120 informático habitualmente incluye al menos alguna forma de medio legible por ordenador. Medio legible por ordenador puede ser cualquier medio disponible que puede ser accedido mediante el dispositivo 120 informático. A modo de ejemplo, y no como limitación, medio legible por ordenador puede comprender medio de almacenamiento informático y medio de comunicación. Medio de almacenamiento informático incluye memoria volátil y no volátil y extraíble y no extraíble implementado en cualquier procedimiento o tecnología de almacenamiento de información tales como instrucciones legibles por ordenador, estructuras de datos, módulos de programa u otros datos. Medio de almacenamiento informático incluye, pero sin limitación, RAM, ROM, EEPROM, memoria flash u otra tecnología de memoria, CD-ROM, discos versátiles digitales (DVD) u otro almacenamiento óptico, casetes magnéticos, cinta magnética, almacenamiento de disco magnético u otros dispositivos de almacenamiento magnético, o cualquier otro medio que puede usarse para almacenar la información deseada y que puede accederse mediante el dispositivo 120 informático. Medio de comunicación habitualmente incorpora instrucciones legibles por ordenador, estructuras de datos, módulos de programa u otros datos en una señal de datos modulada tales como una onda portadora u otro mecanismo de transporte e incluye cualquier medio de distribución de información. La expresión "señal de datos modulada", significa una señal que tiene una o más de sus características establecidas o cambiadas de tal manera que codifica información en la señal. A modo de ejemplo, y no como limitación, medio de comunicación incluye medios por cable tales como una red por cable o conexión directa por cable y medios inalámbricos tales como acústica, RF, infrarroja y otros medios inalámbricos. Combinaciones de cualquiera de los anteriores también debería incluirse dentro del ámbito de medio legible por ordenador.
La Figura 1 muestra componentes funcionales de un dispositivo 120 informático de mano de este tipo, que incluye un procesador 122, una memoria 124, una pantalla 126 y un teclado 128 (que puede ser un teclado físico o virtual). La memoria 124 generalmente incluye tanto memoria volátil (por ejemplo, RAM) como memoria no volátil (por ejemplo, ROM, tarjetas PCMCIA y así sucesivamente). Un sistema 130 operativo está residente en la memoria 124 y se ejecuta en el procesador 122, tal como el sistema operativo Windows® CE de Microsoft® Corporation u otro sistema operativo.
Uno o más programas 132 de aplicación se cargan en memoria 124 y funcionan en el sistema 130 operativo. Ejemplos de aplicaciones incluyen programas de correo electrónico, programas de planificación, programas PIM (gestión de información personal), programas de procesamiento de textos, programas de hojas de cálculo, programas de navegadores de Internet y así sucesivamente. El ordenador 120 personal de mano puede también incluir un gestor 134 de notificaciones cargado en la memoria 124, que se ejecuta en el procesador 122. El gestor 134 de notificaciones trata solicitudes de notificaciones, por ejemplo, de los programas 132 de aplicación.
El ordenador 120 personal de mano tiene una fuente 136 de alimentación, que se implementa como una o más baterías. La fuente 136 de alimentación puede incluir adicionalmente una fuente de potencia externa que anula o recarga las baterías incorporadas, tales como un adaptador de CA o una plataforma de acoplamiento alimentada.
El ordenador 120 personal de mano ilustrativo representado en la Figura 1 se muestra con tres tipos de mecanismos
externos de notificaciones: uno o más diodos 140 emisores de luz (LED) y un generador 144 de audio. Estos dispositivos pueden acoplarse directamente a la fuente 136 de alimentación de modo que cuando se activan, permanecen encendidos durante una duración dictada por un mecanismo de notificaciones incluso si el procesador 122 informático personal de mano y otros componentes pudieran apagarse para conservar energía de batería. El LED 140 preferentemente permanece encendido indefinidamente hasta que el usuario actúa. Obsérvese que versiones contemporáneas del generador 144 de audio usan demasiada energía para baterías actuales de ordenador personal de mano y por lo tanto se configura para apagarse cuando en resto del sistema se apaga o en alguna duración finita tras la activación.
DECODIFICADOR DE REFERENCIA GENERALIZADO
Un depósito con fugas es un modelo conceptual del estado (o llenado) de un codificador o memoria intermedia de decodificador como una función de tiempo. La Figura 2 muestra este concepto, en el que los datos 200 de entrada se suministran a un codificador 202 mejorado (descrito a continuación) que codifica los datos en una memoria 204 intermedia de codificador. Los datos codificados se transmiten a través de algún medio 206 de transmisión (conducto) a una memoria 208 intermedia de decodificador, que se decodifica a continuación mediante un decodificador 210 en datos 212 de salida, tales como una imagen o fotograma de video. Para fines de simplicidad, la memoria 208 intermedia de decodificador se describirá esencialmente en el presente documento, porque el llenado de las memorias intermedias de codificador y decodificador son conceptualmente complementarias entre sí, es decir, cuantos más datos en la memoria intermedia de decodificador, menos en la memoria intermedia de codificador y viceversa.
Un modelo de depósito con fugas se caracteriza por un conjunto de tres parámetros, R, B, y F, en el que R es la tasa de bits máxima (en bits por segundo) a la que los bits entran en la memoria 208 intermedia de decodificador. En escenarios de tasa de bits constante, R es a menudo la tasa de bits de canal y la tasa de bits media del clip de video
o audio y conceptualmente puede considerarse como que corresponden al ancho del conducto 206. B es el tamaño del contador o memoria 208 intermedia de decodificador (en bits) que suaviza las fluctuaciones de tasa de bits de video. Este tamaño de memoria intermedia no puede ser mayor que la memoria intermedia física del dispositivo de decodificación. F es el llenado de memoria intermedia de decodificador inicial (también en bits) que necesita estar presente antes de que el decodificador comience a eliminar de la memoria intermedia. F es al menos tan grande como la cantidad de datos codificados que representa el fotograma inicial. Dejando de lado el tiempo de procesamiento, que para fines del presente ejemplo pueden considerarse instantáneos, F y R determinan el retardo D inicial o de puesta en marcha, en el que D = F/R segundos.
Por lo tanto, en un modelo de depósito con fugas, los bits entran en la memoria 208 intermedia de decodificador a la tasa R hasta que el nivel de llenado es F (es decir, durante D segundos) y a continuación los bits necesarios para el primer fotograma, b0 se eliminan (instantáneamente en el presente ejemplo). Los bits siguen entrando en la memoria intermedia a la tasa R y el decodificador elimina b1, b2,..., bn-1 bits para los siguientes fotogramas en algún instante de tiempo dado, habitualmente (pero no necesariamente) cada 1/M segundos, en el que M es la tasa de fotogramas del video.
La Figura 3 es un gráfico que ilustra el llenado de memoria intermedia de decodificador con el paso del tiempo para un flujo de bits que se contiene en un depósito con fugas de parámetros (R, B, F), como se ha descrito anteriormente, en el que el número de bits para el iésimo fotograma es bi. En la Figura 3, los fotogramas de video codificados se eliminan de la memoria intermedia (habitualmente de acuerdo con la tasa de fotogramas de video), como se muestra mediante los descensos en llenado de memoria intermedia. Más particularmente, siendo Bi el llenado de memoria intermedia de decodificador inmediatamente antes de la eliminación de bi bits en el momento ti. Un modelo de depósito con fugas genérico opera de acuerdo con las siguientes ecuaciones:
Típicamente, tï+1-ti = 1/M segundos, en el que M es la tasa de fotogramas (en fotogramas/seg) para el flujo de bits.
Un modelo de depósito con fugas con parámetros (R, B, F) contiene un flujo de bits si no existe infrautilización de la memoria 208 intermedia de decodificador (Figura 2). Debido a que el codificador y llenado de memoria intermedia de decodificador son complementarias entre sí, esto es equivalente a no desbordamiento de la memoria 204 intermedia de codificador. Sin embargo, se permite que la memoria 204 intermedia de codificador (el depósito con fugas) se vacíe o de forma equivalente la memoria 208 intermedia de decodificador puede llenarse, en cuyo punto no se transmiten bits adicionales desde la memoria 204 intermedia de codificador a la memoria 208 intermedia de decodificador. Por lo tanto, la memoria 208 intermedia de decodificador para de recibir bits cuando está llena, que es el motivo por el que se usa el operador min en la segunda ecuación anterior. Debido a que son complementarias, una memoria 208 intermedia de decodificador llena significa que la memoria 204 intermedia de codificador está vacía, como se describe a continuación con respecto a flujos de tasa de bits variable (VBR).
Obsérvese que un flujo de video dado puede contenerse en diversas configuraciones de depósito con fugas. Por ejemplo, si un flujo de video se contiene en un depósito con fugas con parámetros (R, B, F), también se contendrá en un depósito con fugas con una mayor memoria intermedia (R, B’, F), en la que B’ es mayor que B, o en un depósito con fugas con una mayor tasa de transmisión máxima (R’, B, F), en la que R’ es mayor que R. Además, para cualquier tasa de bits R’, existe un tamaño de memoria intermedia que contendrá flujo de bits de video (de tiempo limitado). En el pero caso, a saber R’ se aproxima a cero, el tamaño de memoria intermedia necesitará ser tan grande como el propio flujo de bits. En otras palabras, un flujo de bits de video puede transmitirse a cualquier tasa (independientemente de la tasa de bits media del clip) siempre que el tamaño de memoria intermedia sea lo suficientemente grande.
La Figura 4 es un gráfico de tamaño de memoria intermedia mínimo Bmin contra tasa de bits máxima Rmin para un flujo de bits dado, utilizando la segunda ecuación anterior, en la que el llenado de memoria intermedia inicial deseado se establece a una fracción constante del tamaño de memoria intermedia total. La curva en la Figura 4 indica que para transmitir el flujo a una tasa de bits máxima r, el decodificador necesita almacenar temporalmente al menos Bmin (r) bits. Además, como se entiende a partir del gráfico, mayores tasas máximas requieren menores tamaños de memoria intermedia y por lo tanto retardos de puesta en marcha de memoria intermedia más cortos. Como alternativa, el gráfico indica que si el tamaño de la memoria intermedia de decodificador es b, la tasa máxima mínima requerida para la transmisión del flujo de bits es la asociada Rmin(b). Además, la curva de los pares (Rmin, Bmin) para cualquier flujo de bits (tal como el de la Figura 4) es lineal por tramos y convexa.
De acuerdo con un aspecto de la presente invención, si al menos dos puntos de la curva se proporcionan mediante el codificador 202 mejorado, el decodificador 210 de referencia generalizado puede seleccionar un punto o linealmente interpolar entre puntos o extrapolar los puntos para llegar a algunos puntos (Rinterp, Binterp) que son un poco más grandes aunque de forma segura que (Rmin, Bmin). Como una consecuencia significativa, el tamaño de memoria intermedia puede reducirse de forma segura, en muchos casos aproximadamente en un orden de magnitud relativo a un único depósito con fugas que contiene el flujo de bits a su tasa media, con lo que el retardo asimismo se reduce. Como alternativa, para el mismo retardo, la tasa de transmisión máxima puede reducirse en un factor de (posiblemente) cuatro o mejorarse la relación señal-ruido (SNR) por (posiblemente) varios dB.
Para este fin, el codificador 202 se mejora disponiéndose para generar al menos dos conjuntos de parámetros 214 de depósito con fugas, por ejemplo, (R1, B1, F1), (R2, B2, F2)..., (RN, BN, FN), correspondientes a al menos dos puntos en la curva Tasa-Memoria intermedia que son útiles (por ejemplo, separados razonablemente con respecto al intervalo de R y/o B) para el clip de imagen o video dado. El codificador 202 mejorado a continuación proporciona estos conjuntos de parámetros de depósito con fugas, junto con el número N de los mismos, al decodificador 210 de referencia generalizado, tal como insertando los mismos en un encabezamiento de flujo inicial o como alternativa de alguna manera de fuera de banda. Obsérvese que incluso para un N relativamente grande, (por ejemplo, docenas de depósitos, mientras que de dos a cuatro normalmente serían suficientes para representar razonablemente una curva R-B), la cantidad de bytes extra necesarios para proporcionar esta información (por ejemplo, un byte para N, más ocho bytes por modelo de depósito con fugas o conjunto de parámetros) es insignificante cuando se compara con datos de video o imagen típicos.
Además, obsérvese que en tasas de bits mayores, el creador de contenido puede decidir especificar diferentes modelos de depósito con fugas en momentos diferentes en el flujo de bits, que sería útil siempre que una conexión falle durante transmisión y se reinicie en medio de un flujo de bits. Por ejemplo, pueden proporcionarse modelos de depósito con fugas durante intervalos de quince minutos, de tal forma que el decodificador puede cambiar sus condiciones operativas (por ejemplo, su tamaño de memoria intermedia o la tasa) como se desee mediante nueva selección, nueva interpolación o nueva extrapolación en momentos adecuados.
El valor deseado de N puede seleccionase mediante el codificador, (obsérvese que si N=1, el decodificador 210 generalizado extrapolará puntos como un verificador de almacenamiento temporal de video MPEG). El codificador puede elegir preseleccionar los valores de depósito con fugas y codificar el flujo de bits con un control de tasa que asegure que las restricciones de depósito con fugas se cumplen, codificar el flujo de bits y a continuación usar la ecuación descrita anteriormente para calcular conjuntos de parámetros de depósito con fugas que contienen el flujo de bits a N diferentes valores de R o hacer ambas. El primer enfoque puede aplicarse a transmisión en directo y bajo demanda, mientras que las otras se aplica a bajo demanda.
De acuerdo con la presente invención, una vez recibido en el decodificador 210 de referencia generalizado, el decodificador 210 puede determinar qué depósito con fugas desea usar, conociendo la tasa de bits máxima disponibles para el mismo y/o su tamaño de memoria intermedia física. Como alternativa, el decodificador 210 de referencia generalizado puede interpolar linealmente entre o extrapolar linealmente desde estos puntos para encontrar un conjunto de parámetros adecuado para una configuración dada. La Figura 5 muestra dos parámetros de depósito con fugas conjuntos y sus valores linealmente interpolados (R, B). Para referencia, la curva R-B calculada se representa como la línea discontinua fina, mientras que los valores R y B proporcionados en los modelos de depósito con fugas (Rx, Bx) y (Ry, By) se representan mediante asteriscos. La línea continua desde (Rx, Bx) a (Ry, By) representa los valores interpolados. Cualquier emparejamiento R o B elegido en esta línea continua mantendrá de forma adecuada (por ejemplo, sin desbordamiento o infrautilización) la memoria 208 intermedia de decodificador. Parámetros de depósito con fugas también pueden extrapolarse desde estos puntos, representados
por las líneas discontinuas gruesas en la Figura 5, y de nuevo, cualquier emparejamiento R o B elegido en esta línea continua mantendrá de forma adecuada la memoria 208 intermedia de decodificador.
El tamaño de memoria intermedia B interpolada entre puntos k y k+1 sigue la línea recta:
en la queRk < R < Rk+1. Análogamente, el llenado de memoria intermedia de decodificador inicial F puede interpolarse linealmente:
en la queRk < R < Rk+1.
Se garantiza que el depósito con fugas resultante con parámetros (R, B, F) contiene el flujo de bits, porque, (como puede demostrarse matemáticamente) el tamaño de memoria intermedia mínimo Bmin es convexo tanto en R como en F, es decir, el tamaño de memoria intermedia mínimo Bmin correspondiente a cualquier combinación convexa (R, F) = a(Rk,Fk) + (1-a) (Rk+1, Fk+1), 0<a<1, es menor que o igual a B = aBk + (1-a)Bk+1.
Como se ha descrito anteriormente, cuando R es mayor que RN, el depósito con fugas (R, BN, FN) también contendrá el flujo de bits, con lo que BN y FN son el tamaño de memoria intermedia y llenado de memoria intermedia de decodificador inicial recomendados cuando R ≥ RN. Si R es más pequeño que R1, puede usarse el límite superior B = B1 + (R1=R) T, en el que T es la longitud de tiempo del flujo en segundos. Estos valores (R, B) fuera del intervalo de los N puntos pueden extrapolarse.
Debería observarse que el decodificador no necesita seleccionar, interpolar o extrapolar los parámetros de depósito con fugas, sino que otra entidad puede seleccionar los parámetros para el envío de un único juego al decodificador, que usará entonces ese único conjunto. Por ejemplo, dada alguna información tal como unos requisitos del decodificador, un servidor puede determinar (a través de selección, interpolación o extrapolación) un conjunto apropiado de parámetros de depósito con fugas para enviar a un decodificador y a continuación el decodificador puede decodificar usando únicamente un único conjunto de parámetros. Un intermediario para el servidor o decodificador también podría hacer la selección, interpolación o extrapolación de la información de depósito con fugas, sin que el decodificador nunca vea más de un depósito con fugas. En otras palabras, en lugar de que el decodificador decida, el servidor puede decidir, posiblemente con el servidor y decodificador de cliente negociando los parámetros. En general sin embargo, y de acuerdo con la presente invención, tiene lugar alguna determinación de un modelo de depósito con fugas apropiado, ya sea por adelantado o dinámicamente, a base de al menos dos modelos de depósito con fugas.
Los valores de la curva R-B para un flujo de bits dado puede calcularse a partir de los tiempos en los que suceden los valores de llenado máximos y mínimos en la trama de memoria intermedia de decodificador, tales como las ilustradas en la Figura 3. Más particularmente, considera dos momentos (tM, tm), de los valores máximo y mínimo de llenado de memoria intermedia de decodificador, respectivamente, para un flujo de bits contenido en un depósito con fugas de parámetros (R, B, F). Los valores máximo y mínimo de llenado pueden alcanzarse en varias ocasiones, pero considera el par (tM, tm) de valores más altos de tal forma que tM < tm. Asumiendo que el depósito con fugas se calcula adecuadamente, B es el tamaño de memoria intermedia mínimo que contiene el flujo de bits para los valores R, F, por lo tanto
en la que b(t) es el número de bits para el fotograma en el momento t y M es la tasa de fotogramas en fotogramas/seg. En esta ecuación, n es el número de fotogramas entre los momentos tM y tm, y c es la suma de los bits para esos fotogramas.
Esta ecuación puede interpretarse como un punto en una línea recta B(r), en la que r = R y -n/M es la pendiente de la línea. Existe un intervalo de tasa de bits r
[R-r1, R+r2] de forma que el par más grande de valores tM y tm seguirá siendo el mismo, con lo que la anterior ecuación corresponde a una línea recta que define el tamaño de memoria intermedia mínimo B asociada a la tasa de bits r. Si la tasa de bits r está fuera del intervalo anterior, al menos uno de los valores tM y/o tm cambiará, con lo que si r > R+r2, la distancia de tiempo entre tM y tm será más pequeña y el valor de n en la nueva línea recta que define B(r) también será más pequeño y la pendiente de la respectiva línea será mayor (menos negativa). Si r < R-r1, la distancia de tiempo entre tM y tm será más grande y el valor de n en la línea recta que define B(r) también será más grande. La pendiente de la línea será entonces más pequeña (más negativa).
Los valores de los pares (tM, tm) para un intervalo de tasas de bits (o los valores asociados de n) y algunos valores de c (al menos uno para un par dado) pueden almacenarse en el encabezamiento de un flujo de bits, y por lo tanto la curva B(r) lineal por tramos podría obtenerse usando la anterior ecuación. Además, esta ecuación puede usarse para simplificar el cálculo de parámetros de modelo de depósito con fugas después de que un codificador ha generado un flujo de bits.
En pruebas, se produjo el flujo de bits en la Figura 5, resultando una tasa de bits media de 797 Kbps. Como se muestra de forma general en la Figura 5, a una tasa de transmisión constante de 797 Kbps, el decodificador necesitaría un tamaño de memoria intermedia de aproximadamente 18.000 Kbits (Rx, Bx). Con un llenado de memoria intermedia de decodificador inicial igual a 18.000 Kbits, el retardo de puesta en marcha sería aproximadamente de 22,5 segundos. Por lo tanto, esta codificación (producido sin control de tasa) desplaza bits por hasta 22,5 segundos para lograr esencialmente la mejor calidad posible para su longitud codificada total.
La Figura 5 también muestra que a una tasa de transmisión máxima de 2.500 Kbps (por ejemplo, la porción de tasa de bits de video de un CD 2x), el decodificador necesitaría un tamaño de memoria intermedia de únicamente 2.272 Kbits, (Ry,By), que es razonable para un dispositivo de hardware de consumo. Con un llenado de memoria intermedia inicial igual a 2.272 Kbits, el retardo de puesta en marcha será de únicamente aproximadamente 0,9 segundos.
Por lo tanto para esta codificación, habitualmente podrían ser útiles dos modelos de depósito con fugas, por ejemplo, (R=797 Kbps, B=18.000 Kbits, F=18.000 Kbits) y (R=2.500 Kbps, B=2.272 Kbits, F=2.272 Kbits). Este primer conjunto de parámetros de depósito con fugas permitiría la transmisión del video en un canal de tasa de bits constante, con un retardo de aproximadamente 22,5 segundos. Mientras este retardo puede ser demasiado largo para muchos escenarios, es probablemente aceptable para flujo continuo por Internet de películas, por ejemplo. El segundo conjunto de parámetros de depósito con fugas permitiría la transmisión del video en una red compartida con tasa máxima de 2.500 Kbps o permitiría reproducción local desde un CD 2x, con un retardo de aproximadamente 0,9 segundos. Este sub-segundo retardo es aceptable para reproducción de acceso aleatorio con funcionalidad del tipo VCR (grabador de video).
Los beneficios son evidentes cuando se considera lo que sucede cuando únicamente se especificó el primer depósito con fugas en el flujo de bits, pero no el segundo. En un evento de este tipo, incluso cuando se reproduce en un canal con tasa de bits máxima de 2.500 Kbps, el decodificador usaría una memoria intermedia de tamaño de
18.000 Kbits y por lo tanto el retardo sería F/R = 18.000 Kbits / 2.500 Kbps = 7,2 segundos. Como puede apreciarse, un retardo de este tipo es inaceptable para reproducción de acceso aleatorio, tal como con funcionalidad del tipo VCR. Sin embargo, si el segundo depósito con fugas se especifica adicionalmente, entonces a una tasa de 2.500 Kbps el tamaño de memoria intermedia desciende a 2.272 Kbits y el retardo desciende a 0,9 segundos, como se ha descrito anteriormente.
Por otra parte, si únicamente el segundo depósito con fugas se especificó, pero no el primero, entonces a una tasa de transmisión constante de 797 Kbps, incluso un decodificador inteligente se vería forzado a usar una memoria intermedia que es mucho más grande que la necesaria, para garantizar que la memoria intermedia no se desbordará, a saber B’ = B + (R -R’)T = 2.272 Kbits + (2.500 Kbps -797 Kbps) x 130 segundos = 223.662 Kbits. Incluso si tanta memoria está disponible en un dispositivo dado, esto corresponde a un retardo inicial de 281 segundos, o casi cinco minutes, que está lejos de ser aceptable. Sin embargo, si el primer depósito con fugas también se especifica, entonces a una tasa de 797 Kbps, el tamaño de memoria intermedia desciende a 18.000 Kbits y el retardo desciende a 22,5 segundos, como se ha descrito anteriormente.
Además, cuando ambos depósitos con fugas se especifican, entonces el decodificador puede interpolar linealmente entre ellos (usando las formulas de interpolación anteriores), para cualquier tasa de bits R entre 797 Kbps y 2.500 Kbps, de este modo logrando casi tamaño de memoria intermedia y retardo mínimos a cualquier tasa dada. La extrapolación (representada en la Figura 5 por la línea discontinua gruesa) también es más eficiente tanto por debajo de 797 Kbps como por encima de 2.500 Kbps, comparado con la extrapolación con únicamente un único depósito con fugas en cualquier sitio entre 797 Kbps y 2.500 Kbps, inclusive.
Como se ha demostrado en el ejemplo anterior, incluso solo dos conjuntos de parámetros de depósito con fugas pueden proporcionar un orden de magnitud de reducción en tamaño de memoria intermedia (por ejemplo, de
223.662 a 18.000 Kbits en un caso y de 18.000 a 2.272 Kbits en otro) y un orden de magnitud de reducción en
retardo (por ejemplo, de 281 a 22,5 segundos en un caso y e 7,2 a 0,9 segundos en otro) a una tasa de transmisión máxima dada.
Como alternativa, también posible reducir la tasa de transmisión máxima para un dado tamaño de memoria intermedia de decodificador. De hecho, como se desprende de la Figura 5, si la curva R-B puede obtenerse mediante la interpolación y/o extrapolación de múltiples depósitos con fugas, entonces es posible para un decodificador con un tamaño de memoria intermedia física fijo elegir la tasa de transmisión máxima mínima necesaria para decodificar de forma segura el flujo de bits sin infrautilización de memoria intermedia de decodificador. Por ejemplo, si el decodificador tiene una memoria intermedia fija de tamaño de 18.000 Kbits, entonces la tasa de transmisión máxima para la codificación puede ser tan baja como 797 Kbps. Sin embargo, si únicamente se especifica el segundo depósito con fugas, pero no el primero, entonces el decodificador puede reducir la tasa de bits a no menos de R’ = R -(B’ -B)/T = 2.500 Kbps -(18.000 Kbits -2.272 Kbits) / 130 segundos =
2.379 Kbps. En este caso, comparado con usar un único depósito con fugas, usar solo dos depósitos con fugas reduce la tasa de transmisión máxima en un factor de cuatro, para el mismo tamaño de memoria intermedia de decodificador.
Tener múltiples parámetros de depósito con fugas también puede mejorar la calidad del video reconstruido, a la misma tasa de codificación media. Considera la situación en la que ambos depósitos con fugas están disponibles para la codificación. Como se ha descrito anteriormente, con esta información en el decodificador, es posible reproducir la codificación con un retardo de 22,5 segundos si la tasa de transmisión máxima es 797 Kbps y con un retardo de 0,9 segundos si la tasa de transmisión máxima es 2.500 Kbps.
Sin embargo, si el segundo depósito con fugas no está disponible, entonces el retardo aumenta desde 0,9 a 7,2 segundos a 2.500 Kbps. Una manera de reducir el retardo de vuelta a 0,9 segundos sin el beneficio del segundo depósito con fugas es recodificar el clip con un control de tasa, reduciendo el tamaño de memoria intermedia (del primer depósito con fugas) desde 18.000 Kbits a (0,9 segundos) x (2.500 Kbps) = 2.250 Kbits. Esto garantizaría que el retardo fuera de únicamente 0,9 segundos si la tasa de transmisión máxima fuera de 2.500 Kbps, aunque el retardo a 797 Kbps también disminuiría, desde 22,5 a 2,8 segundos. Sin embargo, como consecuencia, la calidad (SNR) también disminuirá en una cantidad estimada de varios dB, especialmente para un clip con un intervalo dinámico grande.
Por lo tanto, especificar un segundo depósito con fugas puede aumentar la SNR en posiblemente varios dB, sin cambio en la tasa de bits media, excepto para la insignificante cantidad de bits adicionales por clip para especificar el segundo depósito con fugas. Este aumento en SNR será visible en reproducción para cada tasa de transmisión máxima.
Los beneficios de especificar múltiples depósitos con fugas en el decodificador de referencia generalizado se realizan en el que una única codificación se transmite en canales con diferentes tasas máximas o a dispositivos con diferentes tamaños de memoria intermedia física. Sin embargo, en la práctica esto se está volviendo más y más común. Por ejemplo, contenido que se codifica fuera de línea y almacenado en un disco es a menudo reproducido localmente, así como transmitidos en flujo continuo en redes con diferentes tasas máximas. Incluso para reproducción local, diferentes velocidades de discos (por ejemplo, CD x1 a través de DVD 8x) afectan la tasa de transferencia máxima. Además, las tasas de transmisión máximas a través de conexiones de red también varía dramáticamente de acuerdo con la velocidad del enlace limitante, que está habitualmente cerca del usuario final (por ejemplo, 100 o 10 base Ethernet, T1, DSL, ISDN, módems y así sucesivamente). Las capacidades de memoria intermedia de dispositivos reproductores también varían significativamente, desde ordenadores de sobremesa con gigabytes de espacio de memoria intermedia a pequeños dispositivos electrónicos de consumo con espacio de memoria intermedia que es más pequeña en varios órdenes de magnitud. Los múltiples depósitos con fugas y el decodificador de referencia generalizado propuesto de la presente invención hacen posible que el mismo flujo de bits se transmita en una diversidad de canales con el mínimo retardo de puesta en marcha, requisitos mínimos de memoria intermedia de decodificador y máxima calidad posible. Esto se aplica no únicamente a video que se codifica fuera de línea, sino también a video en directo que se difunde simultáneamente a través de diferentes canales a diferentes dispositivos. En breve, el decodificador de referencia generalizado propuesto añade flexibilidad significativa a flujos de bits existentes.
Como puede verse en la anterior descripción detallada, se proporciona un decodificador de referencia generalizado mejorado relativo a aquellos en normas anteriores. El decodificador de referencia generalizado requiere únicamente una pequeña cantidad de información del codificador (por ejemplo, en el encabezamiento del flujo de bits) para proporcionar mucha mayor flexibilidad para la distribución de flujo de bits a través de redes contemporáneas en las que el ancho de banda es ancho de banda variable y/o terminales tienen una diversidad de tasas de bits y capacidades de almacenamiento temporal. El decodificador de referencia de la presente invención permite estos nuevos escenarios, mientras que reduce el retardo de transmisión a un mínimo para el ancho de banda disponible y además, prácticamente minimiza el requisito de tasa de bits de canal para la distribución a dispositivos con limitaciones dadas de tamaño de memoria intermedia física.

Claims (8)

  1. REIVINDICACIONES
    1. Un procedimiento implementado en ordenador que comprende:
    con un codificador de vídeo, codificar datos para video dado para producir un flujo de bits de datos codificados para el video dado; generar múltiples conjuntos (214) de parámetros de decodificador de referencia para el flujo de bits, en el que cada uno de los múltiples conjuntos (214) comprende un parámetro de tasa y un parámetro de tamaño de memoria intermedia de decodificador, en el que cada uno de los múltiples conjuntos (214) caracteriza un modelo de depósito con fugas para el flujo de bits, estando el modelo de depósito con fugas para cada uno de los múltiples conjuntos (214), estando adicionalmente caracterizado por un llenado de memoria intermedia de decodificador inicial o retardo de memoria intermedia inicial, y en el que, para cada uno de los múltiples conjuntos (214) de parámetros de decodificador de referencia, el conjunto de parámetros de decodificador de referencia contiene el flujo de bits, de tal forma que no existe infrautilización de una memoria (208) intermedia de decodificador de un decodificador (210) de referencia que opera de acuerdo con el conjunto de parámetros de decodificador de referencia para la decodificación de los datos codificados para el video dado; proporcionar el flujo de bits para distribución a uno o más dispositivos de decodificador para la decodificación de los datos codificados para el video dado; proporcionar un valor numérico N junto con el flujo de bits, en el que el valor numérico N indica cuántos conjuntos de parámetros de decodificador de referencia hay en los múltiples conjuntos (214) de parámetros de decodificador de referencia; y proporcionar los múltiples conjuntos (214) de parámetros de decodificador de referencia junto con el flujo de bits para hacer cada uno de los múltiples conjuntos de parámetros de decodificador de referencia disponibles para su uso en determinación de un tamaño de memoria intermedia mínimo o una tasa máxima mínima para la decodificación de los datos codificados para el video dado, incluyendo la determinación:
    1) determinar el tamaño de memoria intermedia a partir de una tasa dada y uno o más de los múltiples conjuntos (214) proporcionados de parámetros de decodificador de referencia, o 2) determinar la tasa máxima a partir de un tamaño de memoria intermedia dado y uno o más de los múltiples conjuntos (214) proporcionados de parámetros de decodificador de referencia.
  2. 2.
    El procedimiento de la reivindicación 1 en el que se proporcionan los múltiples conjuntos (214) de parámetros de decodificador de referencia en un encabezamiento de flujo junto con el valor numérico N.
  3. 3.
    El procedimiento de una cualquiera de las reivindicaciones 1 a 2 en el que la determinación incluye seleccionar un parámetro de uno de los múltiples conjuntos (214) de parámetros de decodificador de referencia.
  4. 4.
    El procedimiento de una cualquiera de las reivindicaciones 1 a 2 en el que la determinación incluye interpolar entre parámetros de dos de los múltiples conjuntos (214) de parámetros de decodificador de referencia.
  5. 5.
    El procedimiento de una cualquiera de las reivindicaciones 1 a 2 en el que la determinación incluye extrapolar desde un parámetro de uno de los múltiples conjuntos (214) de parámetros de decodificador de referencia.
  6. 6.
    Un medio legible por ordenador que almacena instrucciones ejecutables por ordenador para provocar que un sistema informático programado de este modo realice el procedimiento de una cualquiera de las reivindicaciones 1 a
  7. 5.
  8. 7. Un sistema informático adaptado para realizar el procedimiento de una cualquiera de las reivindicaciones 1 a 5.
ES02019056.7T 2001-09-19 2002-08-27 Decodificador de referencia generalizado de procesamiento de imagen o video Expired - Lifetime ES2623635T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US09/955,731 US7646816B2 (en) 2001-09-19 2001-09-19 Generalized reference decoder for image or video processing
US955731 2001-09-19

Publications (1)

Publication Number Publication Date
ES2623635T3 true ES2623635T3 (es) 2017-07-11

Family

ID=25497261

Family Applications (3)

Application Number Title Priority Date Filing Date
ES02019056.7T Expired - Lifetime ES2623635T3 (es) 2001-09-19 2002-08-27 Decodificador de referencia generalizado de procesamiento de imagen o video
ES06006864T Expired - Lifetime ES2570190T3 (es) 2001-09-19 2002-08-27 Parámetros de generación y provisión para decodificador de referencia generalizado de vídeo
ES06022341T Expired - Lifetime ES2570604T3 (es) 2001-09-19 2002-08-27 Decodificador de referencia generalizado de vídeo

Family Applications After (2)

Application Number Title Priority Date Filing Date
ES06006864T Expired - Lifetime ES2570190T3 (es) 2001-09-19 2002-08-27 Parámetros de generación y provisión para decodificador de referencia generalizado de vídeo
ES06022341T Expired - Lifetime ES2570604T3 (es) 2001-09-19 2002-08-27 Decodificador de referencia generalizado de vídeo

Country Status (9)

Country Link
US (2) US7646816B2 (es)
EP (3) EP1746844B1 (es)
JP (2) JP4199973B2 (es)
KR (2) KR100947162B1 (es)
CN (2) CN100461858C (es)
DE (1) DE20222026U1 (es)
ES (3) ES2623635T3 (es)
HK (1) HK1053034B (es)
TW (1) TW574831B (es)

Families Citing this family (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
ES2381092T3 (es) * 2000-07-19 2012-05-23 Critical Perfusion, Inc Catéter para uso en un sistema para supervisar daño de mucosa en órganos viscosos huecos
US7646816B2 (en) * 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
US7603495B2 (en) * 2002-04-19 2009-10-13 Ipg Electronics 503 Limited Method of and device for changing an output rate
CN101827262B (zh) 2002-04-26 2014-09-17 索尼株式会社 解码设备和方法
GB0306973D0 (en) * 2003-03-26 2003-04-30 British Telecomm Transmitting video
US7266147B2 (en) * 2003-03-31 2007-09-04 Sharp Laboratories Of America, Inc. Hypothetical reference decoder
US7380028B2 (en) * 2003-06-13 2008-05-27 Microsoft Corporation Robust delivery of video data
US7353284B2 (en) * 2003-06-13 2008-04-01 Apple Inc. Synchronized transmission of audio and video data from a computer to a client via an interface
US7477605B2 (en) * 2003-06-30 2009-01-13 Alcatel-Lucent Usa Inc. Methods providing variable granularity for data flow control using a leaky bucket
US20050004997A1 (en) * 2003-07-01 2005-01-06 Nokia Corporation Progressive downloading of timed multimedia content
US8213779B2 (en) * 2003-09-07 2012-07-03 Microsoft Corporation Trick mode elementary stream and receiver system
US7852919B2 (en) * 2003-09-07 2010-12-14 Microsoft Corporation Field start code for entry point frames with predicted first field
US8582659B2 (en) * 2003-09-07 2013-11-12 Microsoft Corporation Determining a decoding time stamp from buffer fullness
US7724827B2 (en) * 2003-09-07 2010-05-25 Microsoft Corporation Multi-layer run level encoding and decoding
US7839930B2 (en) 2003-11-13 2010-11-23 Microsoft Corporation Signaling valid entry points in a video stream
US8107531B2 (en) * 2003-09-07 2012-01-31 Microsoft Corporation Signaling and repeat padding for skip frames
US7961786B2 (en) * 2003-09-07 2011-06-14 Microsoft Corporation Signaling field type information
US7609762B2 (en) * 2003-09-07 2009-10-27 Microsoft Corporation Signaling for entry point frames with predicted first field
US8345754B2 (en) 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US7924921B2 (en) * 2003-09-07 2011-04-12 Microsoft Corporation Signaling coding and display options in entry point headers
US7979886B2 (en) 2003-10-17 2011-07-12 Telefonaktiebolaget Lm Ericsson (Publ) Container format for multimedia presentations
SE0302778D0 (sv) 2003-10-17 2003-10-17 Ericsson Telefon Ab L M Container format for multimedia presentations
US7016409B2 (en) * 2003-11-12 2006-03-21 Sony Corporation Apparatus and method for use in providing dynamic bit rate encoding
GB0406901D0 (en) * 2004-03-26 2004-04-28 British Telecomm Transmitting recorded material
JP2005333478A (ja) * 2004-05-20 2005-12-02 Mitsumi Electric Co Ltd ストリーミングコンテンツ再生方法及びそれを用いたインターネット接続装置
CN100351869C (zh) * 2004-09-15 2007-11-28 致伸科技股份有限公司 一种数字图像插值处理方法
US20060104212A1 (en) * 2004-11-12 2006-05-18 Mao-Hsiung Lee Method of dynamically determining optimum size of buffer
US8218439B2 (en) * 2004-11-24 2012-07-10 Sharp Laboratories Of America, Inc. Method and apparatus for adaptive buffering
US7543073B2 (en) * 2004-12-10 2009-06-02 Microsoft Corporation System and process for performing an exponentially weighted moving average on streaming data to establish a moving average bit rate
JP2006174309A (ja) * 2004-12-17 2006-06-29 Ricoh Co Ltd 動画再生装置、プログラム、及び記録媒体
US20060133494A1 (en) * 2004-12-17 2006-06-22 Rahul Saxena Image decoder with context-based parameter buffer
WO2006096104A1 (en) * 2005-03-07 2006-09-14 Telefonaktiebolaget Lm Ericsson (Publ) Multimedia channel switching
JP4066268B2 (ja) * 2005-03-25 2008-03-26 船井電機株式会社 データ伝送システム
US7974193B2 (en) * 2005-04-08 2011-07-05 Qualcomm Incorporated Methods and systems for resizing multimedia content based on quality and rate information
US8792555B2 (en) * 2006-01-31 2014-07-29 Qualcomm Incorporated Methods and systems for resizing multimedia content
BRPI0720702A2 (pt) * 2007-01-05 2014-02-18 Thomson Licensing Decodificador hipotético de referência para codificação de vídeo escalável
US7656318B2 (en) * 2007-01-29 2010-02-02 Ntt Docomo, Inc. Optimized content-based and royalty-based encoding and distribution of media data
CN101415078B (zh) * 2007-10-18 2010-08-18 深圳Tcl新技术有限公司 基于电影的视频的递归噪声降低方法及装置
US8345774B2 (en) * 2008-01-11 2013-01-01 Apple Inc. Hypothetical reference decoder
EP2101503A1 (en) * 2008-03-11 2009-09-16 British Telecommunications Public Limited Company Video coding
US9167007B2 (en) * 2008-06-06 2015-10-20 Amazon Technologies, Inc. Stream complexity mapping
US9047236B2 (en) 2008-06-06 2015-06-02 Amazon Technologies, Inc. Client side stream switching
JP5171413B2 (ja) * 2008-06-16 2013-03-27 三菱電機株式会社 コンテンツ送信装置、コンテンツ受信装置及びコンテンツ送信方法
JP2010028633A (ja) * 2008-07-23 2010-02-04 Nec Personal Products Co Ltd デジタル放送受信機、及びプログラム
EP2200319A1 (en) 2008-12-10 2010-06-23 BRITISH TELECOMMUNICATIONS public limited company Multiplexed video streaming
EP2219342A1 (en) 2009-02-12 2010-08-18 BRITISH TELECOMMUNICATIONS public limited company Bandwidth allocation control in multiple video streaming
JP5072893B2 (ja) * 2009-03-25 2012-11-14 株式会社東芝 画像符号化方法および画像復号化方法
US20100246685A1 (en) * 2009-03-31 2010-09-30 Alcatel-Lucent Usa Inc. Compressed video decoding delay reducer
CN101557512B (zh) * 2009-05-19 2011-07-20 武汉长江通信产业集团股份有限公司 视频终端接收视频数据延时的处理方法
US9014545B2 (en) 2009-07-24 2015-04-21 Netflix, Inc. Adaptive streaming for digital content distribution
US8631455B2 (en) * 2009-07-24 2014-01-14 Netflix, Inc. Adaptive streaming for digital content distribution
US9521178B1 (en) 2009-12-21 2016-12-13 Amazon Technologies, Inc. Dynamic bandwidth thresholds
JP5706771B2 (ja) * 2010-07-30 2015-04-22 キヤノン株式会社 動画像の予測符号化装置及びその制御方法、コンピュータプログラム
JP5664229B2 (ja) * 2010-12-28 2015-02-04 ソニー株式会社 送信装置、送信方法、及びプログラム
EP2490447A1 (en) * 2011-02-16 2012-08-22 British Telecommunications Public Limited Company Compact cumulative bit curves
JP5787135B2 (ja) * 2011-04-06 2015-09-30 ソニー株式会社 画像処理装置および方法、プログラム、並びに、記録媒体
US20130208809A1 (en) * 2012-02-14 2013-08-15 Microsoft Corporation Multi-layer rate control
US10306206B2 (en) * 2013-07-23 2019-05-28 The Regents Of The University Of California 3-D motion estimation and online temporal calibration for camera-IMU systems
US10283091B2 (en) * 2014-10-13 2019-05-07 Microsoft Technology Licensing, Llc Buffer optimization
US10404986B2 (en) * 2015-03-30 2019-09-03 Netflix, Inc. Techniques for optimizing bitrates and resolutions during encoding
US9866596B2 (en) 2015-05-04 2018-01-09 Qualcomm Incorporated Methods and systems for virtual conference system using personal communication devices
US9906572B2 (en) 2015-08-06 2018-02-27 Qualcomm Incorporated Methods and systems for virtual conference system using personal communication devices
US10015216B2 (en) 2015-08-06 2018-07-03 Qualcomm Incorporated Methods and systems for virtual conference system using personal communication devices
US10796660B2 (en) * 2018-10-12 2020-10-06 Samsung Display Co., Ltd. Content adaptive display interface

Family Cites Families (41)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4706260A (en) * 1986-11-07 1987-11-10 Rca Corporation DPCM system with rate-of-fill control of buffer occupancy
CA2000156C (en) * 1989-02-14 1995-05-02 Kohtaro Asai Picture signal encoding and decoding apparatus
JP2787599B2 (ja) * 1989-11-06 1998-08-20 富士通株式会社 画像信号符号化制御方式
GB9012538D0 (en) * 1990-06-05 1990-07-25 Philips Nv Coding of video signals
JPH04297179A (ja) 1991-03-15 1992-10-21 Mitsubishi Electric Corp データ通信方式
US5159447A (en) * 1991-05-23 1992-10-27 At&T Bell Laboratories Buffer control for variable bit-rate channel
EP0514663A3 (en) 1991-05-24 1993-07-14 International Business Machines Corporation An apparatus and method for motion video encoding employing an adaptive quantizer
US5291486A (en) * 1991-08-19 1994-03-01 Sony Corporation Data multiplexing apparatus and multiplexed data demultiplexing apparatus
US5365552A (en) 1992-11-16 1994-11-15 Intel Corporation Buffer fullness indicator
US5566208A (en) 1994-03-17 1996-10-15 Philips Electronics North America Corp. Encoder buffer having an effective size which varies automatically with the channel bit-rate
US5541852A (en) * 1994-04-14 1996-07-30 Motorola, Inc. Device, method and system for variable bit-rate packet video communications
US5933451A (en) * 1994-04-22 1999-08-03 Thomson Consumer Electronics, Inc. Complexity determining apparatus
JP3674072B2 (ja) 1995-02-16 2005-07-20 富士ゼロックス株式会社 ファクシミリ通信方法及びファクシミリ装置
US5995670A (en) * 1995-10-05 1999-11-30 Microsoft Corporation Simplified chain encoding
FI101332B1 (fi) * 1995-12-18 1998-05-29 Nokia Telecommunications Oy Epäjatkuvalähetys monikanavaisessa suurinopeuksisessa datasiirrossa
US6957350B1 (en) * 1996-01-30 2005-10-18 Dolby Laboratories Licensing Corporation Encrypted and watermarked temporal and resolution layering in advanced television
JPH09261266A (ja) * 1996-03-26 1997-10-03 Matsushita Electric Ind Co Ltd サービス情報通信システム
US5952943A (en) * 1996-10-11 1999-09-14 Intel Corporation Encoding image data for decode rate control
US6141053A (en) * 1997-01-03 2000-10-31 Saukkonen; Jukka I. Method of optimizing bandwidth for transmitting compressed video data streams
CN1148955C (zh) 1997-10-03 2004-05-05 索尼公司 编码数据流接合设备和方法及编码数据流生成设备和方法
SG116400A1 (en) * 1997-10-24 2005-11-28 Matsushita Electric Industrial Co Ltd A method for computational graceful degradation inan audiovisual compression system.
US6060997A (en) * 1997-10-27 2000-05-09 Motorola, Inc. Selective call device and method for providing a stream of information
US6775840B1 (en) * 1997-12-19 2004-08-10 Cisco Technology, Inc. Method and apparatus for using a spectrum analyzer for locating ingress noise gaps
JP2002510947A (ja) * 1998-04-02 2002-04-09 サーノフ コーポレイション 圧縮ビデオ・データのバースト状データ伝送
US6629318B1 (en) * 1998-11-18 2003-09-30 Koninklijke Philips Electronics N.V. Decoder buffer for streaming video receiver and method of operation
US6233226B1 (en) * 1998-12-14 2001-05-15 Verizon Laboratories Inc. System and method for analyzing and transmitting video over a switched network
KR100584394B1 (ko) * 1998-12-30 2006-08-30 삼성전자주식회사 실시간 네트워크 감시에 의한 보코더 파라미터 제어 방법
US6671323B1 (en) 1999-02-05 2003-12-30 Sony Corporation Encoding device, encoding method, decoding device, decoding method, coding system and coding method
JP2000286865A (ja) * 1999-03-31 2000-10-13 Toshiba Corp 連続メディアデータ送信ステム
KR100390115B1 (ko) * 1999-04-12 2003-07-04 마츠시타 덴끼 산교 가부시키가이샤 화상 처리 방법, 화상 처리 장치 및 데이터 기억 매체
JP4283950B2 (ja) * 1999-10-06 2009-06-24 パナソニック株式会社 ネットワーク管理システム
KR100636110B1 (ko) 1999-10-29 2006-10-18 삼성전자주식회사 엠펙-4 송수신용 시그널링을 지원하는 단말기
GB9930788D0 (en) * 1999-12-30 2000-02-16 Koninkl Philips Electronics Nv Method and apparatus for converting data streams
CN1322759C (zh) 2000-04-27 2007-06-20 三菱电机株式会社 编码装置和编码方法
JP2004505513A (ja) 2000-07-25 2004-02-19 エイジルビジョン・エル・エル・シー ネットワークフィードの固定タイムスロットに圧縮されたローカルビデオセグメントをスプライシングすること
US7454222B2 (en) * 2000-11-22 2008-11-18 Dragonwave, Inc. Apparatus and method for controlling wireless communication signals
US7675994B2 (en) 2001-04-02 2010-03-09 Koninklijke Philips Electronics N.V. Packet identification mechanism at the transmitter and receiver for an enhanced ATSC 8-VSB system
EP1391065A4 (en) 2001-05-02 2009-11-18 Strix Systems Inc METHOD AND SYSTEM FOR DISPLAYING THE ROUTE QUALITY BETWEEN ADJUSTABLE WIRELESS BASE STATIONS
US7646816B2 (en) * 2001-09-19 2010-01-12 Microsoft Corporation Generalized reference decoder for image or video processing
US8345754B2 (en) 2003-09-07 2013-01-01 Microsoft Corporation Signaling buffer fullness
US20060143678A1 (en) 2004-12-10 2006-06-29 Microsoft Corporation System and process for controlling the coding bit rate of streaming media data employing a linear quadratic control technique and leaky bucket model

Also Published As

Publication number Publication date
EP1298938B1 (en) 2017-02-15
EP1753248B1 (en) 2016-03-30
KR20070097375A (ko) 2007-10-04
EP1298938A3 (en) 2003-09-24
KR100947162B1 (ko) 2010-03-12
EP1298938A2 (en) 2003-04-02
EP1753248A3 (en) 2007-04-18
EP1746844B1 (en) 2016-03-30
KR100999311B1 (ko) 2010-12-08
HK1053034B (en) 2018-01-19
EP1753248A2 (en) 2007-02-14
US7646816B2 (en) 2010-01-12
CN1426235A (zh) 2003-06-25
JP4489794B2 (ja) 2010-06-23
DE20222026U1 (de) 2011-12-28
US7593466B2 (en) 2009-09-22
TW574831B (en) 2004-02-01
US20030053416A1 (en) 2003-03-20
ES2570190T3 (es) 2016-05-17
CN1848964A (zh) 2006-10-18
CN1848964B (zh) 2011-11-09
US20060198446A1 (en) 2006-09-07
JP2003179665A (ja) 2003-06-27
JP4199973B2 (ja) 2008-12-24
EP1746844A3 (en) 2007-04-18
CN100461858C (zh) 2009-02-11
EP1746844A2 (en) 2007-01-24
ES2570604T3 (es) 2016-05-19
KR20030025186A (ko) 2003-03-28
JP2007329953A (ja) 2007-12-20

Similar Documents

Publication Publication Date Title
ES2623635T3 (es) Decodificador de referencia generalizado de procesamiento de imagen o video
ES2390596T3 (es) Codificador de vídeo
HK1053034A (en) Generalized reference decoder for image or video processing
HK1147374B (en) Video encoder and method of encoding video
HK1145413B (en) Video encoder