ES2337012B2 - Sistema y metodo de ajuste de retardo audio/video. - Google Patents
Sistema y metodo de ajuste de retardo audio/video. Download PDFInfo
- Publication number
- ES2337012B2 ES2337012B2 ES200931181A ES200931181A ES2337012B2 ES 2337012 B2 ES2337012 B2 ES 2337012B2 ES 200931181 A ES200931181 A ES 200931181A ES 200931181 A ES200931181 A ES 200931181A ES 2337012 B2 ES2337012 B2 ES 2337012B2
- Authority
- ES
- Spain
- Prior art keywords
- audio
- video
- delay
- parameters
- value
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Active
Links
Classifications
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/80—Generation or processing of content or additional data by content creator independently of the distribution process; Content per se
- H04N21/85—Assembly of content; Generation of multimedia applications
- H04N21/854—Content authoring
- H04N21/8547—Content authoring involving timestamps for synchronizing content
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/4302—Content synchronisation processes, e.g. decoder synchronisation
- H04N21/4307—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen
- H04N21/43072—Synchronising the rendering of multiple content streams or additional data on devices, e.g. synchronisation of audio on a mobile phone with the video output on the TV screen of multiple content streams on the same device
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/20—Servers specifically adapted for the distribution of content, e.g. VOD servers; Operations thereof
- H04N21/23—Processing of content or additional data; Elementary server operations; Server middleware
- H04N21/236—Assembling of a multiplex stream, e.g. transport stream, by combining a video stream with other content or additional data, e.g. inserting a URL [Uniform Resource Locator] into a video stream, multiplexing software data into a video stream; Remultiplexing of multiplex streams; Insertion of stuffing bits into the multiplex stream, e.g. to obtain a constant bit-rate; Assembling of a packetised elementary stream
- H04N21/2368—Multiplexing of audio and video streams
-
- H—ELECTRICITY
- H04—ELECTRIC COMMUNICATION TECHNIQUE
- H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
- H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
- H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
- H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
- H04N21/434—Disassembling of a multiplex stream, e.g. demultiplexing audio and video streams, extraction of additional data from a video stream; Remultiplexing of multiplex streams; Extraction or processing of SI; Disassembling of packetised elementary stream
- H04N21/4341—Demultiplexing of audio and video streams
Landscapes
- Engineering & Computer Science (AREA)
- Multimedia (AREA)
- Signal Processing (AREA)
- Computer Security & Cryptography (AREA)
- Television Receiver Circuits (AREA)
Abstract
Sistema y método de ajuste de retardo
audio/vídeo que comprende las siguientes etapas: extraer parámetros
característicos de una fuente de audio (3); introducir los
parámetros extraídos de la fuente de audio (3) en el vídeo
procedente de una fuente de vídeo (1); extraer de la señal de audio,
tras el procesado del vídeo, los mismos parámetros extraídos en la
primera etapa; obtener de la señal de vídeo, tras el procesado del
vídeo, los parámetros de audio introducidos en la segunda etapa;
comparar los parámetros de audio extraídos en la tercera etapa y
obtenidos en la cuarta; calcular el retardo existente entre los
parámetros de audio comparados; almacenar el retardo calculado; y
finalmente retardar la señal de audio un valor de retardo
configurable en función del retardo calculado y del retardo
almacenado procedente de una ejecución anterior del método.
Description
Sistema y método de ajuste de retardo
audio/vídeo.
La presente invención pertenece al campo de las
comunicaciones digitales para la producción y difusión de señales de
televisión.
La utilización de tecnologías digitales en los
equipos encargados del tratamiento del audio y del vídeo de los
procesos de producción para televisión ha originado una serie de
problemas de desfase audio y vídeo debido a los distintos retardos
introducidos por la utilización de estas tecnologías. Una de las
razones de esta diferencia en los retardos en la producción es
debida a que, mientras en el mundo analógico los equipos apenas
introducían retardos en la señal, en el digital es necesario
almacenar la información de cada cuadro para poder tratar la imagen
y transmitirla posteriormente a su salida. Por tanto, el
almacenamiento y procesado de una imagen que tenga 25 cuadros por
segundo sin entrelazar, significa que se introduce en la salida un
retardo 1/25 segundos (40 ms), sin tener en cuenta el tiempo de
procesado. Si el número de procesos que intervinieran en la
operación fueran constantes, un simple retardo en el audio de Nx40
ms solucionaría el problema, siendo N el número de procesos por los
que pasa la señal. Sin embargo, el número de procesos difiere
dependiendo de la aplicación que se pretende realizar y de la forma
de operar de los técnicos que la lleven a cabo.
Además de lo anteriormente expuesto, el retardo
entre el audio y el vídeo puede sufrir modificaciones en el control
de realización puesto que se utilizan mezcladores de vídeo. Los
mezcladores de vídeo son los encargados de mezclar las diferentes
señales que entran en el control y se caracterizan por tener varias
etapas de procesado de imagen, en cada una de las cuales se pueden
realizar operaciones de mezcla ó de inserción de imágenes. De esta
forma, cuando una señal pasa por tres etapas de procesado, caso
típico en los mezcladores profesionales, la señal de salida es
retardada 120 ms con respecto al audio. Así, la salida de un estudio
presentaría un margen de desincronización audio/vídeo entre 40 y 120
ms.
El problema se agrava cuando la señal ha de
pasar por varios controles o por entornos de distribución, tales
como las redes IP en las que el camino de audio es diferente del
vídeo que hacen que el retardo sea ingobernable.
Los métodos de sincronización audio/vídeo
conocidos principalmente tratan los retardos derivados de la
transferencia de vídeo en baja calidad en las redes IP. Uno de los
métodos más utilizados hoy en día se basa en el procesamiento de
imágenes, con el fin de detectar los labios del interlocutor, y en
el procesamiento del audio, con el fin de ajustar lo máximo posible
el sonido al movimiento de los labios. Sin embargo, este método
presenta un problema importante que se trata del consumo de CPU
requerido para el tratamiento de señales.
Por otro lado, el procesamiento digital del
audio permite detectar y clasificar sonidos como sonoros o sordos.
En los sonoros, existe una frecuencia fundamental con una amplitud
que destaca sobre otras componentes de frecuencias de menor
amplitud, sin embargo, en los sordos hay muchas frecuencias que
influyen en la tonalidad con amplitudes similares y no hay ninguna
frecuencia que se imponga al resto. Un ejemplo de vocal sonora es la
"a" que tiene como frecuencia dominante una frecuencia
alrededor de los 780 hercios y como segunda componente una
frecuencia alrededor de los 1600 hercios. El reconocimiento de voz
en este caso se basa tanto en el análisis de la envolvente espectral
(frecuencias formadoras) como en su evolución en el tiempo. En este
contexto, a la voz humana se la puede considerar como
"estacionaria a trozos" con periodos estacionarios de 20 o 40
ms y generándose de 5 a 20 fonemas por segundo. Este reconocimiento
de voz, junto con el estudio de la imagen focalizando el interés
sobre la ubicación de los labios, se usa para corregir las
desincronizaciones sin embargo, este procesamiento implica una carga
computacional elevada lo cual supone una limitación
considerable.
Era por tanto deseable un método de ajuste de
retardo de audio/vídeo que solucionara los problemas existentes en
el estado de la técnica en este sector.
La presente invención propone un método de
ajuste de retardo de audio/vídeo con el fin de paliar los problemas
expuestos en el estado de la técnica.
Para ello, el método realiza una inserción de
datos de audio en el vídeo con el fin de sincronizar el audio y el
vídeo Concretamente, el método se basa en la introducción de
elementos significativos del audio dentro de la señal de vídeo
cuando el audio es de tipo voz. Este método no es invasivo puesto
que los datos de audio no se insertan o mezclan con los datos de
imagen sino que se introducen en campos de datos libres del propio
stream de vídeo. El método tampoco requiere una gran capacidad para
realizar el procesado puesto que únicamente estudia el sonido y los
campos de datos del flujo de vídeo, es decir, no necesita tratar la
imagen y por tanto reduce la carga computacional asociada a dicho
procesamiento. De esta forma, con este método es posible analizar el
flujo de audio y de vídeo, detectar el retardo de la imagen con
respecto al audio y, una vez detectado dicho retardo, ajustar de
forma escalonada una línea de retardo del audio para evitar posibles
cortes o saltos en el sonido. Este ajuste escalonado del retardo se
puede realizar mediante saltos de retardo en tiempos
preestablecidos. Como ejemplo si se tiene un vídeo con un retardo de
200 ms respecto al audio, este ajuste se puede realizar añadiendo
retardos de audio de 50 en tramos de 500 ms, de forma que en 1,5
segundos el audio y el vídeo estarán sincronizados, o añadiendo
saltos de 100 ms en tramos de 500 ms, en cuyo caso en 0,5 segundos
estaría sincronizado. El salto podría ser del retardo completo, de
esta forma el sincronizado del audio y del vídeo no presentaría
demoras.
El método parte de una fuente de vídeo a cuya
salida se añade el resultado de procesar y extraer parámetros de
audio de la fuente de audio. Preferentemente, se extraerá la
envolvente en frecuencias junto con las amplitudes del sonido sonoro
que en ese momento se esté produciendo, estos datos acompañarían al
vídeo en toda su trayectoria.
A partir del momento en el que el vídeo tiene la
referencia de su audio asociado con esas marcas de sincronización,
tanto el vídeo como el audio podrán pasar por los diferentes
elementos de producción de programas, mezcladores, sincronizadores
de cuadro, etc.
Una vez finalizados los procesos de producción,
el vídeo estará retardado con respecto al audio en un número
variable de cuadros que variará con el tiempo y dependerá de los
diferentes procesos y formas de operación por los que hayan pasado
las señales.
Para corregir este retardo, la señal de audio
resultante del proceso de producción es tratada por un procesador
que extrae el parámetro definido (envolvente de frecuencias y
amplitudes). Dicho parámetro es comparado con los parámetros que
tiene el flujo de datos del vídeo, resultado de la inserción
realizada antes de los procesos de producción, obteniendo tras la
comparación un valor del retardo real del vídeo con respecto al
audio, de forma que será necesario retardar el audio para la
sincronización, esto se realiza mediante el mismo comparador que
controla una línea de retardo variable, el comparador controla de
forma remota el tiempo de retardo que añade la línea de retardo
variable a la señal de audio. El comparador enviará los retardos
necesarios para ajustar de forma escalonada la línea de retardo en
el audio para evitar posibles cortes o saltos en el sonido.
Finalmente, se obtiene en la salida dos señales totalmente
síncronas: la señal de audio y la señal de vídeo
En la creación de material audiovisual hay
diferentes tipos de fuentes y procesos de producción de vídeo. A
continuación se particulariza la implementación de este método para
cada uno de ellos:
- El resultado de la captura de imágenes con
una única cámara: en este caso, el método detecta e introduce la
envolvente de frecuencias y amplitudes de los sonidos sonoros en el
flujo de datos del vídeo.
- El resultado de la edición de imágenes:
en este caso, cuando se inserta audio y vídeo de una misma
secuencia, se copian también los datos de la envolvente de
frecuencias que tenga la imagen original, en la imagen resultante de
la edición, puesto que al ser una copia de audio y vídeo, la señal
de audio ha de ser totalmente síncrona con el vídeo. Los datos de la
envolvente de frecuencias los habrá generado la cámara a la hora de
grabar el vídeo y el audio y cuando se inserta audio perteneciente a
una imagen diferente (voz en off), se borran los datos de la
envolvente de frecuencias que hubiera en la señal de vídeo puesto
que es una referencia al audio que hubiera asociado a la imagen
anteriormente.
- El resultado de la captura en un
estudio: en este caso, están involucradas varias cámaras y
varios micrófonos. En primer lugar se realiza una asociación de
micrófonos para cada cámara, donde cada micrófono podrá estar
asociado a varias cámaras, esto es: se asocia una o varias entradas
de audio a una entrada de vídeo y cada entrada de audio puede estar
asociada a varias entradas de vídeo. En cada entrada de audio se
procesa el sonido para extraer el valor de la envolvente en
frecuencias, este dato es introducido en el flujo de datos de las
entradas de vídeo que estén asociadas a esa entrada de audio,
concretamente antes del mezclador. También se podrá asociar una o
varias señales de vídeo por cada entrada de vídeo en el mezclador
con la finalidad de añadir varias fuentes de datos de audio
embebidos en la señal de vídeo para los casos en los que la cámara
tenga en imagen monitores con personas hablando en ellos.
- El resultado de producción en el control de
una realización: en este caso, hay varias fuentes de información
en el control de realización, estas fuentes van al mezclador donde
se seleccionas las diferentes señales que conforman la salida del
programa ó salida de estudio, cada una de las fuentes de vídeo
tendrán los datos de la envolvente en frecuencias de los sonidos
asociados a la señal por lo que cada vez que se selecciona una señal
de vídeo los datos de la envolvente espectral de los audios
asociados a esa línea de entrada son copiados al flujo de vídeo de
la salida del mezclador o de programa.
La orden de retardo desde el comparador hasta la
línea de retardo se realiza mediante saltos de valor preestablecido,
a cada salto de se le denominará valor de salto de igualación. Este
valor de salto de igualación puede ser negativo o positivo y se
enviará en tramos que se denominarán cuadros de igualación, esto
quiere decir que en cada cuadro de igualación se enviará un valor de
salto de igualación. El valor del salto de igualación es un divisor
del tiempo de cuadro de la imagen, para el ejemplo de un vídeo de 25
cuadros por segundo con un tiempo de cuadro de 40 ms, los valores de
salto de igualación pueden ser; \pm20, \pm10, \pm8, \pm5,
\pm2, \pm1, etc.). El comparador almacena el valor de retardo en
cada momento en el que se realiza la comparación de la envolvente
espectral del audio y la envolvente que lleva asociada la señal de
vídeo, los datos de la envolvente del audio se van almacenando en el
comparador y cuando llega un valor de envolvente dentro del vídeo,
se sabe cuánto tiempo ha de retardarse el audio. De esta forma, si
el retardo entre el vídeo y audio es de 200 ms, la línea de retardo
tiene un valor almacenado de 160 ms y el valor de salto es de
\pm20, se enviará el valor 180 en el primer cuadro de igualación
que se presente, y si en el siguiente cuadro de igualación permanece
el mismo retardo (200 ms), se actualizará con el valor de 200.
Para prevenir posibles problemas de
identificación de la envolvente espectral del audio insertada en el
vídeo con la envolvente espectral extraída del procesado del audio,
se fijan varios parámetros:
- Margen temporal de corrección: definido
como el tiempo máximo para buscar la envolvente espectral. Si no se
localiza esos valores para la envolvente espectral del vídeo, no se
realiza ningún tipo de corrección temporal. Por ejemplo, si se fija
un margen de corrección temporal de dos segundos en el comparador de
la línea de retardo, este comparador irá almacenando los valores de
la envolvente espectral que le vaya reportando el procesador de
audio, de forma que si en un instante t llega una envolvente
espectral de audio dentro de la señal de vídeo, el comparador mirará
las diferentes envolventes espectrales que tenga hasta
t-2 segundos. Este parámetro será variable en cada
instalación, dependiendo del número máximo de procesos que la imagen
pueda sufrir. Por ejemplo, si la imagen puede pasar por un máximo de
24 elementos de almacenamiento y procesado, el margen temporal de
corrección máximo será de 24*20 ms (para el caso de 50 imágenes por
segundo). El valor se establece en el comparador.
- Margen de identificación: definido como
la diferencia, expresada en tanto por ciento, por debajo de la cual
se consideran dos envolventes espectrales como idénticas, es decir,
que el valor embebido en el vídeo se corresponde con el del audio
que se está analizando y se consideran iguales. Si no se sobrepasa
este margen, no existe retardo. Esta comparación se realiza en el
comparador y el valor se establece en la fase de pruebas de
funcionamiento.
Por tanto, el método de ajuste de retardo
audio/vídeo, comprende las siguientes etapas:
- a)
- extraer parámetros característicos de una fuente de audio;
- b)
- introducir los parámetros extraídos de la fuente de audio en el vídeo procedente de una fuente de vídeo;
- c)
- extraer de la señal de audio, tras el procesado del vídeo, los mismos parámetros extraídos en a);
- d)
- obtener de la señal de vídeo, tras el procesado del vídeo, los parámetros de audio introducidos en b);
- e)
- comparar los parámetros de audio extraídos en c) y obtenidos en d);
- f)
- calcular el retardo existente entre los parámetros de audio comparados en e);
- g)
- almacenar el retardo calculado;
- h)
- retardar la señal de audio un valor de retardo configurable en función del retardo calculado y del retardo almacenado procedente de una ejecución anterior del método.
Preferentemente, la extracción de parámetros
característicos comprende la extracción de la envolvente espectral y
de las amplitudes del sonido sonoro de la fuente de audio en el
momento de extracción. No obstante, pueden usarse otros parámetros
que caractericen el audio tales como los picos de sonido o los
distintos niveles en frecuencia.
Preferentemente, en procesos en los que el vídeo
procede de distintas fuentes de vídeo:
- -
- si el audio y vídeo insertados proceden de la misma secuencia, se copian los parámetros característicos del audio de la imagen fuente en la imagen destino;
- -
- si el audio se inserta con una imagen diferente, no se copian los parámetros característicos del audio de la imagen fuente en la imagen destino, no conteniendo la imagen destino datos de envolvente espectral de ningún sonido.
Opcionalmente, si el vídeo y el audio proceden
de distintas fuentes de vídeo y de audio, el método de ajuste de
retardo audio/vídeo comprende adicionalmente las siguientes
etapas:
- -
- asociar, en cada entrada de vídeo, al menos una señal de audio;
- -
- procesar las entradas de audio de cada entrada de vídeo extrayendo los parámetros característicos de cada entrada de audio;
- -
- introducir, en cada una de las señales de vídeo, los parámetros característicos como valor de referencia en el flujo de datos de las entradas de vídeo en las que esté asociadas;
- -
- asociar, en cada entrada de vídeo, al menos una señal de vídeo para introducir los parámetros característicos de las señales de audio de los dispositivos visualizadores que entren dentro del campo de la imagen.
\newpage
La introducción de los parámetros extraídos de
la fuente de audio en el vídeo se puede realizar dentro del campo de
datos especificado en cada uno de los estándares. Los diferentes
estándares de vídeo contiene campos donde poder albergar datos
adicionales, por ejemplo, en MPEG2 alberga paquetes PES (Packetised
Elementary Stream) de datos y en JPEG2000 boxes de XML.
Preferentemente, el retardo de la señal de audio
comprende las siguientes etapas:
- -
- comprobar si el valor de retardo calculado en f) difiere del retardo almacenado de la ejecución anterior del método;
- -
- seleccionar un valor de salto de retardo si el valor de retardo calculado en f) difiere del retardo almacenado;
- -
- actualizar el valor de retardo almacenado aumentando o disminuyendo dicho retardo un valor igual al valor de salto de retardo seleccionado;
- -
- retardar el audio el valor de retardo almacenado.
Igualmente, de manera preferente, la selección
del salto de retardo se realiza entre los divisores del tiempo de
cuadro.
El sistema de ajuste de retardo audio/vídeo
comprende:
- \bullet
- unos medios de procesamiento configurados para realizar las siguientes etapas:
- i)
- extraer parámetros característicos de una fuente de audio;
- j)
- introducir los parámetros extraídos de la fuente de audio en el vídeo procedente de una fuente de vídeo;
- k)
- extraer de la señal de audio, tras el procesado del vídeo, los mismos parámetros extraídos en a);
- l)
- obtener de la señal de vídeo, tras el procesado del vídeo, los parámetros de audio introducidos en b);
- \bullet
- un comparador configurado para realizar las siguientes etapas:
- m)
- comparar los parámetros de audio extraídos en k) y obtenidos en l);
- n)
- calcular el retardo existente entre los parámetros de audio comparados en m);
- o)
- almacenar el retardo calculado;
- \bullet
- una línea de retardo configurada para realizar la siguiente etapa:
- p)
- retardar la señal de audio un valor de retardo configurable en función del retardo calculado y del retardo almacenado procedente de una ejecución anterior del método.
Preferentemente, los medios de procesamiento
comprenden un bloque de procesado de audio configurado para la
extracción de parámetros característicos mediante la extracción de
la envolvente espectral y de las amplitudes del sonido sonoro de la
fuente de audio en el momento de extracción.
Preferentemente, en sistemas en los que el vídeo
procede de distintas fuentes de vídeo:
- -
- si el audio y vídeo insertados proceden de la misma secuencia, los medios de procesamiento están configurados para copiar los parámetros característicos del audio de la imagen fuente en la imagen destino;
- -
- si el audio se inserta con una imagen diferente, los medios de procesamiento están configurados para borrar los parámetros característicos del audio que tuviera la imagen.
Opcionalmente, si el vídeo y el audio proceden
de distintas fuentes de vídeo y de audio, los medios de
procesamiento están configurados para realizar adicionalmente las
siguientes etapas:
- -
- asociar, en cada entrada de vídeo, al menos una señal de audio;
- -
- procesar las entradas de audio de cada entrada de vídeo extrayendo los parámetros característicos de cada entrada de audio;
- -
- introducir, en cada una de las señales de vídeo, los parámetros característicos como valor de referencia en el flujo de datos de las entradas de vídeo en las que esté asociadas;
- -
- asociar, en cada entrada de vídeo, al menos una señal de vídeo para introducir los parámetros característicos de las señales de audio de los dispositivos visualizadores que entren dentro del campo de la imagen.
De manera preferente, los medios de
procesamiento están configurados para introducir los parámetros
extraídos de la fuente de audio en el vídeo dentro del campo de
datos especificado en cada uno de los estándares.
Adicionalmente, el retardo de la señal de audio
puede comprender las siguientes etapas:
- -
- comprobar si el valor de retardo calculado en f) difiere del retardo almacenado de la ejecución anterior del método;
- -
- seleccionar un valor de salto de retardo si el valor de retardo calculado en f) difiere del retardo almacenado;
- -
- enviar el valor de retardo a la línea de retardo de audio;
- -
- actualizar el valor de retardo almacenado aumentando o disminuyendo dicho retardo un valor igual al valor de salto de retardo seleccionado.
Adicionalmente, el comparador de audio puede
estar configurado para seleccionar el salto de retardo entre los
divisores del tiempo de cuadro.
Y también, de manera preferente el comparador de
audio estará configurado para:
- -
- establecer un margen de identificación correspondiente a la diferencia máxima admitida para considerar que los parámetros característicos son idénticos;
- -
- buscar, dentro de un margen temporal de corrección configurable, los parámetros característicos recibidos en la señal de audio, ordenando a la línea de retardo un retardo de la señal de audio si el comparador de audio obtiene los parámetros característicos insertados en el vídeo correspondientes, bajo un margen de identificación, a los parámetros característicos recibidos en la señal de audio.
A continuación, para facilitar la comprensión de
la invención, a modo ilustrativo pero no limitativo se describirá
una realización de la invención que hace referencia a una serie de
figuras.
La figura 1 muestra el diagrama de bloques de
los procesos que comprende la presente invención.
La figura 2 muestra el diagrama de bloques de
los procesos que comprende una realización de la invención. En
concreto, el caso en el que un presentador habla con un redactor
remoto y mostrando en pantalla al redactor en el mismo estudio en el
que se encuentra el presentador.
Una realización de la invención sería el caso en
el que, desde el control de realización, se muestra en una pantalla
un presentador dialogando al lado de un redactor realmente situado
en un sitio remoto pero que figura como si dicho redactor estuviera
en el mismo estudio que el presentador.
En este caso, en la imagen se aprecia
notablemente la diferencia de sonido, puesto que la presentación de
la imagen del redactor lleva asociada un retardo, no presente en el
sonido, ya que éste va directamente a la mesa de mezclas de audio.
Normalmente, en estas circunstancias, se suele mantener poco tiempo
la imagen de ambos en pantalla y se suele pasar a la señal que
llegue con el fin de que el espectador no note la baja calidad de
emisión.
La forma de sincronizar estos sonidos se muestra
en la figura 2. La señal del redactor remoto 6 es transmitida a la
sede central mediante enlaces 7. En la recepción 8, se divide el
audio y el vídeo para sacar las características del audio 12, que
posteriormente se añaden al vídeo 9 (este proceso se puede realizar
en el origen de forma que el vídeo pueda llegar con los datos del
audio). La imagen del redactor pasará como mínimo por un preselector
o por un mezclador 10 por lo que habrá un retardo variable que se
añadirá al retardo que presente la pantalla del estudio 11, mientras
que el audio va directamente al mezclador de audio del estudio
15.
La cámara del presentador 18 estará captando la
imagen del presentador mientras que la pantalla del estudio 11
tendrá al redactor remoto en imagen. El micrófono del estudio 13
estará asociado a la misma entrada del mezclador de vídeo 20, de
forma que se procesa su señal 14 y se inserta en la imagen 19
procedente de la cámara del presentador 18. El mezclador de vídeo 20
tiene asociada la entrada de la cámara del presentador 18 y la señal
de vídeo de la pantalla y del audio incluido en ella. El mezclador
principal 20 con tiene la posibilidad de retardar un tiempo
preestablecido para ajustar el retardo procedente de la pantalla del
estudio 11. Así, el vídeo de salida del mezclador de vídeo 20 tendrá
embebidas las características de los audios del redactor remoto y la
del presentador en el estudio cuando se pinche la entrada de la
cámara del presentador 18. Las salidas de los mezcladores de audio
15 y de vídeo 20 son procesados mediante el método que se propone en
la presente invención con el procesado de audio 16, el comparador 21
que detecta los retardos y la línea de retardo de audio 17 gobernado
por el comparador 21. De esta forma, cuando esté hablando el
presentador en el estudio, el comparador 21 ajustará el retardo a la
señal que le llegue mientras que cuando hable el redactor remoto
ajustará el retardo al retardo de toda la cadena de la fuente
generada por el redactor remoto 6.
Una vez descrita de forma clara la invención, se
hace constar que las realizaciones particulares anteriormente
descritas son susceptibles de modificaciones de detalle siempre que
no alteren el principio fundamental y la esencia de la
invención.
Claims (15)
1. Método de ajuste de retardo audio/vídeo,
caracterizado porque comprende las siguientes etapas:
- a)
- extraer parámetros característicos de una fuente de audio (3);
- b)
- introducir los parámetros extraídos de la fuente de audio (3) en el vídeo procedente de una fuente de vídeo (1);
- c)
- extraer de la señal de audio, tras el procesado del vídeo, los mismos parámetros extraídos en a);
- d)
- obtener de la señal de vídeo, tras el procesado del vídeo, los parámetros de audio introducidos en b);
- e)
- comparar los parámetros de audio extraídos en c) y obtenidos en d);
- f)
- calcular el retardo existente entre los parámetros de audio comparados en e);
- g)
- almacenar el retardo calculado;
- h)
- retardar la señal de audio un valor de retardo configurable en función del retardo calculado y del retardo almacenado procedente de una ejecución anterior del método.
2. Método de ajuste de retardo audio/vídeo,
según la reivindicación 1, caracterizado porque la extracción
de parámetros característicos comprende la extracción de la
envolvente espectral y de las amplitudes del sonido sonoro de la
fuente de audio (3) en el momento de extracción.
3. Método de ajuste de retardo audio/vídeo,
según cualquiera de las reivindicaciones anteriores,
caracterizado porque en procesos en los que el vídeo procede
de distintas fuentes de vídeo (1):
- -
- si el audio y vídeo insertados proceden de la misma secuencia, se copian los parámetros característicos del audio de la imagen fuente en la imagen destino;
- -
- si el audio se inserta con una imagen diferente, no se copian los parámetros característicos del audio de la imagen fuente en la imagen destino, no conteniendo la imagen destino datos de envolvente espectral de ningún sonido.
4. Método de ajuste de retardo audio/vídeo,
según cualquiera de las reivindicaciones anteriores,
caracterizado porque el vídeo y el audio proceden de
distintas fuentes de vídeo (1) y de audio (3), comprendiendo, las
siguientes etapas:
- -
- asociar, en cada entrada de vídeo, al menos una señal de audio;
- -
- procesar las entradas de audio de cada entrada de vídeo extrayendo los parámetros característicos de cada entrada de audio;
- -
- introducir, en cada una de las señales de vídeo, los parámetros característicos como valor de referencia en el flujo de datos de las entradas de vídeo en las que esté asociadas.
5. Método de ajuste de retardo audio/vídeo,
según cualquiera de las reivindicaciones anteriores,
caracterizado porque la introducción de los parámetros
extraídos de la fuente de audio (3) en el vídeo (1) se realiza
dentro del campo de datos especificado en cada uno de los
estándares.
6. Método de ajuste de retardo audio/vídeo,
según cualquiera de las reivindicaciones anteriores,
caracterizado porque retardar la señal de audio comprende las
siguientes etapas:
- -
- comprobar si el valor de retardo calculado en f) difiere del retardo almacenado de la ejecución anterior del método;
- -
- seleccionar un valor de salto de retardo si el valor de retardo calculado en f) difiere del retardo almacenado;
- -
- actualizar el valor de retardo almacenado aumentando o disminuyendo dicho retardo un valor igual al valor de salto de retardo seleccionado;
- -
- retardar el audio el valor de retardo almacenado.
7. Método de ajuste de retardo audio/vídeo,
según la reivindicación 6, caracterizado porque la selección
del salto de retardo se realiza entre los divisores del tiempo de
cuadro.
8. Sistema de ajuste de retardo audio/vídeo,
caracterizado porque comprende:
- \bullet
- unos medios de procesamiento configurados para realizar las siguientes etapas:
- i)
- extraer parámetros característicos de una fuente de audio (3);
- j)
- introducir los parámetros extraídos de la fuente de audio (3) en el vídeo procedente de una fuente de vídeo (1);
- k)
- extraer de la señal de audio, tras el procesado del vídeo, los mismos parámetros extraídos en a);
- l)
- obtener de la señal de vídeo, tras el procesado del vídeo, los parámetros de audio introducidos en b);
- \bullet
- un comparador (2) configurado para realizar las siguientes etapas:
- m)
- comparar los parámetros de audio extraídos en k) y obtenidos en l);
- n)
- calcular el retardo existente entre los parámetros de audio comparados en m);
- o)
- almacenar el retardo calculado;
- \bullet
- una línea de retardo (5) configurada para realizar la siguiente etapa:
- p)
- retardar la señal de audio un valor de retardo configurable en función del retardo calculado y del retardo almacenado procedente de una ejecución anterior del método.
9. Sistema de ajuste de retardo audio/vídeo,
según la reivindicación 8, caracterizado porque los medios de
procesamiento comprenden un bloque de procesado de audio (4)
configurado para la extracción de parámetros característicos
mediante la extracción de la envolvente espectral y de las
amplitudes del sonido sonoro de la fuente de audio (3) en el momento
de extracción.
10. Sistema de ajuste de retardo audio/vídeo,
según cualquiera de las reivindicaciones 8-9,
caracterizado porque el vídeo procede de distintas fuentes de
vídeo (1), donde:
- -
- si el audio y vídeo insertados proceden de la misma secuencia, los medios de procesamiento están configurados para copiar los parámetros característicos del audio de la imagen fuente en la imagen destino;
- -
- si el audio se inserta con una imagen diferente, los medios de procesamiento están configurados para borrar los parámetros característicos del audio que tuviera la imagen.
11. Sistema de ajuste de retardo audio/vídeo,
según cualquiera de las reivindicaciones 8-10,
caracterizado porque el vídeo y el audio proceden de
distintas fuentes de vídeo (1) y de audio (3), estando los medios de
procesamiento configurados para realizar, en cada entrada de vídeo,
las siguientes etapas:
- -
- asociar, en cada entrada de vídeo, al menos una señal de audio;
- -
- procesar las entradas de audio de cada entrada de vídeo extrayendo los parámetros característicos de cada entrada de audio;
- -
- introducir, en cada una de las señales de vídeo, los parámetros característicos como valor de referencia en el flujo de datos de las entradas de vídeo en las que esté asociadas.
12. Sistema de ajuste de retardo audio/vídeo,
según cualquiera de las reivindicaciones 8-11,
caracterizado porque los medios de procesamiento están
configurados para introducir los parámetros extraídos de la fuente
de audio (3) en el vídeo (1) dentro del campo de datos especificado
en cada uno de los estándares.
13. Sistema de ajuste de retardo audio/vídeo,
según cualquiera de las reivindicaciones 8-12,
caracterizado porque el comparador de audio (2) está
configurado para realizar las siguientes etapas:
- -
- comprobar si el valor de retardo calculado en f) difiere del retardo almacenado de la ejecución anterior del método;
- -
- seleccionar un valor de salto de retardo si el valor de retardo calculado en f) difiere del retardo almacenado;
- -
- enviar el valor de retardo a la línea de retardo de audio (5);
- -
- actualizar el valor de retardo almacenado aumentando o disminuyendo dicho retardo un valor igual al valor de salto de retardo seleccionado.
14. Sistema de ajuste de retardo audio/vídeo,
según la reivindicación 13, caracterizado porque el
comparador de audio (2) está configurado para seleccionar el salto
de retardo entre los divisores del tiempo de cuadro.
15. Sistema de ajuste de retardo audio/vídeo,
según cualquiera de las reivindicaciones 8-14,
caracterizado porque el comparador de audio (2) está
configurado para:
- -
- establecer un margen de identificación correspondiente a la diferencia máxima admitida para considerar que los parámetros característicos son idénticos;
- -
- buscar, dentro de un margen temporal de corrección configurable, los parámetros característicos recibidos en la señal de audio, ordenando a la línea de retardo (5) un retardo de la señal de audio si el comparador de audio (2) obtiene los parámetros característicos insertados en el vídeo correspondientes, bajo un margen de identificación, a los parámetros característicos recibidos en la señal de audio.
Priority Applications (2)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES200931181A ES2337012B2 (es) | 2009-12-17 | 2009-12-17 | Sistema y metodo de ajuste de retardo audio/video. |
| PCT/ES2010/000390 WO2011073468A1 (es) | 2009-12-17 | 2010-09-23 | Sistema y método de ajuste de retardo audio/vídeo |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| ES200931181A ES2337012B2 (es) | 2009-12-17 | 2009-12-17 | Sistema y metodo de ajuste de retardo audio/video. |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| ES2337012A1 ES2337012A1 (es) | 2010-04-19 |
| ES2337012B2 true ES2337012B2 (es) | 2010-09-17 |
Family
ID=42063607
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| ES200931181A Active ES2337012B2 (es) | 2009-12-17 | 2009-12-17 | Sistema y metodo de ajuste de retardo audio/video. |
Country Status (2)
| Country | Link |
|---|---|
| ES (1) | ES2337012B2 (es) |
| WO (1) | WO2011073468A1 (es) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5767746A (en) * | 1996-06-07 | 1998-06-16 | David Sarnoff Research Center, Inc. | Method and apparatus for adjusting phase-lock-loop parameters |
| US5808722A (en) * | 1996-01-29 | 1998-09-15 | Mitsubishi Denki Kabushiki Kaisha | Apparatus for extending and reproducing video and audio data and a video and audio synchronization controller |
| EP1860866A1 (en) * | 2006-05-26 | 2007-11-28 | British Telecommunications Public Limited Company | Audio-visual reception |
Family Cites Families (1)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US6906755B2 (en) * | 2002-01-04 | 2005-06-14 | Microsoft Corporation | Method and apparatus for synchronizing audio and video data |
-
2009
- 2009-12-17 ES ES200931181A patent/ES2337012B2/es active Active
-
2010
- 2010-09-23 WO PCT/ES2010/000390 patent/WO2011073468A1/es not_active Ceased
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| US5808722A (en) * | 1996-01-29 | 1998-09-15 | Mitsubishi Denki Kabushiki Kaisha | Apparatus for extending and reproducing video and audio data and a video and audio synchronization controller |
| US5767746A (en) * | 1996-06-07 | 1998-06-16 | David Sarnoff Research Center, Inc. | Method and apparatus for adjusting phase-lock-loop parameters |
| EP1860866A1 (en) * | 2006-05-26 | 2007-11-28 | British Telecommunications Public Limited Company | Audio-visual reception |
Also Published As
| Publication number | Publication date |
|---|---|
| ES2337012A1 (es) | 2010-04-19 |
| WO2011073468A1 (es) | 2011-06-23 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| CN105120331B (zh) | 处理直播音视频的方法及装置 | |
| US9319566B2 (en) | Display apparatus for synchronizing caption data and control method thereof | |
| EP4604513A3 (en) | Real-time wireless synchronization of live event audio stream with a video recording | |
| US9837093B2 (en) | Packet based delivery of multi-channel audio over wireless links | |
| US20150215497A1 (en) | Methods and systems for synchronizing media stream presentations | |
| GB2580937B (en) | Method and system for generating audio-visual content from video game footage | |
| EP2866451A1 (en) | Method and apparatus for IP video signal synchronization | |
| ES2665022T3 (es) | Método y aparato para sincronizar reproducciones de dos dispositivos electrónicos | |
| US10587954B2 (en) | Packet based delivery of multi-channel audio over wireless links | |
| US10334293B2 (en) | Multiplexing apparatus, receiving apparatus, multiplexing method, and delay adjustment method | |
| US12288569B2 (en) | Audio time synchronization using prioritized schedule | |
| KR20130138213A (ko) | 멀티미디어 흐름 처리 방법 및 대응하는 장치 | |
| WO2019244110A3 (en) | System and method for augmented reality movie screenings | |
| WO2020241309A1 (ja) | 同期制御装置、同期制御方法及び同期制御プログラム | |
| WO2017193830A1 (zh) | 视频切换方法、装置、系统及存储介质 | |
| US20140365685A1 (en) | Method, System, Capturing Device and Synchronization Server for Enabling Synchronization of Rendering of Multiple Content Parts, Using a Reference Rendering Timeline | |
| ES2337012B2 (es) | Sistema y metodo de ajuste de retardo audio/video. | |
| CN114827747A (zh) | 一种流媒体数据切换方法、装置、设备及存储介质 | |
| US20100091188A1 (en) | Synchronization of secondary decoded media streams with a primary media stream | |
| KR102300997B1 (ko) | 전정 재활 운동을 위한 실감 효과 장치 및 방법 | |
| JP2012049723A (ja) | 映像音声出力装置及び映像音声出力方法 | |
| JP2006148335A (ja) | データ処理装置、その方法及びプログラム | |
| KR20160024065A (ko) | 다면 상영 환경에서 메인 컨텐츠의 컨텐츠 정보와 호환하여 보조 컨텐츠를 재생하는 컨텐츠 통합재생장치 및 통합재생방법 | |
| KR20150058809A (ko) | 다중 영상 재생장치 및 재생방법 | |
| JP5581437B1 (ja) | 映像提供システムおよびプロラム |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| EC2A | Search report published |
Date of ref document: 20100419 Kind code of ref document: A1 |
|
| FG2A | Definitive protection |
Ref document number: 2337012B2 Country of ref document: ES |