ES2997126B2

ES2997126B2 - Metodo implementado por ordenador para ajuste y sincronizacion automaticas de pistas de sonido y video en piezas audiovisuales

Info

Publication number: ES2997126B2
Application number: ES202330685A
Authority: ES
Inventors: Moreno Lorenzo Garcia
Original assignee: Individual
Current assignee: Individual
Priority date: 2023-08-07
Filing date: 2023-08-07
Publication date: 2026-03-31
Anticipated expiration: 2043-08-07
Also published as: ES2997126A1

Description

[0001] DESCRIPCIÓN

[0003] MÉTODO IMPLEMENTADO POR ORDENADOR PARA AJUSTE Y SINCRONIZACIÓN AUTOMÁTICAS DE PISTAS DE SONIDO Y VIDEO EN PIEZAS AUDIOVISUALES

[0005] SECTOR DE LA TÉCNICA

[0007] La invención está comprendida en el sector de la sincronización automatizada de pistas de audio y video con capacidad de ajuste en tiempo y en tonalidad.

[0009] ANTECEDENTES DE LA INVENCIÓN

[0011] Existen soluciones técnicas para sincronizar audio y video mediante diversas formas de ajustar ambos archivos. Como, por ejemplo, US8699862B1. Sin embargo, no se conocen implementaciones que sean capaces de sincronizar automáticamente a partir de etiquetas introducidas o tags, una pluralidad de pistas de video con una pluralidad de listas de audio, salvaguardando la coherencia de tiempos y de tonalidad en las transiciones y cierres y solamente mediante movimientos de arrastre y señalización implementada en una aplicación informática de ventanas.

[0013] EXPLICACIÓN DE LA INVENCIÓN

[0015] La presente invención comprende un método implementado por ordenador que ajusta y sincroniza músicas y efectos de sonido sobre video mediante la selección automática de las pistas de audio que utilicen la invención. Consiste en un método implementado por ordenador que asocia las marcas realizadas sobre las imágenes de video colocadas en una línea de tiempo, que previamente han sido reseñadas como de interés por parte de una persona (usuario montador), ajustándolas de forma automática a las marcas realizadas previamente en una o varias pistas de audio que han sido previamente introducidas al sistema y caracterizadas por un usuario implementador.

[0017] El problema técnico que se resuelve consiste en eliminar la necesidad de un ajuste melódico, tonal, de duración u otras características técnicas de las pistas de audio de manera manual a la hora de realizar el montaje de dicha pista de audio sobre una pista de video. Además, dicho ajuste automático en melodía, tonalidad, tiempo o de otras características, se realiza también en las transiciones entre dos pistas de audio y en el cierre o final del montaje audiovisual.

[0019] El método, además, permite realizar un emparejamiento automático de significados semánticos mediante un algoritmo de emparejamiento de las marcas de interés realizadas en ambos conjuntos de pistas.

[0021] Para implementar este método, se configura un sistema compuesto de:

[0022] • Medios de computación.

[0023] • Medios de inserción de datos.

[0024] • Medios de almacenamiento.

[0026] De manera general, el método consta de los siguientes pasos o etapas:

[0027] a) Etiquetar o caracterizar con metadatos por parte del usuario implementador las pistas de audio que serán candidatas para ser usadas como pista de audio de un montaje audiovisual a realizar por el usuario montador.

[0028] b) Almacenar en los medios de almacenamiento dichas pistas de audio con sus correspondientes metadatos.

[0029] c) Introducir una pista de video en el sistema y etiquetar o caracterizar con metadatos el video.

[0030] d) Reconocer la duración total del video.

[0031] e) Buscar en los medios de almacenamiento pistas de audio compatibles con la duración y caracterización de la pista de video introducido.

[0032] f) Ordenar las pistas de audio recuperadas por orden decreciente de compatibilidad con la pista de video en función a la interdependenciad entre diferentes tags o etiquetas introducidas por el usuario en la pista de video y por el implementador en la pista de audio.

[0033] g) Asignar a la pista de video introducida la pista de audio que el sistema ha considerado más compatible.

[0034] h) Montar un archivo audiovisual con la pista de video introducida y la pista de audio recomendada por el sistema.

[0035] i) Opcionalmente, y si no hay una compatibilidad total en duración, el sistema procederá automáticamente a realizar un estiramiento/encogimiento de las pistas para que los momentos de inicio y fin de la pista de audio coincidan con los momentos marcados como de inicio y fin de la pista de video introducida, que pueden delimitar un segmento parcial de la pista de video introducida. j) Opcionalmente, y si se quiere utilizar más de una pista de audio para montar sobre la pista de video, marcar sobre la pista de video un punto de corte o transición.

[0036] i. Reconocer la duración del segmento restante de la pista de video.

[0037] ii. Buscar en los medios de almacenamiento pistas de audio compatibles con la duración y caracterización del segmento restante de la pista de video introducido.

[0038] iii. Ordenar las pistas de audio recuperadas por orden decreciente de compatibilidad con el segmento restante de la pista de video. iv. Asignar al segmento restante de la pista de video introducida la pista de audio que el sistema ha considerado más compatible. v. Montar un archivo audiovisual con la pista de video introducida y las pistas de audio recomendadas por el sistema.

[0039] vi. Opcionalmente, y si no hay una compatibilidad total en duración o tonalidad musical de las pistas de audio, el sistema procederá automáticamente a realizar un estiramiento/encogimiento de las pistas para que los momentos de inicio y fin de la pista de audio coincidan con los momentos marcados como de inicio y fin de la pista de video introducida y con los puntos de corte y transición, y una modulación de la tonalidad para que las piezas musicales tengan una coherencia rítmica y tonal.

[0041] Resulta obvio que los pasos opcionales dentro del paso j) pueden multiplicarse las veces que se considere oportuno, con lo que se conseguiría una pista de video montada connpistas de audio sincronizadas automáticamente y transicionadas automáticamente para obtener coherencia temporal y tonal.

[0043] Entre las etiquetas o tags que el usuario implementador puede introducir en las pistas de audio para su adecuada caracterización, se encuentran, de manera no limitada, las siguientes:

[0044] - Volumen

[0045] - Duración

[0046] - Intensidad

[0047] - Compás

[0048] - Tonalidad

[0049] - Concepto

[0050] - Instrumentación

[0051] - Característica predominante

[0052] - Partes reseñables

[0053] - Partes fuertes

[0054] - Partes débiles

[0055] - Anacrusas

[0056] - Síncopas

[0057] - Contratiempos

[0058] - Otros pulsos

[0060] El sistema cuenta con un interfaz háptico y gestual que permite añadir efectos al sonido de forma intuitiva y visual marcando trazos con el puntero de un ratón o con un lápiz digital o con el propio dedo del usuario en pantallas táctiles.

[0062] El procedimiento está codificado en cualquier lenguaje de programación accesible para el experto en la materia y se implementa en una aplicación que comprende un modo independiente ostandaloney un modo integrado oplug-in. En modo independiente, el sistema funciona como una utilidad o aplicación informática que implementa el método con los inputs únicos del usuario y de los medios de almacenamiento conectados. En modo integrado, el método se implementa de manera integrada en un programa de edición comercial externo.

[0064] En los pasos i) y j) vi. del método descrito, se produce un encogimiento/estiramiento de una o varias de las pistas de video o audio para obtener duraciones compatibles con un montaje adecuado y una modulación de una o varias de las pistas de audio para obtener un sonido total con coherencia tonal y rítmica.

[0066] En este sentido, las etapas para producir esta coherencia temporal dependen de si se modifica la longitud del audio con respecto al video o viceversa.

[0068] Audio adaptado a video: Para hacer el cálculo de los frames que deben ser estirados o comprimidos para adaptar la música a los cambios de plano, el sistema calcula la duración de cada plano en segundos y la cantidad de compases completos que entran en ese tiempo. De esta manera, calcula cuántos compases completos hay en cada plano y cuántos frames deben ser estirados o comprimidos para adaptar la música a esa duración. Además, para conocer la cantidad de frames que hay que mover para cada cambio de tempo, el sistema tiene en cuenta la relación entre el tiempo musical y el número de frames por segundo. A continuación, y de modo ilustrativo se muestra una tabla que indica la cantidad de frames que deben ser estirados o comprimidos para adaptar la música a cada plano y cada cambio de tempo (140,120,100,80 y 60 bpm) asumiendo una tonalidad de Do y un compás 4/4 a una tasa de 25 fotogramas por segundo.

[0070]

[0073] Video adaptado a audio: Para realizar esta tarea, se calcula la duración de cada compás en segundos, y luego en frames, para poder determinar en qué frames se ubican las partes fuertes de cada compás y así saber cuántos frames se deben mover cada plano de imagen. A modo de ejemplo, suponiendo que la duración de un compás en 4/4 a diferentes tempos es la siguiente:

[0074] • A 60 bpm, un compás dura 0.1 segundo.

[0075] • A 80 bpm, un compás dura 0.75 segundos.

[0076] • A 100 bpm, un compás dura 0.6 segundos.

[0077] • A 120 bpm, un compás dura 0.5 segundos.

[0079] Para establecer cuántos frames corresponden a cada duración de compás, se utiliza la siguiente fórmula:

[0080] frames = duración en segundos * 25 fpsPor ejemplo, para un compás de 1 segundo a 60 bpm:

[0081] frames = 1 segundo * 25 fps = 25 frames

[0083] Elaborando una tabla de duración de planos se determina en qué frames se ubican las partes fuertes de cada compás. Suponiendo, a modo ilustrativo, que las partes fuertes se ubican en los tiempos 1 y 3 de cada compás la tabla de duración quedaría:

[0085]

[0088] Para calcular cuántos cortes de audio y cuánto moverlos para que se sincronicen con los cortes de video, se tiene en cuenta la duración de cada plano y el tempo de la música. En el caso del ejemplo, se tiene una música compuesta a 95 bpm y los planos tienen duraciones de 7s, 3s, 8s, 7s.

[0089] Compases por plano:

[0090] • Plano 1 (7 s): 7 s/60 s/min * 95 bpm = 11.08 compases

[0091] • Plano 2 (3 s): 3 s/ 60 s/min * 95 bpm = 4.48 compases

[0092] • Plano 3 (8 s): 8 s/ 60 s/min * 95 bpm = 12.54 compases

[0093] • Plano 4 (7 s): 7 s/ 60 s/min * 95 bpm = 11.08 compases

[0095] El sistema, conociendo por los metadatos el compás, establece las partes fuertes por compás. Por ejemplo, en un compás 4/4, hay 4 partes fuertes por compás, lo que fija el número de cortes de audio son necesarios para la sincronía de la música con cada plano.

[0097] Dividiendo el número de compases en cada plano entre el número de compases en cada corte de audio, el sistema obtendría, para el ejemplo anterior y con la preferencia de que cada corte dure 1 compás (o 4 partes fuertes):

[0099] • Plano 1 (7 s): 11.08 compases / 4 = 2.77 cortes de audio, redondeando a 3 cortes de audio

[0100] • Plano 2 (3 s): 4.48 compases / 4 = 1.12 cortes de audio, redondeando a 1 corte de audio

[0101] • Plano 3 (8 s): 12.54 compases / 4 = 3.14 cortes de audio, redondeando a 3 cortes de audio

[0102] • Plano 4 (7 s): 11.08 compases / 4 = 2.77 cortes de audio, redondeando a 3 cortes de audio

[0104] Conocidos los cortes de audio necesarios para cada plano de imagen, se puede elegir qué planos se quieren estirar o acortar para sincronizarlos. El sistema puede proponer aquellos segmentos de audio que requieran menor manipulación para que el efecto sobre la calidad del video se minimice.

[0106] Para conseguir la coherencia tonal se produce un transporte de tonalidad.

[0108] Para calcular esta diferencia de frecuencia necesaria para transportar el audio desde, por ejemplo, una tonalidad de Do mayor a todas las demás tonalidades partiendo de Do sostenido, se puede utilizar la fórmula:

[0109] f2 = f1 * 2 (n/12)

[0110] Donde f1 es la frecuencia fundamental de la nota de referencia (Do en este caso), n es el número de semitonos que se desean transportar (que en este caso sería 1 semitono para llegar a Do sostenido), y f2 es la nueva frecuencia resultante después de aplicar el transporte de pitch.

[0112] Asumiendo la frecuencia fundamental de Do en la tonalidad de Do mayor es de 261.63 Hz (lo que se conoce como Do central en la afinación estándar A440), entonces transportando el audio desde Do mayor a Do sostenido mayor (1 semitono hacia arriba), la nueva frecuencia sería de 277.18 Hz (aproximadamente)

[0114] De esta forma, se puede continuar subiendo semitono a semitono hasta llegar al Do de la octava superior. En total, para llegar al siguiente Do de la octava superior, se deben subir 12 semitonos, lo que significa multiplicar la frecuencia fundamental inicial de 261.63 Hz por 2, lo que da como resultado 523.25 Hz. En resumen, para pasar de Do mayor a Do mayor una octava más arriba, se debe subir la frecuencia fundamental en un factor de 2, lo que significa multiplicar la frecuencia por 2.

[0116] BREVE DESCRIPCIÓN DE LOS DIBUJOS

[0118] Para ayudar a la comprensión de la presente invención se han elaborado unas figuras esquemáticas con el siguiente contenido:

[0119] Figura 1: Esquema de los datos introducidos por el usuario montador y el usuario implementador. Para las distintas pistas de audio se introducen distintas etiquetas y metadatos que quedarán en un repositorio y para la pista de video que se quiera montar se insertan las etiquetas con las que el método buscará los audios más compatibles.

[0120] Figura 2: Esquema de la lista de pistas de audio encontradas por el método, ordenadas por compatibilidad con la pista de audio.

[0121] Figura 3: Esquema del montaje de la pista más compatible montada sobre la pista de video que se ha estirado automáticamente para coincidir exactamente con los puntos de inicio y fin de la pista de video.

[0122] Figura 4: Esquema del montaje de la pista de video con una marca de transición a un segundo audio final con la pista más compatible para el primer segmento y la pista más compatible para el segundo segmento. La pista del primer segmento se ha estirado para coincidir exactamente con el punto de marca de transición.

[0123] REALIZACIÓN PREFERENTE DE LA INVENCIÓN

[0125] En una realización preferente de la invención, de modo ilustrativo y no limitante, un usuario implementador introduce una pluralidad de archivos digitales conteniendo una pluralidad de pistas de audio en un sistema informático de uso general y caracterizaría mediante etiquetas o tags cada una de estas pistas de audio, por ejemplo, musicales. Estas etiquetas comprenden al menos uno o varios parámetros técnicos tales como compás, tempo, tonalidad, duración o intensidad y uno o varios parámetros no técnicos, pero que juegan un papel técnico en el procedimiento, tales como concepto, característica predominante o tono emocional.

[0127] Estas pistas de audio quedan almacenadas en unos medios de almacenamiento de uso general vinculadas a las etiquetas introducidas por el usuario implementador.

[0129] En esta realización preferente, un usuario montador introduce, a través de la interfaz de la aplicaciónstandaloneen que está codificado el procedimiento implementado por ordenador de la presente invención, un archivo digital que contiene una pista de video. El usuario montador introduce una pluralidad de etiquetas o tags que quedan también vinculadas a la pista de audio.

[0131] El usuario montador, adicionalmente marca sobre la pista de video un punto de corte o transición.

[0133] El sistema que implementa el método de la presente invención reconoce la duración total del video, busca en los medios de almacenamiento pistas de audio compatibles con la duración y caracterización de la pista de video introducido, ordena las pistas de audio recuperadas por orden decreciente de compatibilidad con la pista de video en función de su duración y de la relación entre diferentes tags o etiquetas introducidas por el usuario montador en la pista de video y por el implementador en la pista de audio y las muestra ordenadas al usuario montador.

[0135] El sistema presenta, adicionalmente un conjunto de pistas de audio para montar sobre el segundo segmento o segmento “de cierre” también categorizadas por compatibilidad en función de su duración y de la relación entre diferentes tags o etiquetas introducidas por los usuarios implementador y montador.

[0136] El usuario montador asigna a la pista de video introducida una de las pistas de audio. Prefentemente, la que el sistema ha considerado más compatible. El usuario montador asigna también una segunda pista de audio para el segundo segmento o segmento “de cierre”.

[0138] El sistema monta entonces un archivo audiovisual con la pista de video introducida y las pistas de audio recomendadas por el sistema y validadas por el usuario montador.

[0140] Si no hubiera una compatibilidad total en duración, el sistema procederá automáticamente a realizar un estiramiento/encogimiento de las pistas para que los momentos de inicio y fin de las pistas de audio coincidan con los momentos marcados como de inicio y fin de los segmentos de la pista de video introducida.

[0142] El sistema, al montar, reconoce una pequeña diferencia de duración entre las pistas y procede al estirado de una de las pistas de audio (stretching) para que los puntos de final y transición de pistas de audio y video queden totalmente coincidentes.

[0144] Asimismo, el sistema reconoce una inconsistencia tonal entre las dos pistas de audio montadas sobre la pista de video y realiza automáticamente una modulación de la tonalidad para que ambas sean coincidentes.

[0146] El sistema monta definitivamente las tres pistas conservando coherencia tonal, rítmica y de duración.

Claims

1. REIVINDICACIONES

1. Método para ajuste y sincronización automática de pistas de sonido y video en piezas audiovisuales implementado por ordenador caracterizado porque comprende:

a. Etiquetar o caracterizar con metadatos por parte del usuario implementador las pistas de audio que serán candidatas para ser usadas como pista de audio de un montaje audiovisual a realizar por el usuario montador.

b. Almacenar en los medios de almacenamiento dichas pistas de audio con sus correspondientes metadatos.

c. Introducir una pista de video en el sistema y etiquetar o caracterizar con metadatos el video por parte del usuario montador.

d. Reconocer automáticamente la duración total del video.

e. Buscar automáticamente en los medios de almacenamiento pistas de audio compatibles con la duración y caracterización de la pista de video introducido.

f. Ordenar las pistas de audio recuperadas por orden decreciente de compatibilidad con la pista de video en función a la interdependencia entre diferentes tags o etiquetas introducidas por el usuario en la pista de video y por el implementador en la pista de audio.

g. Asignar a la pista de video introducida la pista de audio que el sistema ha considerado más compatible.

h. Montar un archivo audiovisual con la pista de video introducida y la pista de audio recomendada por el sistema.

2. Método según la reivindicación anterior, caracterizado por que además comprende que, si no hay una compatibilidad total en duración, el sistema procederá automáticamente a realizar un estiramiento/encogimiento de las pistas de tal forma que los momentos de inicio y fin de la pista de audio coincidan con los momentos marcados como de inicio y fin de la pista de video introducida, que pueden delimitar un segmento parcial de la pista de video introducida.

3. Método según cualquiera de las reivindicaciones anteriores caracterizado por

que, para utilizar más de una pista de audio para montar sobre la pista de video, se marca sobre la pista de video un punto de corte o transición y se implementan las siguientes etapas:

a. Reconocer automáticamente la duración del segmento restante de la pista de video.

b. Buscar automáticamente en los medios de almacenamiento pistas de audio compatibles con la duración y caracterización del segmento restante de la pista de video introducido.

c. Ordenar las pistas de audio recuperadas por orden decreciente de compatibilidad con el segmento restante de la pista de video en función a la interdependencia entre diferentes tags o etiquetas introducidas por el usuario en la pista de video y por el implementador en la pista de audio.

d. Asignar al segmento restante de la pista de video introducida la pista de audio que el sistema ha considerado más compatible.

e. Montar un archivo audiovisual con la pista de video introducida y las pistas de audio recomendadas por el sistema.

f. Opcionalmente, y si no hay una compatibilidad total en duración o tonalidad musical de las pistas de audio, el sistema procederá automáticamente a realizar un estiramiento/encogimiento de las pistas para que los momentos de inicio y fin de la pista de audio coincidan con los momentos marcados como de inicio y fin de la pista de video introducida y con los puntos de corte y transición, y una modulación de la tonalidad para que las piezas musicales tengan una coherencia rítmica y tonal.

4. Sistema que implementa cualquiera de las reivindicaciones anteriores y que comprende unos medios de procesamiento de uso general, unos medios de visualización y unos medios de introducción de información.

5. Sistema según la reivindicación anterior y en el que los medios de procesamiento, visualización e introducción de la información pueden ser uno o varios de la siguiente lista:

a. Ordenador personal y periféricos.

b. Tableta.

c. Teléfono inteligente.

d. Dispositivos hápticos tipo lápiz digital.

6. Programa de ordenador que, ejecutado en el sistema de las reivindicaciones 4 o 5, implementa el método de las reivindicaciones 1, 2 o 3.

7. Programa de ordenador según la reivindicación anterior que puede ejecutarse en modo aislado o integrado en otra aplicación.