ES3033465T3 - Instrument and method for real-time music generation - Google Patents

Abstract

La invención se refiere a un instrumento virtual para la generación musical en tiempo real, que comprende una unidad de reglas musicales (7) para definir reglas musicales, un generador de tonos con restricción temporal (9) para sincronizar la música generada, y un generador de audio (11) para generar señales de audio (10). Las definiciones de reglas describen parámetros musicales transformables en tiempo real, los cuales se controlan directamente mediante la señal de control en tiempo real (2). Con este instrumento virtual, el usuario puede crear nuevo contenido musical de forma sencilla e interactiva, independientemente de su nivel de formación musical previo. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Instrumento y método para la generación de música en tiempo real

Antecedentes

Campo técnico

La presente divulgación se refiere a la generación de música en productos de consumo, así como a equipos y software de música profesionales. Más particularmente, la invención se refiere a instrumentos virtuales y a métodos para la generación de música en tiempo real.

Antecedentes

La música, al igual que la mayoría de las demás industrias, se está digitalizando cada vez en lo que se refiere tanto a la creación como a la reproducción. Esto abre las puertas a nuevas experiencias, en las que los límites entre la creación y la reproducción pueden verse difuminados por los diferentes niveles de interacción con el usuario final. Muy pocas personas tienen la oportunidad y la capacidad de dominar verdaderamente un instrumento musical tradicional, pero el interés por la música está muy extendido en lo que refiere tanto al consumo mediante la escucha como a la interacción mediante el baile, karaoke, juegos musicales, etc.

Estado de la técnica

El estado actual de la técnica en lo que se refiere a las experiencias musicales interactivas se observa principalmente en los juegos, donde se supone que el usuario debe golpear señales predefinidas de diferentes maneras, usando entradas, tales como instrumentos musicales simplificados, alfombras de baile, gestos, tono de voz, etc. La limitación en estas experiencias musicales interactivas de primera generación es que ninguna de las mismas implica una creación de música real, ya que la puntuación en el juego se basa en la precisión con la que un jugador puede golpear las señales en una secuencia predefinida de la música. En el otro lado del espectro, hay herramientas musicales que realmente permiten al usuario crear música, tal como una amplia gama de sintetizadores, secuenciadores, correctores de tono automáticos, etc. para ayudar a los músicos en su proceso creativo. Sin embargo, estas herramientas requieren que el usuario sea un músico capacitado para que pueda comprender cómo usarlas correctamente. Esto significa que siempre hay un compromiso entre la simplicidad y la capacidad de realmente crear nuevo contenido musical de manera interactiva.

El documento US 2017/186411 divulga un aparato, un sistema y un método que permiten a los no músicos componer e interpretar una composición musical usando una plataforma que facilita la creación de una composición musical sin experiencia en software ni conocimiento de teoría musical. La plataforma modela una composición musical como una reproducción simultánea de uno o más contenidos musicales. La plataforma permite a los jugadores controlar o modificar uno o más de entre los múltiples contenidos musicales para generar o sintetizar una composición musical.

El documento WO0186625 divulga un sistema de sonido generativo que tiene un motor de audio generativo que se controla o sobre el que se influye mediante mensajes recibidos desde múltiples artículos o unidades individuales. En una diversidad de realizaciones, los artículos pueden incluir tarjetas coleccionables, bloques de construcción, artículos de mobiliario, adornos, etc., dispositivos electrónicos portátiles, tales como teléfonos móviles y juguetes, modelos o figuras. Los artículos o unidades individuales manipulan secuencias de patrones generativos almacenados previamente para crear sonido.

Wallis Isaac ET AL: "A RULE-BASED GENERATIVE MUSIC SYSTEM CONTROLLED BY DESIRED VALENCE AND AROUSAL", Proceedings of 8th international sound and music computing, 2011, páginas 1-8, divulga un motor de composición musical basado en reglas controlado por un usuario haciendo clic en un mapa de excitación/valencia bidimensional para establecer parámetros de alto nivel y compone música usando un módulo de ritmo y de temporización, un módulo de generación de notas y un módulo de armonía.

Morreale Fabio ET AL: "Robin: An Algorithmic Composer for Interactive Scenarios", 2013, páginas 1-6, DOI: 10.5281/zenodo.850375 divulga la generación de audio basada en un conjunto de reglas musicales que comprende una entrada de compositor predefinida y definiciones de reglas adaptables basadas en la entrada del compositor.

Sumario

Un objetivo de la presente divulgación es proporcionar un instrumento virtual y un método para permitir experiencias musicales verdaderamente interactivas mientras se mantiene un umbral muy bajo en términos de capacitación musical del usuario final. Dicho instrumento virtual se define en la reivindicación independiente 1 y dicho método se define en la reivindicación independiente 6. Las realizaciones preferidas del instrumento virtual se definen en las reivindicaciones dependientes 2 a 5 y las realizaciones preferidas del método se definen en las reivindicaciones dependientes 7 a 10.

Otro objetivo es proporcionar un producto de programa informático que comprenda instrucciones para permitir experiencias musicales verdaderamente interactivas mientras se mantiene un umbral muy bajo en términos de capacitación musical del usuario final. Dicho producto de programa informático se define en la reivindicación independiente 11.

De esta manera, con la presente invención es posible interpretar las acciones del usuario interpretadas a través de una estructura de reglas musicales, generadores de tono y ritmo. Dependiendo del rigor y de la estructura de dichas reglas, la presente divulgación puede actuar en cualquier punto intermedio entre un instrumento musical totalmente reproducible y una pieza musical compuesta previamente en su totalidad.

Breve descripción de los dibujos

La invención se describe a continuación, a modo de ejemplo, con referencia a los dibujos adjuntos, en los que:

La Fig. 1 es una vista general de un sistema según la presente divulgación.

La Fig. 2 es un ejemplo de un dispositivo de entrada en tiempo real según la presente divulgación.

La Fig. 3 es un esquema de una unidad de conjunto de reglas musicales según la presente divulgación.

La Fig. 4 es un esquema de un generador de tono con restricción de temporización según la presente divulgación.

La Fig. 5 es un ejemplo de un método para la generación de música en tiempo real.

Descripción detallada

Las realizaciones particulares de la presente divulgación se describen a continuación con referencia a los dibujos adjuntos; sin embargo, las realizaciones divulgadas son meramente ejemplos de la divulgación y pueden llevarse a la práctica de diversas formas. Las funciones o construcciones conocidas no se describen en detalle para evitar oscurecer la presente divulgación con detalles innecesarios. Por lo tanto, los detalles estructurales y funcionales específicos divulgados en el presente documento no deben interpretarse como limitativos, sino simplemente como una base para las reivindicaciones y como una base representativa para enseñar a una persona con conocimientos en la materia a emplear de manera diversa la presente divulgación en prácticamente cualquier estructura adecuadamente detallada. Los números de referencia similares pueden hacer referencia a elementos similares o idénticos a lo largo de la descripción de las figuras.

La Fig. 1 muestra una vista general del sistema que representa una realización de la presente divulgación. Por dispositivo 1 de entrada en tiempo real (RID) se entiende un dispositivo a ser usado por el músico previsto que proporciona una entrada destinada a controlar directamente la música que está siendo generada actualmente por el sistema. Tal como es comúnmente conocido por las personas expertas en la técnica, el término tiempo real es un término relativo que hace referencia a algo que responde muy rápidamente dentro de un sistema. En un sistema digital no hay tal cosa como algo instantáneo, ya que siempre hay una latencia a través de puertas, los dispositivos biestables, el reloj de subsistema, el firmware y el software. Para evitar dudas, dentro del alcance de la presente divulgación, la expresión tiempo real describe eventos que parecen ser instantáneos o muy rápidos en comparación con las escalas de tiempo musicales, tales como barras o sub-barras. Dichos dispositivos de entrada en tiempo real (RID) podrían ser, pero sin limitarse a, una o más pantallas táctiles, sensores de gestos tales como cámaras o sensores basados en láser, giroscopios y otros sistemas de seguimiento de movimiento, dispositivos de seguimiento ocular, sistemas de entrada de voz, tales como detectores de tono, correctores de tono automáticos y similares, hardware dedicado que imita instrumentos musicales o que forma nuevos tipos de instrumentos musicales, parámetros virtuales, tales como parámetros en un videojuego, comandos de red, entradas de inteligencia artificial y similares. El bloque de RID puede estar configurado para ejecutarse de manera asíncrona con otros bloques en el sistema y la señal 2 de control generada por el bloque de RID puede ser, de esta manera, asíncrona con la escala de tiempo musical. Por músico se entiende cualquier persona o cosa que afecte a la música que está siendo generada por el sistema divulgado en tiempo real manipulando la entrada al RID 1.

En una realización, la señal 2 de control corresponde a un estado del cursor recibido desde el RID 1 en forma de un músico que usa una pantalla táctil. Dicho estado del cursor podría contener información acerca de una posición en una pantalla, como coordenadas X e Y, y una coordenada Z podrían corresponder a la cantidad de presión aplicada sobre la pantalla. Estos valores de señal de control (X, Y, Z) pueden transmitirse al conjunto de reglas musicales (MRS) y pueden retransmitirse cada vez que se actualicen. Cuando la señal 2 de control se actualiza, el MRS puede sincronizar la temporización de dicha señal de control según la temporización del sistema y las reglas musicales predefinidas. Una manera de mapear dicha señal 2 de control a reglas musicales dentro del MRS es permitir que X controle la intensidad rítmica, tal como, pero sin limitarse a, la densidad de pulsos, y permitir que Y controle el tono, tal como, pero sin limitarse a, tonos o acordes, y permitir que Z controle la velocidad de ese tono, acorde o similar. Dicha velocidad podría controlar, pero sin limitarse a, el ataque, la sonoridad, la envolvente, el sostenido, la selección de muestras de audio, el efecto o similares del instrumento virtual correspondiente que está siendo tocado por un generador 11 de audio.

En otra realización, el RID 1 puede consistir en un sensor de movimiento, tal como, pero sin limitarse a, un controlador de juegos Microsoft Kinect, una interfaz de realidad virtual o de realidad aumentada, un sensor de movimiento giroscópico, un sensor de movimiento basado en cámara, un dispositivo de reconocimiento facial, una cámara 3D, una cámara de rango, una cámara estéreo, un escáner láser, seguimiento espacial basado en balizas, tal como la tecnología Lighthouse de Valve u otros medios para proporcionar una lectura espacial del músico y, opcionalmente, también del entorno que rodea al músico. Uno o más indicadores de posición tridimensional resultantes pueden usarse como una señal 2 de control y pueden interpretarse como coordenadas X, Y y Z según la descripción anterior cuando son mapeados a parámetros musicales por el MRS 7.

Dicho seguimiento espacial puede establecerse también mediante dispositivos de entrada bidimensionales menos complejos, tales como, pero sin limitarse a, cámaras digitales, mediante visión por ordenador mediante métodos tales como el seguimiento de centroides de grupos de píxeles, análisis de imágenes en cascada de Haar, redes neuronales entrenadas sobre entradas visuales o enfoques similares y, de esta manera, pueden generarse una o más posiciones de cursor a ser usadas como señal 2 de control.

Un ejemplo de dicho tipo de RID se muestra en la Fig. 2a y la Fig. 2b, en las que un dispositivo móvil que tiene una cámara actúa como un RID, la persona sentada frente a la cámara puede mover sus manos, el dispositivo móvil capturará los gestos de las manos y estos se interpretarán como una señal de control en el sistema. La cámara puede ser cualquier tipo de cámara, tal como, por ejemplo, pero sin limitarse a, cámaras 2D, 3D y de profundidad.

En todavía otra realización, el RID 1 podría ser una pieza de hardware dedicada, tal como, pero sin limitarse a, nuevos tipos de instrumentos musicales, réplicas de instrumentos musicales tradicionales, un equipo de DJ, un equipo de mezcla de música en vivo o dispositivos similares que generan los datos de cursor X, Y, Z correspondientes usados como la señal 2 de control.

En todavía otra realización, el RID 1 es un subsistema que recibe entradas desde uno o más músicos virtuales, tales como, pero sin limitarse a, parámetros en un videojuego, un algoritmo o entidad de inteligencia artificial (IA), una red de músicos remotos, un manipulador de bucles, un manipulador de bucles multidimensional, uno o más generadores aleatorios y cualquier combinación de los mismos. Dicho manipulador de bucles multidimensional puede estar configurado para grabar un movimiento del cursor y repetirlo continuamente de manera sincronizada o no con el tempo musical. Además, dicho manipulador de bucles puede ser suavizado mediante interpolación, creación de rampas, filtrado pasa bajo, esplines, promediado y técnicas similares.

En todavía otra realización, la señal 2 de control es sustituida o complementada por una entrada de control desde una red remota de uno o más músicos 3. La velocidad de datos de dicha señal 2 de control remota se mantiene en un mínimo para evitar una latencia excesiva que dificultaría mucho la entrada del músico remoto. La presente divulgación resuelve este problema de velocidad de datos de manera inherente, ya que la música es generada en tiempo real por cada instancia separada del sistema que ejecuta los mismos ajustes de MRS 7 en cada ubicación de músico remota y, por lo tanto, no es necesario transmitir ningún dato de audio a través de la red, lo cual requeriría velocidades de datos muchas veces más altas que las de las señales 2 de control remotas. Además, dicha entrada desde músicos remotos, así como las señales 6 de activación de notas, deben sincronizarse con el fin de que la pieza de música completa generada sea coherente. En esta realización, todos los relojes de los sistemas remotos están sincronizados. Esta sincronización puede conseguirse mediante el protocolo de tiempo de red (NTP), el protocolo de tiempo de red simple (SNTP), el protocolo de tiempo preciso (PTP) o similares. Se considera que las personas expertas en la técnica conocen la sincronización de relojes a través de una red.

En todavía otra realización, la red de músicos remotos e instancias del sistema divulgado en el presente documento, tal como se ha descrito anteriormente, se basa en 5G u otros estándares de comunicación futuros o tecnologías de red centradas en baja latencia en lugar de en alto ancho de banda.

En todavía otra realización, el RID podría conectarse a una IA entrenada musicalmente (asistente de compositor de inteligencia artificial, o AIAC para abreviar). Dicha IA que actúa como un músico puede basarse en una determinada implementación de aprendizaje profundo y/o de red neuronal artificial, tal como, pero sin limitarse a, alimentación directa profunda, red neuronal recurrente, red convolucional profunda, máquina de estado líquido y similares. Dicha IA puede basarse también en otras estructuras, tales como, pero sin limitarse a, máquinas de estado finito, cadenas de Markov, máquinas de Boltzmann y similares. El conocimiento fundamental en el que se basan estos procesos autónomos puede ser una mezcla de reglas musicales convencionales, tales como estudios de contrapunto, análisis Schenkeriano y procesos musicales similares, así como votación impulsada por la comunidad por cada generación u otros medios para garantizar la calidad humana. El conocimiento puede obtenerse también a través de un análisis profundo de música existente a gran escala usando bibliotecas de música en línea y servicios de transmisión a través de medios, tales como, pero sin limitarse a, análisis FFT/STFT de contenido utilizando redes neuronales y cascadas Haar, detección de tono en dominios tanto espectrales/temporales como de la frecuencia, aprovechando las APIs existentes por cada servicio o usando sistemas de ID de contenido diseñados si no para la identificación de derechos de autor, etc. Además, dicha IA puede entrenarse usando bibliotecas de música existentes mediante análisis de audio, análisis de audio polifónico, etiquetas de metadatos que contienen información acerca de ciertas reglas musicales, tales como, pero sin limitarse a, escalas, tonalidades, medidores, caracteres, instrumentos, género, estilo, rango, tesitura y similares.

Para todas las realizaciones anteriores, cualquier cantidad de valores de cursor adicionales por encima de los tres (X, Y, Z) usados en los ejemplos pueden incluirse también en la señal 2 de control. Un ejemplo de uso de valores de cursor adicionales es la manipulación de otras reglas musicales en el interior del MRS 7. Dichas reglas musicales adicionales podrían ser, pero sin limitarse a, legato, aleatoriedad, efectos, transposición, tono, probabilidades de ritmo y similares. Los valores de cursor adicionales en la señal 2 de control pueden usarse también para controlar directamente otros bloques del sistema. Un ejemplo de dicho control directo de otros bloques del sistema podría ser, pero sin limitarse a, el control del generador 11 de audio para añadir vibrato directo, omitiendo la sincronización de la escala de tiempo musical realizada por el MRS 7.

En una realización, el generador 11 de audio (AG) puede estar configurado para generar una señal de audio correspondiente a la señal 8 de salida del TCPG 9 por medio de la selección desde un conjunto de muestras pregrabadas (es decir, un muestreador), la generación del sonido correspondiente en tiempo real (es decir, un sintetizador) o combinaciones de los mismos. La funcionalidad de un muestreador o un sintetizador se considera conocida por una persona experta en la técnica.

El AG 11 puede estar configurado para tomar señales 2 de control en tiempo real adicionales, tales como vibrato, inflexión de tono y similares, que no se han sincronizado con el tempo musical en el interior del MRS o el TCPG. El AG 11 puede ser interno o externo al sistema de generación de música e incluso puede conectarse en una ubicación remota o en un momento posterior a una versión grabada de la señal 8 de salida.

El bloque 13 de posprocesamiento (PPB) opcional puede estar configurado para añadir efectos a la señal de audio saliente y/o mezclar varios flujos de señal de audio para completar la salida musical final. Dichos efectos podrían ser, pero sin limitarse a, reverberación, coro, retardo, eco, ecualizador, compresor, limitador, generación de armónicos y similares. Se espera que una persona experta en la técnica conozca cómo pueden implementarse dichos efectos y capacidades de mezcla de audio. El PPB 13 puede estar configurado para tomar señales 2 de control en tiempo real adicionales que no se han sincronizado con el tempo musical en el interior del MRS o el TCPG, tales como, pero sin limitarse a, un oscilador de baja frecuencia (LFO), un parámetro de sala virtual y otras señales cambiantes que afectan a la mezcla de audio final. Dicho parámetro de sala virtual puede configurarse para alterar una respuesta de impulso de sala que actúa como un filtro sobre la mezcla de audio final mediante una convolución de filtro FIR, reverberación, retardo, desplazamiento de fase, convolución de filtro IR o combinaciones de los mismos.

La entrada 4 de compositor puede ser un formato de archivo exportado desde una estación de trabajo de audio digital DAW o un software de composición musical que se traduce a definiciones 701 de reglas musicales RD compatibles con la estructura del conjunto 7 de reglas musicales MRS.

La Fig. 2 muestra un ejemplo de un dispositivo 1 de entrada en tiempo real. El dispositivo 1 de entrada en tiempo real puede ser, pero sin limitarse a, un dispositivo móvil, un ordenador, etc. con una cámara. La cámara puede ser, pero no se limita a, una cámara 2D, 3D o de profundidad. La cámara puede estar configurada para capturar los gestos del usuario sentado frente a la cámara e interpretar los gestos y generar una señal de control de la generación de música en tiempo real mediante técnicas de visión artificial.

La Fig. 3 muestra un esquema ejemplar de un conjunto 7 de reglas musicales (MRS). El MRS 7 puede estar configurado para contener definiciones 701 de reglas musicales predefinidas por una entrada de compositor. La entrada de compositor puede ser un formato de archivo exportado desde una estación de trabajo de audio digital (DAW) o un software de composición musical que se traduce en definiciones de reglas musicales (RD) compatibles con la estructura del conjunto de reglas musicales (MRS). Además, dicha entrada de compositor puede originarse a partir de un compositor de inteligencia artificial (IA), aleatorizaciones o mutaciones de otros elementos musicales existentes y similares.

El MRS puede usar las definiciones de reglas con cualquiera o la totalidad de las adiciones realizadas a través de una entrada de usuario en tiempo real, una entrada de usuario previa, un procesamiento de IA en tiempo real mediante neuronas musicales, un procesamiento de IA fuera de línea a partir del conocimiento obtenido a partir de datos estáticos y fluidos, o a través de varias etapas de bucle de retorno a partir de parámetros de rendimiento o cualquier variable pública que se origine en un sistema interactivo. Puede usarse un bucle de retorno a la IA tanto con propósitos de entrenamiento iterativo como para instrucciones para la generación de música en tiempo real. Las neuronas musicales generan señales basadas en la salida de Musical DNA que usa las características musicales desde la unidad MRS. La unidad MRS puede tener bloques 301 centrales, bloques 303 de tono, bloques 305 de ritmo y bloques 307 de archivo para definir las características musicales.

Cada una de dichas definiciones 701 de reglas musicales puede contener el conjunto de reglas para parte o la totalidad de una pieza musical, tal como, pero sin limitarse a, instrumentación, tonalidad, escala, tempo, compás, frases, ritmos, patrones rítmicos, motivos, armonías y similares.

Las definiciones 701 de reglas musicales pueden contener también información diversa no vinculada directamente con rasgos musicales, tales como, pero sin limitarse a, una implementación de cadena de bloques, registro de cambios, carátula, información del compositor y similares. Dicha implementación de cadena de bloques puede estar configurada para gestionar los derechos de autor de las definiciones 701 de reglas musicales. En una realización, dicha implementación de cadena de bloques puede permitir contenido musical de origen colectivo en forma de conjuntos de reglas musicales, frases musicales convencionales, letras, conjuntos de datos de control adicionales para salidas alternativas y similares.

La unidad 7 MRS genera señales 6 de activación de notas en base a las definiciones de reglas seleccionadas y la señal de control desde el RID 1. En un ejemplo, las señales 6 de activación de notas pueden ser una señal de selección de tono y una señal de activación. La señal de selección de tono será usada por el TCPG posteriormente para sincronizar la señal generada en el dominio de la frecuencia y la señal de activación será usada por el TCPG para sincronizar la señal generada en el dominio del tiempo.

Dicha instrumentación de una definición 701 de reglas musicales puede mapearse a múltiples instrumentos virtuales separados, cada uno de los cuales contiene reglas únicas por cada instrumento, tales como, pero sin limitarse a, un traductor 7051 de ritmo, un traductor 7053 de tono, una definición 7055 de sonido de instrumento, un ajuste 7057 de síntesis de efectos, una anulación 7059, un control 7061 externo, etc.

El traductor 7051 de ritmo puede estar configurado para traducir una descripción musical de ritmo, tal como, pero sin limitarse a, generación o restricciones de notas rítmicas y pausas derivadas a partir de divisiones de tempo, probabilidades, patrones predefinidos, un archivo MIDI, algoritmos tales como fractales, cadenas de Markov, técnicas granulares, ritmos euclidianos, división en ventanas, detección de transitorios o combinaciones de los mismos, tal como se define en la definición 701 de reglas musicales y opcionalmente manipulado por una entrada 2 de control. El patrón rítmico resultante puede procesarse adicionalmente mediante variaciones aleatorias o predefinidas de diferentes aspectos, tales como, pero sin limitarse a, desplazamiento de fase fluida, desplazamiento de fase cuantificada, longitud de pulso, osciladores de baja frecuencia, velocidad, volumen, decaimiento, envolventes, ataques y similares. El conjunto resultante de señales de activación puede usarse para controlar un TCPG 9.

El traductor 7053 de tono puede estar configurado para traducir una descripción musical de frecuencias, tales como, pero sin limitarse a, escalas, acordes, archivos MIDI, algoritmos tales como fractales, análisis espectral, cadenas de Markov, técnicas granulares, división en ventanas, detección de transitorios o combinaciones de los mismos, tal como se define en la definición 701 de reglas musicales y opcionalmente manipulada por una entrada 2 de control. La elección resultante de frecuencias puede procesarse adicionalmente mediante variaciones aleatorias o predefinidas de diferentes aspectos, tales como, pero sin limitarse a, desplazamiento de tono fluido, desplazamiento de tono cuantificado, vibrato, osciladores de baja frecuencia, barridos, volumen, decaimiento, envolventes, ataques, armónicos, timbre y similares. El conjunto resultante de señales de frecuencia puede usarse para controlar un TCPG 9.

En otra realización, el TCPG puede omitirse usando directamente una señal que describe parámetros tanto de tiempo como de frecuencia, tales como, pero sin limitarse a, una señal MIDI que conecta el MRS directamente al generador de audio.

En una realización, el traductor 7051 de ritmo y el traductor 7053 de tono pueden vincularse con o reemplazarse por una única unidad que define tanto el ritmo como el tono en base de una única matriz reproducible. Los ejemplos de dicha matriz pueden ser, pero sin limitarse a, un archivo MIDI reproducible, algoritmos tales como fractales, cadenas de Markov, técnicas granulares, división en ventanas y combinaciones de los mismos. Dicho archivo MIDI reproducible puede mapearse a la señal 2 de control de manera que ciertos cursores se mapeen a dimensiones correspondientes en dicha matriz reproducible. Un ejemplo de dicho mapeo puede ser usar el cursor del eje X para describir la longitud de la nota actual en un archivo MIDI o matriz reproducible y el cursor del eje Y para controlar la selección de la nota en dicho archivo MIDI o matriz donde un valor más alto en el cursor del eje Y reproduce una nota posterior en dicho archivo MIDI o matriz. Otro ejemplo de dicho mapeo puede ser usar los cursores para variar el archivo MIDI o matriz sumando o restando material de tono y ritmo mediante fractales, cadenas de Markov, técnicas granulares, ritmos euclidianos, división en ventanas, detección de transitorios o combinaciones de los mismos dependiendo de dichos valores de cursor, en el que el cursor del eje X puede sumar o restar material rítmico en base a su desplazamiento con relación al valor medio y el cursor del eje Y puede sumar o restar material rítmico en base a su desplazamiento con relación al valor medio. Todavía otro ejemplo de dicho mapeo puede ser usar el cursor del eje X para ralentizar o acelerar la música (ya sea en un porcentaje o en paso discretos) y permitir que el cursor del eje Y transponga el material de tono (ya sea en pasos absolutos o en una escala predefinida).

La definición 7055 de sonido de instrumento puede estar configurada para definir las características de sonido de un instrumento virtual mediante la configuración de los parámetros a ser usados por un sintetizador, la selección de una biblioteca de muestras a ser usada por un muestreador, la configuración de un instrumento y similares.

Los ajustes 7057 de síntesis de efectos pueden estar configurados para especificar determinados ajustes de efectos a ser aplicados en cada instrumento. Dichos ajustes de efectos pueden ser, pero sin limitarse a, reverberación, coro, paneo, ecualización, retardo y combinaciones de los mismos.

El bloque 7059 de anulación puede estar configurado para anular ciertos parámetros globales, tales como una escala global, tonalidad, tempo o similares, según lo definido por la definición de reglas globales que se está reproduciendo actualmente. De esta manera, un determinado instrumento puede reproducir algo independientemente de dichas reglas globales para una determinada pieza musical.

El bloque 7061 de control externo puede estar configurado para emitir una señal de control para dispositivos externos, tales como sintetizadores, muestreadores, efectos de sonido, accesorios de iluminación, efectos pirotécnicos, actuadores mecánicos, parámetros de juego, controladores de vídeo externos y similares. Dicha señal de salida puede cumplir estándares tales como, pero sin limitarse a, MIDI, OSC, DMX-512, SPDIF, AES/EBU, UART, I2C, ISP, HEX, MQTT, TCP, I2S y similares.

En aspectos, cada instrumento virtual puede estar vinculado a uno o más instrumentos virtuales diferentes con respecto a cualquier parámetro en el mismo.

En la presente invención, un manipulador 703 de transiciones musicales está configurado de manera que tenga el control de nivel superior de la forma musical, realizando una transformación gradual entre múltiples definiciones 701 de reglas musicales y/o añadiendo nuevo contenido musical que liga la pieza musical en su conjunto. El manipulador de transiciones musicales está configurado para realizar una transición para uno o más instrumentos mediante medios musicalmente coherentes (que son percibidas como musicales por un oyente humano con conocimiento del género o estilo actual). Dichas transiciones pueden ser necesarias entre diferentes escenarios en un videojuego, entre el verso y el coro de una canción, entre diferentes estados de ánimo en una línea argumental de un juego, película, teatro, experiencia de realidad virtual o similares. El manipulador 703 de transiciones musicales usa una o más técnicas musicales para cada instrumento que realiza una transición entre las definiciones 701 de reglas musicales según la entrada del compositor, y una señal 2 de control, o secuenciador interno o similar. Dichas técnicas de transición musical pueden ser, pero sin limitarse a, encadenado, transformación lineal, transformación logarítmica, transformación sinusoidal, transformación exponencial, transformación de división en ventanas, frases musicales predefinidas, retrógrado, inversión, otras utilidades canónicas, composición fractal, cadenas de Markov, ritmos euclidianos, técnicas granulares, definiciones 701 de reglas musicales intermedias creadas específicamente para fines de transformación y combinaciones de los mismos.

La Fig. 4 muestra un esquema ejemplar de un generador 9 de tono con restricción de temporización (TCPG). En la presente realización ilustrada en esta figura, la sincronización temporal y tonal establecida por la unidad MRS se obtiene mediante una estructura en la que el generador 903 de ritmo controla el generador 901 de tono a través de una señal 902 de activación interna. Como resultado de dicha estructura, cualquier nota nueva solo puede ser creada por el generador de tono en ciertos momentos predefinidos en el tiempo, según el conjunto de reglas definido en el MRS 7. El generador 903 de ritmo puede, pero sin limitarse a, generar la señal 902 de activación interna reenviando pulsos directamente desde la señal 604 de activación de entrada desde el MRS 7, dividiendo una señal de reloj o generando un ritmo en base a las reglas del secuenciador establecidas por el MRS 7. La funcionalidad de un secuenciador, tal como los usados en cajas de ritmos y similares, se considera conocida por las personas expertas en la técnica.

El generador 901 de tono está configurado para responder a la señal 602 de selección de tono desde el MRS 7 para elegir el tono correcto y transmite dicha nota cada vez que es activada por la señal 902 de activación interna. La señal 602 de selección de tono puede contener una o varias notas y, de esta manera, el generador 901 de tono puede generar tonos o acordes individuales transmitidos en una señal de tono de manera correspondiente.

Además, el generador 901 de tono puede estar sincronizado con el generador 903 de ritmo mediante una señal de sincronización, lo que resulta en una reproducción síncrona del tono seleccionado con duraciones de nota predefinidas. Por ejemplo, esto podría usarse para reproducir una melodía predefinida en la que las notas y las pausas deben tener una duración y un tono determinados con el fin de que dicha melodía sea interpretada según lo previsto.

El productor 905 de eventos está configurado para generar una señal 8 de salida en base a una señal 802 de tono entrante, una señal 804 de puerta y una señal 806 dinámica. Dicha señal 8 de salida puede cumplir, pero sin limitarse a, estándares tales como MIDI, General MIDI, MIDICENT, General MIDI Level 2, Scalable Polyphony MIDI, Roland GS, Yamaha XG y similares.

En una realización, las entradas al productor 905 de eventos se mapean a los mensajes de "Channel Voice" del estándar MIDI, donde la señal 802 de tono controla la temporización de los mensajes de "note-on" y "note-off " transmitidos por el productor 905 de eventos. En dicha realización ejemplar, el tono puede mapearse al valor "MIDI Note Number" y la señal 806 dinámica al valor de "Velocity" de dichos mensajes de "note-on". La entrada 804 de puerta puede usarse para transmitir mensajes de "note-off' adicionales en dicha realización ejemplar.

En otra realización, el productor 905 de eventos puede estar configurado para emitir música en forma de texto, tal como, pero sin limitarse a, notas, partituras musicales, pestañas y similares.

El generador 11 de audio puede estar configurado para tomar una señal de salida y generar la señal de audio correspondiente mediante la reproducción de las muestras correspondientes desde una biblioteca de muestras, generando la señal de audio correspondiente mediante síntesis en tiempo real (es decir, usando un sintetizador) o similar. La señal de audio resultante puede emitirse en formatos tales como, pero sin limitarse a, muestras Raw, WAV, Core Audio, JACK, PulseAudio, GStreamer, audio MPEG, AC3, DTS, FLAC, AAC, OggVorbis, SPDIF, I2S, AES/EBU, Dante, Ravenna y similares.

El dispositivo 13 de posprocesamiento puede estar configurado para mezclar múltiples flujos de audio, tales como, pero sin limitarse a, audio vocal, audio de juegos, audio de instrumentos acústicos, audio pregrabado y similares. Además, el PPD 13 puede añadir efectos a cada flujo de audio entrante que está siendo mezclado, así como al flujo de audio final saliente como un medio de masterización en tiempo real con el fin de obtener un flujo de audio de calidad de producción en tiempo real.

La Fig. 5 muestra un ejemplo del método para la generación de música en tiempo real. Al comienzo del método, la unidad 7 MRS recupera una entrada de compositor en S101, se obtendrá un conjunto de definiciones 701 de reglas adaptables en base a la entrada del compositor y se almacenará en una memoria de la unidad 7 MRS en S103. A continuación, el MRS selecciona un conjunto de definiciones de reglas desde la memoria en S105. En S107, el MRS recibe una señal 2 de control en tiempo real desde el RID 1 y combina la señal 2 de control y las definiciones de reglas seleccionadas en S109. En la presente invención, las señales 6 de activación de nota de salida que comprenden una señal 602 de selección de tono y una señal 604 de activación, se emiten al TCPG 9. El TCPG 9 sincronizará la música en los dominios del tiempo y de la frecuencia en S113 y la señal de salida del TCPG 9 será una entrada del AG 11. El MRS selecciona las propiedades del instrumento en S111 y las envía al AG 11. El AG 11 combina la señal de salida del TCPG 9 y las propiedades seleccionadas del instrumento para obtener una señal de audio en S115. La señal de audio puede reenviarse a un dispositivo 13 de posprocesamiento para su procesamiento adicional para adaptar la música al entorno o para ser emitida directamente.

Se apreciará que a las personas expertas en la técnica se les ocurrirán fácilmente ventajas y modificaciones adicionales. Por lo tanto, las divulgaciones presentadas en el presente documento y los aspectos más amplios de las mismas no están limitados a los detalles específicos ni a las realizaciones representativas mostradas y descritas en el presente documento. Por consiguiente, pueden incluirse muchas modificaciones y mejoras sin apartarse del alcance del concepto inventivo general, tal como se define en las reivindicaciones adjuntas.

Claims (11)

REIVINDICACIONES

1. Instrumento virtual para la generación de música en tiempo real, que comprende:

una unidad (7) de conjunto de reglas musicales, MRS, que comprende una entrada (4) de compositor predefinida, dicha unidad (7) MRS está configurada para seleccionar un conjunto de propiedades de instrumento y al menos un conjunto de definición (701) de reglas adaptables en base a la entrada de compositor predefinida y para combinar el conjunto seleccionado de definición de reglas adaptables con una señal (2) de control en tiempo real para obtener señales (6) de activación de nota asociadas con propiedades en el dominio del tiempo y de la frecuencia, en el que las señales de activación de nota se emiten a un generador (9) de tono con restricción de temporización, TCPG, comprendiendo las señales de activación de nota una señal (602) de selección de tono y una señal (604) de activación de entrada;

el TCPG (9), configurado para generar una señal (8) de salida que representa la música; estando dicho TCPG configurado para sincronizar los nuevos tonos generados en los dominios del tiempo y de la frecuencia en base a las señales (6) de activación de nota, en el que el TCPG (9) comprende un generador (903) de ritmo, un generador (901) de tono y un productor (905) de eventos, en el que el generador (903) de ritmo está dispuesto para controlar el generador (901) de tono a través de una señal (902) de activación interna, en el que el generador (901) de tono está configurado para responder a la señal (602) de selección de tono desde la unidad (7) MRS con el fin de seleccionar el tono correcto y transmitir dicha nota como una señal (802) de tono cada vez que sea activada por la señal (902) de activación interna, en el que el productor (905) de eventos está configurado para generar la señal (8) de salida en base a la señal (802) de tono entrante, una señal (804) de puerta y una señal (806) dinámica;

un generador (11) de audio configurado para convertir la señal (8) de salida desde el TCPG (9) y combinar la misma con el conjunto seleccionado de propiedades de instrumento para obtener una señal (10) de audio; y

en el que el al menos un conjunto de definiciones de reglas adaptables describe parámetros de música transformables en tiempo real y dichos parámetros de música transformables son controlables directamente por la señal (2) de control en tiempo real y el instrumento virtual comprende además un manipulador (703) de transiciones musicales configurado para interpretar la señal (2) de control en tiempo real y manipular las transiciones entre diferentes secciones en la música generada en base a las características musicales según la entrada (4) de compositor predefinida, de manera que las transiciones sean musicalmente coherentes con las definiciones de reglas adaptables que se están transformando actualmente, en el que los medios musicalmente coherentes son percibidos como musicales por un oyente humano con conocimiento de un género o estilo actual.

2. Instrumento según la reivindicación 1, en el que la señal (2) de control en tiempo real se recibe desde un dispositivo (1) de entrada en tiempo real, RID, que está configurado para recibir una entrada desde una pantalla táctil, tal como las coordenadas X e Y de una posición tocada, y para traducir dicha entrada para obtener la señal (2) de control en tiempo real.

3. Instrumento según la reivindicación 2, en el que la pantalla táctil está configurada para proporcionar información adicional con respecto a la presión relacionada con la fuerza táctil que recibe la pantalla táctil en la posición tocada y para usar dicha información adicional junto con las coordenadas X e Y para cada punto y traducir esta señal de entrada a la señal (2) de control en tiempo real.

4. Instrumento según la reivindicación 1, en el que la señal (2) de control en tiempo real se recibe desde un dispositivo (1) de entrada en tiempo real, RID, que está configurado para recibir una entrada desde al menos uno de entre una cámara espacial, un parámetro de videojuego y una cámara digital y para traducir dicha entrada a la señal (2) de control en tiempo real.

5. Instrumento según la reivindicación 1, en el que la señal (2) de control en tiempo real se recibe desde una red (3) de músicos remotos.

6. Método para generar música en tiempo real en un instrumento virtual que comprende una unidad (7) de conjunto de reglas musicales, MRS, un generador (9) de tono con restricción de temporización, TCPG y un generador (11) de audio, comprendiendo dicho método:

- recuperar una entrada (4) de compositor predefinida en la unidad MRS (S101);

- almacenar múltiples definiciones (701) de reglas adaptables en una memoria de la unidad MRS (S103);

- recibir una señal (2) de control en tiempo real en la unidad MRS (S107);

- seleccionar un conjunto de definiciones de reglas adaptables (S105) de las múltiples definiciones de reglas adaptables almacenadas;

- seleccionar un conjunto de propiedades de instrumento (S111);

- combinar las definiciones de reglas adaptables seleccionadas con la señal (2) de control en tiempo real para obtener señales (6) de activación de nota asociadas con propiedades en el dominio del tiempo y de la frecuencia (S109), en el que las señales de activación de nota se emiten al generador (9) de tono con restricción de temporización, TCPG, comprendiendo las señales de activación de nota una señal (602) de selección de tono y una señal (604) de activación de entrada;

-sincronizar, en el TCPG (9), los nuevos tonos generados en los dominios del tiempo y de la frecuencia en base a las señales de activación de notas (S113), en el que el TCPG (9) comprende un generador (903) de ritmo, un generador (901) de tono y un productor (905) de eventos, en el que el generador (903) de ritmo controla el generador (901) de tono a través de una señal (902) de activación interna, en el que el generador (901) de tono responde a la señal (602) de selección de tono desde la unidad (7) MRS para seleccionar el tono correcto y para transmitir dicha nota como una señal (802) de tono cada vez que es activada por la señal (902) de activación interna, en el que el productor (905) de eventos genera una señal (8) de salida en base a la señal (802) de tono entrante, una señal (804) de puerta y una señal (806) dinámica; y

- combinar la señal (8) de salida con el conjunto seleccionado de propiedades de instrumento para obtener una señal (10) de audio en el generador de audio (S115); en el que,

las múltiples definiciones de reglas adaptables describen parámetros musicales transformables en tiempo real y dichos parámetros de música transformables son controlables directamente por la señal (2) de control en tiempo real y el método comprende además una etapa de interpretar la señal (2) de control en tiempo real y manipular las transiciones entre las diferentes secciones en la música generada en base a las características musicales según la entrada (4) de compositor predefinida,

de manera que las transiciones sean musicalmente coherentes con las definiciones de reglas adaptables que se están transformando actualmente, en el que los medios musicalmente coherentes son percibidos como musicales por un oyente humano con conocimiento de un género o estilo actual.

7. Método según la reivindicación 6, en el que la señal (2) de control en tiempo real se recibe desde un dispositivo (1) de entrada en tiempo real, RID, que está configurado para recibir una entrada desde una pantalla táctil, tal como las coordenadas X e Y de una posición tocada, y para traducir dicha entrada a la señal (2) de control en tiempo real.

8. Método según la reivindicación 7, en el que la pantalla táctil está configurada para proporcionar información adicional con respecto a la presión relacionada con la fuerza táctil que recibe la pantalla táctil en la posición tocada y para usar dicha información adicional junto con las coordenadas X e Y para cada punto y traducir esta señal de entrada a la señal (2) de control en tiempo real.

9. Método según la reivindicación 6, en el que la señal (2) de control en tiempo real se recibe desde un dispositivo (1) de entrada en tiempo real, RID, que está configurado para recibir una entrada desde al menos uno de entre una cámara espacial, un parámetro de videojuego y una cámara digital y para traducir dicha entrada a la señal (2) de control en tiempo real.

10. Método según la reivindicación 6, en el que la señal (2) de control en tiempo real se recibe desde una red (3) de músicos remotos.

11. Producto de programa informático que comprende instrucciones legibles por ordenador que, cuando se ejecutan en un ordenador, causan que se realice un método según cualquiera de las reivindicaciones 6-10.