ES2922332T3 - Proceso para realizar una interfaz audiovisual - Google Patents

Abstract

Se describe un proceso, para hacer una interfaz audiovisual que reproduce la presencia humana, que comprende los pasos de: análisis de interactividad; adquisición de imágen; y reproducción, a través de un sistema óptico o de televisión con capacidades de interacción lógica de voz, gesto, gestos. (Traducción automática con Google Translate, sin valor legal)

Description

DESCRIPCIÓN

Proceso para realizar una interfaz audiovisual

La presente invención se refiere a un proceso para realizar una interfaz audiovisual.

El estado de la técnica más moderno en cuanto a interfaz proporciona modos de interacción de tipo voz o gesto (Apple Iphone Siri, videoconsolas de última generación) cuyo protocolo de comunicación se basa en la relación entre un usuario humano y un aparato (teléfono, ordenador, consola).

Las patentes recientes presentadas por Samsung y Apple y otras compañías que operan en el campo de la electrónica y la telefonía involucran la percepción humana de una manera cada vez más completa (reconocimiento del movimiento ocular).

Por lo tanto, el gran cambio en la evolución de los medios proviene de los nuevos modos de interactuar con las personas, por ejemplo, de diferentes formas de interfaz del usuario.

Los documentos US-B1-7844467 y US-A1-2011/007079 describen procesos de acuerdo con la técnica anterior. El objeto de la presente invención es proporcionar un proceso que proponga como resultado una interfaz simple y natural que pueda usarse por todos y, al mismo tiempo, sea más envolvente: un ser humano real interactivo (filmado y no generado con gráficos de ordenador), reproducidos con un efecto tridimensional para aumentar la implicación visual.

Tal interfaz permite pasar de una tercera generación de aparatos electrónicos y computadores que son invisibles, ni siquiera se ven, y se adaptan naturalmente a las formas en que uno trabaja y vive su vida cotidiana.

Son múltiples los usos y aplicaciones potenciales del proceso: como interfaz de aparatos electrónicos y computadores de nueva generación, en los que cada vez se requiere más interactividad con un usuario; como puntos de información en museos, salas de exposición, estaciones, aeropuertos, ciudades, parques, etc. donde, a diferencia del pasado, se prefieren los aspectos multisensoriales e interactivos para aumentar la implicación del espectador, quien, al ver la interfaz humana, será capaz de acceder a la información a través de una simple charla.

La invención permite la posibilidad de realizar una interfaz visual en lenguaje de señas (LIS) hacia aparatos, y un traductor simultáneo del lenguaje verbal al LIS.

Tal proceso produce un resultado que, además de tener un valor per se, es un cambio paradigmático en la historia de las relaciones entre el usuario y un aparato.

La extrema facilidad de tal relación (con una simple "charla") hace que los usuarios de cualquier tipo de aparato se extiendan también a todos aquellos que tienen dificultades para interactuar con las tecnologías modernas, además de las personas con discapacidad.

Lo anterior y otros objetos y ventajas de la invención, como se apreciará a partir de la siguiente descripción, se obtienen con un proceso para hacer una interfaz audiovisual como se reivindicó en la reivindicación 1. Las modalidades preferidas y las variaciones no triviales de la presente invención son el tema de las reivindicaciones dependientes. Se pretende que todas las reivindicaciones adjuntas sean una parte integral de la presente descripción.

La presente invención se describirá mejor mediante algunas modalidades preferidas de la misma, proporcionadas como un ejemplo no limitante, con referencia a los dibujos adjuntos, en los que:

- la Figura 1 es una vista esquemática del entorno operativo en el que opera el proceso de acuerdo con la presente invención;

- las Figuras 2 y 3 son diagramas de flujo de las etapas principales del proceso de la presente invención;

- las Figuras de la 4 a la 7 son algunos posibles resultados del proceso de la presente invención; y

- la Figura 8 muestra la imagen final que se obtiene con el proceso de la presente invención.

Con referencia a las Figuras, se muestra y describe una modalidad preferida del proceso para hacer una interfaz audiovisual de la presente invención.

El proceso inventivo para la realización de una interfaz audiovisual se desarrolla en tres etapas:

Primera etapa: análisis de interactividad.

Segunda etapa: adquisición de imágenes

Tercera etapa: reproducción mediante sistema óptico (o de televisión)

Primera etapa: análisis de interactividad

El proceso se proporciona para el uso de un aparato óptico que reproduce con efecto tridimensional la presencia humana (descrito en la TERCERA ETAPA), equipado con un sensor/controlador 3 (con su correspondiente software) capaz de reconocer la voz, capaz de interpretar el lenguaje humano.

La interpretación del lenguaje humano permite identificar la semántica de la información.

El sistema puede activar el evento apropiado en dependencia del comando de voz recibido y se comunica con un ordenador a través de una interfaz para conectar los dispositivos externos, como un puerto USB, un puerto paralelo, un puerto serie estándar (Figura 1).

El sistema de reproducción puede acceder a una serie de "n" acciones del sujeto reproducido a través de una programación lógica. Una sensibilidad volumétrica (con sensor adecuado 3) permite que el sistema perciba la presencia, la ausencia y el cambio de estado relacionado (llegada, despedida), además de una serie de movimientos por parte del observador/usuario 1. Las acciones consiguientes por parte del sistema se pueden realizar y programar. Por ejemplo, al programar, la reproducción del segmento de respuesta: "El libro se usa para obtener información", podría asociarse con las preguntas "¿qué es el libro?", "¿para qué es usado el libro?", o simplemente "libro" y muchas otras.

Una vez planteado el proyecto interactivo concreto, se realizan rodajes visuales y sonoros (SEGUNDA ETAPA).

El actor elegido recitará todos los segmentos proporcionados (ACCIONES), además de toda una serie de acciones no verbales (INACTIVA, PRE-INACTIVA y PUENTE) que se usarán para proporcionar a la interfaz de dicho efecto de presencia debido a una simulación del comportamiento humano durante el diálogo.

Las secuencias visuales a rodar se segmentarán de acuerdo con una lógica de interactividad para obtener la sensación de hablar con un ser humano.

Las secuencias lógicas se dividen en cuatro categorías principales (a las que se añaden las subcategorías para proyectos más complejos):

1) secuencia INACTIVA (estado de indiferencia en el que la interfaz "vive" esperando un comando de cambio de estado);

2) secuencia PRE-INACTIVA (un comportamiento que precede a la acción);

3) Secuencia PUENTE (una transición de imagen que ayuda a dar continuidad visual a la interfaz entre el estado INACTIVO/PRE-INACTIVO y el estado ACCIÓN)

4) Secuencia de ACCIÓN (en la que la interfaz realiza o hace que se realice la acción)

Por ejemplo, cuando la interfaz no realice acciones, deberá estar en un estado de indiferencia (INACTIVO), por ejemplo, mirando alrededor o silbando. Cuando se inserta una pregunta, su estado de atención cambia (PRE­ ⁱN^a CTIVO) mirando a un usuario con la cara, para luego analizar la pregunta realizada y proceder con la respuesta relacionada o acción programada (ACCIÓN).

Se podría proporcionar una acción de invitación para repetir la pregunta para preguntas no programadas.

También se analizarán los estados detectados por el sensor volumétrico 3 y se programará el comportamiento, reacción o acción de la interfaz para interactuar con el usuario 1 de acuerdo con el proyecto interactivo específico. La Figura 1 también muestra gráficamente la sensibilidad audio-volumétrica del micrófono y del sensor.

Luego se realiza una elección precisa de los estados INACTIVO, PUENTE y ACCIÓN, junto con su presentación lógica dentro de un comportamiento simulado por el sujeto humano reproducido.

Como en un diagrama de flujo, todo se estudia, se hace, se programa de acuerdo con una lógica cuyo resultado es mostrar un ser humano atento a dar una serie de "n" respuestas sobre "n" temas específicos en "n" idiomas o ejecutar comandos, todo con un comportamiento "real" (Figura 2). En dicha Figura, en la etapa F1 se realizan INACTIVO 01, 02, 03, etc., mientras que en F2 se escucha la pregunta y en F3 se analiza la respuesta ("¿es posible responder?"). Si el resultado es negativo, en F4 se invita a reformular la pregunta, mientras que, si es positivo, en F5 se realiza PUENTE y en F6 se realizan ACCIÓN 01, 02, 03, etc.

La interfaz "humana" permite la conducción de periféricos fuera del sistema de reproducción óptica: periféricos domóticos, sistemas de luces controlados por DMX para espectáculos o eventos, la video proyección de una contribución audiovisual en una gran pantalla externa al sistema o cualquier otro aparato eléctrico o electrónico equipado con protocolos de comunicación estándar (por ejemplo, USB, serie, paralelo, Wifi, Bluetooth).

Se puede proporcionar una situación interactiva inversa, en la que la interfaz, después de haber mostrado un determinado tema requerido por el usuario, también puede hacer preguntas al usuario y analizar las respuestas para comprender y comunicar el grado de preparación del usuario (FIGURA 03). En dicha Figura, en la etapa F7, se realizan INACTIVO 01, 02, 03, etc., mientras que en F8 se selecciona un tema y en F9 se analiza el tema ("¿es posible continuar?"). Si el resultado es negativo, en F10 se invita a realizar nuevamente la selección de tema, mientras que, si es positivo, en F11 se realiza PUENTE y en F12 se realiza la ACCIÓN 01, 02, 03, etc., relacionadas con el tema seleccionado. Luego, en F13 se hacen n preguntas sobre el tema seleccionado, en F14 se escuchan las respuestas, en F15 se analizan las mismas respuestas (para todas las n preguntas - F15A) y en F16 se muestra la evaluación relacionada con los análisis de las respuestas.

Segunda etapa: adquisición de imagen

El proceso implica la adquisición de imágenes mediante el uso de una técnica cinematográfica particular que se describe más abajo.

El sujeto 7 (destinado a convertirse en el protagonista de la interfaz descrita en este proceso) debe ser filmado con una máquina de filmación digital de alta definición 5 con escaneo entrelazado en posición vertical, en lugar de horizontal (Figura 4).

La necesidad de una orientación vertical surge del hecho de que el sujeto 7 a filmar en la interfaz es un ser humano de pie o sentado cuya orientación es vertical.

Todo el espacio de filmación se desarrolla entonces en altura y tal arreglo de la máquina de disparo 5 permite adquirir imágenes con una resolución vertical de al menos 1920 píxel en lugar de 1080.

Como resultado, habrá una percepción de la definición general igual a casi el doble con respecto a una imagen FULL HD normal de alta definición (parte inferior de la Figura 4).

Con el fin de obtener el mejor efecto realista similar a la percepción visual real, en la máquina de filmación digital se ensamblan 5 ópticas oscilantes de inclinación y desplazamiento para obtener la profundidad de campo de acuerdo con la regla o condición de Scheimpflug.

En él se indica que, para un sistema óptico, el plano focal generado por el objetivo y el del sujeto 7 se encuentran en la misma línea recta.

Como caso límite, cuando los tres planos son paralelos entre sí, se encuentran en el infinito.

Cuando el plano sobre el que descansa el sujeto 7, el plano nodal trasero y el plano focal se encuentran en un único punto, se obtiene el enfoque completo del sujeto 7, independientemente del diafragma usado.

Tan amplia profundidad de campo favorece la percepción visual de una tridimensionalidad en los bordes del sujeto filmado 7.

En la presente descripción se describen técnicas de filmación que asumen un esquema de iluminación con contrastes bien definidos.

La Figura 5 muestra, a la derecha, el esquema en el que la máquina de filmación 5 encuadra al sujeto 7 sobre un fondo negro 9 a través de un proyector 11 (preferentemente del tipo de 500 W y lente Fresnel) y un difusor de luz 13 (preferentemente de 1000 W).

El objetivo es obtener imágenes del sujeto 7 con iluminación extendida y uniforme en el frente para obtener una opacidad general del sujeto 7 que de cualquier otra manera resultará transparente en la TERCERA ETAPA (reproducción).

Una iluminación de cortes laterales y contraluces bien precisos deberá dibujar el sujeto 7 en todo su perímetro para aumentar el efecto de tridimensionalidad y tener bordes bien definidos despegados en el espacio vacío (Figura 5). El sujeto 7 tendrá que estar en total ausencia de iluminación en las zonas que rodean su borde y de esta manera se obtendrá el efecto denominado “borde de corte”, necesario para reproducir las imágenes descritas en la tercera etapa. En el sistema óptico, la imagen es proyectada por una matriz de monitor LED 26 en posición vertical invertida sobre un plano de policarbonato transparente 28 colocado a 45° con respecto al mismo (Figura 8).

Toda la porción de la imagen que no contiene luminosidad es no reflectante y por tanto transparente, consiguiendo el efecto de suspensión del sujeto 7 iluminado en el espacio vacío con un efecto final de "corte de borde" (Figura 6, en la que a la derecha se muestra una imagen generada por una matriz de monitor LED y a la izquierda la misma imagen reflejada en policarbonato transparente).

El fuerte contraste de los bordes (área 16) y la especial profundidad de campo obtenida con la óptica oscilante ayudan a obtener en el reflejo un fuerte desprendimiento 22 del sujeto 7 (con respecto al área totalmente transparente 20), mientras que la iluminación generalizada 18 (con respecto a la zona de total falta de luminosidad 14) del sujeto 7 se traduce en una opacidad 24 en toda su superficie.

Se debe prestar una particular atención a las relaciones de perspectiva y la reproducción precisa de las medidas reales del sujeto/objeto filmado 7.

El "pacto ficticio" con el usuario 1, la percepción de tener un ser humano frente a ti, se restringe a la condición de que las imágenes reproducidas en la interfaz, a través del sistema óptico, tengan el tamaño exacto del sujeto filmado 7. Como se puede observar en la Figura 7, una persona de 170 cm de altura en la realidad habrá que reproducirla con una imagen de exactamente 170 cm de altura.

La perspectiva de un usuario promedio 1 frente a la interfaz deberá coincidir con la de una mirada hacia un ser humano colocado frente a él.

Para obtener la perspectiva adecuada, se deberán equilibrar los siguientes parámetros: enfoque, distancia de la máquina de filmación 5/sujeto 7, ángulo de visión (Figura 7).

Los cambios de estado de INACTIVO (INACTIVO_01, INACTIVO_02, INACTIVO_03...INACTIVO_n) a PRE-INACTIVO(PREINACTIVO_01, PREINACTIVO_02, PREINACTIVO_03...PREINACTIVO_n), a PUENTE, a ACCIÓN (ACCIÓN_01, ACCIÓN_02, ACCIÓN_03...ACCIÓN_n) son muy delicados, y habrá que observar técnicas cuidadosas para comprobar las perspectivas de filmación con la ayuda de cuadrículas de referencia superpuestas al visor de la máquina de tiro 5.

De esta forma, el sujeto filmado 7 tendrá las mismas proporciones en los distintos segmentos a programar y las transiciones correspondientes serán homogéneas y no interferirán en la percepción, por parte del usuario 1, de la continuidad de la acción del sujeto 7 reproducido en la interfaz.

Tercera etapa: reproducción

Para la reproducción final del proceso se usa un sistema de reproducción óptica, como se describe más abajo y se muestra en la Figura 8.

Sin embargo, otros sistemas de visualización, algunos más simples (como un monitor HD), u otros sistemas ópticos (adecuados para reproducir el efecto de realidad del sujeto 7/interfaz) pueden usarse como salida visual de la interfaz descrita en este proceso.

El sistema de reproducción óptica permite, a través del reflejo de imágenes generadas por una matriz de monitor LED 26 u otra fuente FULL HD, tener la ilusión óptica de la suspensión total de una imagen en el espacio vacío.

Las imágenes reproducidas se reflejan 28 sobre una losa de policarbonato transparente de 1 mm de grosor (grosores que garantizan la reducción al mínimo de la refracción de las dos superficies de la propia losa, lo que evita el solapamiento).

La imagen final que percibe el espectador se encuentra en un plano vertical 30 detrás de la losa de policarbonato, completamente despegada del fondo 32, con lo que se forma un fuerte efecto de paralaje 34 (Figura 8).

Analicemos, por ejemplo, la aplicación del proceso a la realización de una interfaz interactiva de "mayordomo" en una suite de hotel.

Al ingresar a la suite, una imagen tridimensional reproducida en el sistema óptico (descrito en la TERCERA ETAPA) se activa al detectar el controlador volumétrico, que gestiona la señal a través del software dedicado, dando lugar a la reproducción del segmento de bienvenida programado, para luego realizar la acción (asociada a otra secuencia específica programada) de exponer todas las comodidades de la suite.

Mientras explica el funcionamiento de todos los elementos de la suite (a través de una reproducción del segmento específico programado), los periféricos domóticos relacionados se habilitarán a su mando (tv, luces, cortinas, grifos...) a través de comandos programados enviados con protocolos de comunicación (USB, puerto serie, puerto paralelo, wifi, Bluetooth).

Después de haber realizado la secuencia programada y los comandos de salida relacionados, la interfaz se pondrá en estado INACTIVO, esperando los comandos de voz o gestos de un usuario.

Cada vez, los comandos se ejecutarán y el mayordomo comunicará la ejecución de los comandos verbalmente (respondiendo con referencia a la información solicitada), físicamente (ayudándose con gestos, lo que lo hace particularmente útil para ser explotado por usuarios sordos) y con la salida hacia periféricos externos.

En cuanto al proceso que permite el funcionamiento de la interfaz para el control de los periféricos externos, la idea es hablar con una imagen que reproduce un ser humano (procedente de una cinematografía de un ser humano real y no generado en gráficos por ordenador o animado) para permitir el control de los periféricos externos.

Las etapas de tal proceso son:

proporcionar una reproducción (INACTIVA) del ser humano en estado de espera

detectar la presencia de uno o más usuarios a través de una entrada de datos proporcionados por el sensor volumétrico

en caso de entrada negativa, volver en lazo a la reproducción del estado INACTIVO

en caso de entrada positiva, reproducir PREINACTIVO y ACCIÓN con una solicitud para realizar la solicitud de control del periférico (con la posibilidad de mostrar una lista de opciones posibles)

realizar una entrada verbal por parte del usuario

realizar un análisis semántico de la oración y una comparación lógica con la posibilidad de ejecutar comandos actualizados por el periférico

si la ejecución no es posible, reproducir ACCIÓN con la solicitud de ingresar nuevamente un comando en el periférico

si la ejecución no lo es, ejecutar visualmente PUENTE y ACCIÓN en los que la interfaz describe y confirma la ejecución del comando corriente y vuelve al estado INACTIVO inicial

simultáneamente, proporcionar una salida a través de un protocolo de comunicación adecuado con el periférico, en el que el periférico es accionado y actualizado en su estado.

Claims (4)

REIVINDICACIONES

1. Proceso para realizar una interfaz audiovisual que reproduzca un ser humano interactivo completo como sujeto elegido (7), el proceso, que comprende las etapas de:

- análisis de interactividad;

- adquisición de imagen; y

- reproducción, a través de un sistema óptico o de televisión con capacidades de interacción lógica, de voz, gestos,

en donde la etapa de análisis de interactividad comprende las subetapas de: mediante el uso de un aparato óptico que reproduce con efecto tridimensional al ser humano, equipado con un sensor/controlador (3) capaz de realizar un reconocimiento de voz, capaz de interpretar el lenguaje humano, la interpretación del lenguaje humano que permite identificar la semántica de la información; se desencadena el evento apropiado en dependencia del comando de voz recibido, comunicándose con un ordenador a través de una interfaz para conectar dispositivos externos; percibir la presencia, la ausencia y el cambio de estado relacionado, y una serie de movimientos por parte de un espectador/usuario (1), y

en donde el sujeto elegido (7) recita todos los segmentos proporcionados, específicamente ACCIÓN, y una serie de acciones no verbales, específicamente INACTIVO, PRE-INACTIVO y PUENTE, que proporcionan a la interfaz un efecto de presencia debido a la simulación del comportamiento humano durante el diálogo, las secuencias visuales a rodar se segmentan de acuerdo con una lógica de interactividad para obtener la sensación de hablar con un ser humano, dividiéndose las secuencias lógicas en cuatro categorías principales: 1) secuencia INACTIVO (estado de indiferencia en el que la interfaz "vive" esperando un comando de cambio de estado); 2) secuencia PRE-INACTIVO (un comportamiento que ocurre antes de la acción); 3) secuencia PUENTE (una transición de imagen que ayuda a dar continuidad visual a la interfaz entre el estado INACTIVO/PRE-INACTIVO y el estado ACCIÓN); y 4) secuencia de ACCIÓN (en la que la interfaz realiza la acción o hace que se realice la acción), en donde:

- la etapa de adquisición de imágenes proporciona el uso de una técnica cinematográfica que comprende las subetapas de: filmar el sujeto (7) con una máquina de filmación digital de alta definición (5) con escaneo entrelazado en una posición vertical, en lugar de horizontal, en la máquina de filmación digital (5) se montan ópticas basculantes de inclinación y desplazamiento para obtener la profundidad de campo de acuerdo con la regla o condición de Scheimpflug, que establece que, para un sistema óptico, el plano focal generado por el objetivo y el plano focal del sujeto (7) se encuentran en la misma línea recta; se obtienen imágenes del sujeto (7) con iluminación extendida y uniforme en el frente para obtener una opacidad general del sujeto (7) y una iluminación de cortes laterales y contraluces bien precisos para dibujar el sujeto (7) en todo su perímetro para aumentar el efecto de tridimensionalidad y tener bordes bien definidos separados en un espacio vacío, al estar el sujeto (7) en ausencia total de iluminación en las áreas que rodean su borde, se obtiene de esta manera el efecto de "corte de borde" necesario para reproducir las imágenes;

- el proceso comprende además las subetapas de proyectar la imagen desde una matriz de monitor LED (26) en posición vertical invertida sobre un plano de policarbonato transparente (28) colocado a 45° con respecto a la matriz (26);

- la etapa de reproducción comprende las subetapas de: proporcionar un sistema de reproducción óptica adaptado, a través del reflejo de imágenes generadas por una matriz de monitor LED (26) u otra fuente FULL HD, para tener la ilusión óptica de la suspensión total de una imagen en un espacio vacío; reflejar (28) las imágenes reproducidas sobre una placa de policarbonato transparente; proporcionar una imagen final percibida por el espectador (1) en un plano vertical (30) detrás de la losa de policarbonato, completamente separada de un fondo (32), con lo que se forma un efecto de paralaje (34); y

- el proceso comprende la etapa de activación de la interfaz de control de periféricos externos al sistema de reproducción óptica, específicamente periféricos domóticos, sistemas de luces controlados por DMX para espectáculos o eventos, una video proyección de una aportación audiovisual en una gran pantalla exterior o cualquier otro dispositivo eléctrico o aparato electrónico equipado con protocolos de comunicación estándar, que comprende las etapas de:

proporcionar una reproducción (INACTIVA) del ser humano en estado de espera;

detectar la presencia de uno o más usuarios a través de una entrada de datos proporcionada por el sensor volumétrico;

en caso de entrada negativa, específicamente si no hay usuarios presentes, volver en un lazo a la reproducción del estado INACTIVO;

en caso de entrada positiva, específicamente si los usuarios están presentes, se reproduce la secuencia PREINACTIVO y la secuencia ACCIÓN con una solicitud para realizar una solicitud de control del periférico, posiblemente mostrando una lista de opciones posibles;

realizar una entrada verbal por parte del usuario;

realizar un análisis semántico de la oración y una comparación lógica, posiblemente ejecutando comandos actualizados por el periférico;

si la ejecución no es posible, reproducir la secuencia de ACCIÓN con una solicitud de ingresar nuevamente un comando en el periférico;

si la ejecución es posible, ejecutar visualmente la secuencia PUENTE y la secuencia ACCIÓN en la que la interfaz describe y confirma la ejecución del comando actual y vuelve al estado INACTIVO inicial; simultáneamente, proporcionar una salida a través de un protocolo de comunicación adecuado con el periférico, en el que el periférico es accionado y actualizado en su estado.

2. Proceso de acuerdo con la reivindicación 1, adaptado para gestionar protocolos de comunicación, por ejemplo, WiFi y Bluetooth, hacia diversos tipos de aparatos eléctricos y electrónicos.

3. Proceso de acuerdo con la reivindicación 1, que comprende la visualización de la presencia humana a través de una señal de televisión de alta definición HD.

4. Proceso de acuerdo con la reivindicación 1, que comprende la visualización de la presencia humana a través de cualquier sistema de reproducción de imágenes.