ES2905435T3

ES2905435T3 - Sistema y método de procesamiento de una señal de vídeo con latencia reducida

Info

Publication number: ES2905435T3
Application number: ES15786555T
Authority: ES
Inventors: Patrick Murphy; Todd Conard; Douglas J Glazar
Original assignee: Freedom Scientific Inc
Current assignee: Freedom Scientific Inc
Priority date: 2014-04-30
Filing date: 2015-04-30
Publication date: 2022-04-08
Anticipated expiration: 2035-04-30
Also published as: EP3138282B1; JP2017518682A; US9891438B2; EP3138282A4; WO2015168447A1; US20150316774A1; EP3138282A1

Abstract

Un método para procesar una señal de vídeo, el método que emplea una cámara, un microprocesador con una tabla de consulta asociada, y un monitor, en donde la resolución de la salida de la señal de vídeo se elige para que coincida con la del monitor, el método adaptado para su uso por un usuario con baja visión, el método que comprende las siguientes etapas: ver un objeto con la cámara, la cámara que genera una señal de vídeo, la señal de vídeo que comprende una serie de fotogramas de vídeo, con cada fotograma que comprende una matriz de píxeles; entregar la señal de vídeo al microprocesador; procesar la señal de vídeo a través del microprocesador sin almacenar en memoria intermedia un fotograma completo, el procesamiento que se realiza píxel a píxel y según las instrucciones de la tabla de consulta, la tabla de consulta que especifica las partes de la matriz a sombrear y el grado de sombreado a aplicar, con el grado de sombreado que es tal que la imagen subyacente no está enmascarada, en donde las partes sombreadas de la matriz funcionan para resaltar las partes no sombreadas de la matriz y así, facilitar la visualización por el usuario con baja visión; entregar la señal de vídeo procesada al monitor para que la vea el usuario con baja visión.

Description

DESCRIPCIÓN

Sistema y método de procesamiento de una señal de vídeo con latencia reducida

Campo técnico

Esta descripción se refiere a un amplificador de vídeo. La presente descripción también se refiere a un medio para procesar una señal de vídeo para reducir la latencia. También se describe un medio de procesamiento de vídeo mediante el cual se puede aplicar sombreado para restar énfasis a partes seleccionadas del área de visualización dentro del monitor.

Antecedentes de la invención

Los amplificadores de vídeo son herramientas importantes para las personas ciegas o que tienen baja visión (es decir, "usuarios de BLV"). La construcción normalmente incluye una cámara montada en un brazo y un monitor asociado. El brazo permite colocar la cámara directamente sobre el objeto que se está viendo. El objeto puede ser, por ejemplo, un frasco de pastillas recetadas o un periódico o un libro. El brazo suele ser ajustable para permitir que la cámara enfoque en una parte particular del objeto o documento. Los usuarios de BLV pueden seleccionar luego un nivel deseado de amplificación para que el objeto, y cualquier texto asociado, se puedan amplificar lo suficiente para verlo y leerlo. Se puede proporcionar contraste de color y rotación de imágenes para facilitar adicionalmente la visualización. Opcionalmente, se puede colocar una mesa X-Y debajo de la cámara para permitir movimientos precisos hacia el objeto que se está viendo. Se usan un procesador de vídeo y tablas de consulta para procesar la señal de vídeo generada por la cámara. La señal de vídeo se puede procesar para hacer cambios en uno o más de los siguientes: escala de la imagen; posición de la imagen; contraste del color; así como otras características de la imagen.

Por todas estas razones, los amplificadores de vídeo se han convertido en una herramienta indispensable para los miembros de la comunidad de BLV. No obstante, los amplificadores de vídeo tradicionales siguen sufriendo algunas deficiencias. Una de estas deficiencias es la latencia. La latencia se refiere al ligero retraso que resulta del procesamiento de la señal de vídeo. Este retraso suele medirse en milisegundos y ocurre entre la captura de la imagen por la cámara y su posterior visualización en el monitor. El uso de memorias intermedias de fotogramas generalmente aumenta la latencia. Las memorias intermedias de fotogramas son almacenes de memoria que contienen un mapa de bits de un fotograma completo de datos. Las memorias intermedias de fotogramas permiten escalar el fotograma de vídeo y de otra forma permiten aplicar los atributos deseados al fotograma. La latencia que resulta del almacenamiento en la memoria intermedia de fotogramas es prácticamente imperceptible en la mayoría de las aplicaciones. Sin embargo, la latencia es muy problemática en el contexto de un amplificador de vídeo, ya que los usuarios de BLV notarán un retraso entre la manipulación de un objeto y su posterior aparición en el monitor de vídeo. Este retraso complica en gran medida las tareas manuales realizadas por los usuarios de BLV.

Los amplificadores de vídeo también emplean técnicas para ayudar a enfocar la visión del usuario en la pantalla. Por esta razón, los amplificadores de vídeo tradicionales a veces oscurecen regiones de la pantalla. Las regiones oscurecidas tienden a resaltar las regiones no oscurecidas. Esto permite al usuario de BLV enfocarse en un área de un objeto. En el caso de texto, permite al usuario de BLV leer una línea de texto a la vez. El texto subyacente se puede desplazar para que las líneas secuenciales se presenten al usuario. Aunque esta técnica es beneficiosa, tiene algunos inconvenientes. Oscureciendo regiones de texto, el usuario de BLV suele perder su lugar dentro del documento. También dificulta que el usuario navegue alrededor de un objeto y a través de textos extensos.

En la técnica anterior se conocen diversas técnicas de procesamiento de vídeo. Algunas de estas técnicas analizan la reducción de la latencia. Por ejemplo, el documento WO2013/068584 de Eaturus describe un sistema de comunicación de vídeo de latencia ultrabaja. Este sistema emplea una unidad de transmisión con circuitos de adquisición de imágenes o circuitos de reconstrucción de imágenes para adquirir o reconstruir un fotograma de imagen o un campo de imagen. También se incluye una unidad de procesamiento de vídeo para procesar al menos parte de los datos de vídeo. También se incluye una unidad de comunicación para enviar o recibir al menos parte de los datos de vídeo.

De forma similar, el documento US Pub 2005/0288932 de Kurzweil describe un sistema para reducir la latencia de procesamiento en el reconocimiento óptico de caracteres para un dispositivo de lectura portátil. El dispositivo de lectura portátil puede incluir un dispositivo informático con un medio legible por ordenador para almacenar un programa informático para recibir una imagen y seleccionar una parte de la imagen para procesar. Luego, el dispositivo procesa la selección de la imagen con un primer proceso, y cuando finaliza el primer proceso, se inicia un segundo proceso. Durante el segundo procesamiento, el primer proceso se repite en otra sección de la imagen.

El documento US Pub 2013/0329114 de Kim describe un amplificador de imagen con control de punto. El método permite el control de la imagen usando la ampliación. El método comprende seleccionar una parte de la imagen, y luego ampliar la parte seleccionada. Luego, se realiza una acción en la parte ampliada y seleccionada del fotograma. El cambio puede implicar el cambio de una característica de la parte seleccionada.

La solicitud de patente del Reino Unido 2472307 de Suda describe un dispositivo de presentación de cámara de documentos con marcadores colocados en el documento para enmascarar áreas seleccionadas. El dispositivo emplea una memoria de fotogramas y un módulo de generación de imágenes sintetizadas. Además, la patente publicada de Estados Unidos 2010/0302148 de Tanabe describe un dispositivo de presentación con un controlador de señal de vídeo adaptado para emitir una señal de vídeo de una imagen de vídeo para su visualización en una unidad. La unidad incluye además una unidad de configuración de resaltado para configurar el tamaño y el diferencial de brillo de la región resaltada y una unidad de control de visualización de imagen resaltada.

Aunque estas invenciones logran sus propios objetivos individuales únicos, todas sufren inconvenientes. Por ejemplo, ninguna de las técnicas anteriores elimina suficientemente los problemas asociados con la latencia. Asimismo, ninguna de las técnicas anteriores permite que se aplique sombreado a partes seleccionadas de un documento de una manera adecuada para usuarios con baja visión.

Lo que se necesita, por lo tanto, es una cámara amplificadora de vídeo de escritorio que incluya un procesador de señal de paso que elimine el uso de memorias intermedias de fotogramas y que reduzca en gran medida la latencia asociada. El amplificador de vídeo de la presente descripción está diseñado para suplir esta y otras deficiencias presentes en los amplificadores de vídeo existentes.

Lo que también se necesita es una cámara amplificadora que permita ver partes de un objeto pero sombreadas. Esto permitiría seleccionar partes de un objeto o texto para ser resaltadas mientras que al mismo tiempo permitiría percibir el resto del objeto o texto. El amplificador de vídeo de la presente descripción está diseñado para suplir esta y otras deficiencias presentes en los amplificadores de vídeo existentes.

Compendio de la invención

Esta descripción se refiere a un amplificador de vídeo con baja latencia.

El amplificador de vídeo descrito tiene varias ventajas importantes. Por ejemplo, eliminando la memoria intermedia de fotogramas, se puede evitar cualquier retraso perceptible en el procesamiento de la señal.

Se logra otra ventaja utilizando un procesador de vídeo de paso que permite a los usuarios ver objetos casi en tiempo real, lo cual es especialmente importante cuando los usuarios de BLV manipulan los objetos.

Se obtiene una ventaja adicional procesando la señal de vídeo para que las partes seleccionadas de la pantalla se sombreen para así resaltar las partes no sombreadas.

Se obtiene otra ventaja más permitiendo que ciertas partes de un objeto o texto se resalten mientras que al mismo tiempo se permite que el usuario perciba las partes restantes del documento.

Diversas realizaciones de la invención pueden tener ninguna, algunas, o todas estas ventajas. Otras ventajas técnicas de la presente invención serán fácilmente evidentes para los expertos en la técnica.

Según la presente invención, se proporciona un método para procesar una señal de vídeo, el método que emplea una cámara, un microprocesador con una tabla de consulta asociada y un monitor, el método adaptado para su uso por un usuario con baja visión, el método que comprende las siguientes etapas: dirigir la cámara hacia un objeto a ver, la cámara que genera una señal de vídeo, la señal de vídeo que comprende una serie de fotogramas de vídeo, cada fotograma que comprende una matriz de píxeles; seleccionar una resolución para la señal de vídeo que coincida con la resolución del monitor que entrega la señal de vídeo al microprocesador; procesar la señal de vídeo a través del microprocesador y sin una memoria intermedia de fotogramas, el procesamiento se realiza píxel a píxel y según las instrucciones de la tabla de consulta, la tabla de consulta que especifica las partes de la matriz a sombrear y el grado de sombreado a aplicar, con el grado de sombreado que es tal que la imagen subyacente no está enmascarada, en donde las partes sombreadas de la matriz funcionan para resaltar las partes no sombreadas de la matriz y así, facilitar la visualización por los usuario con baja visión; entregar la señal de vídeo procesada al monitor para que la vea el usuario con baja visión.

También según la presente invención, se proporciona un método para procesar una señal de vídeo, el método que emplea una cámara, un microprocesador con una tabla de consulta asociada y un monitor, el método que comprende las siguientes etapas: ver un objeto con la cámara y generar una señal de vídeo correspondiente, la señal de vídeo que comprende un fotograma que consta de una matriz de píxeles; seleccionar una resolución para la señal de vídeo que coincida con la resolución del monitor; procesar la señal de vídeo sin una memoria intermedia de fotogramas a través del microprocesador píxel a píxel, el procesamiento que se hace según las instrucciones de la tabla de consulta para aplicar una característica visual predeterminada al fotograma, la tabla de consulta que especifica partes de la matriz a sombrear y el grado de sombreado a aplicar, con el grado de sombreado que es tal que la imagen subyacente no se enmascara, en donde las partes sombreadas de la matriz funcionan para resaltar las partes no sombreadas de la matriz y así, facilitar la visualización por el usuario con baja visión; entregar la señal de vídeo procesada al monitor para su visualización.

También según la presente invención, se proporciona un sistema para procesar una señal de vídeo que comprende: una cámara para ver un objeto y generar una señal de vídeo correspondiente, la señal de vídeo que comprende un fotograma formado por una matriz de píxeles; un microprocesador y una tabla de consulta asociada para procesar la señal de vídeo, el procesamiento que aplica sombreado al fotograma, el procesamiento se realiza píxel a píxel para resaltar las partes no sombreadas de la matriz y así, facilitar la visualización por el usuario con baja visión, eliminando así la necesidad de que los fotogramas se almacenen en una memoria intermedia de vídeo; y un monitor para visualizar la señal de vídeo con el sombreado, la resolución del monitor que coincide con la resolución de la cámara.

Breve descripción de los dibujos

Para una comprensión más completa de la presente descripción y sus ventajas, ahora se hace referencia a las siguientes descripciones, tomadas junto con los dibujos adjuntos, en los que:

La figura 1 es una vista en perspectiva del amplificador de la presente descripción.

La figura 2 es un esquema del procesador de vídeo usado en relación con la presente descripción.

La figura 3 es una vista en alzado frontal que muestra sombreado para su uso por usuarios ciegos o con baja visión.

La figura 4 ilustra el procesamiento de la señal píxel a píxel de la presente descripción.

La figura 5 es un diagrama de flujo que ilustra algunas de las etapas asociadas con la presente descripción.

La figura 6 es una ilustración de una realización adicional de la presente descripción.

Los números de referencia similares se refieren a partes similares a lo largo de las varias vistas de los dibujos.

Descripción detallada de los dibujos

Esta descripción se refiere a un procesador de vídeo para un amplificador de cámara. En particular, la descripción se refiere a un procesador de vídeo que elimina el uso de una memoria intermedia de fotogramas. Esto, a su vez, reduce la latencia que de otra forma estaría presente en la señal de vídeo. El procesador de vídeo descrito también permite sombrear partes seleccionadas de la pantalla. Esto resalta las partes no sombreadas de la pantalla, mientas que al mismo tiempo, permite que el usuario perciba la pantalla completa. Se describen con mayor detalle a continuación los diversos componentes de la presente invención, y la manera en que se interrelacionan.

La figura 1 ilustra un amplificador 10 de vídeo de escritorio que se construye según la presente descripción. El amplificador particular representado se describe con más detalle en la solicitud con el número de serie 14/607,197 en trámite junto con la presente presentada el 28 de enero de 2015 y titulada "Cámara de vídeo amplificada con mango". El amplificador 10 de vídeo incluye una cámara 20 de alta definición que está montada sobre un brazo 22 de la cámara. El brazo 22 de la cámara es flexible. El brazo 22 también puede girar sobre un eje vertical y pivotar sobre uno o más ejes horizontales para permitir que el usuario coloque la cámara 20 correctamente sobre el objeto a ver. En una realización, el brazo 22 está dimensionado para ser recibido dentro de un canal 24 en la parte posterior de la carcasa 26 del dispositivo. Los objetos que se van a ver se pueden colocar directamente debajo de la cámara 20. Alternativamente, se puede incluir una mesa X-Y debajo de la cámara 20 para permitir que los objetos se orienten con precisión.

El amplificador 10 se soporta en una base 32. La base 32, a su vez, soporta un monitor 34 de vídeo que está acoplado a la cámara 20 a través de un cable, tal como un cable de matriz de gráficos de vídeo (VGA) o de interfaz multimedia de alta definición (HDMI). Las señales generadas por la cámara 20 se procesan a través de un procesador 36 de vídeo y se visualizan en el monitor 34 para que las vea el operador. La figura 2 ilustra el procesador 36, que es preferiblemente una Matriz de Puertas Programables en Campo ("FGPA"), y una tabla 38 de consulta asociada ("LUT"). La LUT 38 asigna valores de salida basados en la señal de entrada. Según la invención, la señal de entrada se procesa píxel a píxel en lugar de fotograma a fotograma. El procesamiento de la señal píxel a píxel elimina la necesidad de una memoria intermedia de fotogramas. En lugar de almacenar grandes cantidades de datos en una memoria intermedia, el procesador 36 y la LUT 38 puede procesar cada píxel individual de la imagen grabada. Este procesamiento de "paso" aumenta los tiempos de procesamiento y reduce en gran medida la latencia asociada. El procesamiento píxel a píxel se ilustra esquemáticamente en la figura 4. Para lograr esto, la resolución de la cámara se hace coincidir con la resolución del monitor.

El procesador 36 y la LUT 38 puede aplicar cualquiera de una serie de características diferentes a la imagen visualizada. En un ejemplo, se altera el esquema de color de la imagen visualizada. Por ejemplo, las imágenes se pueden visualizar en colores de contraste, tal como azul/verde, rojo/amarillo, o negro/blanco. El usuario puede recorrer las diversas combinaciones de colores para encontrar el resultado más efectivo.

Alternativamente, la señal de vídeo se puede procesar para resaltar una región o regiones deseadas del vídeo visualizado. Esta característica de la invención se representa en la figura 3. Como se ilustra, el texto se resalta en la pantalla sombreando las partes (42a y 42b) superior e inferior del texto. Esto tiene el efecto deseado de resaltar la parte 42(c) no sombreada. El grado de sombreado se puede variar dependiendo de las necesidades del usuario en particular. Se ha encontrado que dicho sombreado es beneficioso para los usuarios de BLV que sufren de afecciones tal como la retinosis pigmentaria. El sombreado, sin embargo, no es tan grande como para enmascarar o bloquear completamente las palabras o imágenes subyacentes. Esto evita que el usuario pierda la noción de su lugar dentro del texto. Asimismo, evita que un usuario pierda su orientación en una imagen subyacente. El usuario puede seleccionar el grado de sombreado y la orientación y la colocación del sombreado. Por ejemplo, el sombreado se puede orientar para resaltar una parte vertical de la imagen, en lugar de una horizontal.

Además de ayudar a enfocar un área en particular, el sombreado también reduce la cantidad de luz que entra a los ojos del usuario. Esto, a su vez, reduce la fatiga visual y disminuye el dolor asociado con algunas discapacidades de baja visión. Por lo tanto, las sombras semitransparentes reducen la luz del monitor sin limitar el área visible disponible para el usuario.

La figura 5 es un diagrama de flujo que ilustra las etapas asociadas con el presente método de procesamiento de señales de vídeo. Como se ha señalado, el método se realiza usando: una cámara; un microprocesador con una tabla de consulta asociada; y un monitor. Uno de los objetivos del método es procesar la señal de vídeo de una manera que permita que la imagen resultante sea vista más fácilmente por un usuario ciego o con baja visión.

En la primera etapa, la cámara se dirige hacia un objeto a ver. Esto puede ser cualquiera de una variedad de objetos que el usuario desea examinar. El objeto se puede colocar debajo de la cámara o la cámara se puede apuntar a un objeto remoto. La cámara genera luego una señal de vídeo correspondiente a la imagen grabada. Esta señal de vídeo comprende una serie de fotogramas de vídeo secuenciales. La resolución de la imagen se elige para que coincida con el monitor que se está empleando. Cada uno de los fotogramas de vídeo individuales, a su vez, comprende una matriz de píxeles o elementos de imagen individuales. El número de píxeles es una función de la resolución de la imagen subyacente. Por ejemplo, cada fotograma puede incluir un ancho de 1024 píxeles y una altura de 768 píxeles. A continuación, la señal de vídeo se entrega a un procesador de vídeo.

Luego, la señal se procesa por el microprocesador y según las instrucciones preestablecidas de la tabla de consulta. La tabla de consulta especifica las partes de la matriz a sombrear y el grado de sombreado a aplicar. El grado de sombreado es tal que la imagen subyacente no está enmascarada. No enmascarando completamente la imagen subyacente, el usuario puede mantener la conciencia espacial del objeto que se visualiza. Como se ha señalado en la figura 3, las partes sombreadas de la matriz funcionan para resaltar las partes no sombreadas de la matriz y así, facilitar la visualización por el usuario con baja visión. Las partes sombreadas se pueden disponer ya sea vertical u horizontalmente dependiendo de las preferencias del usuario.

A continuación, la señal de vídeo procesada se entrega al monitor para su visualización. Debido a que el microprocesador procesa el vídeo píxel a píxel, se elimina el uso de un almacén de imágenes, tal como una memoria intermedia de fotogramas. Esto, a su vez, reduce en gran medida la latencia.

En una realización alternativa que no forma parte de la presente invención, el sistema utiliza una serie de tablas (38(a), 38(b) y 38(c)) de consulta diferentes. Cada una de estas tablas de consulta contiene instrucciones para aplicar una característica visual predeterminada a la imagen subyacente. Por ejemplo, la tabla 38(a) puede contener instrucciones para sombrear partes de la matriz, la tabla 38(b) puede contener instrucciones para aplicar diversos contrastes de color a la imagen y al fondo, y la tabla 38(c) puede contener instrucciones para colocar el objeto dentro del fotograma.

Aunque esta descripción se ha descrito en términos de ciertas realizaciones y métodos generalmente asociados, las alteraciones y permutaciones de estas realizaciones y métodos serán evidentes para los expertos en la técnica. En consecuencia, la descripción anterior de realizaciones de ejemplo no define ni restringe esta descripción. También son posibles otros cambios, sustituciones, y alteraciones sin apartarse del alcance de esta descripción, tal como se define en las reivindicaciones adjuntas.

Claims

REIVINDICACIONES

1. Un método para procesar una señal de vídeo, el método que emplea una cámara, un microprocesador con una tabla de consulta asociada, y un monitor, en donde la resolución de la salida de la señal de vídeo se elige para que coincida con la del monitor, el método adaptado para su uso por un usuario con baja visión, el método que comprende las siguientes etapas:

ver un objeto con la cámara, la cámara que genera una señal de vídeo, la señal de vídeo que comprende una serie de fotogramas de vídeo, con cada fotograma que comprende una matriz de píxeles;

entregar la señal de vídeo al microprocesador;

procesar la señal de vídeo a través del microprocesador sin almacenar en memoria intermedia un fotograma completo, el procesamiento que se realiza píxel a píxel y según las instrucciones de la tabla de consulta, la tabla de consulta que especifica las partes de la matriz a sombrear y el grado de sombreado a aplicar, con el grado de sombreado que es tal que la imagen subyacente no está enmascarada, en donde las partes sombreadas de la matriz funcionan para resaltar las partes no sombreadas de la matriz y así, facilitar la visualización por el usuario con baja visión;

entregar la señal de vídeo procesada al monitor para que la vea el usuario con baja visión.

2. Un sistema para procesar una señal de vídeo que comprende:

una cámara para ver un objeto y generar una señal de vídeo correspondiente, la señal de vídeo que comprende un fotograma formado por una matriz de píxeles;

un microprocesador y una tabla de consulta asociada para procesar la señal de vídeo, la tabla de consulta que especifica las partes de la matriz a sombrear y el grado de sombreado a aplicar, con el grado de sombreado que es tal que la imagen subyacente no está enmascarada, el procesamiento que aplica sombreado al fotograma según las instrucciones de la tabla de consulta para resaltar las partes no sombreadas de la matriz y así, facilitar la visualización por el usuario con baja visión, el procesamiento que se realiza sin almacenar en memoria intermedia un fotograma completo píxel a píxel, eliminando así la necesidad de que los fotogramas se almacenen en una memoria intermedia de vídeo;

un monitor para visualizar la señal de vídeo con el sombreado, en donde la resolución de la señal de vídeo emitida por la cámara se elige para que coincida con la del monitor.