ES2202245T3 - Procedimiento y dispositivo de codificado y descodificado de imagenes. - Google Patents

Procedimiento y dispositivo de codificado y descodificado de imagenes.

Info

Publication number
ES2202245T3
ES2202245T3 ES01113049T ES01113049T ES2202245T3 ES 2202245 T3 ES2202245 T3 ES 2202245T3 ES 01113049 T ES01113049 T ES 01113049T ES 01113049 T ES01113049 T ES 01113049T ES 2202245 T3 ES2202245 T3 ES 2202245T3
Authority
ES
Spain
Prior art keywords
meaning
signal
resolution
image
elements
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Lifetime
Application number
ES01113049T
Other languages
English (en)
Inventor
Jun Takahashi
Shinya Kadono
Choong Seng Boon
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Holdings Corp
Original Assignee
Matsushita Electric Industrial Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Matsushita Electric Industrial Co Ltd filed Critical Matsushita Electric Industrial Co Ltd
Application granted granted Critical
Publication of ES2202245T3 publication Critical patent/ES2202245T3/es
Anticipated expiration legal-status Critical
Expired - Lifetime legal-status Critical Current

Links

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/20Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video object coding

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)
  • Television Systems (AREA)

Abstract

Un aparato de conversión de señal de imagen para convertir una primera señal de significado incluyendo primeros elementos de significado que expresan los valores de significado de los pixels de una imagen, teniendo la imagen una señal de luminancia, una señal de diferencia de color y los primeros elementos de significado, teniendo los primeros elementos de significado la misma resolución que la señal de luminancia correspondiente a los pixels de la imagen, a una segunda señal de significado incluyendo segundos elementos de significado con la segunda resolución de la señal de diferencia de color de la imagen, siendo diferente la segunda resolución de la resolución de los primeros elementos de significado, incluyendo el aparato de conversión: un selector de características de conversión de resolución para seleccionar una característica de conversión de resolución en base a los primeros elementos de significado correspondientes a un pixel procesado y los pixels próximos al pixel procesado; unconvertidor de resolución para obtener los segundos elementos de significado con dicha segunda resolución convirtiendo dichos primeros elementos de significado usando la característica de conversión de resolución seleccionada por dicho selector de características de conversión de resolución; donde dichos primeros elementos de significado indican si los pixels correspondientes están dentro o fuera de una forma arbitraria de objeto y solamente los primeros elementos de significado que indican que los pixels correspondientes están dentro de dicha forma arbitraria de objeto se emplean al realizar la conversión de resolución.

Description

Procedimiento y dispositivo de codificado y descodificado de imagenes.
Antecedentes de la invención 1. Campo de la invención
La presente invención se refiere a un aparato para codificar y decodificar una señal de imagen usada para transmisión o almacenamiento eficientes de señal de imagen, y a un método para ello.
2. Descripción de la técnica anterior
Un método de separar imágenes móviles en capas discretas conteniendo cada una uno de normalmente múltiples objetos en una imagen móvil en un tiempo específico se ha propuesto para permitir la transmisión y el almacenamiento eficientes de señales de imagen, y señales de imagen especialmente móvil (vídeo), en el que las imágenes objeto se expresan como composiciones (colecciones) de pixels. Por ejemplo, cuando una imagen incluyendo personas y fondo es codificada con este método, el aparato de codificación de imagen separa la imagen en dos capas, una capa de personas y una capa de fondo, y codifica y transmite por separado cada capa.
En el extremo receptor, el aparato decodificador de imagen decodifica la señal codificada para cada capa, y combina después las imágenes de cada una de las capas decodificadas usando un método especificado para presentar una imagen integrada única. Por lo tanto, este método también debe prever que cada pixel en cada información de capa declare si dicho pixel oculta o no oculta la imagen de fondo. La información así usada para declarar si un pixel oculta o no oculta la imagen de fondo se denomina "información de significado", y los pixels que ocultan el fondo se denominan "significativos".
Esta información de significado también se puede utilizar para declarar la información de correlación de interpelación en imágenes que se graban como una sola capa en vez de segmentarse en capas múltiples. Sin embargo, los pixels significativos son pixels que se incluyen en un objeto dado, y los pixels no significativos son pixels que están situados fuera de un objeto dado. Por lo tanto, un alto valor de información de significado significa que la relación de un pixel dado a los otros pixels en la misma posición es alta y que el pixel es visualmente importante. A la inversa, un valor de señal de significado bajo significa que el pixel correspondiente tiene poca influencia en el aspecto del pixel de salida, es decir, es casi transparente.
La señal incluyendo la información de significado para un grupo específico de pixels en la señal de imagen se denomina una señal de significado. Cuando objetos de imágenes múltiples incluidos en capas diferentes de la señal de imagen son solapados para presentar una imagen, la señal de significado se puede usar para declarar si un pixel particular oculta o no oculta el fondo. Un valor de señal de significado no cero significa en este caso que dicho pixel es significativo y oculta el fondo. Sin embargo, no hay valor de señal de significado para pixels no significativos, y los pixels no significativos son así transparentes y no necesarios para la síntesis de imagen. Como resultado, la señal de significado describe la forma de objetos en la imagen, y solamente los pixels significativos afectan a la calidad de la imagen sintetizada.
En otros términos, los pixels no significativos no están relacionados con la calidad de imagen, y por lo tanto la eficiencia de codificación se puede mejorar codificando solamente los pixels significativos.
Sin embargo, al codificar señales de imagen conteniendo información de luminancia, diferencia de color, transparencia, y otra información de pixel para cada pixel en la imagen, los aparatos convencionales de codificación de señal de imagen realizan la misma operación de conversión de frecuencia durante el submuestreo de pixels y el procesado de interpolación de pixels independientemente del significado de pixel. Como resultado, los valores de pixel no significativos, es decir, valores de pixels sin significado, afectan a los pixels significativos, dando lugar a degradación de la calidad de imagen.
Aunque la resolución del componente de señal de luminancia de la señal de imagen es igual a la resolución de señal de significado, la resolución de la diferencia de color puede ser diferente de la resolución de señal de significado. En tales casos no hay problemas al codificar la señal de luminancia en base a la señal de significado. Sin embargo, si la señal de diferencia de color se codifica en base a la señal de significado, la resolución de ambas señales debe ser la misma. Esto significa que la resolución de la señal de significado se debe convertir a la resolución de señal de diferencia de color antes de codificar la señal de diferencia de color. Sin embargo, como se ha descrito anteriormente, la conversión de resolución de la señal de significado aplica la misma conversión de resolución a cada pixel independientemente de si cada pixel es o no significativo, y la señal de significado se degrada así de la misma forma que la codificación degrada la señal de imagen anteriormente.
La eficiencia de codificación también cae con el aparato convencional de codificación de señal de imagen y el aparato decodificador de señal de imagen porque también es necesario codificar el valor de pixel de los pixels casi transparentes porque incluso estos pixels casi transparentes que no tienen efecto visual en la imagen de salida se tratan como pixels significativos debido a errores de codificación o componentes de ruido menores en la señal de entrada.
Resumen de la invención
Por lo tanto, el objeto de la presente invención es proporcionar un dispositivo de formación de imágenes que resuelve dichos problemas.
La presente invención se ha desarrollado con el fin de eliminar sustancialmente las desventajas antes descritas y su objeto esencial es proporcionar un dispositivo electrofotográfico de formación de imágenes mejorado.
Para lograr dicho objeto, un aparato de conversión de señal de imagen para convertir una primera señal de significado incluyendo primeros elementos de significado que expresan los valores de significado de los pixels de una imagen, teniendo la imagen una señal de luminancia, una señal de diferencia de color y los primeros elementos de significado, teniendo los primeros elementos de significado la misma resolución que las señales de luminancia correspondientes a los pixels de la imagen, a una segunda señal de significado incluyendo segundos elementos de significado con la segunda resolución de la señal de diferencia de color de la imagen, siendo las segundas resoluciones diferentes de la resolución de los primeros elementos de significado, contiene según la presente invención:
un selector de características de conversión de resolución para seleccionar una característica de conversión de resolución en base a los primeros elementos de significado correspondientes a un pixel procesado y los pixels próximos al pixel procesado;
un convertidor de resolución para obtener los segundos elementos de significado con dicha segunda resolución convirtiendo dichos primeros elementos de significado usando las características de conversión de resolución seleccionadas por dicho selector de características de conversión de resolución;
donde dichos primeros elementos de significado indican si los pixels correspondientes están dentro o fuera de una forma arbitraria de objeto y solamente los primeros elementos de significado que indican que los pixels correspondientes están dentro de dicha forma arbitraria de objeto se emplean al realizar la conversión de resolución.
Para lograr dicho objeto, un método de conversión de señal de imagen para convertir una primera señal de significado incluyendo primeros elementos de significado que expresan los valores de significado de los pixels de una imagen, teniendo la imagen una señal de luminancia, una señal de diferencia de color y los primeros elementos de significado, teniendo los primeros elementos de significado la misma resolución que las señales de luminancia correspondientes a los pixels de la imagen, a una segunda señal de significado incluyendo segundos elementos de significado con la segunda resolución de la señal de diferencia de color de la imagen, siendo diferente la segunda resolución de la resolución de los primeros elementos de significado, contiene según la presente invención los pasos siguientes:
seleccionar una característica de conversión de resolución en base a los primeros elementos de significado correspondientes a un pixel procesado y los pixels próximos al pixel procesado;
obtener los segundos elementos de significado con dicha segunda resolución convirtiendo dichos primeros elementos de significado usando la característica de conversión de resolución seleccionada por dicho paso de selección de característica de conversión de resolución;
donde dichos primeros elementos de significado indican si los pixels correspondientes están dentro o fuera de una forma arbitraria de objeto y solamente los primeros elementos de significado que indican que los pixels correspondientes están dentro de dicha forma arbitraria de objeto se emplean al realizar la conversión de resolución.
Breve descripción de los dibujos
Estos y otros objetos y características de la presente invención serán claros por la siguiente descripción tomada en unión con sus realizaciones preferidas con referencia a los dibujos acompañantes en los que las partes análogas se designan por números de referencia análogos, y en los que:
La figura 1 es un diagrama de bloques de una primera realización de un aparato codificador de señal de imagen EC según la invención.
La figura 2 es un diagrama de flujo usado para describir la operación del aparato codificador de señal de imagen EC mostrado en la figura 1.
La figura 3 es un diagrama explicativo usado para describir el método por el que el aparato codificador de señal de imagen EC de la invención determina la característica de conversión de resolución.
La figura 4 es una tabla que muestra las funciones correspondientes a las características de conversión de resolución mostradas en la figura 3.
La figura 5 es un diagrama explicativo usado para describir el proceso de reducción de imagen de un aparato de conversión de resolución de imagen en base a la presente invención.
La figura 6 es un diagrama explicativo usado para describir la interpolación de señal de significado de una señal de diferencia de color por medio de un aparato de conversión de resolución de imagen basado en la presente invención.
La figura 7 es un diagrama de flujo usado para describir con mayor detalle la operación del aparato codificador de señal de imagen EC representado en la figura 2.
La figura 8 es un diagrama de flujo usado para describir una realización alternativa de la operación del aparato codificador de señal de imagen mostrado en la figura 7.
La figura 9 es un diagrama explicativo usado para describir el proceso de ampliación de imagen de un aparato de conversión de resolución de imagen en base a la presente invención.
La figura 10 es un diagrama explicativo usado para describir la conversión de resolución de dos imágenes temporalmente continuas en base a la presente invención.
La figura 11 es un diagrama de bloques de una segunda realización de un aparato de codificación de imagen según la invención.
La figura 12 es un diagrama de bloques de una tercera realización de un aparato de codificación de imagen según la invención.
La figura 13 es un diagrama explicativo usado para describir la conversión de valor umbral de señal de significado de la presente invención.
La figura 14 es un diagrama de bloques de una cuarta realización de un aparato de codificación de imagen según la invención.
La figura 15 es un diagrama de bloques de una quinta realización de un aparato de codificación de imagen según la invención.
La figura 16 es un diagrama de bloques de un aparato decodificador de imagen según una sexta realización de la invención.
La figura 17 se utiliza para describir cómo se mejora la calidad de imagen por la operación de procesado de valor umbral de la invención.
La figura 18 es un diagrama de bloques de un aparato decodificador de imagen según una séptima realización de la invención.
La figura 19 es un diagrama de bloques de una octava realización de un aparato decodificador de imagen según la invención.
Y la figura 20 es un diagrama de bloques de una novena realización de un aparato decodificador de imagen según la invención.
Descripción detallada de las realizaciones preferidas
En las descripciones siguientes de las realizaciones preferidas la señal de imagen introducida descrita incluye una señal de color bidimensional conteniendo valores de pixel, y una señal de significado que declara para cada pixel en la señal de color si el valor de pixel es significativo o no. Deberá observarse, sin embargo, que la señal de imagen puede contener información distinta de la señal de color, y la señal de imagen no se limitará a imágenes bidimensionales y puede expresar información de imagen n-dimensional.
Realización 1
La estructura de un primer aparato codificador de señal de imagen EC1 según la presente invención se describe primero a continuación con referencia a la figura 1. Este aparato codificador de señal de imagen EC1 incluye un primer terminal de entrada Ti1, un segundo terminal de entrada Ti2, un selector de características de conversión de resolución 103, un convertidor de resolución 105, y un terminal de salida To.
El primer terminal de entrada Ti1 está conectado a una fuente externa de señal de imagen (no representada en las figuras) desde la que se suministra la señal de imagen Si. El segundo terminal de entrada Ti2 está conectado igualmente a una fuente externa de señal de significado (que tampoco se muestra en las figuras) desde la que se suministra la señal de significado Ss. Obsérvese que, como se ha descrito anteriormente, esta señal de significado Ss contiene información de significado para cada pixel en la señal de imagen Si. Obsérvese además que aunque la señal de significado Ss es normalmente una señal multinivel que indica la correlación entre pixels en la señal de imagen Si por medio de dos o más valores, se describe primariamente por razones de simplicidad en la descripción siguiente como una señal de dos niveles que declara si un pixel dado es significativo o no poniendo la señal de significado Ss en uno de dos estados para cada pixel.
Por ejemplo, cuando la señal de significado Ss es una señal de dos niveles, expresa si el pixel de capa delantera (pixel de primer plano) es o no transparente y por lo tanto oculta o no oculta el pixel de fondo en la misma posición. Sin embargo, cuando la señal de significado Ss es una señal multinivel, es posible declarar la transparencia relativa de cada pixel, variando por ello la transparencia del pixel de primer plano y permitiendo que los pixels de fondo se presenten en mayor o menor grado.
La codificación eficiente también se puede lograr controlando la codificación de pixel deseado en base a la información de significado del pixel deseado y los pixels circundantes durante la codificación de imagen.
El selector de características de conversión de resolución 103 está conectado al segundo terminal de entrada Ti2 mediante el que recibe la señal de significado Ss. Con referencia a los valores de señal de significado de entrada Ss para los pixels próximos al pixel que se procesa, el selector de características de conversión de resolución 103 selecciona las mejores características de conversión de frecuencia para conversión de resolución de la señal de imagen Si usando solamente pixels significativos, y genera una señal de selección de características de conversión de resolución SL que indica qué características de conversión de resolución se seleccionaron. El método por el que el selector de características de conversión de resolución 103 determina las características de conversión de resolución se describirá mejor a continuación con referencia a la figura 3 y la figura 4.
El convertidor de resolución 105 está conectado al primer terminal de entrada Ti1 y el selector de características de conversión de resolución 103, y recibe respectivamente de ellos la señal de imagen Si y la señal de selección de características de conversión de resolución SL.
El convertidor de resolución 105 almacena internamente los datos de características de conversión de resolución para cada nivel de significado que se puede expresar por la señal de significado Ss para cada pixel significativo. Usando los datos de características de conversión de resolución para las características de conversión de resolución especificadas por la señal de selección de características de conversión de resolución SL, el convertidor de resolución 105 convierte después la resolución de imagen por el submuestreo de pixels o la interpolación de la señal de imagen Si y emite el resultado como señal de imagen de resolución convertida Sr desde el terminal de salida To.
Por lo tanto, el proceso de conversión de resolución así ejecutado por la presente realización es capaz de convertir la resolución de una señal de imagen Si por medio de reducción de pixel o interpolación sin que el resultado quede afectado por los pixels no significativos en la señal de imagen introducida. Como resultado, se puede evitar la degradación de imagen resultante del proceso de conversión de resolución. El proceso de conversión de resolución ejecutado por el convertidor de resolución 105 se describe con detalle a continuación con referencia a las figuras 5, 6, 7, 8, 9 y 10.
Sin embargo, con referencia en primer lugar a la figura 2, la operación primaria de codificación de señal de imagen del aparato codificador de señal de imagen EC1 se describe a continuación.
Cuando comienza la operación de codificación de señal de imagen, la señal de imagen Si y la señal de significado Ss son generadas respectivamente por la fuente externa de señal de imagen y la fuente externa de señal de significado.
Cuando la señal de imagen Si se introduce en el convertidor de resolución 105 mediante el primer terminal de entrada Ti1 en el paso nº 100, la señal de significado Ss también se introduce en el selector de características de conversión de resolución 103 mediante el segundo terminal de entrada Ti2.
En el paso nº 200 el selector de características de conversión de resolución 103 determina si la información de significado en la señal de significado introducida Ss indica que cada pixel en la señal de imagen Si es significativo o no.
En la presente realización la señal de significado Ss es una señal de dos niveles. Cuando el valor de información de significado en la señal de significado Ss para un pixel particular en la señal de imagen Si es un valor no cero (es decir, 1), el pixel correspondiente en la señal de imagen se determina significativo, pero si el valor de información de significado es cero, el pixel correspondiente es no significativo.
Si todos los valores de información de significado en la señal de significado Ss son un valor no cero (1) en este ejemplo, es decir, indican pixels significativos, el paso nº 200 devuelve SÍ, el selector de características de conversión de resolución 103 genera una señal de selección de características de conversión de resolución SL que especifica las características de conversión de resolución normal, y el procedimiento avanza al paso nº 300.
Un ejemplo de estas características de conversión de resolución normal se describe más adelante a continuación con referencia a la figura 4.
En el paso nº 300 el convertidor de resolución 105 toma las características de conversión de resolución normal de los datos de características de conversión de resolución almacenados internamente en base a la señal de selección de características de conversión de resolución SL generada en el paso nº 200, y el control pasa después al paso nº 500.
Sin embargo, si en el paso nº 200 se devuelve un NO indicando que hay al menos un pixel no significativo declarado por la señal de significado Ss en la señal de imagen Si, el selector de características de conversión de resolución 103 genera una señal de selección de características de conversión de resolución SL que especifica las características de conversión de resolución correspondientes a los estados de pixel significativo declarados por los valores de información de significado en la señal de significado Ss de manera que la conversión de resolución se realice usando solamente los pixels significativos. El procedimiento pasa después al paso nº 400.
En el paso nº 400 el convertidor de resolución 105 toma las características de conversión de resolución correspondientes al estado de señal de significado corriente de los datos de características de conversión de resolución almacenados internamente en base a la señal de selección de características de conversión de resolución SL generada en el paso nº 200. El control pasa después al paso nº 500.
En el paso nº 500 la conversión de resolución basada en las características de conversión de resolución seleccionadas en el paso nº 300 o nº 400 se aplica a la señal de imagen introducida Si para generar la señal de imagen de resolución convertida Sr. La señal de imagen de resolución convertida Sr generada por el convertidor de resolución 105 es enviada después desde el terminal de salida To en el paso nº 600, y el proceso termina.
Convirtiendo así la resolución de la señal de imagen Si en base a una señal de significado compañera Ss, la resolución de la señal de imagen Si se puede convertir sin que quede afectada por pixels no significativos en la señal de imagen Si. Como resultado, se puede evitar la degradación de imagen y se puede mejorar la eficiencia de codificación de señal de imagen. Se deberá observar que aplicando el proceso de conversión de resolución a la señal de imagen Si y la señal de significado Ss en el paso nº 400 anterior es posible convertir la resolución de la señal de significado Ss así como la señal de imagen Si.
Con referencia a continuación a la figura 3 y la figura 4, la operación de conversión de resolución del convertidor de resolución 105 mostrado en la figura 1 se describe a continuación.
Como se ha descrito anteriormente, la señal de imagen Si contiene una señal de color bidimensional Sc y una señal de significado Ss correspondiente a la misma señal de color Sc, y la señal de color Sc y la señal de significado Ss se representan en la figura 3. El pixel P0 en la señal de color Sc representa la muestra de señal de color (pixel) en coordenadas (X,Y), y P1 representa la muestra de señal de color (pixel) junto al pixel P0. Los valores \alpha0 y \alpha1 en la señal de significado bidimensional Ss son los valores de señal de significado (información de significado) para los pixels correspondientes p0 y p1.
En la figura 4 se muestran ejemplos de posibles funciones de características de conversión de resolución para los valores de información de significado \alpha0 y \alpha1. Las combinaciones posibles de valores de información de significado \alpha0 y \alpha1 se dividen en las condiciones C1, C2, C3, y C4 en la primera columna de la figura 4. Las columnas segunda y tercera muestran los valores posibles para los valores de información de significado \alpha0 y \alpha1 donde un valor de 1 significa que el pixel correspondiente es significativo y 0 significa no significativo. La cuarta columna muestra la característica de conversión de resolución Fc para los valores de información de significado \alpha0 y \alpha1 en la misma fila expresados como la función Pf = \alpha0, \alpha1 (P0, P1), donde P0 y P1 son los mismos valores de pixel de la señal de color Sc mostrada en la figura 3.
Obsérvese que bajo la condición C1 ambos valores de información de significado \alpha0 y \alpha1 son 1, declarando así que los pixels de color correspondientes P0 y P1 son significativos. Por lo tanto, la función de característica de conversión de resolución se define por la ecuación 1.
[1]Pf = (P0 + P1)//2
Como resultado, la conversión de resolución se realiza usando la media de ambos valores de pixels. Obsérvese que esta función de conversión mostrada en la ecuación 1 corresponde a las características de conversión de resolución normal seleccionadas en el paso nº 300 en la figura 2.
Bajo la condición C2, solamente el valor de información de significado \alpha0 es 1, lo que significa que solamente el pixel de color correspondiente P0 es significativo. Como resultado, la función de característica de conversión de resolución se define por la ecuación 2.
[2]Pf = P0
En otros términos, el pixel P1 se cubre completamente y oculta por el pixel P0.
\newpage
Igualmente, bajo la condición C3 solamente el valor de información de significado \alpha1 es 1, lo que significa que solamente el pixel de color correspondiente P1 es significativo. Por lo tanto, la función de característica de conversión de resolución se define por la ecuación 3.
[3]Pf = P1
En otros términos, el pixel P0 se cubre completamente y oculta por el pixel P1.
Bajo la condición C4 ambos valores de información de significado \alpha0 y \alpha1 son 0, lo que significa que ni el pixel P0 ni el pixel P1 es significativo. Como resultado, no se genera la función de característica de conversión de resolución Pf.
La operación del convertidor de resolución 105 se describe mejor a continuación con referencia a las figuras 5-10.
Con referencia a la figura 5, bloques de 2 x 2 pixels en la señal de imagen Si se convierten, o reducen, a un pixel en la señal de imagen de resolución convertida Sr. Esta operación de conversión de resolución comprime así el número de pixels a 1/4 el recuento de pixels en la señal de imagen introducida. En otros términos, la señal de imagen introducida incluyendo bloques de 4 x 4 pixels se convierte en una señal de imagen de resolución convertida Sr incluyendo bloques de 2 x 2 pixels. Más específicamente, el bloque de señal de imagen de cuatro pixels Sib incluyendo una matriz de 2 x 2 pixels en la parte inferior izquierda de la señal de imagen Si se convierte en el pixel K en la misma parte izquierda inferior relativa de la señal de imagen de resolución convertida Sr por el proceso descrito a continuación y mostrado en la figura 5.
Como se muestra en la figura 5, la señal de imagen Si se segmenta en bloques de 4 x 4 pixels, y la señal de significado Ss incluye igualmente 4 x 4 bloques correspondientes de elementos de significado. Cada elemento de significado contiene el valor de información de significado para el pixel correspondiente en la señal de imagen Si. Como resultado, la señal de significado Ss incluye el bloque de elementos de significado Ssb incluyendo 2 x 2 elementos de significado en la parte inferior izquierda de la señal de significado Ss correspondiente al bloque de señal de imagen Sib también mostrado en la figura 5. Obsérvese que los pixels significativos y elementos en la señal de imagen Si, el bloque de señal de imagen Sib, la señal de significado Ss, y el bloque de elementos de significado Ssb se indican por sombreado en la figura 5.
Más específicamente, los pixels W, X, Y y Z en el bloque de señal de imagen Sib corresponden a los elementos de significado A, B, C, y D, respectivamente, en el bloque de elementos de significado Ssb, y se determina que los pixels significativos en el bloque de señal de imagen Sib son los tres pixels W, X y Z referenciando el bloque de elementos de significado Ssb. Obsérvese también que el valor de pixel no significativo Y en el bloque de señal de imagen Sib puede no estar relacionado con los pixels significativos W, X y Z. Esto significa que si la conversión de resolución se realiza usando los valores de pixel de todos los pixels en el bloque de señal de imagen Sib, la señal de imagen de resolución convertida Sr puede quedar afectada adversamente por este pixel no significativo Y.
Sin embargo, si el valor medio I de los pixels significativos W, X y Z en el bloque de señal de imagen Sib se utiliza como el valor de bloque de pixels después de la conversión de resolución, la resolución se puede convertir sin ser afectada por pixels no significativos. Si los valores de los pixels significativos W, X y Z son Pw, Px y Pz, el valor de pixels medio I del pixel de resolución convertida se puede expresar por la ecuación 4.
[4]I = (Pw + Px + Pz) // 3
Así, es posible obtener el pixel K en la señal de imagen de resolución convertida Sr convirtiendo la resolución del bloque de señal de imagen de cuatro pixels Sib en la señal de imagen Si usando la característica de conversión de resolución definida por la ecuación 4.
Se deberá notar que aunque se convierte una matriz de 2 x 2 pixels en un pixel por el método descrito anteriormente, la invención no se limitará a ello y se puede aplicar el mismo principio para convertir bloques de pixels de cualquier tamaño N x M (donde N y M son números naturales) a cualquier relación de compresión deseada.
Se deberá observar además que aunque el método anterior se ha descrito convirtiendo la resolución de la señal de imagen solamente, se puede aplicar el mismo método para convertir la resolución de la señal de significado. Un ejemplo específico de conversión de resolución de señal de significado se describe a continuación con referencia a la figura 6.
Como se muestra en la figura 6, la señal de significado Ss también es segmentada en bloques de 4 x 4 elementos de significado. El método de conversión de resolución descrito a continuación también convierte el bloque de 2 x 2 elementos de significado Ssb en la parte inferior izquierda de la señal de significado Ss a un elemento de significado en la señal de significado de resolución convertida Ssr, comprimiendo así el número total de elementos de significado a 1/4.
El valor medio J de los elementos de significado A, B y D correspondiente a los pixels significativos W, X y Z se calcula como el valor de elemento de significado después de la conversión de resolución aplicando la ecuación 5
[5]J = (Va + Vb + Vd)//3
donde Va, Vb y Vd son los valores de significado de los elementos de significado A, B y D.
Se deberá observar además que aunque el método de conversión de resolución de la invención se ha descrito usando las ecuaciones 4 y 5 anteriores para convertir la resolución de un bloque de 2 x 2 pixels como se muestra en la figura 5 y la figura 6, la invención no se limita a 2 x 2 matrices y se puede generalizar por la ecuación 6 a continuación donde el número de pixels antes de la conversión es el entero n y se utiliza un valor de señal de significado de dos niveles.
[6]p=Fa(pn)=(p0 \ x \ \alpha 0 + p1 \ x \ \alpha 1 +...+ pn-1 \ x \ \alpha n - 1)/ \sum\limits_{k=0}^{n-1}ak=\sum\limits_{k=0}^{n-1}pk \ x \ ak)/ (\sum\limits_{k=0}^{n-1}ak)
donde p0 a pn en el lado derecho de la ecuación son los valores de pixel en la señal de imagen Si convertida, \alpha es el valor de elemento de significado correspondiente en la señal de significado referenciada Ss, y el valor p en el lado izquierdo de la ecuación es el valor de pixel en la señal de imagen de resolución convertida Sir obtenida por la ecuación 6.
Cuando se utilizan valores de elemento de significado multinivel, la invención se puede generalizar por la ecuación 7 siguiente.
[7]p=Fw(pn)=(p0 \ x \ w0 + p1 \ x \ w1 +...+ pn - 1 \ x \ wn - 1) \sum\limits_{k=0}^{n-1}wk= \sum\limits_{k=0}^{n-1}pk \ x \ wk)/ \sum\limits_{k=0}^{n-1}ak)
donde p0 a pn en el lado derecho de la ecuación son los valores de pixel en la señal de imagen Si convertida, w es un señalizador que indica si el valor de elemento de significado correspondiente en la señal de significado referenciada Ss es 0 o no, y el valor p en el lado izquierdo de la ecuación es el valor de pixel en la señal de imagen de resolución convertida Sir obtenido por la ecuación 7. Con respecto al señalizador w, el señalizador w es 0 si el valor de elemento de significado es 0, y el señalizador w es 1 si el valor de elemento de significado no es 0.
Aunque cada uno de los ejemplos anteriores se ha descrito tomando un valor medio, también puede realizarse conversión de resolución obteniendo el O lógico de los valores de elementos de significado en la señal de significado Ss como se muestra en la ecuación 8 si la señal de entrada es una señal de dos niveles.
[8]\alpha = \alpha 0 \ [+] \ \alpha 1 \ [+].... \ [+] \ \alpha n-1
donde [+] en el lado derecho de la ecuación indica una operación O lógico. Así, aunque ninguno de los elementos significativos \alpha0 a \alphan sea significativo, el resultado es esencialmente significativo.
Por otra parte, es posible establecer que aunque ninguno de los elementos significativos \alpha0 a \alphan no sea significativo, el resultado sería no significativo, como se define por la ecuación siguiente.
[9]\alpha = \alpha 0 \ [x] \ \alpha 1 \ [x].... \ [x] \ \alpha n-1
donde [x] en el lado derecho de la ecuación indica una operación Y lógico.
La operación de codificación de señal de imagen del aparato codificador de señal de imagen EC1 antes descrito brevemente con referencia a la figura 2 se describe con más detalle a continuación con referencia al diagrama de flujo de la figura 7. Aún más específicamente, se describe la operación de conversión de resolución de una señal de significado Ss que tiene N elementos de significado. Se deberá notar que aunque el ejemplo siguiente describe el método de convertir la resolución de la señal de significado Ss propiamente dicha, será obvio que la conversión de resolución de la señal de imagen Si se puede realizar usando el mismo método que el ya explicado anteriormente.
La operación comienza con la inicialización del sistema en el paso S2. Este paso pone específicamente el contador de significado CS, el contador de no significado CNS, el contador de elementos de significado n, el señalizador de posición de elemento significativo PS y el señalizador de posición de elemento no significativo PNS. En la presente realización, este paso pone específicamente el contador de significado CS, el contador de no significado CNS, y el contador de elementos de significado n a 1, y borra el señalizador de posición de elemento significativo PS y el señalizador de posición de elemento no significativo PNS. Cuando la inicialización está completa, el proceso pasa al paso S4.
Con cada pasada por el ciclo de detección de estado de significado mostrado como el bucle desde el paso S4 al paso S16 en la figura 7, el selector de características de conversión de resolución 103 lee el n-ésimo elemento de significado Ssn en la señal de significado Ss convertida (paso S4), y pasa después al paso S6. Obsérvese de nuevo que n es el contador de elementos de significado n, y el primer elemento de significado detectado como "significativo" se expresa como elemento de significado Ss1. El contador de significado CS también es 1.
En el paso S6 se determina si el valor del elemento de significado leído Ssn es 0, es decir, si el elemento de significado correspondiente es o no significativo. Si el valor de elemento de significado no es 0, es decir, el elemento de significado es significativo, se devuelve SÍ y el procedimiento pasa al paso S8.
En base a los valores corrientes del contador de elementos de significado n y el contador de significado CS, la posición del elemento de significado Ssn en la señal de significado Ss se registra en un señalizador de posición de elemento significativo PS. El procedimiento pasa después al paso S10. Obsérvese que la primera vez que se detecta un elemento significativo después de comenzar el proceso de conversión de resolución, el valor del contador de elementos de significado n y el contador de significado CS es 1.
En el paso S10 el contador de significado CS y el contador de elementos de significado n se incrementan en 1. El procedimiento pasa después al paso S16.
Con referencia de nuevo al paso S6, sin embargo, si el elemento de significado detectado no es significativo, el paso S6 devuelve NO. El procedimiento pasa después al paso S12.
La posición del elemento de significado Ssn en la señal de significado Ss se registra en este caso en un señalizador de posición de elemento no significativo PNS en base a los valores corrientes del contador de elementos de significado n y el contador de no significado CNS (paso S12). El procedimiento pasa después al paso S14.
En el paso S14 el contador de no significado CNS y el contador de elementos de significado n se incrementan en 1. El procedimiento pasa después al paso S16.
En el paso S16 se determina si hay elementos de significado para los que todavía haya que detectar el estado de significado. Más específicamente, se determina si el contador de elementos de significado n < Nmax, donde Nmax es el número total de elementos de significado en la señal de significado Ss que se procesa. En caso afirmativo, es decir, n < Nmax, todavía hay elementos de significado para los que el estado de significado no ha sido detectado, y por lo tanto el procedimiento vuelve al comienzo del ciclo de detección de estado de significado (paso S4). En caso negativo, es decir, n = Nmax, se ha detectado el estado de significado de todos los elementos de significado. En este caso, el procedimiento pasa después al paso S18.
El proceso descrito anteriormente hace así que se repita el ciclo de detección de estado de significado del paso S4 al paso S16 hasta que el paso S16 devuelva NO, garantizando por ello que se detecte el estado de significado de cada elemento de significado en la señal de significado Ss.
En el paso S18, el selector de características de conversión de resolución 103 selecciona las características de conversión de resolución más adecuadas para la señal de significado Ss que se procesa en base a la información de elemento de significado obtenida por el paso S8 o el paso S12. La señal resultante de selección de características de conversión de resolución SL así generada se pasa después al paso S20.
En base a la señal de selección de características de conversión de resolución SL generada en el paso S18, se lee la característica de conversión de resolución especificada del almacenamiento interno en el paso S20. El procedimiento pasa después al paso S22.
En base a la característica de conversión de resolución leída en el paso S20, la resolución de la señal de significado Ss es convertida después en el paso S22 para generar la señal de imagen de resolución convertida Sr la señal de significado de resolución convertida Ssr. Después termina el procedimiento.
Se deberá notar que con el proceso representado en el diagrama de flujo en la figura 7 el estado de significado de los elementos significativos se detecta en los pasos S8 y S10, y el estado de significado de los elementos no significativos se detecta en los pasos S12 y S14, en base a la determinación de si cada elemento de significado es significativo o no en el paso S6. Sin embargo, también es posible especificar la posición y el valor de un elemento de significado usando el valor del contador de elementos de significado n ya sea significativo o no el elemento de significado. Más específicamente, también es posible obtener la información para los elementos no significativos obteniendo solamente la información de significado para los elementos significativos en los pasos S8 y 10 después del paso S6. En este caso, se pueden eliminar los pasos S12 y S14 con salto de control del paso S6 directamente al paso S16 cuando el paso S6 devuelve NO. También será obvio que también es cierto lo contrario, es decir, se pueden eliminar los pasos S8 y S10 y obtenerse en los pasos S12 y S14 la información de significado obtenida en base a la información de elemento no significativo.
Una realización alternativa del método de conversión de resolución de la invención se describe a continuación con referencia a la figura 8. El diagrama de flujo de la figura 8 difiere del de la figura 7 en que los pasos S12 y S14 se sustituyen por el paso S16, el paso S16 vuelve al paso S4, y el paso S10 pasa directamente al paso S18. Esta configuración hace que el proceso de conversión de resolución se realice aunque solamente un elemento de significado en el bloque de elementos de significado sea "significativo" y no es necesario retardar el proceso de conversión de resolución hasta que el valor de información de significado de cada elemento de significado haya sido detectado como es necesario con el proceso de control mostrado en la figura 7.
También será obvio que, sustituyendo los pasos S12 y S14 por los pasos S8 y S10 en la figura 8, es decir, eliminando los pasos S8 y S10 y pasando del paso S14 al paso S18, el proceso de conversión de resolución se realizará aunque solamente un elemento de significado en el bloque de elementos de significado no sea significativo.
Un método de conversión de resolución usando muestreo ascendente se describe después con referencia a la figura 9. La figura 9 muestra el proceso por lo que una señal de imagen de tres pixels Si se convierte en una señal de imagen de conversión de resolución de cinco pixels Sr. Como se representa en la figura 9, la señal de imagen fuente Si incluye tres pixels X1, X2 y X3, y la señal de significado correspondiente Ss incluye elementos de significado A1, A2 y A3.
Como se ha descrito anteriormente, los pixels X1, X2 y X3 corresponden a los elementos de significado A1, A2 y A3; los pixels X1 y X2 son significativos.
En este ejemplo, los pixels X1, X2 y X3 de la señal de imagen Si corresponden directamente a los pixels de número impar X1, X2 y X3 contando desde la parte superior de la señal de imagen de conversión de resolución Sr, pero los pixels de número par Y1 y Y2, por el proceso de conversión de resolución, usan solamente los pixels significativos en la señal de imagen fuente Si. En otros términos, los pixels Y1 y Y2 se generan a partir de los pixels significativos X1 y X2 usando la característica de conversión definida en la ecuación 9.
Y1 = (X1 + X2) / 2
[9]Y2 = X2
donde X1, X2, Y1 y Y2 son los valores de pixel de los pixels correspondientes.
La conversión de resolución de dos imágenes Ia e Ib que son continuas en la base de tiempo se describen con referencia a la figura 10. Como se representa en la figura 10, la imagen Ia que aparece primero en la base de tiempo es menor que la imagen Ib presentada después. En este caso, el proceso de conversión de muestreo ascendente descrito en la figura 9 anteriormente se puede aplicar entre la señal de imagen precedente Sia y la señal de imagen siguiente Sib correspondiente a las imágenes Ia e Ib para codificar y correlacionar eficientemente las imágenes. Este proceso se puede aplicar para lograr escalabilidad temporal.
Realización 2
Una segunda realización de un aparato codificador de señal de imagen EC2 según la invención se describe más adelante con referencia a la figura 11. El aparato codificador de señal de imagen EC2 de esta realización difiere del aparato codificador de señal de imagen EC1 anterior en que convierte la resolución de solamente pixels significativos en la señal de imagen Si.
El aparato codificador de señal de imagen EC2 de esta realización de construcción similar al aparato codificador de señal de imagen EC1 de la primera realización y difiere en la adición de un segundo convertidor de resolución 301 entre el selector de características de conversión de resolución 103 y el segundo terminal de entrada Ti2. Este segundo convertidor de resolución 301 convierte la resolución de la señal de significado Ss para generar una señal de significado de conversión de resolución Ssr. Esta señal de significado de conversión de resolución Ssr se envía después al selector de características de conversión de resolución 103 y al terminal de salida To.
La señal de significado Ss enviada al segundo convertidor de resolución 301 se convierte por medio de muestreo descendente de pixels o interpolación usando el mismo proceso descrito para el convertidor de resolución 105 en la primera realización anterior.
Con referencia a los valores de señal de significado en la señal de salida Ssr del segundo convertidor de resolución 301 para los pixels próximos al pixel actualmente procesado, el selector de características de conversión de resolución 103 genera después la señal de selección de características de conversión de resolución SLa para seleccionar la característica de conversión de resolución a usar para conversión de resolución de la señal de imagen Si usando solamente los pixels significativos.
Si no se indican pixels significativos por la señal de significado de conversión de resolución Ssr, no es necesario convertir la señal de imagen Si para interpolar pixels significativos a la señal de imagen de conversión de resolución. Por lo tanto, se genera la señal de selección de características de conversión de resolución SLa que indican la función más fácilmente calculable.
Como en el aparato codificador de señal de imagen EC1 de la primera realización, el convertidor de resolución 105 convierte la resolución de la señal de imagen Si usando la característica de conversión de resolución especificada por la señal de selección de características de conversión de resolución SLa, generando por ello la señal de imagen de conversión de resolución Sra enviada al terminal de salida To.
El proceso ejecutado por la presente realización convierte así primero la resolución de la señal de significado Ss por medio del segundo convertidor de resolución 301, que suministra una señal de significado Ss conteniendo solamente valores significativos al selector de características de conversión de resolución 103. La característica de conversión de resolución usada para señal de imagen Si conversión es después seleccionado en base a esta señal de significado de conversión de resolución Ssr. La resolución de la señal de imagen Si es convertida después por muestreo descendente o interpolación libre de los efectos de pixels no significativos efectivamente de la misma manera que el aparato codificador de señal de imagen EC1 de la primera realización, logrando una calidad de imagen convertida comparable usando menos cálculos de función.
Realización 3
Un aparato codificador de señal de imagen EC3 según la tercera realización de la invención se describe después con referencia a la figura 12. En esta realización el aparato codificador de señal de imagen EC3 cuantifica N la señal de significado Ss por medio de un procesador de umbral antes de proceder con el proceso de codificación.
El aparato codificador de señal de imagen EC3 de esta realización también es parecido al aparato codificador de señal de imagen EC1 representado en la figura 1, e incluye además un tercer terminal de entrada Ti3 al que se suministra una señal de umbral Sth conteniendo un valor umbral específico Th. También se añade un procesador de umbral 402 entre el segundo terminal de entrada Ti2 y el selector de características de conversión de resolución 103. El procesador de umbral 402 también está conectado al tercer terminal de entrada Ti3, y así recibe la señal de significado Ss del segundo terminal de entrada Ti2 y la señal de umbral Sth del tercer terminal de entrada Ti3.
También se añade un codificador 405 entre el convertidor de resolución 105 y el terminal de salida To. El codificador 405 también está conectado al tercer terminal de entrada Ti3 desde el que se introduce la señal de umbral Sth.
El procesador de umbral 402 compara la señal de significado Ss con la señal de umbral Sth. Cuando el valor de significado de la señal de significado Ss es inferior al valor de la señal de umbral Sth, dicho valor de significado de la señal de significado Ss se convierte en un valor no significativo y envía al selector de características de conversión de resolución 103 como la señal de significado de conversión de valor umbral Sst. Obsérvese que las señales de significado Ss que tienen solamente valores no significativos no son procesadas por el procesador de umbral 402 y son enviadas directamente como la señal de significado Sst.
El selector de características de conversión de resolución 103 genera después la señal de selección de característica de conversión de resolución SLb que especifica la característica de conversión de resolución mejor para la señal de imagen Si en base a la señal de significado de conversión de valor umbral Sst, y envía la señal de selección de características de conversión de resolución SLb al convertidor de resolución 105. El convertidor de resolución 105 genera después la señal de imagen de conversión de resolución Srb convirtiendo la señal de imagen Si suministrada desde el primer terminal de entrada Til usando la característica óptima de conversión de resolución en base a la señal de selección de características de conversión de resolución SLb.
El codificador 405 codifica después la señal de imagen de conversión de resolución Srb suministrada desde el convertidor de resolución 105 y la señal de umbral Sth suministrada desde el tercer terminal de entrada Ti3, y envía la señal de imagen codificada resultante Sic1 desde el terminal de salida To.
El significado de generar la señal de significado de conversión de valor umbral Sst se describe más adelante con referencia a la figura 13. Como se ha descrito anteriormente, la invención codifica la señal de imagen Si o incluso la señal de significado Ss con referencia a la señal de significado Ss. Sin embargo, cuando la señal de significado Ss es una señal multinivel, incluso los valores de significado de nivel bajo que indican pixels casi transparentes que son visualmente indistinguibles de los pixels circundantes, se tratan como valores significativos y codifican, afectando así negativamente al proceso de codificación. La señal B en la figura 13 es un ejemplo de tal señal de significado Ss. Esta señal de significado Ss (B) es mayor que 0 en las regiones indicadas por una flecha As, y por lo tanto es significativa en toda esta región As.
Aunque el significado de los extremos A1 y A2 de la región As es tan bajo que los pixels en esta zona no se puede distinguir visualmente de otros pixels, son factores que contribuyen a la degradación de los datos codificados. Por lo tanto, aplicando un proceso de filtración de valor umbral que convierte a 0 los elementos debajo de un valor umbral apropiado Th en la región As de la señal de significado Ss, se puede obtener la señal de significado Ss representada como señal A en la figura 13.
Filtrando así la señal de significado Ss con el proceso de umbral anterior, se puede evitar la pérdida de eficiencia de codificación debido a pixels de significado bajo, y se puede lograr codificación de señal de imagen de alta calidad de imagen y alta eficiencia.
Obsérvese que aunque la presente realización se ha descrito como resolución que convierte la señal de imagen Si en base a la señal de significado de conversión de valor umbral Sst, también es posible enviar la señal de significado de conversión de valor umbral Sst desde el procesador de umbral 402 directamente al codificador 405 para codificar la señal de significado de conversión de valor umbral Sst propiamente dicha.
Realización 4
Un aparato codificador de señal de imagen EC4 según la cuarta realización de la invención se describe más adelante con referencia a la figura 14, un diagrama de bloques del mismo.
En este aparato de codificación de imagen se introduce una señal de entrada de imagen bidimensional Sv incluyendo una señal de imagen Si y una señal de significado Ss que declara para cada pixel en la señal de imagen Si si cada pixel es significativo. Los vectores de movimiento de la señal de entrada son detectados por el detector de vector de movimiento (ME) 602 y enviados desde él al compensador de movimiento (MC) 604. El compensador de movimiento (MC) 604 usa la salida del detector de vector de movimiento (ME) 602 y la salida de una memoria de trama (FM) 611 para generar una señal de imagen predictiva Sp.
Después se obtiene un valor de diferencia para cada pixel por el sustractor 603 usando los valores de pixel de la señal de imagen predictiva Sp generada por el compensador de movimiento (MC) 604 y la señal de imagen introducida Sv. Este valor de diferencia es convertido después por una operación de transformada de coseno discreta (DCT) aplicada por el convertidor ortogonal (DCT) 605, y los coeficientes DCT son cuantificados por el cuantificador (Q) 606.
Los valores cuantificados son enviados al codificador de longitud variable (VLC) 607 y el descuantificador (IQ) 608. El descuantificador (IQ) 608 descuantifica los coeficientes DCT, y el inversor de conversión ortogonal (IDCT) 609 calcula la DCT inversa (IDCT).
La salida del inversor de conversión ortogonal (IDCT) 609 se suma después por el sumador 610 a los valores de pixel generados por el compensador de movimiento (MC) 604, y se envía al procesador de umbral (Th) 612 como señal de imagen de reproducción Sv'. Obsérvese que esta señal de imagen de reproducción Sv' contiene tanto una señal de imagen de reproducción Si' como una señal de significado de reproducción Ss'. El procesador de umbral (Th) 612 aplica un proceso de valor umbral solamente al componente de señal de significado de reproducción Ss' para convertir valores por debajo de la señal de umbral Sth a un valor no significativo. El resultado es enviado como señal de significado Sst.
Esta señal de significado Sst y la señal de imagen de reproducción Si' se almacenan en la memoria de trama (FM) 611 como la señal de imagen decodificada. Si la señal de suma salida del sumador 610 se almacena directamente en la memoria de trama (FM) 611, se usará valores de señal de significado visualmente no significativos y componentes de ruido menores al predecir la imagen siguiente. Esto reduce la eficiencia de compensación de movimiento. Esta pérdida de eficiencia se puede evitar pasando la señal mediante el procesador de umbral (Th) 612. La señal de imagen decodificada es enviada desde la memoria de trama (FM) 611 al vector detector (ME) 602 y el compensador de movimiento (MC) 604.
La señal codificada por el codificador de longitud variable (VLC) 607 es enviada como la señal de salida Sic2 del aparato codificador de señal de imagen EC4.
El aparato codificador de señal de imagen de la presente realización puede codificar así correctamente la señal de entrada Sv sin aplicar compensación de movimiento a los valores de señal de significado visualmente no significativos y componentes de ruido menores, y por lo tanto obtener una señal de salida eficientemente codificada Sic.
Realización 5
Un aparato codificador de señal de imagen EC5 según la quinta realización de la invención se describe más adelante con referencia a la figura 15, un diagrama de bloques del mismo.
Los vectores de movimiento de la señal de entrada de imagen bidimensional Sv son detectados por el detector de vector de movimiento (MC) 602 y enviados desde él al compensador de movimiento (MC) 604. En base a la salida del detector de vector de movimiento (ME) 602 y la memoria de trama (FM) 611 descritos más adelante, el compensador de movimiento (MC) 604 genera una señal de imagen predictiva Sp.
La señal de imagen de reproducción Sv' incluyendo la señal de significado Ss' y la señal de imagen de reproducción Si' se introducen desde el sumador 610 directamente en la memoria de trama (FM) 611.
\newpage
El compensador de movimiento (MC) 604 genera después la señal de imagen predictiva Sp en base a la señal de significado Ss' y señal de imagen de reproducción Si' de la memoria de trama (FM) 611. Dado que se incluye una señal de significado visualmente no importante Ss' en la señal de imagen predictiva Sp generada por el compensador de movimiento (MC) 604, estos valores se filtran por medio del procesador de umbral (Th) 701 convirtiendo a un valor no significativo los valores que son iguales o inferiores al valor umbral Sth, generando por ello una señal de imagen predictiva de valor umbral convertido Spt. La eficiencia de codificación se mejora eliminando así todas las señales de significado visualmente no significativas.
Después se obtiene un valor de diferencia para cada pixel por el sustractor 603 usando los valores de pixel de la señal de entrada Sv y la salida del procesador de umbral 701. La transformada de coseno discreta (DCT) y los coeficientes DCT de estos valores de diferencia son obtenidos después por el convertidor ortogonal (DCT) 605, y los coeficientes DCT son cuantificados por el cuantificador (Q) 606. Los valores cuantificados son enviados al codificador de longitud variable (VLC) 607 y el descuantificador (IQ) 608. El descuantificador (IQ) 608 descuantifica los coeficientes DCT, y el inversor de conversión ortogonal (IDCT) 609 calcula la DCT inversa (IDCT).
La salida del inversor de conversión ortogonal (IDCT) 609 es añadida después por el sumador 610 a los valores de pixel generados por el procesador de umbral (Th) 701, y almacenada como la imagen decodificada en la memoria de trama (FM) 611.
La señal codificada por el codificador de longitud variable (VLC) 607 es enviada como la señal codificada Sic del aparato codificador de señal de imagen EC5.
Eliminando así los valores visualmente no significativos de la señal de significado, el aparato codificador de señal de imagen de la presente realización puede codificar eficientemente la señal de entrada Sv y por lo tanto obtener la señal de salida codificada Sic3.
Realización 6
Un aparato decodificador de imagen DC1 según la sexta realización de la invención se describe después con referencia a la figura 16, un diagrama de bloques del mismo. Obsérvese que este aparato decodificador de imagen DC1 se utiliza para decodificar la señal de imagen codificada Sic1 generada por el aparato codificador de señal de imagen EC3 representado en la figura 12.
La señal de imagen codificada Sic1 se introduce en el decodificador 802 para decodificar a la señal de significado Ss y señal de umbral Sth. La señal de significado decodificada Ss y la señal de umbral Sth se envían al procesador de umbral 805 para procesado de umbral como se describe más adelante, y el resultado es enviado como señal de salida Sv.
A continuación se describe ejemplos de que la calidad de imagen es mejor por el proceso de valor umbral antes descrito usando las cuatro formas de onda C, D, E, y F en la figura 17.
La forma de onda C es la señal de significado introducida Ss, y D es la señal de significado C después del procesado de conversión. La onda de salida D se binariza a la señal de dos niveles E cuantificando los valores de señal inferiores al valor umbral Th a 0 y todos los demás valores a 1. Redondear los valores inferiores al valor umbral Th a 0 y enviar directamente todos los demás valores sin conversión de umbral da lugar a la forma de onda F. Si la forma de onda E es una señal de significado de dos niveles y la forma de onda F es una señal de significado multinivel, se puede extraer los componentes de señal de significado visualmente no significativos.
Los componentes de ruido menores se pueden quitar así de la señal de significado decodificada por medio de este proceso de umbral.
Realización 7
Un aparato decodificador de imagen DC2 según la séptima realización de la invención se describe después con referencia a la figura 18, un diagrama de bloques del mismo. Obsérvese que este aparato decodificador de imagen DC2 se utiliza para decodificar la señal de imagen codificada Sic3 generada por el aparato codificador de señal de imagen EC5 representado en la figura 15.
La señal de imagen codificada Sic3 se suministra al decodificador de longitud variable (VLD) 902 para decodificación de longitud variable.
Una señal de imagen predictiva Sp es generada después por el compensador de movimiento (MC) 907 y suministrada al procesador de umbral 906. La señal de significado de la señal de imagen predictiva Sp generada por el compensador de movimiento 907 es procesada después por el procesador de umbral 906, convirtiendo todos los valores iguales o inferiores al valor umbral Th a valores no significativos y generando la señal de imagen predictiva Spt. La señal decodificada por el decodificador de longitud variable (VLD) 902 se introduce en el descuantificador (IQ) 903 para descuantificación, y el IDCT se obtiene después de la señal descuantificada por el inversor de conversión ortogonal (IDCT) 904.
El IDCT del inversor de conversión ortogonal (IDCT) 904 se suma después por el sumador 905 con los valores de pixel generados por el procesador de umbral (Th) 906 para obtener la imagen decodificada. La imagen decodificada se almacena después en la memoria de trama (FM) 908.
El aparato decodificador de imagen de la presente realización puede decodificar así correctamente la señal de entrada Sv para obtener una señal de salida eficientemente decodificada Sic3.
Realización 8
Un aparato decodificador de imagen DC3 según la octava realización de la invención se describe a continuación con referencia a la figura 19, un diagrama de bloques del mismo. Obsérvese que este aparato decodificador de imagen DC3 se utiliza para decodificar la señal de imagen codificada Sic2 generada por el aparato codificador de señal de imagen EC4 representado en la figura 14.
La señal de imagen codificada Sic2 se suministra al decodificador de longitud variable (VLD) 902 para decodificación de longitud variable.
La señal decodificada por el decodificador de longitud variable (VLD) 902 se introduce en el descuantificador (IQ) 903 para descuantificación, y el IDCT se obtiene después de la señal descuantificada por el inversor de conversión ortogonal (IDCT) 904. La salida de la memoria de trama (FM) 908 también se introduce en el compensador de movimiento (MC) 907 para generar una señal de imagen predictiva Sp.
La imagen predictiva generada por el compensador de movimiento (MC) 907 se suma después por el sumador 905 con el IDCT del inversor de conversión ortogonal (IDCT) 904 y envía como la señal de imagen Sv. La señal de imagen Sv también es realimentada al procesador de umbral (Th) 1001, convirtiendo por ello todos los valores de imagen decodificada iguales o inferiores al valor umbral Th a valores no significativos. La salida del procesador de umbral (Th) 1001 también se almacena en la memoria de trama (FM) 908 como imagen decodificada Svt.
Si la señal de salida del inversor de conversión ortogonal (IDCT) 904 se introduce directamente en la memoria de trama (FM) 908, los valores de señal de significado visualmente no significativos y los componentes de ruido menores contenidos en la salida de la memoria de trama (FM) 908 también serán compensados en movimiento, y por lo tanto no disminuye la exactitud de la compensación de movimiento. Por lo tanto, la salida de la memoria de trama (FM) 908 se introduce en el compensador de movimiento (MC) 907 para compensación de movimiento y generación de la señal de imagen predictiva Sp.
La señal de imagen predictiva Sp generada por el compensador de movimiento (MC) 907 es sumada así por el sumador 905 con la salida del inversor de conversión ortogonal (IDCT) 904, y enviada simultáneamente como señal de imagen Sv y almacenada en la memoria de trama (FM) 908 como la imagen decodificada Svt.
Por lo tanto, es posible decodificar correctamente la señal de entrada Sic y obtener la señal de imagen salida Sv impidiendo que la compensación de movimiento se aplique a los valores de señal de significado visualmente no significativos y los componentes de ruido menores.
Realización 9
Un aparato decodificador de imagen DC4 según la novena realización de la invención se describe después con referencia a la figura 20, un diagrama de bloques del mismo.
Se suministra una señal de entrada codificada con compensación de movimiento Sic al decodificador de longitud variable (VLD) 902 para decodificación de longitud variable.
La señal decodificada por el decodificador de longitud variable (VLD) 902 se introduce en el descuantificador (IQ) 903 para descuantificación, y el IDCT se obtiene después de la señal descuantificada por el inversor de conversión ortogonal (IDCT) 904.
La salida IDCT del inversor de conversión ortogonal (IDCT) 904 es añadida después por el sumador 905 a los valores de pixel generado por el compensador de movimiento (MC) 906, y la señal de suma resultante se almacena como la imagen decodificada en la memoria de trama (FM) 907. La señal de significado de la imagen decodificada enviada por el sumador 905 también contiene valores de señal de significado visualmente no significativos, y por lo tanto es procesada por el procesador de umbral (Th) 1101 para convertir los valores iguales o inferiores al valor umbral Sth a valores no significativos.
Por lo tanto, es posible decodificar correctamente la señal de entrada Sic y obtener la señal de imagen salida Sv. Además, a diferencia de los procesos de valor umbral representados en la figura 18 y la figura 19, es posible controlar las señales de significado que tienen un efecto visual ligero variando el valor del valor umbral Sth independientemente del codificador. Por lo tanto, es posible controlar la calidad de la imagen visualizada.
\newpage
Como se ha descrito anteriormente, la precisión del proceso de conversión de imagen se puede mejorar por medio del aparato de conversión de imagen de la invención porque es posible separar pixels significativos de pixels no significativos que no tienen valor de pixel.
Además, utilizando el aparato de codificación de imagen y el aparato decodificador de imagen de la invención, el valor de pixels que no tienen efecto considerable en la calidad de imagen de la imagen reproducida se puede convertir a un valor, por lo que se mejora la eficiencia de codificación, y la imagen se puede codificar más eficientemente. Mejorando así la eficiencia de codificación, la utilidad práctica de la invención es grande.
Aunque la presente invención se ha descrito plenamente en conexión con sus realizaciones preferidas con referencia a los dibujos anexos, se ha de notar que varios cambios y modificaciones son evidentes a los expertos en la materia. Tales cambios y modificaciones se han de entender incluidos dentro del alcance de la presente invención definida por las reivindicaciones anexas a no ser que se aparten de ella.

Claims (6)

1. Un aparato de conversión de señal de imagen para convertir una primera señal de significado incluyendo primeros elementos de significado que expresan los valores de significado de los pixels de una imagen, teniendo la imagen una señal de luminancia, una señal de diferencia de color y los primeros elementos de significado, teniendo los primeros elementos de significado la misma resolución que la señal de luminancia correspondiente a los pixels de la imagen, a una segunda señal de significado incluyendo segundos elementos de significado con la segunda resolución de la señal de diferencia de color de la imagen, siendo diferente la segunda resolución de la resolución de los primeros elementos de significado, incluyendo el aparato de conversión:
un selector de características de conversión de resolución para seleccionar una característica de conversión de resolución en base a los primeros elementos de significado correspondientes a un pixel procesado y los pixels próximos al pixel procesado;
un convertidor de resolución para obtener los segundos elementos de significado con dicha segunda resolución convirtiendo dichos primeros elementos de significado usando la característica de conversión de resolución seleccionada por dicho selector de características de conversión de resolución;
donde dichos primeros elementos de significado indican si los pixels correspondientes están dentro o fuera de una forma arbitraria de objeto y solamente los primeros elementos de significado que indican que los pixels correspondientes están dentro de dicha forma arbitraria de objeto se emplean al realizar la conversión de resolución.
2. Un método de conversión de señal de imagen para convertir una primera señal de significado incluyendo primeros elementos de significado que expresan los valores de significado de los pixels de una imagen, teniendo la imagen una señal de luminancia, una señal de diferencia de color y los primeros elementos de significado, teniendo los primeros elementos de significado la misma resolución que la señal de luminancia correspondiente a los pixels de la imagen, a una segunda señal de significado incluyendo segundos elementos de significado con la segunda resolución de la señal de diferencia de color de la imagen, siendo diferente la segunda resolución de la resolución de los primeros elementos de significado, incluyendo el método de conversión:
seleccionar una característica de conversión de resolución en base a los primeros elementos de significado correspondientes a un pixel procesado y los pixels próximos al pixel procesado;
obtener los segundos elementos de significado con dicha segunda resolución convirtiendo dichos primeros elementos de significado usando la característica de conversión de resolución seleccionada por dicho paso de selección de característica de conversión de resolución;
donde dichos primeros elementos de significado indican si los pixels correspondientes están dentro o fuera de una forma arbitraria de objeto y solamente los primeros elementos de significado que indican que los pixels correspondientes están dentro de dicha forma arbitraria de objeto se emplean al realizar la conversión de resolución.
3. Un aparato de conversión de señal de imagen según la reivindicación 1, donde dicho convertidor de resolución se caracteriza por submuestrear los primeros elementos de significado.
4. Un aparato de conversión de señal de imagen según la reivindicación 1, donde dicho convertidor de resolución se caracteriza por interpolar los primeros elementos de significado.
5. Un método de conversión de señal de imagen según la reivindicación 2, donde la conversión de resolución se caracteriza por submuestrear los primeros elementos de significado.
6. Un método de conversión de señal de imagen según la reivindicación 2, donde la conversión de resolución se caracteriza por interpolar los primeros elementos de significado.
ES01113049T 1996-03-15 1997-03-14 Procedimiento y dispositivo de codificado y descodificado de imagenes. Expired - Lifetime ES2202245T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP5902496 1996-03-15
JP5902496 1996-03-15

Publications (1)

Publication Number Publication Date
ES2202245T3 true ES2202245T3 (es) 2004-04-01

Family

ID=13101314

Family Applications (2)

Application Number Title Priority Date Filing Date
ES01113049T Expired - Lifetime ES2202245T3 (es) 1996-03-15 1997-03-14 Procedimiento y dispositivo de codificado y descodificado de imagenes.
ES97104332T Expired - Lifetime ES2189899T3 (es) 1996-03-15 1997-03-14 Procedimiento y aparato para el codificado y descodificado de imagenes.

Family Applications After (1)

Application Number Title Priority Date Filing Date
ES97104332T Expired - Lifetime ES2189899T3 (es) 1996-03-15 1997-03-14 Procedimiento y aparato para el codificado y descodificado de imagenes.

Country Status (4)

Country Link
US (3) US6067320A (es)
EP (2) EP1134983B1 (es)
DE (2) DE69718090T2 (es)
ES (2) ES2202245T3 (es)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP1134983B1 (en) * 1996-03-15 2003-07-02 Matsushita Electric Industrial Co., Ltd. Method and apparatus for encoding and decoding images
JP3384299B2 (ja) * 1997-10-15 2003-03-10 富士ゼロックス株式会社 画像処理装置および画像処理方法
US6792149B1 (en) * 1998-05-07 2004-09-14 Sarnoff Corporation Method and apparatus for resizing an image frame including field-mode encoding
JP4378824B2 (ja) * 2000-02-22 2009-12-09 ソニー株式会社 画像処理装置及び方法
KR100594073B1 (ko) * 2002-09-17 2006-07-03 삼성전자주식회사 내장형 시스템의 디지털 영상 스케일링방법
US7129987B1 (en) 2003-07-02 2006-10-31 Raymond John Westwater Method for converting the resolution and frame rate of video data using Discrete Cosine Transforms
JP4491777B2 (ja) * 2004-06-04 2010-06-30 富士ゼロックス株式会社 画像表示装置、画像表示方法及びそのプログラム
US8194988B2 (en) * 2007-08-20 2012-06-05 Augusta Technology, Inc. Methods for calculating video inverse transform
US8594465B2 (en) * 2007-11-14 2013-11-26 Microsoft Corporation Adaptive filtering for image transform processes
JP5173867B2 (ja) * 2008-05-13 2013-04-03 キヤノン株式会社 画像符号化装置及び画像復号装置、並びにそれらの制御方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4654484A (en) * 1983-07-21 1987-03-31 Interand Corporation Video compression/expansion system
US4672444A (en) * 1985-11-14 1987-06-09 Rca Corporation Method for transmitting a high-resolution image over a narrow-band communication channel
US4870497A (en) * 1988-01-22 1989-09-26 American Telephone And Telegraph Company Progressive transmission of high resolution two-tone facsimile images
US4816901A (en) * 1988-04-27 1989-03-28 Universal Video Communications Corp. Method and system for compressing color video data
US4914508A (en) * 1988-04-27 1990-04-03 Universal Video Communications Corp. Method and system for compressing and statistically encoding color video data
US5126843A (en) * 1989-03-10 1992-06-30 Sony Corporation Interpolation signal producing circuit with improved amplitude interpolation
US5426513A (en) * 1989-06-16 1995-06-20 Harris Corporation Prioritized image transmission system and method
DE69013070T2 (de) * 1989-06-19 1995-05-04 Ibm Bildaufnahmesystem und Verfahren.
JP2832052B2 (ja) * 1989-12-28 1998-12-02 キヤノン株式会社 画像処理装置
KR100188439B1 (ko) * 1990-11-28 1999-06-01 윤종용 문서화상데이터의 해상도 및 계조변환장치
US5414527A (en) * 1991-08-14 1995-05-09 Fuji Xerox Co., Ltd. Image encoding apparatus sensitive to tone variations
US5321776A (en) * 1992-02-26 1994-06-14 General Electric Company Data compression system including successive approximation quantizer
JPH05268462A (ja) * 1992-03-19 1993-10-15 Mitsubishi Electric Corp 画像処理装置
US5363213A (en) * 1992-06-08 1994-11-08 Xerox Corporation Unquantized resolution conversion of bitmap images using error diffusion
US5387938A (en) * 1992-10-08 1995-02-07 Matsushita Electric Industrial Co., Ltd. Adaptive interframe/intraframe block coding method and apparatus
US5930394A (en) * 1993-08-30 1999-07-27 Sony Corporation Picture coding apparatus and method thereof
JP3176195B2 (ja) * 1993-10-28 2001-06-11 キヤノン株式会社 画像処理装置
US5696845A (en) * 1993-12-17 1997-12-09 Xerox Corporation Method for design and implementation of an image resolution enhancement system that employs statistically generated look-up tables
US5712799A (en) * 1995-04-04 1998-01-27 Chromatic Research, Inc. Method and structure for performing motion estimation using reduced precision pixel intensity values
US5644406A (en) * 1995-05-11 1997-07-01 Xerox Corporation Method for selecting an optimum encoding process for a block of pixels from a plurality of predefined encoding processes
US5802203A (en) * 1995-06-07 1998-09-01 Xerox Corporation Image segmentation using robust mixture models
EP1134983B1 (en) * 1996-03-15 2003-07-02 Matsushita Electric Industrial Co., Ltd. Method and apparatus for encoding and decoding images
TW366648B (en) * 1996-10-24 1999-08-11 Matsushita Electric Industrial Co Ltd Method of supplementing pixel signal coding device, and pixel signal decoding device
JP4034380B2 (ja) * 1996-10-31 2008-01-16 株式会社東芝 画像符号化/復号化方法及び装置
US5973740A (en) * 1997-10-27 1999-10-26 International Business Machines Corporation Multi-format reduced memory video decoder with adjustable polyphase expansion filter

Also Published As

Publication number Publication date
EP0796003A2 (en) 1997-09-17
US6292513B1 (en) 2001-09-18
DE69723325T2 (de) 2004-06-03
DE69723325D1 (de) 2003-08-07
DE69718090D1 (de) 2003-02-06
DE69718090T2 (de) 2003-11-06
EP0796003A3 (en) 2001-01-03
EP1134983A1 (en) 2001-09-19
US6347151B2 (en) 2002-02-12
US20020009225A1 (en) 2002-01-24
ES2189899T3 (es) 2003-07-16
US6067320A (en) 2000-05-23
EP0796003B1 (en) 2003-01-02
EP1134983B1 (en) 2003-07-02

Similar Documents

Publication Publication Date Title
JP5170800B2 (ja) 画像処理装置、デコード方法、フレーム内復号装置、フレーム内復号方法、及びフレーム内符号化装置
US6987887B2 (en) Video coding and video decoding apparatus
US6292585B1 (en) Video coding and video decoding apparatus
ES2773751T3 (es) Transformación solapada condicional
ES2202245T3 (es) Procedimiento y dispositivo de codificado y descodificado de imagenes.
KR20230125733A (ko) 트랜스포머 기반 인루프 필터를 이용하는 비디오 코딩방법 및 장치
JP3191753B2 (ja) 画像符号化装置、画像復号化装置および画像符号化方法、画像復号化方法
US6754268B1 (en) Video coding and video decoding apparatus
JP3214819B2 (ja) 画像変換方法および画像符号化方法
Chung et al. Fast 2D discrete cosine transform on compressed image in restricted quadtree and shading format
JP2894140B2 (ja) 画像符号化方法
Cosman et al. Combined vector quantization and adaptive histogram equalization
JP2001359095A (ja) 画像変換装置とその方法
JPS62248379A (ja) 画像符号化方式
JPH06311503A (ja) 動画符号化方法