ES2831999T3 - Procedimiento de procesamiento de imágenes y dispositivo de procesamiento de imágenes - Google Patents

Procedimiento de procesamiento de imágenes y dispositivo de procesamiento de imágenes Download PDF

Info

Publication number
ES2831999T3
ES2831999T3 ES12852002T ES12852002T ES2831999T3 ES 2831999 T3 ES2831999 T3 ES 2831999T3 ES 12852002 T ES12852002 T ES 12852002T ES 12852002 T ES12852002 T ES 12852002T ES 2831999 T3 ES2831999 T3 ES 2831999T3
Authority
ES
Spain
Prior art keywords
parameter
block
unit
unblocking
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
ES12852002T
Other languages
English (en)
Inventor
Matthias Narroschke
Thomas Wedi
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sun Patent Trust Inc
Original Assignee
Sun Patent Trust Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sun Patent Trust Inc filed Critical Sun Patent Trust Inc
Application granted granted Critical
Publication of ES2831999T3 publication Critical patent/ES2831999T3/es
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

Un procedimiento de procesamiento de imagen de realización de filtración en el límite de dos bloques de imagen adyacentes (BP,BQ) usando una pluralidad de filtros de desbloqueo que tienen diferentes intensidades de filtro, comprendiendo el procedimiento de procesamiento de imagen: derivar un parámetro de cuantificación (QP) basándose en los parámetros de cuantificación (QPA) y (QPB) usados para el primer bloque (BP) y el segundo bloque (BQ); una primera etapa de cálculo de parámetro (S100; S300) de cálculo de un primer parámetro (BS) que indica una intensidad de límite entre los dos bloques de imagen adyacentes (BP,BQ); una segunda etapa de cálculo de parámetro (S120) de cálculo de un segundo parámetro (Tc) y un tercer parámetro (β) que representan valores umbral para la selección de filtros de desbloqueo, determinándose el tercer parámetro (β) por el parámetro de cuantificación (QP); y una etapa de selección (S130; S330) de selección de un filtro de desbloqueo que va a usarse en la filtración de entre los filtros de desbloqueo, usando los valores umbral representados por el segundo parámetro (Tc) y el tercer parámetro (β); caracterizado porque se determina el segundo parámetro (Tc) con referencia a una tabla (Tctable) usando, como un índice para búsqueda en la tabla (Tctable), una suma lineal del parámetro de cuantificación (QP) y el primer parámetro (BS); en el que el índice muestra aumento monotónico estricto con el aumento del primer parámetro (BS).

Description

DESCRIPCIÓN
Procedimiento de procesamiento de imágenes y dispositivo de procesamiento de imágenes
La presente invención se refiere a un procedimiento de procesamiento de imágenes y un aparato de procesamiento de imágenes para filtrar imágenes usando filtros de desbloqueo.
Para procedimientos de codificación de vídeo, se han normalizado varias normas. En la actualidad, la mayoría de los procedimientos de codificación de vídeo normalizados se realizan usando procedimientos de codificación de vídeo híbridos. En la codificación de vídeo híbrida, se combinan en general la compresión reversible y la compresión irreversible para obtener una ganancia de compresión deseable. La codificación de vídeo híbrida es la base para normas ITU-T (normas H.26x tales como H.261 y H.263) así como normas ISO/IEC (normas MPEG-X tales como MPEG-1, MPEG-2, y MPET-4).
Un aparato de codificación de vídeo ejecuta codificación de vídeo híbrida recibe, como entrada, una señal de vídeo que representa una secuencia de imágenes que incluye una secuencia de fotogramas. En la codificación de vídeo híbrida, cada una de las imágenes de entrada (fotogramas) se divide en una pluralidad de bloques, y la imagen se codifica en una base por bloque dividido. Entre los bloques divididos, el bloque que tiene el tamaño más grande se denomina como una unidad de codificación más grande (LCU). Por ejemplo en HEVC, el tamaño de la unidad de codificación más grande LCU es 64x64 píxeles. Además, en H.264/MPEG-4 AVC, la LCU se divide adicionalmente en unidades de codificación (CU) teniendo cada una 16x16 píxeles o así, y la imagen se codifica en una base por CU. Además, la unidad de codificación CU puede dividirse adicionalmente en unidades de predicción (PU) o unidades de transformada (TU) teniendo cada una un tamaño menor. Se ha de observar que los tamaños de tales bloques pueden variar dependiendo de las clases del contenido de las imágenes. Además, los esquemas de codificación pueden variar dependiendo de los bloques.
Puesto que se ejecuta la codificación en una base por bloque como se ha descrito anteriormente, cuando se decodifica una secuencia de bits codificados, una imagen decodificada a partir de la misma puede tener un límite de bloque perceptible (un ruido de bloque). Un ruido de bloque significativamente perceptible aparece cuando se realiza cuantificación aproximada en un procedimiento de cuantificación. Un ruido de bloque de este tipo afecta de manera adversa el reconocimiento visual humano. En resumen, un ruido de bloque reduce la calidad de la imagen.
Un procedimiento de ejemplo para reducir ruidos de bloque es un procedimiento para filtrar usando un filtro de desbloqueo en la norma de codificación de vídeo H.264/MPEG-4 AVC o HM (HM es un modelo de prueba de HEVC en el informe de tendencia sobre la normalización de codificación de vídeo, véase la referencia no de patente 3). Un filtro de desbloqueo se usa para que se haga referencia a una imagen reconstruida en un procedimiento de predicción.
Se desvelan diversos procedimientos para seleccionar filtros en las referencias no de patente 1 y 4 a 6.
[Referencias de patente]
[PTL 1]
Publicación de Solicitud de Patente de Estados Unidos N.° 2008/0025632, memoria descriptiva
[Referencias no de patente]
[NPL 1]
Jc T-v C, "WD3: Working Draft 3 of High-Efficiency Video Coding", JCTVC-E603, marzo de 2011, sección 8.6.1 [NPL 2]
JCT-v C, "Common test conditions and software reference configurations", JCTVC-F900, julio de 2011
[NPL 3]
JCT-VC, "WD4:Working Draft 4 of High-Efficiency Video Coding", JCTVC-F803_d2, julio de 2011
[NPL 4]
JCT-VC, "CE12: SK Telecom/SKKU Deblocking Filter", JCTVC-F258, julio de 2011
[NPL 5]
JCT-v C, "Non-CE12 Subtest 5: Transform Dependent Deblocking Filter Parameter Adjustment in Slice Level", JCTVC-G291, noviembre de 2011
[NPL 6]
List P y col.: "Adaptive Deblocking Filter", IEEE Transactions on Circuits and Systems for Video Technology, IEEE Service Center, Piscataway, NJ, Estados Unidos, vol 13, n.° 7, 1 de julio de 2003, páginas 614-619
En la técnica convencional anteriormente mencionada, se reducen los ruidos de bloque en los procedimientos de filtración que usan filtros de desbloqueo.
Se proporciona la presente invención con un objetivo de proporcionar un procedimiento de procesamiento de imagen y un aparato de procesamiento de imagen para realizar, usando filtros de desbloqueo, procedimientos de filtración adaptados de manera más adecuada para reducir tales ruidos de bloque.
Esto se consigue mediante las características de las reivindicaciones independientes.
Estos aspectos generales y específicos pueden implementarse usando un sistema, un procedimiento, un circuito integrado, un programa informático, o un medio de grabación legible por ordenador tal como un CD-ROM, o cualquier combinación de sistemas, procedimientos, circuitos integrados, programas informáticos, o medio de grabación legible por ordenador.
De acuerdo con la presente invención, es posible realizar un procedimiento de procesamiento de imagen usando filtros de desbloqueo y un aparato de procesamiento de imagen que incluye filtros de desbloqueo adaptados de manera más adecuada a tales ruidos de bloque.
[Figura 1]
La Figura 1 es un diagrama de bloques que muestra una estructura de ejemplo de un aparato de codificación de instantáneas en movimiento de acuerdo con la realización 1.
[Figura 2A]
La Figura 2A es un diagrama que muestra dos unidades de bloque de codificación CU de ejemplo adyacentes entre sí en una dirección horizontal. [Figura 2B]
La Figura 2B es un diagrama que muestra dos unidades de bloque de codificación CU de ejemplo adyacentes entre sí en una dirección vertical. [Figura 3A]
La Figura 3A es un diagrama que muestra valores de píxel de ejemplo de píxeles en las dos unidades de bloque de codificación CU adyacentes entre sí en la dirección horizontal.
[Figura 3B]
La Figura 3B es un diagrama que muestra específicamente un bloque adyacente A y un bloque objetivo B mostrados en la Figura 2A.
[Figura 4A]
La Figura 4a es un diagrama que muestra un procedimiento de procesamiento de etapas de filtración en un ejemplo de comparación.
[Figura 4B]
La Figura 4b es un diagrama que muestra dos bloques adyacentes entre sí en una dirección horizontal.
[Figura 4C]
La Figura 4c es un diagrama que muestra dos bloques adyacentes entre sí en una dirección vertical.
[Figura 5]
La Figura 5 es un diagrama que muestra procedimientos de procesamiento de las etapas de cálculo de intensidades de límite BS en el ejemplo de comparación.
[Figura 6]
La Figura 6 es un diagrama de bloques que muestra una estructura de ejemplo de una unidad de filtración de desbloqueo en el aparato de codificación de instantáneas en movimiento de acuerdo con las realizaciones. [Figura 7A]
La Figura 7A es un diagrama que muestra procedimientos de procesamiento de las etapas de filtración en las realizaciones.
[Figura 7B]
La Figura 7b es un diagrama que muestra dos bloques adyacentes entre sí en una dirección horizontal.
[Figura 7C]
La Figura 7c es un diagrama que muestra dos bloques adyacentes entre sí en una dirección vertical.
[Figura 8]
La Figura 8 es un diagrama de flujo que muestra procedimientos de procesamiento de cálculo de intensidades de límite BS y valores de compensación de ajuste tc_offset de valores umbral tc en las realizaciones.
[Figura 9A]
La Figura 9a es un diagrama que muestra píxeles de ejemplo que van a usarse en filtración intensa.
[Figura 9B]
La Figura 9b es un diagrama que muestra píxeles de ejemplo que van a filtrarse usando filtración intensa.
[Figura 10A]
La Figura 10a es un diagrama que muestra píxeles de ejemplo que van a usarse en filtración débil.
[Figura 10B]
La Figura 10b es un diagrama que muestra píxeles de ejemplo que van a filtrarse usando filtración débil.
[Figura 11]
La Figura 11 es un diagrama de flujo que muestra procedimientos de procesamiento de cálculo de intensidades de límite BS y ajuste de valores de compensación tc_offset de valores umbral tc .
[Figura 12A]
La Figura 12a es un diagrama que muestra eficacias de codificación en el ejemplo de comparación y eficacias de codificación en las realizaciones.
[Figura 12B]
La Figura 12b es un diagrama que muestra eficacias de codificación en el ejemplo de comparación y eficacias de codificación en las realizaciones.
[Figura 13]
La Figura 13 es un diagrama de flujo que muestra procedimientos de procesamiento de las etapas de cálculo de intensidades de límite BS en la variación 1.
[Figura 14]
La Figura 14 es un diagrama que muestra eficacias de codificación en el ejemplo de comparación y eficacias de codificación en las realizaciones.
[Figura 15]
La Figura 15 es un diagrama que muestra un valor umbral establecido de ejemplo tc en la variación 1.
[Figura 16]
La Figura 16 es un diagrama que muestra un valor umbral establecido de ejemplo tc en la variación 2.
[Figura 17]
La Figura 17 es un diagrama que muestra un valor umbral establecido de ejemplo tc en la variación 3.
[Figura 18A]
La Figura 18A es un diagrama que muestra un procedimiento de procesamiento de etapas de filtración en la variación 4.
[Figura 18B]
La Figura 18b es un diagrama que muestra un valor umbral tc establecido a modo ejemplo en la variación 4. [Figura 19]
La Figura 19 es un diagrama de bloques que muestra una estructura de ejemplo de un aparato de decodificación de instantáneas en movimiento de acuerdo con la realización 2.
[Figura 20]
La Figura 20 es un diagrama de bloques que muestra una estructura de ejemplo de un aparato de codificación de instantáneas en movimiento de acuerdo con la realización 2.
[Figura 21]
La Figura 21 muestra una configuración global de un sistema de provisión de contenido para implementar servicios de distribución de contenido. [Figura 22]
La Figura 22 muestra una configuración global de un sistema de difusión digital.
[Figura 23]
La Figura 23 muestra un diagrama de bloques que ilustra un ejemplo de una configuración de una televisión. [Figura 24]
La Figura 24 muestra un diagrama de bloques que ilustra un ejemplo de una configuración de una unidad de reproducción/grabación de información que lee y escribe información desde y en un medio de grabación que es un disco óptico.
[Figura 25]
La Figura 25 muestra un ejemplo de una configuración de un medio de grabación que es un disco óptico.
[Figura 26A]
La Figura 26a muestra un ejemplo de un teléfono celular.
[Figura 26B]
La Figura 26b es un diagrama de bloques que muestra un ejemplo de una configuración de un teléfono celular.
[Figura 27]
La Figura 27 ilustra una estructura de datos multiplexados.
[Figura 28]
La Figura 28 muestra esquemáticamente cómo se multiplexa cada flujo en datos multiplexados.
[Figura 29]
La Figura 29 muestra cómo se almacena un flujo de vídeo en un flujo de paquetes de PES en más detalle. [Figura 30]
La Figura 30 muestra una estructura de paquetes de TS y paquetes de fuente en los datos multiplexados.
[Figura 31]
La Figura 31 muestra una estructura de datos de una PMT.
[Figura 32]
La Figura 32 muestra una estructura interna de información de datos multiplexados.
[Figura 33]
La Figura 33 muestra una estructura interna de información de atributo de flujo.
[Figura 34]
La Figura 34 muestra etapas para identificar datos de vídeo.
[Figura 35]
La Figura 35 muestra un ejemplo de una configuración de un circuito integrado para implementar el procedimiento de codificación de instantáneas en movimiento y el procedimiento de decodificación de instantáneas en movimiento de acuerdo con cada una de las realizaciones.
[Figura 36]
La Figura 36 muestra una configuración para conmutar entre frecuencias de accionamiento.
[Figura 37]
La Figura 37 muestra etapas para identificar datos de vídeo y conmutación entre frecuencias de accionamiento.
[Figura 38]
La figura 38 está asociada con frecuencias de accionamiento.
[Figura 39A]
La Figura 39A es un diagrama que muestra un ejemplo de una configuración para compartir un módulo de una unidad de procesamiento de señal.
[Figura 39B]
La Figura 39B es un diagrama que muestra otro ejemplo de una configuración para compartir un módulo de la unidad de procesamiento de señal.
(Conocimiento subyacente que forma la base de la presente invención / detalles de problemas en la presente invención)
En general, en codificación de vídeo híbrida, un aparato de codificación de instantáneas en movimiento ejecuta un procedimiento de predicción para generar unos datos de imagen de predicción, y ejecuta al menos uno de un procedimiento de transformada y un procedimiento de cuantificación en unos datos de imagen residuales que son una diferencia entre unos datos de imagen de entrada y los datos de imagen de predicción. En el procedimiento de predicción, se usa en general predicción espacial o predicción temporal. En la predicción espacial, se usa un bloque espacialmente cerca entre bloques ya codificados para la predicción. En la predicción temporal, se usa un bloque temporalmente cerca entre bloques ya codificados para la predicción. En el procedimiento de transformada, los datos residuales de predicción (predicción bloque residual) se transforman de un dominio espacial (píxel) a un dominio de frecuencia, que da como resultado coeficientes de transformada. Esta transformada se realiza con un objetivo de reducir la correlación entre bloques de entrada. En el procedimiento de cuantificación, los coeficientes de transformada se cuantifican para generar coeficientes cuantificados. Esta cuantificación se realiza usando compresión irreversible. En general, el aparato de codificación de instantáneas en movimiento realiza codificación de entropía en los coeficientes cuantificados para comprimir adicionalmente (comprimir de manera reversible) los coeficientes cuantificados comprimidos, para generar una señal de vídeo codificado. Adicionalmente, el aparato de codificación de instantáneas en movimiento codifica información de control de decodificación necesaria para decodificar una secuencia de bits codificados. La información de control de decodificación es, por ejemplo, información relacionada con predicción espacial y/o predicción temporal, la cantidad de cuantificación, y así sucesivamente. El aparato de codificación de instantáneas en movimiento genera la secuencia de bits codificados que incluye la señal de vídeo codificado y la información de control de decodificación.
[Estructura del aparato de codificación de instantáneas en movimiento en el ejemplo de comparación]
La Figura 1 es un diagrama de bloques que muestra una estructura de ejemplo de un aparato de codificación de instantáneas en movimiento que soporta el H.264/MPEG AVC o HEVC.
Como se muestra en la Figura 1, el aparato 100 de codificación de instantáneas en movimiento incluye un restador 105, una unidad 110 de transformación, una unidad 120 de cuantificación, una unidad 130 de cuantificación inversa / transformación inversa, un sumador 140, una unidad 150 de filtración de desbloqueo, una unidad 155 de compensación adaptativa de muestra, una unidad 165 de filtración de bucle adaptativo, una memoria 170 de fotograma, una unidad 180 de predicción, y un codificador 190 de entropía.
En la Figura 1, el restador 105 genera, para cada bloque, datos de error de predicción (una señal de error de predicción e0) restando datos de imagen de predicción (una señal de imagen de predicción s5) que corresponden a un bloque actual que va a codificarse desde datos de imagen de entrada de un bloque actual que va a codificarse incluido en una señal de entrada s0.
La unidad 110 de transformación transforma los datos de error de predicción generados (señal de error de predicción e0) de un dominio de imagen a un dominio de frecuencia.
La unidad 120 de cuantificación realiza un procedimiento de cuantificación en los datos de error de predicción (señal de error de predicción e1) transformados al dominio de la frecuencia, para calcular coeficientes cuantificados. En este punto, la unidad 120 de cuantificación transforma los datos de error de predicción usando una transformada de coseno discreta (DCT) bidimensional. Los coeficientes cuantificados calculados usando la DCT tienden a ser componentes de baja frecuencia. Se ha de observar que la unidad 120 de cuantificación puede transformar los datos de error de predicción usando transformada de números enteros o similar.
La unidad 130 de cuantificación inversa / transformación inversa realiza cuantificación inversa en los datos de error de predicción (señal de error de predicción e2) cuantificados por la unidad 120 de cuantificación, y realiza adicionalmente transformada inversa para transformar desde el dominio de la frecuencia al dominio de la imagen. Se ha de observar que la señal de error de predicción e3 es diferente de la señal de error de predicción original e0 debido a la influencia de un error de cuantificación también denominado como un ruido de cuantificación que tiene lugar en el procedimiento de cuantificación.
El sumador 140 genera unos datos de imagen reconstruida (señal de imagen reconstruida s1) añadiendo los datos de imagen de predicción (señal de imagen de predicción s5) y los datos de error de predicción (señal de error de predicción e3) ya sometidos a la cuantificación inversa y transformada inversa por la unidad 130 de cuantificación inversa / transformación inversa.
La unidad 150 de filtración de desbloqueo realiza filtración en los datos de imagen reconstruidos (señal de imagen reconstruida s1). En este punto, la unidad 150 de filtración de desbloqueo ejecuta la filtración en los bordes de CU, bordes de PU y bordes de TU. Cada uno de los bordes de CU significa un borde que aparece debido a ruidos de bloque, etc., en el procedimiento de cuantificación en el límite entre dos unidades de codificación CU adyacentes. Análogamente, los bordes que cada uno de los cuales está en el límite entre dos unidades de predicción (PU) se denominan como bordes de PU, y los bordes que cada uno de los cuales está en el límite entre dos unidades de transformada se denominan como bordes de TU.
La unidad 150 de filtración de desbloqueo incluye una pluralidad de filtros de desbloqueo que tienen diferentes intensidades y una unidad de control de filtro que controla la pluralidad de filtros de desbloqueo (ambas de las cuales no se muestran en la Figura 1). En este punto, se proporciona una descripción de un caso donde la unidad 150 de filtración de desbloqueo incluye dos clases de filtros de desbloqueo uno de los cuales es para bandas estrechas y el otro de los cuales es para bandas anchas. Por ejemplo, en el H.264/MPEG-4 AVC, en el caso de un ruido de bloque grande, se usa un filtro de paso bajo intenso (banda estrecha) como un filtro de desbloqueo. En el otro caso de un ruido de bloque pequeño, se usa un filtro de paso bajo débil (banda ancha) como un filtro de desbloqueo. La intensidad del filtro paso bajo se determina mediante una señal de predicción s' y una señal de error de predicción cuantificado e'. El filtro de desbloqueo generalmente suaviza bordes de bloque, y por lo tanto la imagen decodificada tiene una calidad de imagen subjetiva aumentada. Adicionalmente, los datos de imagen reconstruidos filtrados (señal de imagen reconstruida s2) se usan en predicción de movimiento compensado que se realiza mediante la unidad 180 de predicción para generar unos datos de imagen de predicción. Por lo tanto, los datos de imagen de predicción tienen un error de predicción reducido. Por lo tanto, se consigue una eficacia de codificación aumentada.
Los procedimientos de filtración se describen en detalle más adelante.
La unidad 155 de compensación adaptativa de muestra realiza, en una base por unidad de píxel, un procedimiento de asignación de un valor de compensación para la aproximación a los valores de píxel originales en los datos de imagen reconstruidos (señal de imagen reconstruida s2) filtrados por la unidad 150 de filtración de desbloqueo.
La unidad 165 de filtración de bucle adaptativo incluye un filtro de bucle adaptativo, y realiza un procedimiento de distorsión de imagen de compensación debido a la compresión en los datos de imagen reconstruidos (señal de imagen reconstruida s3) emitidos desde la unidad 155 de compensación adaptativa de muestra. Como tal, se usa generalmente un filtro de bucle adaptativo, un filtro Wiener, que tiene coeficientes de filtro determinados para minimizar el error cuadrático medio entre la señal de imagen reconstruida s1 y la señal de imagen de entrada S0.
Mediante el uso de la unidad 155 de compensación adaptativa de muestra y la unidad 165 de filtración de bucle adaptativo, es posible aumentar la adaptabilidad a la imagen original en una unidad por píxel, y aumentar de esta manera la calidad de imagen.
La memoria 170 de fotograma almacena, en una base por tramas, los datos de imagen reconstruidos (señal de imagen reconstruida s4) ya sometidos a la aplicación del filtro de bucle adaptativo.
La unidad 180 de predicción incluye una unidad de intra predicción que realiza predicción espacial (intra predicción) para generar una imagen de predicción, y una unidad de inter predicción que realiza predicción temporal (inter predicción) para generar una imagen de predicción (la unidad de intra predicción y la unidad de inter predicción no se muestran en los dibujos). La unidad 180 de predicción puede seleccionar el tipo de predicción en una base por tramas o una base por bloque. La unidad de intra predicción realiza intra predicción usando la imagen reconstruida en una base por bloque almacenada en la memoria 170 de fotograma para generar unos datos de imagen de intra predicción de un bloque actual que va a codificase. La unidad de inter predicción realiza inter predicción usando los datos de imagen reconstruidos en una base por tramas almacenados en la memoria 170 de fotograma y un vector de movimiento derivado mediante estimación de movimiento etc., para generar unos datos de imagen de un bloque actual de inter predicción que va a codificarse. Se ha de observar que cada uno de los vectores de movimiento puede determinarse que tiene una resolución de subpíxel espacial de 1/2 píxel, 1/4 píxel, o similares.
El codificador 190 de entropía realiza codificación de longitud variable en los datos de error de predicción (señal de error de predicción e2) para generar una secuencia de bits codificados. La codificación de longitud variable se realiza usando, por ejemplo, códigos de longitud de serie. Esta codificación de longitud variable reduce adicionalmente la cantidad de datos.
[Procedimiento de filtración de desbloqueo en ejemplo de comparación]
En lo sucesivo, se describen en detalle procedimientos de filtración usando filtros de desbloqueo con referencia a las Figuras 2A a 5.
Se ha de observar que cada uno de los procedimientos de filtración que usan los filtros de desbloqueo puede incluir una etapa de ajuste de un filtro y una etapa de filtración de un bloque objetivo de codificación CU de acuerdo con el ajuste de en la etapa de control. La etapa de control incluye (i) una etapa de determinación de si la filtración es ejecutable o no y (ii) una etapa de selección de un filtro de desbloqueo que va a usarse. La etapa de selección (ii) incluye el cálculo de cada uno de los parámetros que define una operación del filtro de desbloqueo, por ejemplo, cálculo, etc., de tc que indica un rango límite en el procedimiento de filtración.
[(1) Determinar la capacidad de ejecución de la filtración]
Es deseable que se aplique una filtración que use un filtro de desbloqueo a un borde de límite de bloque que aparece debido a un ruido de bloque pero que no se aplique a un borde de imagen de entrada que aparece sin verse afectado por ruido de bloque alguno. Esto es debido a que, por ejemplo, si se filtra un borde de imagen de entrada que no se ve afectado por ningún ruido de bloque usando un filtro de desbloqueo, la imagen puede suavizarse innecesariamente o puede sufrir de distorsión de imagen. Por otra parte, si no se filtra un borde de límite de bloque que se ve afectado por un ruido de bloque usando un filtro de desbloqueo, el ruido de bloque puede permanecer.
Por esta razón, en la filtración usando un filtro de desbloqueo, es importante diferenciar de manera precisa un borde de límite de bloque afectado por un ruido de bloque producido en un procedimiento de cuantificación etc., y un borde de imagen de entrada no afectado por cualquier ruido de bloque.
En lo sucesivo, se describen las etapas de determinación de la capacidad de ejecución de filtración con referencia a las Figuras 2A a 3B.
Aunque hay varios esquemas para determinar la capacidad de ejecución de la filtración, cada uno de los esquemas descrito en este punto es para la determinación basándose en el valor de píxeles en ambos lados de un límite de bloque.
La Figura 2A es un diagrama que muestra píxeles que van a usarse en una etapa de determinación de la capacidad de ejecución de filtración en el límite entre dos unidades de bloque de codificación CU de ejemplo adyacentes entre sí en una dirección horizontal. La Figura 2B es un diagrama que muestra píxeles a usarse en una etapa de determinación de la capacidad de ejecución de filtración en el límite entre dos unidades de bloque de codificación CU de ejemplo adyacentes entre sí en una dirección vertical. Se ha de observar que, en la Figura 2A y Figura 2B, un bloque 340 es un bloque actual a procesarse, y los bloques 310, 320, y 330 son bloques procesados (codificados o decodificados). Además, en la Figura 2A, las líneas 360 de píxeles cada una compuesta de píxeles dispuestos en la dirección horizontal se establecen en una base por línea. Cada línea 360 de píxeles está compuesta de hasta seis píxeles en total, específicamente tres píxeles en cada uno de los lados con respecto a un límite. Análogamente, en la Figura 2B, las líneas de píxeles 370 cada una compuesta de píxeles dispuestos en la dirección vertical se establecen en una base por línea. Cada línea 370 de píxeles está compuesta de hasta seis píxeles en total, específicamente tres píxeles en cada uno de los lados con respecto a un límite. La etapa de determinación de capacidad de ejecución se ejecuta en una base por línea de píxeles.
La Figura 3A es un gráfico que muestra ejemplos de valores de píxel de píxeles incluidos en la línea 360 de píxeles mostrada en la Figura 2A. Además, la Figura 3B es un diagrama que muestra específicamente el ejemplo del bloque 330 adyacente mostrado en la Figura 2A (un bloque A en las Figuras 3A y 3B) y el bloque 340 objetivo de procesamiento (un bloque B en las Figuras 3A y 3B). Una línea 410 mostrada en la Figura 3A muestra el límite entre el bloque A y el bloque B. En la Figura 3B, un píxel prc es un píxel incluido en el bloque A. El píxel qrc es un píxel incluido en el bloque B. Se ha de observar que r indica un índice que especifica una línea de píxeles, y representa 0, 1, ... para el píxel más cerca de la línea 410, el píxel más cerca de la línea 410, ..., respectivamente. Además, c indica un índice para especificar una línea de píxeles, y representa 0, 1, ... para el píxel más superior, el siguiente píxel más superior, ..., respectivamente.
Por ejemplo, en el H.264/MPEG-4 AVC, la etapa de determinación de la capacidad de ejecución se realiza de acuerdo con el esquema indicado a continuación. El H.264/MPEG-4 AVC implica la evaluación de los valores absolutos de la primera derivada (función de primera derivada) en el bloque adyacente A y el bloque objetivo de procesamiento B (por ejemplo, véase la referencia de patente 1). En este punto, se proporciona una descripción de una determinación que se realiza usando la línea 360 de píxeles mostrada en la Figura 2A. Además, la determinación en este punto se realiza para cada una de las líneas de píxeles en una base por línea de píxeles. Para cada uno de los píxeles p0 y q0, se realiza una determinación que debe ejecutarse filtración cuando se satisfacen las condiciones mostradas por las expresiones 1 a 3 a continuación. [Cálculo 1]
\Po-Ro\< «H264 iQPNuevo) ■ ■ ■ (Expresión 1)
[Cálculo 2]
|Pi - Pol < £ « 264 ( Q P N u e v o ) ■ ■ ■ (Expresión 2)
[Cálculo 3]
k i -%\ < PmeÁQPNuevo) ■■■(Expresión?)
En este punto, se satisface en general, pH264 (QPNuevo) < aH264 (QPNuevo).
Además de las tres condiciones anteriores, se filtra un píxel p1 cuando se satisface una condición mostrada por la expresión 4.
[Cálculo 4]
\P2 Po \ < PH 2 bi (QPNuevo) ■■■(Expresión 4)
Además de las tres condiciones anteriores mostradas mediante las Expresiones 1 a 3, se filtra un píxel q1 cuando se satisface una condición mostrada mediante la Expresión 5 a continuación.
[Cálculo 5]
\R 2 - R o\ < PmbÁQPNuevo) ... (Expresión 5)
Las condiciones mostradas mediante las expresiones 1 a 5 corresponden a la evaluación de la primera derivada en un primer bloque y la evaluación de la primera derivada en un segundo bloque. En las expresiones 1 a 5, un QP es un parámetro de cuantificación que muestra la cantidad de cuantificación (un tamaño de etapa de cuantificación) aplicada en un procedimiento de cuantificación, y cada uno de p y a es una constante escalar. En particular, un QPNuevo es un parámetro de cuantificación derivado basándose en los parámetros de cuantificación QPA y QPB usados para el primer bloque A y el segundo bloque B, como se muestra por la expresión 6 a continuación.
[Cálculo 6]
QPNuevo = (QPa + QPb + 1) >> i ... ( Expresión 6)
En este punto, ">>n" muestra un desplazamiento a la derecha en n bit(s) (1 bit en la expresión anterior).
Como se ha descrito anteriormente, en el H.264/MPEG-4 AVC, la capacidad de ejecución se determina usando todas las líneas 360 de píxeles, pero esto es a modo de ejemplo.
Por ejemplo, en el HEVC, se determina la capacidad de ejecución usando alguna de las líneas 360 de píxeles en una base por bloque (véase la referencia no de patente 1).
En lo sucesivo, se describe una etapa de determinación de la capacidad de ejecución de filtración en e1HEVC con referencia a las Figuras 3A y 3B. En el HEVC, se evalúan los valores absolutos de segunda derivada (funciones de segunda derivada) en un bloque adyacente A y un bloque objetivo de procesamiento B. Se ha de observar que, en las Figuras 3A y 3B, se determina la capacidad de ejecución en una base por bloque usando las dos líneas 430 de píxeles de la tercera y sexta líneas de la línea superior.
Más específicamente, en primer lugar, se calcula un valor de evaluación dp y un valor de evaluación dq para determinar la capacidad de ejecución usando la expresión 7 a continuación.
[Cálculo 7]
Figure imgf000008_0001
... (Expresión 7) En este punto, el valor de evaluación dp y el valor de evaluación dq corresponden a los resultados de la evaluación de la segunda derivada en el primer bloque y la evaluación de la segunda derivada en el segundo bloque. Cuando se satisface una condición mostrada mediante la expresión 8 a continuación, se realiza una determinación de que la filtración debe realizarse para todos las líneas de píxeles mostradas en la Figura 3B.
[Cálculo 8]
d = dp dq < P(QP ) ... (Expresión 8)
Se ha de observar que no se ejecuta filtración cuando no se satisfacen todas las condiciones anteriores.
[(2) Selección de filtro de desbloqueo para su uso]
Cuando se determina, en la etapa de determinación anteriormente mencionada, que debe ejecutarse la filtración, se ejecuta una etapa de selección que es para seleccionar un filtro de desbloqueo para su uso de entre una pluralidad de filtros de desbloqueo que tienen diferentes intensidades.
El ejemplo de comparación describe un caso de selección de un filtro de desbloqueo para su uso basándose en una intensidad de límite BS.
La Figura 4A es un diagrama de flujo que muestra un procedimiento de procesamiento de etapas de filtración. Además, la Figura 4B muestra dos bloques que son bloques Bp y Bq adyacentes entre sí en una dirección horizontal. La Figura 4C muestra dos bloques que son los bloques Bp y Bq adyacentes entre sí en una dirección vertical.
En la etapa S1000, la unidad de control de filtro de la unidad 150 de filtración de desbloqueo mostrada en la Figura 1 calcula una intensidad de límite BS como un primer parámetro. El valor de la intensidad de límite BS es un número entero mayor o igual que 0. El procedimiento para calcular una intensidad de límite BS de este tipo se describe en detalle más adelante.
En la etapa S1010, la unidad de control de filtro determina si la intensidad de límite BS calculada en la etapa S1000 es o no un número entero. Cuando se determina que la BS no es un valor positivo (BS = 0) en la etapa S1010 (No en S1010), la unidad de control de filtro termina el procesamiento sin ejecutar la filtración.
Por otra parte, cuando se determina que la BS es un valor positivo en la etapa S1010 (Sí en S1010), la unidad de control de filtro calcula un valor umbral tc que define un intervalo de salida para un filtro de desbloqueo y un valor umbral p para seleccionar el filtro de desbloqueo. El valor umbral tc que define el intervalo de salida para el filtro de desbloqueo y el valor umbral p para seleccionar el filtro de desbloqueo se describen en detalle más adelante.
En la etapa S1030, la unidad de control de filtro selecciona el filtro de desbloqueo basándose en el valor umbral p. Esta selección puede significar que no se selecciona ningún filtro de desbloqueo. Más específicamente, basándose en el valor umbral p, la unidad de control de filtro selecciona uno cualquiera de un filtro intenso, un filtro débil o sin filtro.
Cuando se selecciona el filtro intenso en la etapa S1030, la unidad de control de filtro realiza filtración en un límite de bloque actual que va a procesarse, usando un filtro de desbloqueo para bandas estrechas (S1032). Cuando se selecciona el filtro débil en la etapa S1030, la unidad de control de filtro realiza filtración en un límite de bloque actual que va a procesarse, usando un filtro de desbloqueo para bandas anchas (S1034). Cuando no se selecciona filtro en la etapa Sl030, la unidad de control de filtro no realiza filtración (S1036).
Con la ejecución de tales etapas de filtración, es posible suavizar cada uno de los bordes en los límites de bloque en datos de imagen reconstruidos, y aumentar de esta manera la calidad de imagen de la imagen reconstruida.
Las etapas de cálculo de diversas clases de parámetros que van a usarse en las etapas de selección de filtro de desbloqueo anteriormente mencionadas se describen en detalle en este punto.
En primer lugar, se describe cómo calcular una intensidad de límite.
El esquema para calcular una intensidad de límite BS en la etapa S1000 en la Figura 4A se describe basándose en la Figura 5. La Figura 5 es un diagrama de flujo que muestra posibles procedimientos de procesamiento de las etapas de cálculo de la intensidad de límite BS en la etapa S1000.
En este punto, existe una correlación entre el valor de una intensidad de límite BS y el tamaño de un ruido de bloque. En general, cuanto mayor es la intensidad de límite BS, mayor es el ruido de bloque. En el diagrama de flujo de la Figura 5, las condiciones para determinar una intensidad de límite BS se establecen como sigue: (i) si un bloque actual es o no una imagen intra codificada; (ii) si un borde actual es o no un borde de CU; (iii) si una bandera de cbf es o no 0 (la bandera de cbf muestra si se mantiene o no un coeficiente); (iv) si los dos bloques que comparten un límite hacen referencia o no a la misma instantánea de referencia; y (v) la diferencia absoluta en valores de píxel entre píxeles es mayor que un valor umbral predeterminado. Se ha de observar que las condiciones de determinación en el ajuste de una intensidad de límite BS de este tipo pueden ser otra condición de determinación tal como la condición sobre si un vector de movimiento que va a usarse en predicción de movimiento compensado para un bloque actual a codificarse es o no el mismo que un vector de movimiento usado en predicción de movimiento compensado para un bloque adyacente.
En la etapa S210, la unidad 153 de control de filtro (Figura 6) de la unidad 150 de filtración de desbloqueo (Figura 1 y Figura 6) determina si al menos uno de los bloques Bp y Bq es o no una imagen intra codificada. La imagen intra codificada (instantánea I) tiende a tener un error de cuantificación grande generado en la cuantificación, en comparación con una imagen inter codificada. Por esta razón, cuando al menos uno de los bloques Bp y Bq es una imagen intra codificada, se establece un valor comparativamente grande como una intensidad de límite.
Cuando se determina que al menos uno de los bloques Bp y Bq es una imagen intra codificada (SÍ en la etapa S210), en la etapa S212, la unidad 153 de control de filtro determina si un límite de bloque actual que va a procesarse es el límite entre unidades de codificación CU (si un borde actual que va a procesarse es o no un borde de CU).
Cuando el límite del bloque actual que va a procesarse se determina que es un borde de CU (SÍ en la etapa S212), el valor de la intensidad de límite BS se establece a 4 (etapa S216). Por otra parte, cuando el límite de bloque actual que va a procesarse se determina que no es un borde de CU (NO en la etapa S212), por ejemplo, cuando el límite de bloque actual que va a procesarse es un borde de PU o un borde de TU, el valor de la intensidad de límite BS se establece a 3 (etapa S214).
Cuando se determina que ambos de los bloques Bp y Bq no van a ser imágenes intra codificadas en la etapa S210 (No en S210), se determina si uno de los valores de una bandera cbf-P y una bandera cbf-Q es o no distinto de 0 (S220). En este punto, la bandera cbf-P es una bandera que muestra si el bloque Bp tiene o no un coeficiente. La bandera muestra la presencia del coeficiente cuando el valor es distinto de 0, y la bandera muestra la ausencia del coeficiente cuando el valor es 0. Análogamente, la bandera cbf-Q es una bandera que muestra si el bloque Bq tiene o no un coeficiente.
Cuando se determina que tanto la bandera cbf-P como la bandera cbf-Q son 0 (SÍ en S220), en la etapa S222, el valor de la intensidad de límite BS se establece a 2.
Por otra parte, cuando una la bandera cbf-P y la bandera cbf-Q se determina que es 0 (NO en S220), se realiza una determinación en cuanto a si un índice de instantánea de referencia RefIdx-P del bloque BPy un índice de instantánea de referencia RefIdx-Q del bloque Bq son diferentes o no entre sí (S230). Se ha de observar que el índice de instantánea de referencia RefIdx-P es un índice que muestra una instantánea a la que se hace referencia en la predicción del bloque Bp . El índice de instantánea de referencia RefIdx-Q es un índice que muestra una instantánea a la que se hace referencia en la predicción del bloque Bq .
Cuando se determina que el índice de instantánea de referencia RefIdx-P y el índice de instantánea de referencia RefIdx-Q son diferentes (SÍ en S230), el valor de la intensidad de límite BS se establece a 1.
Por otra parte, cuando se determina que el índice de instantánea de referencia RefIdx-P y el índice de instantánea de referencia RefIdx-Q son iguales (NO en S230), si se determina que uno de un parámetro AbsHor y AbsVer es o no mayor que 3 (S240). En este punto, el parámetro AbsHor se representa por la diferencia absoluta en los componentes horizontales entre un vector de movimiento que va a usarse en la predicción del bloque Bp y un vector de movimiento que va a usarse en la predicción del bloque Bq . En este punto, el parámetro AbsVer se representa por la diferencia absoluta entre el componente vertical del vector de movimiento que va a usarse en la predicción del bloque Bp y el componente vertical del vector de movimiento que va a usarse en la predicción del bloque Bq . Aunque se usa 3 como el valor de determinación para los parámetros AbsHor y AbsVer en la etapa S240, el valor de determinación no está limitado a lo mismo.
Cuando se determina que uno de los parámetros AbsHor y AbsVer va a ser mayor que 3 (SÍ en S240), el valor de la intensidad de límite BS se establece a 1 (S242).
Cuando se determina que ambos de los parámetros AbsHor y AbsVer van a ser menores o iguales que 3 (NO en S240), el valor de la intensidad de límite BS se establece a 0 (S244).
La unidad 150 de filtración de desbloqueo realiza filtración usando un filtro más intenso ya el valor de la intensidad de límite BS es mayor. Cuando el valor de la intensidad de límite BS es 0, la unidad 150 de filtración de desbloqueo no excluye ninguna filtración. Cuanto más intenso es el filtro de desbloqueo ("un filtro más intenso"), la unidad 150 de filtración de desbloqueo modifica sustancialmente los valores de píxel de los píxeles en el límite.
A continuación, se describe cómo calcular un parámetro tc.
Se proporciona una descripción de un esquema para calcular un valor umbral tc para un filtro de desbloqueo en la etapa S1020 de la Figura 4A.
Como un esquema para calcular un valor umbral tc de este tipo para un filtro de desbloqueo, por ejemplo, la AVC proporciona, como se muestra en la expresión 9 a continuación, un esquema para derivar tc usando una tabla de codificación bidimensional de índices que son parámetros de cuantificación QP y los valores de intensidades de límite BS.
[Cálculo 9]
tc = cliptable [OP][BS] ...(Expresión 9)
Sin embargo, este esquema tiene un problema de que se requiere una memoria de gran capacidad para almacenar la tabla de codificación bidimensional debido a la gran cantidad de datos a almacenarse en la tabla de codificación bidimensional. Además, puesto que se lee una gran cantidad de datos a partir de la memoria de gran capacidad, es difícil aumentar la eficacia de procesamiento.
Como otro esquema para calcular un valor umbral tc de este tipo para un filtro de desbloqueo, por ejemplo, la HEVC (empezando desde la versión HM 1.0) proporciona un esquema para derivar el valor umbral tc usando una tabla de codificación unidimensional de índices que son variables tc_offset. El parámetro tc_offset se calcula basándose en el valor de la intensidad de límite BS derivado en la etapa S1000 en la Figura 4A. La unidad de control de filtro establece 0 a tc_offset cuando la intensidad de límite BS es 2 o menor, y establece 2 a tc_offset cuando la intensidad de límite BS es mayor que 2. De acuerdo con la expresión 10 a continuación, se determina un parámetro tc.
[Cálculo 10]
tc = ctable [QP tc_o ffset] ... (Expresión 10)
En este punto, el valor de tc_offset se establece a 2 cuando la intensidad de límite BS es mayor que 2, y el valor de tc_offset se establece a 0 cuando la intensidad de límite BS es menor o igual que 2. Una función Tctable [ ] es una función de tabla, y tc se deriva basándose en los argumentos en el [ ]. Esta tabla se define en la referencia no de patente 3 anteriormente citada.
[Detalles del problema]
Se ha descrito anteriormente la filtración en un ejemplo de comparación.
Como se ha descrito anteriormente, puede haber demandas de capacidad de adaptación adicional para ruidos de bloque en procedimientos de filtración por filtros de desbloqueo. Para aumentar adicionalmente la capacidad de adaptación a los ruidos de bloque, por ejemplo, es deseable que se seleccione apropiadamente un filtro de desbloqueo actual que va a usarse en un procedimiento de filtración de entre diferentes filtros de desbloqueo.
Para resolver el problema, un esquema de filtración de desbloqueo de acuerdo con un aspecto en la presente invención es un procedimiento de procesamiento de imagen de realización de filtración en bloques de imagen que usa una pluralidad de filtros de desbloqueo que tienen diferentes intensidades de filtro, incluyendo el procedimiento de procesamiento de imagen: una primera etapa de cálculo de parámetro de cálculo de un primer parámetro que indica una intensidad de límite entre dos bloques de imagen adyacentes; una segunda etapa de cálculo de parámetro de cálculo de un segundo parámetro que indica un valor límite para cada uno de los filtros de desbloqueo, basándose en el primer parámetro y un parámetro de cuantificación; y una etapa de selección de selección de un filtro de desbloqueo que va a usarse en la filtración de entre los filtros de desbloqueo, usando uno o más valores umbral que se determinan basándose en el segundo parámetro.
De acuerdo con el procedimiento de procesamiento de imagen que incluye estas etapas, se usa el segundo parámetro Tc para seleccionar uno de los filtros de desbloqueo. Por lo tanto, es posible aumentar adicionalmente la adaptabilidad a ruidos de bloque en el procedimiento de filtración usando el filtro de desbloqueo. De esta manera, es posible aumentar adicionalmente la calidad de imagen de la imagen después de verse sometida al procedimiento de filtración.
Además, por ejemplo, en la segunda etapa de cálculo de parámetro, el segundo parámetro puede calcularse usando una suma lineal del primer parámetro y el parámetro de cuantificación.
Como se ha descrito anteriormente, en el esquema HEVC, las etapas de cálculo de una variable tc_offset, que hace referencia a una tabla de codificación unidimensional y similares, tienden a ser complejas. Por esta razón, existen demandas para reducir etapas intermedias y parámetros intermedios en el cálculo de parámetros que van a usarse en la etapa de selección de un filtro de desbloqueo sin requerir un espacio de memoria grande, para aumentar la eficacia de procesamiento.
De acuerdo con el procedimiento de procesamiento de imagen que incluye estas etapas, puesto que el segundo parámetro Tc se define basándose en una suma lineal del primer parámetro (la intensidad de límite BS) y el parámetro de cuantificación QP, es posible derivar el segundo parámetro Tc usando una operación sencilla. Con esto, no se requiere espacio de memoria grande. Adicionalmente, de acuerdo con el esquema de filtración de desbloqueo, puesto que el segundo parámetro Tc se define basándose en una suma lineal del primer parámetro (la intensidad de límite BS) y el parámetro de cuantificación QP, es posible suprimir el aumento de etapas intermedias y parámetros intermedios.
Adicionalmente, la selección de uno de los filtros de desbloqueo usando el segundo parámetro Tc derivado usando una operación sencilla de este tipo hace posible reducir la cantidad de procesamiento requerida para la selección, y aumentar de esta manera la eficacia de procesamiento.
Adicionalmente, de acuerdo con el procedimiento de procesamiento de imagen que incluye estas etapas, puesto que se define el segundo parámetro Tc basándose en una suma lineal del primer parámetro (la intensidad de límite BS) y el parámetro de cuantificación QP, es posible aumentar la calidad de imagen de la imagen después de ser sometida al procedimiento de filtración.
Además, por ejemplo, en la segunda etapa de cálculo de parámetro, el segundo parámetro puede calcularse de manera que un valor del segundo parámetro es más grande cuando un valor del primer parámetro es más grande. Adicionalmente, por ejemplo, en la segunda etapa de cálculo de parámetro, el segundo parámetro puede calcularse de manera que el valor del segundo parámetro es más grande cuando un valor del parámetro de cuantificación es más grande.
De acuerdo con el procedimiento de procesamiento de imagen que incluye estas etapas, puesto que el segundo parámetro Tc (por ejemplo, el valor umbral para un filtro de bucle) se cambia dependiendo de una intensidad de límite BS, es posible aumentar la calidad de imagen después de verse sometida al procedimiento de filtración.
Por ejemplo, en un ejemplo de comparación mostrado en la Figura 5, por ejemplo, se establece Tc = 0 en cada uno de los casos donde BS = 1 y BS = 2. En otras palabras, por ejemplo, se establece el mismo valor umbral para un filtro de bucle independientemente de las intensidades de límite BS.
En contraste, de acuerdo con el procedimiento de procesamiento de imagen, se establecen los segundos parámetros Tc dependiendo las intensidades de límite. Por ejemplo, Tc se establece para que sea 1 cuando BS = 2, y Tc se establece a 0 cuando BS = 1. Por lo tanto, es posible establecer filtros adaptados adicionalmente a las imágenes.
Además, por ejemplo, en la etapa de selección, cada uno del uno o más valores umbral puede calcularse de manera que el valor umbral es más grande cuando un valor del segundo parámetro es más grande.
De acuerdo con el procedimiento de procesamiento de imagen, es posible establecer los valores umbral de manera apropiada.
Además, por ejemplo, en la etapa de selección: puede determinarse un primer valor umbral y un segundo valor umbral, siendo el primer valor umbral para seleccionar uno de los filtros de desbloqueo, y siendo el segundo valor umbral para determinar si seleccionar o no uno cualquiera de los filtros de desbloqueo; y puede seleccionarse el uno de los filtros de desbloqueo o para usar o no uno cualquiera de los filtros de desbloqueo.
Además, por ejemplo, el procedimiento de procesamiento de imagen puede incluir adicionalmente una etapa de determinación de capacidad de ejecución de determinación de si realizar o no la filtración usando el primer parámetro antes de ejecutar la etapa de selección.
Además, por ejemplo, la primera etapa de cálculo de parámetro puede incluir: una primera etapa de determinación de determinación de si al menos uno de los dos bloques de imagen adyacentes es o no un bloque que va a intra codificarse; y una etapa de ajuste de ajuste de un primer valor fijo al primer parámetro cuando se determina en la primera etapa de determinación que el al menos uno de los dos bloques de imagen adyacentes es el bloque que va a intra codificarse.
Además, por ejemplo, la primera etapa de cálculo de parámetro puede incluir adicionalmente una etapa de ajuste de ajuste, para el primer parámetro, de un segundo valor fijo diferente del primer valor fijo cuando se determina en la etapa de determinación que ambos de los dos bloques de imagen adyacentes son bloques que no van a intra codificarse.
Además, por ejemplo, la primera etapa de cálculo de parámetro puede incluir adicionalmente: una segunda etapa de determinación de determinación de si al menos uno de los dos bloques de imagen adyacentes incluye o no al menos un coeficiente de transformada distinto de cero cuando se determina en la primera etapa de determinación que ambos de los dos bloques de imagen adyacentes son bloques que no se van a intra codificar; y una etapa de ajuste de ajuste del primer parámetro usando un resultado de la segunda etapa de determinación.
Además, por ejemplo, cuando se determina en la primera etapa de determinación que ambos de los dos bloques de imagen adyacentes son bloques que no van a intra codificarse, la primera etapa de cálculo de parámetro puede incluir adicionalmente: una segunda etapa de determinación de determinación de si al menos no de los dos bloques adyacentes incluye o no al menos un coeficiente distinto de cero; una tercera etapa de determinación de determinación de si los dos bloques de imagen adyacentes tienen o no diferentes índices de referencia indicando cada uno una instantánea de referencia en inter codificación; una cuarta etapa de determinación de determinación de si un valor absoluto de diferencia entre los dos bloques de imagen adyacentes supera o no un valor umbral predeterminado, siendo el valor absoluto de diferencia uno de un valor absoluto de diferencia entre componentes de vector de movimiento horizontal de los dos bloques de imagen adyacentes y un valor absoluto de diferencia entre componentes de vector de movimiento vertical de los dos bloques de imagen adyacentes; y una etapa de ajuste de ajuste del primer valor fijo al primer parámetro en el caso donde (i) se determina en la segunda etapa de determinación que está incluido el al menos un coeficiente de transformada distinto de cero, (ii) se determina en la tercera etapa de determinación que los índices de instantánea de referencia son los mismos, y (iii) se determina en la cuarta etapa de determinación que el valor absoluto de diferencia supera el valor umbral predeterminado; o en casos distintos al caso, una etapa de ajuste de ajuste de un segundo valor fijo diferente del primer valor fijo al primer parámetro.
Además, por ejemplo, el procedimiento de procesamiento de imagen puede incluir una etapa de compresión de compresión de un bloque de error de predicción que es una diferencia entre un bloque actual que va a codificarse y un bloque de predicción cada uno de los cuales incluye una pluralidad de píxeles; una etapa de reconstrucción de generación de un bloque reconstruido decodificando el bloque de error de predicción comprimido y añadiendo el bloque de error de predicción decodificado al bloque de predicción; una etapa de filtración que incluye la primera etapa de cálculo de parámetro, la segunda etapa de cálculo de parámetro, y la etapa de selección, ejecutándose la etapa de filtración para el bloque reconstruido; una etapa de predicción de generación de un bloque de predicción usando el bloque reconstruido filtrado en la etapa de filtración; y una etapa de codificación de codificación del bloque de error de predicción comprimido para generar una secuencia de bits codificados.
Además, por ejemplo, el procedimiento de procesamiento de imagen puede incluir una etapa de obtención de obtención de una secuencia de bits que incluye un bloque actual que va a decodificarse; una etapa de generación de generación de un bloque reconstruido decodificando el bloque actual que va a decodificarse y adición del bloque actual decodificado a un bloque de predicción; una etapa de filtración que incluye la primera etapa de cálculo de parámetro, la segunda etapa de cálculo de parámetro, y la etapa de selección, ejecutándose la etapa de filtración para el bloque reconstruido; y una etapa de predicción de generación de un bloque de predicción usando el bloque reconstruido filtrado en la etapa de filtración.
Para resolver el problema anteriormente mencionado, un aparato de procesamiento de imagen de acuerdo con un aspecto en la presente invención es un aparato de procesamiento de imagen que realiza filtración en bloques de imagen usando una pluralidad de filtros de desbloqueo que tienen diferentes intensidades de filtro, incluyendo el aparato de procesamiento de imagen: una primera unidad de cálculo de parámetro configurada para calcular un primer parámetro que indica una intensidad de límite entre dos bloques de imagen adyacentes; una segunda unidad de cálculo de parámetro configurada para calcular un segundo parámetro que indica un valor límite para cada uno de la pluralidad de filtros de desbloqueo, basándose en el primer parámetro y un parámetro de cuantificación; y una unidad de selección configurada para seleccionar un filtro de desbloqueo que va a usarse en la filtración de entre la pluralidad de filtros de desbloqueo, usando uno o más valores umbral que se determinan basándose en el segundo parámetro, en el que la segunda unidad de cálculo de parámetro está configurada para calcular, como el valor del segundo parámetro, un valor total del primer parámetro y el parámetro de cuantificación.
Estos aspectos generales y específicos pueden implementarse usando un sistema, un procedimiento, un circuito integrado, un programa informático, o un medio de grabación legible por ordenador tal como un CD-ROM, o cualquier combinación de sistemas, procedimientos, circuitos integrados, programas informáticos, o medio de grabación legible por ordenador.
En lo sucesivo, se describen esquemas de filtración de desbloqueo (procedimientos de procesamiento de imagen) de acuerdo con un aspecto en esta invención y aparatos de filtración de desbloqueo (aparatos de procesamiento de imagen) en detalle con referencia a los dibujos.
De acuerdo con la invención, se proporciona un procedimiento de realización de filtración, como se expone en la reivindicación 1, así como un aparato de procesamiento de imagen para filtrar, como se expone en la reivindicación 12.
Cada una de las realizaciones ilustrativas descritas a continuación muestra un ejemplo general o específico. Los valores numéricos, formas, materiales, elementos estructurales, las posiciones de disposición y las formas de conexión de los elementos estructurales, etapas, el orden de las etapas, etc., mostrados en las siguientes realizaciones de ejemplo son simples ejemplos.
[Realización 1]
Se describe un procedimiento de procesamiento de imagen y un aparato de procesamiento de imagen de acuerdo con la realización 1 con referencia a las Figuras 1 a 3B, y las Figuras 7A a 9. Se ha de observar que esta realización describe casos donde el procedimiento de procesamiento de imagen y el aparato de procesamiento de imagen se aplican a un procedimiento de codificación de instantáneas en movimiento y a un aparato de codificación de instantáneas en movimiento, respectivamente.
El aparato de codificación de instantáneas en movimiento en esta realización tiene una estructura similar a la estructura del aparato de codificación de instantáneas en movimiento en el ejemplo de comparación mostrado en la Figura 1. El aparato de codificación de instantáneas en movimiento en esta realización es diferente en la estructura de una unidad 150 de filtración de desbloqueo del aparato 100 de codificación de instantáneas en movimiento en el ejemplo de comparación.
La unidad 150 de filtración de desbloqueo en esta realización incluye una pluralidad de filtros de desbloqueo que tienen diferentes intensidades y una unidad de control de filtro que controla la pluralidad de filtros de desbloqueo.
La Figura 6 es un diagrama de bloques que muestra una estructura de ejemplo de la unidad 150 de filtración de desbloqueo. Como se muestra en la Figura 1, la unidad 150 de filtración de desbloqueo en esta realización incluye un primer filtro 151 de desbloqueo, un segundo filtro 152 de desbloqueo, y la unidad 153 de control de filtro. El primer filtro de desbloqueo es un filtro de desbloqueo intenso para bandas estrechas. El segundo filtro de desbloqueo es un filtro de desbloqueo débil para bandas anchas. Se ha de observar que el número y estructuras de los filtros de desbloqueo no está limitado a lo mismo.
Como se muestra en la Figura 6, la unidad 153 de control de filtro incluye una segunda unidad 154 de cálculo de intensidad de límite, una unidad 155 de cálculo de Tc, y una unidad 156 de selección de filtro.
[1.1 Resumen del esquema de filtración de desbloqueo]
En lo sucesivo, se describe la filtración por la unidad 150 de filtración de desbloqueo en esta realización en detalle con referencia a las Figuras 2A a 3B, y las Figuras 7A a 9.
Como en el ejemplo de comparación anteriormente descrito, en la filtración, se ejecutan las siguientes etapas: (1) determinar si es o no ejecutable la filtración (esta etapa corresponde a una etapa de determinación de capacidad de ejecución; y (2) seleccionar uno de los filtros de desbloqueo que va a usarse. La etapa (1) de determinación de si la filtración es o no ejecutable es la misma que en el ejemplo de comparación.
[1.1.1 (2) Selección de filtro de desbloqueo que va a usarse]
Cuando se determina, en la etapa de determinación anteriormente mencionada, que debe ejecutarse la filtración, se ejecuta una etapa de selección que es para seleccionar un filtro de desbloqueo que va a usarse de entre la pluralidad de filtros de desbloqueo que tienen diferentes intensidades.
La Figura 7A es un diagrama de flujo que muestra procedimientos de procesamiento de etapas de filtración de acuerdo con las realizaciones. Además, la Figura 7B muestra dos bloques que son los bloques Bp y Bq adyacentes entre sí en la dirección horizontal. La Figura 7C muestra dos bloques que son los bloques Bp y Bq adyacentes entre sí en la dirección vertical.
En la etapa S100, la unidad 154 de cálculo de intensidad de límite de la unidad 153 de control de filtro calcula la intensidad de límite BS como un primer parámetro (una primera etapa de cálculo de parámetro). La Figura 8 es un diagrama de flujo que muestra procedimientos de procesamiento de cálculo de intensidades de límite BS y valores de compensación de ajuste tc_offset de valores umbral tc en las realizaciones. Los valores de las intensidades de límite BS son número enteros mayores o iguales que 0. Se ha de observar que el procedimiento (S210 a S244) para calcular una intensidad de límite BS es el mismo que en el ejemplo de comparación.
Adicionalmente, la unidad 154 de cálculo de intensidad de límite establece un valor de compensación tc_offset como un valor umbral tc de acuerdo con el valor de la intensidad de límite BS como se muestra en la Figura 8 en esta realización. En esta realización, los valores de tc_offset son diferentes cuando los valores de la BS son diferentes. Más específicamente, se establece tc_offset = 3 cuando se satisface BS = 4, se establece tc_offset = 2 cuando se satisface BS = 3, se establece tc_offset = 1 cuando se satisface BS = 2, y se establece tc_offset = 0 cuando se satisface BS = 1. En el ejemplo de comparación, el valor de tc_offset es constante independientemente de una intensidad de límite BS (AVC), o se asigna el mismo tc_offset a una pluralidad de intensidades de límite BS (HEVC).
En la etapa S110, la unidad 153 de control de filtro determina si la intensidad de límite BS calculada en la etapa S100 es o no un valor positivo. Cuando se determina que la BS no es un valor positivo (BS = 0) en la etapa S110 (No en S110), la unidad 153 de control de filtro termina el procesamiento sin ejecutar la filtración.
Por otra parte, cuando se determina que la BS es un valor positivo (BS = 0) en la etapa S110 (Sí en S110), una unidad de cálculo de Tc de la unidad 153 de control de filtro calcula un valor umbral tc que define un intervalo de salida para un filtro de desbloqueo en la etapa S120 (una segunda etapa de cálculo de parámetro).
En esta realización, se representa el valor umbral tc usando una función de tabla que incluye, como argumentos, una intensidad de límite BS, un parámetro de cuantificación QP, y un tc_offset. En esta realización, puesto que los valores de tc_offset son diferentes cuando las intensidades de límite BS son diferentes, el número de posibles valores como el valor umbral tc tiende a ser mayor que en el ejemplo de comparación. De esta manera, es posible aumentar la capacidad de adaptación del filtro de desbloqueo.
Adicionalmente, la unidad 153 de control de filtro calcula un valor umbral p para seleccionar un filtro de desbloqueo que va a usarse. El valor umbral p puede representarse como una función (p (QP)) de un parámetro de cuantificación QP.
En la etapa S130, la unidad 156 de selección de filtro de la unidad 153 de control de filtro selecciona el filtro de desbloqueo basándose en el valor umbral tc y el valor umbral p (una etapa de selección). Esta selección puede significar que no se selecciona ningún filtro de desbloqueo. Más específicamente, la unidad 156 de selección de filtro determina si debe seleccionarse o no el filtro intenso basándose en el valor umbral p.
Más específicamente, por ejemplo, el filtro intenso se selecciona cuando se satisface la condición mostrada por la expresión 11 a continuación.
[Cálculo 11]
|Jp3¡ - p0j| \q3t - q0t\ < (¿(QP)) » 3}
A { d < ( ¿ ( Q P ) » 2 ) }
A{\p0i - q 0 i\ < ( ( t c(QP)-5 1) » 1)}
... (Expresión 11)
En la condición anterior, cada uno de los valores umbral p y tc se representa como una función del parámetro de cuantificación QP como se ha mencionado anteriormente. El parámetro de cuantificación QP puede establecerse para, por ejemplo, una parte de una imagen. En general, un valor umbral p se deriva basándose en un QP, usando una tabla de búsqueda.
Cuando se selecciona el filtro intenso, el primer filtro 151 de desbloqueo realiza filtración intensa (S132). Tal filtración intensa se describe en detalle más adelante.
Cuando no se satisface la condición mostrada por la expresión 11, la unidad 156 de selección de filtro determina si seleccionar un filtro débil o no seleccionar filtro.
Más específicamente, la unidad 156 de selección de filtro calcula un valor de determinación A (un valor absoluto), usando la expresión 12 a continuación.
[Cálculo 12]
Figure imgf000015_0002
... (Expresión 12)
El filtro débil se selecciona cuando se satisface la expresión 13 a continuación.
[Cálculo 13]
Figure imgf000015_0003
..(E xpresión 13 )
Cuando se selecciona el filtro débil, el segundo filtro 152 de desbloqueo realiza filtración débil (S134). Tal filtración débil se describe en detalle más adelante.
Cuando no se satisface la expresión 13, no se selecciona filtro, y por lo tanto no se realiza ninguna filtración usando un filtro de desbloqueo (S136).
[1.1.2 Filtración usando filtro de desbloqueo intenso]
Como se ha descrito anteriormente, cuando se selecciona "el filtro intenso" a través de la determinación de acuerdo con la expresión 11 en la etapa S130 mostrada en la Figura 4A, el primer filtro 151 de desbloqueo realiza filtración intensa (S132). Más específicamente, el primer filtro 151 de desbloqueo filtra los píxeles p2i, p1i, p0i, q0i, q1i, y q2i usando los píxeles p3i, p2i, p1 i, p0i, q0i, q1i, q2i, y q3i de acuerdo con un modelo HEVC.
La Figura 9A es un diagrama que muestra píxeles de ejemplo que van a usarse en la filtración intensa. La Figura 9A muestra píxeles (muestras) de dos bloques adyacentes que comparten un borde vertical en la dirección horizontal. Estos píxeles se usan en filtración horizontal. Los píxeles en un área 610 encerrada por líneas discontinuas son los píxeles que van a usarse en la filtración intensa. La Figura 9B es un diagrama que muestra píxeles que van a filtrarse. Los píxeles en un área 620 encerrada por las líneas discontinuas son los píxeles que van a filtrarse usando la filtración intensa.
El primer filtro 151 de desbloqueo en esta realización filtra los tres píxeles adyacentes en el lado izquierdo del límite, usando los cuatro píxeles adyacentes en el lado izquierdo del límite, de acuerdo con la expresión 14.
[Cálculo 14]
Figure imgf000015_0004
... (Expresión 14)
Análogamente, el primer filtro 151 de desbloqueo en esta realización filtra los tres píxeles adyacentes en el lado derecho del límite, usando los cuatro píxeles adyacentes en el lado derecho del límite, de acuerdo con la expresión 15.
[Cálculo 15]
Figure imgf000015_0005
... (Expresión 15)
Se ha de observar que se define una función Clip(x) mediante la expresión 16 a continuación.
[Cálculo 16]
Figure imgf000015_0001
... (Expresión 16)
En este punto, max_allowed_value es un valor máximo que es posible como x en Clip(x). En el caso de la codificación de PCM usando muestras de k bits, el valor máximo se considera que es max_allowed_value = 2k -1. Por ejemplo, en el caso de codificación de PCM usando muestras de 8 bits, el valor máximo se considera que es max_allowed_value = 255. En el caso de codificación de PCM usando muestras de 10 bits, el valor máximo se considera que es max_allowed_value = 1023.
Como es conocido a partir de las ecuaciones anteriores, se realiza filtración en una base por línea. El primer filtro 151 de desbloqueo filtra cada una de las líneas mientras que cambia secuencialmente el índice a 0, 1,2, 3, 4, 5, 6, y 7.
[1.1.3 Filtración usando filtro de desbloqueo débil]
Como se ha descrito anteriormente, cuando se selecciona "el filtro débil" usando la expresión 12 en la etapa S130 mostrada en la Figura 4A, un segundo filtro 152 de desbloqueo para bandas amplias realiza filtración débil (S134). Cuando se selecciona "el filtro débil", el segundo filtro 152 de desbloqueo realiza la filtración débil (S134). Más específicamente, el segundo filtro 152 de desbloqueo filtra los píxeles p1 i, p0i, q0i, y q1 i usando los píxeles p2i, p1 i, p0i, q0i, q1 i, y q2i de acuerdo con un modelo HEVC.
La Figura 10A es un diagrama que muestra píxeles de ejemplo que van a usarse en la filtración débil. La Figura 10A muestra píxeles (muestras) de dos bloques adyacentes que comparten un borde vertical en la dirección horizontal. Estos píxeles se usan en filtración horizontal. Los píxeles en un área 630 encerrada por líneas discontinuas son los píxeles que van a usarse en la filtración intensa. La Figura 10B es un diagrama que muestra píxeles que van a filtrarse. Los píxeles en un área 640 encerrada por las líneas discontinuas son los píxeles que van a filtrarse usando la filtración débil.
El segundo filtro 152 de desbloqueo en esta realización filtra el píxel p0i más cerca del límite en el lado izquierdo y el píxel q0i adyacente al límite en el lado derecho de acuerdo con la expresión 17 a continuación.
[Cálculo 17]
p0'j = Clip (p0¡ A J
q0\ = Clip (p0¡ A J
... (Expresión 17)
En este punto, q0i' es un valor de píxel obtenido filtrando el píxel q0i, y q0i' es un valor de píxel obtenido filtrando el píxel q0i. Además, se calcula A1 de acuerdo con la expresión 18 a continuación.
[Cálculo 18]
A -^ Clip3(-tc,tc,A) ...(Expresión 18)
Se define una función Clip3(x) por la expresión 19 a continuación.
[Cálculo 19]
a x < a
Clip3(x,a, b) b x > b
,x si no
... (Expresión 19)
Después de filtrar los píxeles p0 y q0, el segundo filtro 152 de desbloqueo determina si filtrar o no los píxeles p1i y q1i más cerca en segundo lugar al límite. Se ha de observar que tales determinaciones para los píxeles p1i y q1i se realizan de manera separada.
La determinación para el píxel p1i se realiza usando un valor de evaluación dp mostrado en la expresión 7 descrita en la etapa de determinación de capacidad de ejecución de filtración (1) en el ejemplo de comparación. Más específicamente, cuando se satisface dp < (p/6), el segundo filtro 152 de desbloqueo filtra el píxel p1 i de acuerdo con la expresión 20 a continuación.
[Cálculo 20]
p l ' i = Clip{p1l + A2p) ... (Expresión 20)
En este punto, p1,' es un valor de píxel obtenido filtrando el píxel p1i. Además, se calcula A2p de acuerdo con la expresión 21 a continuación.
[Cálculo 21]
A2p= Clip3{-tc2,tc2, { [ (p 2 l p0l + 1) >> 1) - p 1 £ A ^ >> l ) ...(Expresión21) Por otra parte, la determinación para el píxel q1 i se realiza usando un valor de evaluación dq mostrado en la expresión 7 descrita en la etapa de determinación de capacidad de ejecución de filtración (1) en el ejemplo de comparación. Más específicamente, cuando se satisface dq < (p/6), el segundo filtro 152 de desbloqueo filtra el píxel p1 i de acuerdo con la expresión 22 a continuación.
[Cálculo 22]
q1't = Clip^ql — A2p) ... (Expresión 22)
En este punto, p1¡' es un valor de píxel obtenido filtrando el píxel p1i. Además, se obtiene A2q de acuerdo con la expresión 23 a continuación.
[Cálculo 23]
Figure imgf000017_0001
En este punto, tc2 = tc >> 1.
Aunque esta realización describe un caso de realización de filtración horizontal en el borde vertical, la presente invención es aplicable a un caso de realización de filtración vertical en un borde horizontal intercambiando la dirección horizontal y la dirección vertical e intercambiando las líneas de píxeles en la dirección horizontal y las líneas de píxeles en la dirección vertical.
[1.1.4 Efecto ventajoso obtenible usando tc en la determinación del filtro de desbloqueo]
En el ejemplo de comparación anteriormente descrito, se usa una función de tabla para calcular un valor umbral tc para un filtro de bucle. Por lo tanto, es difícil reducir el área de memoria que va a usarse y reducir la cantidad de procesamiento. Por otra parte, en esta realización, se calcula un valor umbral tc para un filtro de bucle usando una función basándose en una suma lineal de un parámetro de cuantificación QP y una intensidad de límite BS. Además, puesto que se calcula tc_offset basándose en la BS, el cálculo no es complejo. Por esta razón, es posible reducir el área de memoria que va a usarse y reducir la cantidad de procesamiento.
Aunque tc_offset en el ejemplo de comparación puede tomar únicamente un valor común para todas las intensidades de límite BS o dos valores, tc_offset en esta realización puede tomar diferentes valores dependiendo de las intensidades de límite BS. De esta manera, la filtración está adaptada para bloquear ruidos con precisión superior.
En este punto, la Figura 11 es un diagrama que muestra el procedimiento para establecer un valor de compensación tc_offset para un valor umbral tc en el ejemplo de comparación. Se ha de observar que las mismas etapas en la Figura 11 que las etapas en la Figura 8 se asignan con los mismos números de referencia.
Como es conocido a partir de la Figura 11, en este ejemplo de comparación, el mismo tc_offset se asigna a tanto una intensidad de límite BS = 2 como una intensidad de límite BS = 1. Por esta razón, en cada uno de estos casos donde la intensidad de límite BS = 2 y la intensidad de límite BS = 1, se establece el mismo valor que el valor umbral tc . Por otra parte, en esta realización, como se muestra en la Figura 8, se establecen diferentes valores que los valores umbral tc para los respectivos casos donde la intensidad de límite BS = 2 y la intensidad de límite BS = 1. En esta realización, puesto que se calculan los diferentes valores umbral tc para las diferentes intensidades de límite BS, es posible aumentar la adaptabilidad del filtro de desbloqueo a la imagen. De esta manera, es posible aumentar la eficacia de codificación y aumentar la calidad subjetiva.
La Figura 12A es un diagrama que muestra las eficacias de codificación en el ejemplo de comparación y en las realizaciones obtenidas usando condiciones de prueba comunes. Además, la Figura 12B es un diagrama que muestra el caso usando parámetros de transformada altos (QP = 39, 41, 43, y 45). En cada una de la Figura 12A y la Figura 12B, el lado izquierdo de la tabla muestra las eficacias de codificación en el ejemplo de comparación, y el lado derecho de la tabla muestra las eficacias de codificación en esta realización. Las eficacias de codificación se muestran como tasas de BD calculadas usando interpolación cúbica por piezas.
[1.1.5 Determinación de Tc dependiendo de un valor BS (Variación 1)]
La variación 1 de esta realización se describe basándose en las Figuras 13 a 15.
La variación 1 describe un caso donde las etapas (etapa S100 en la Figura 7A) de cálculo de una intensidad de límite BS son diferentes de las correspondientes etapas en la realización anterior.
La Figura 13 es un diagrama de flujo que muestra procedimientos de procesamiento de las etapas de cálculo de intensidades de límite BS en esta variación.
Como en la realización 1, la unidad 153 de control de filtro (Figura 6) determina si al menos uno de los bloques Bp y Bq es o no una imagen intra codificada en la etapa S210.
Cuando se determina que al menos uno de los bloques Bp y Bq es una imagen intra codificada (SÍ en la etapa S210), la unidad 153 de control de filtro establece 3 como el valor de la intensidad de límite BS (S218). Se ha de observar que el valor de la intensidad de límite BS en la etapa S218 no está limitado a 3, y cualquier valor es posible siempre que el valor sea mayor que el valor de la intensidad de límite BS que se establece en otra etapa.
Se realiza el mismo procesamiento que en la realización 1 cuando se determina en la etapa S210 que los bloques Bp y Bq no son una imagen intra codificada (NO en la etapa S210).
En este punto, la Figura 14 es un diagrama de comparación entre las eficacias de codificación (el lado derecho en el diagrama) en la variación 1 mostrada en la Figura 13 como se muestra en la referencia no de patente 2 y las eficacias de codificación (el lado izquierdo en el diagrama) en el ejemplo de comparación mostrado en la Figura 5.
Como se muestra en la Figura 14, las eficacias de codificación son aproximadamente iguales que en las eficacias de codificación en el ejemplo de comparación. Sin embargo, como se ha descrito anteriormente, es posible reducir la carga de procesamiento y aumentar la eficacia de procesamiento.
Se describe un esquema para ajustar un valor umbral tc en la variación 1. En la variación 1, se calcula el valor umbral tc de acuerdo con la expresión 24 usando una función de tabla de búsqueda Tctable.
[Cálculo 24]
tc = Tctable[BS — 1 QP]... (Expresión 24)
La Figura 15 es un diagrama que muestra el valor umbral tc que se establece en esta variación. Como se muestra en la Figura 14, también en esta variación 1, se asignan diferentes valores umbral tc a diferentes intensidades de límite BS.
En la variación 1, como se muestra en la Figura 13, a) puesto que no se requiere procesamiento para comprobar si un borde actual es o no un borde de CU, es posible reducir la carga de procesamiento que va a colocarse en el aparato 100 de codificación de instantáneas en movimiento. Adicionalmente, de acuerdo con la expresión 24, b) puesto que no se usa valor de compensación tc_offset en el cálculo de un valor umbral tc , se simplifica la etapa de derivación del valor umbral tc , y es posible reducir la carga de procesamiento que va a colocarse en el aparato 100 de codificación de instantáneas en movimiento.
[1.1.6 Determinación de Tc dependiendo de un valor BS (Variación 2)]
La variación 2 de esta realización se describe basándose en la Figura 16.
La variación 2 describe un caso donde los procedimientos de etapas de cálculo de la intensidad de límite BS son los mismos que los procedimientos en la variación 1, pero los valores de las intensidades de límite BS que van a establecerse son diferentes de los valores en la variación 1. Por consiguiente, la variación 2 es diferente en los esquemas para derivar los valores umbral tc de la variación 1.
Los valores de las intensidades de límite BS que van a establecerse en la variación 2 se describen basándose en la Figura 16. En la Figura 16, los valores de las intensidades de límite que van a establecerse son menores que los valores de las intensidades de límite en la variación 1.
Más específicamente, cuando se determina en la etapa S210 que al menos uno de los bloques Bp y Bq es una imagen intra codificada (SÍ en la etapa S210), el valor de la intensidad de límite BS se establece a 2 (S211).
Cuando se determina en la etapa S220 que el valor de al menos una de una bandera cbf-P y una bandera cbf-Q es distinto de 0 (SÍ en la etapa S220), el valor de la intensidad de límite BS se establece a 1 (S224).
Cuando se determina en la etapa S230 que un índice de instantánea de referencia RefIdx-P y un índice de instantánea de referencia RefId-Q son diferentes (SÍ en S230), el valor de la intensidad de límite BS se establece a 1 (S234).
Cuando, en la etapa S240, uno de los parámetros AbsHor y AbsVer es mayor que 3 (SÍ en S240), el valor de la intensidad de límite BS se establece a 0 (S246). Por otra parte, cuando se determina que ambos de los parámetros AbsHor y AbsVer van a ser menores o iguales que 3 (No en S240), el valor de la intensidad de límite BS se establece a 0 (S248).
Se describe un esquema para ajustar un valor umbral tc en la variación 2. En la variación 2, se usa una función de tabla de búsqueda Tctable como en la variación 1, pero los esquemas para calcular índices son diferentes. En la variación 2, se calcula un valor umbral tc de acuerdo con la expresión 25 a continuación.
[Cálculo 25]
tc = Tctable[BS QP]... (Expresión 25)
En la variación 2, a) no se requiere procesamiento para comprobar si un borde actual es o no un borde de CU y b) no se usa valor de compensación tc_offset en el cálculo del valor umbral tc como en la variación 1. Por lo tanto, es posible reducir la carga de procesamiento que va a colocarse en el aparato 100 de codificación de instantáneas en movimiento.
[1.1.7 Determinación de Tc dependiendo de un valor BS (Variación 3)]
La variación 3 de esta realización se describe basándose en la Figura 17.
La variación 3 describe un caso donde la etapa (etapa S100 en la Figura 7A) de cálculo de intensidades de límite BS es diferente de la etapa en la realización anterior, variación 1, y variación 2.
La Figura 17 es un diagrama de flujo que muestra procedimientos de procesamiento de las etapas de cálculo de intensidades de límite BS en esta variación.
En la etapa S210, la unidad 153 de control de filtro (Figura 6) de la unidad 150 de filtración de desbloqueo (Figura 1 y Figura 6) determina si al menos uno de los bloques Bp y Bq es o no una imagen intra codificada, como en la realización anterior.
Más específicamente, cuando se determina que al menos uno de los bloques Bp y Bq es una imagen intra codificada (SÍ en la etapa S210), el valor de la intensidad de límite BS se establece a 2 (S211).
Cuando se determina en la etapa S210 que ambos de los bloques Bp y Bq no son imágenes intra codificadas (No en S210), se determina si o uno de los valores de una bandera cbf-P y una bandera cbf-Q es o no distinto de 0 (S220).
Por otra parte, cuando se determina que una de la bandera cbf-P y la bandera cbf-Q no es 0 (NO en S220), se realiza una determinación en cuanto a si un índice de instantánea de referencia Refldx-P del bloque Bp y un índice de instantánea de referencia Refldx-Q del bloque Bq son diferentes o no entre sí (S230).
Cuando se determina en la etapa S230 que un índice de instantánea de referencia Refldx-P y un índice de instantánea de referencia Refld-Q son diferentes (SÍ en S230), el valor de la intensidad de límite BS se establece a 0 (S236).
Por otra parte, cuando se determina que el índice de instantánea de referencia Refldx-P y el índice de instantánea de referencia Refldx-Q son iguales (NO en S230), si se determina que uno de un parámetro AbsHor y AbsVer es o no mayor que 3 (S240).
Cuando, se determina en la etapa S240 que uno de los parámetros AbsHor y AbsVer es mayor que 3 (SÍ en S240), el valor de la intensidad de límite Bs se establece a 0 (S246). Por otra parte, cuando se determina en la etapa S240 que los parámetros AbsHor y AbsVer son menores o iguales a 3 (No en S240), no se establece filtración de desbloqueo (S248).
Cuando se determina en la etapa S220 que una bandera cbf-P y una bandera cbf-Q son 0 (SÍ en S220), se realiza una determinación en cuanto a si un índice de instantánea de referencia Refldx-P de un bloque Bp y un índice de instantánea de referencia Refldx-Q de un bloque Bq son diferentes o no entre sí (S250).
Cuando se determina en la etapa S250 que el índice de instantánea de referencia Refldx-P del bloque Bp y el índice de instantánea de referencia Refldx-Q del bloque BqsonQ son iguales (NO en S250), el valor de la intensidad de límite BS se establece a 1 (S252).
Cuando se determina en la etapa S250 que el índice de instantánea de referencia Refldx-P y el índice de instantánea de referencia Refldx-Q son diferentes entre sí, se realiza una determinación en cuanto a si uno de los parámetros AbsHor y AbsVer es o no mayor que 3 (S260).
Cuando, se determina en la etapa S260 que uno de los parámetros AbsHor y AbsVer es mayor que 3 (SÍ en S260), el valor de la intensidad de límite BS se establece a 2 (S264). Cuando se determina en la etapa S260 que ambos de los parámetros AbsHor y AbsVer son menores o iguales a 3 (NO en S240), el valor de la intensidad de límite BS se establece a 1 (S262).
Como se muestra en la Figura 17, la variación 3 hace posible realizar etapas adicionales de comprobación de si los índices de referencia son o no iguales y hacer la determinación basándose en la magnitud de la diferencia absoluta entre vectores de movimiento incluso cuando se determina en la etapa S220 que tanto la bandera cbf-P como la bandera cbf-Q son 0 (SÍ en S220), y establecer de esta manera los valores de las intensidades de límite BS de manera más precisa.
[1.1.8 Determinación de Tc dependiendo de un valor BS (Variación 4)]
La variación 4 de esta realización se describe basándose en las Figuras 18A y 18B.
La variación 4 describe un caso donde los procedimientos de procedimientos de filtración y los procedimientos de cálculo de intensidades de límite BS son diferentes de aquellos de en la realización anterior y las variaciones 1 a 3.
La Figura 18A es un diagrama de flujo que muestra un procedimiento de procesamiento de etapas de filtración en la variación 4.
Como se muestra en la Figura 18A, en la etapa S300, la unidad 153 de control de filtro calcula una intensidad de límite BS como un primer parámetro (una primera etapa de cálculo de parámetro).
En este punto, la Figura 18B es un diagrama de flujo que muestra los procedimientos para ajustar intensidades de límite BS. Como se muestra en la Figura 18B, se realiza una determinación en cuanto a si al menos uno de los bloques Bp y Bq es o no una imagen intra codificada (S210). Cuando se determina que al menos uno de los bloques Bp y Bq es una imagen intra codificada (SÍ en S210), el valor de la intensidad de límite BS se establece a 2 (S211). Por otra parte, cuando se determina que cada uno de los bloques Bp y Bq no es una imagen intra codificada (NO en S210), el valor de la intensidad de límite BS se establece a 0 (S213). Se ha de observar que es posible otro valor para el valor que va a establecerse como la intensidad de límite BS.
En la etapa S120, la unidad 153 de control de filtro calcula un valor umbral tc que define un intervalo de salida para un filtro de desbloqueo (una segunda etapa de cálculo de parámetro). Adicionalmente, en la etapa S120, la unidad 153 de control de filtro calcula un valor umbral p para seleccionar un filtro de desbloqueo que va a usarse.
En la etapa S330, la unidad 153 de control de filtro selecciona el filtro de desbloqueo basándose en el valor umbral tc y el valor umbral p (una etapa de selección).
Cuando se selecciona el filtro intenso en la etapa S330, el primer filtro 151 de desbloqueo realiza filtración intensa (S132). Cuando se selecciona el filtro débil en la etapa S330, el segundo filtro 152 de desbloqueo realiza filtración débil (S134).
Cuando no se selecciona filtración en la etapa S330, no se realiza filtración usando un filtro de desbloqueo (S136).
En esta variación, puesto que se simplifican los procedimientos de procesamiento de procedimientos de filtración y los procedimientos para calcular intensidades de límite BS, es posible reducir la carga de procesamiento que va a colocarse en un aparato 100 de codificación de instantáneas en movimiento. Adicionalmente, es posible reducir la capacidad de memoria que va a usarse en los procedimientos para calcular las intensidades de límite BS. En otras palabras, puesto que los posibles valores de las intensidades de límite son de 0 a 3, es posible representar cada una de las intensidades de límite BS como información de 2 bits. De esta manera, los efectos ventajosos de esta variación son que el procesamiento se realiza usando una cantidad menor de capacidad de memoria, y que los resultados de desbloqueo son iguales que los resultados obtenibles en el HM-4.0 actual.
[Realización 2]
Se describe un procedimiento de decodificación de instantáneas en movimiento y un aparato de decodificación de instantáneas en movimiento de acuerdo con la realización 2 basándose en la Figura 19.
La Figura 19 es un diagrama de bloques que muestra una estructura de ejemplo de un aparato de decodificación de instantáneas en movimiento que soporta la norma de codificación de vídeo H.264/MPEG-4AVC o HEVC.
Como se muestra en la Figura 19, el aparato 200 de decodificación de instantáneas en movimiento incluye un decodificador 290 de entropía, una unidad 230 de cuantificación inversa / transformación inversa, un sumador 240, una unidad 250 de filtración de desbloqueo, una unidad 260 de compensación adaptativa de muestra, una unidad 255 de filtración de bucle adaptativo, una memoria 270 de fotograma, y una unidad 280 de predicción.
En la Figura 19, el decodificador 290 de entropía realiza decodificación de longitud variable en una secuencia de bits codificados de entrada para decodificar información necesaria para decodificar modos de predicción etc., y coeficientes cuantificados.
La unidad 230 de cuantificación inversa / transformación inversa genera datos de error de predicción e3 realizando cuantificación inversa en los coeficientes cuantificados obtenidos a través de la decodificación de longitud variable, y realizando transformada de un dominio de frecuencia a un dominio de imagen en los coeficientes cuantificados obtenidos a través de la cuantificación inversa.
El sumador 240 generar unos datos de imagen reconstruida (señal de imagen reconstruida s1) añadiendo los datos de imagen de predicción (una señal de imagen de predicción s5) y los datos de error de predicción (la señal de error de predicción e3) ya sometidos a la cuantificación inversa y transformada inversa por la unidad 230 de cuantificación inversa / transformación inversa.
La unidad 250 de filtración de desbloqueo incluye una pluralidad de filtros de desbloqueo que tienen diferentes intensidades y una unidad de control de filtro que controla la pluralidad de filtros de desbloqueo (ambas de las cuales no se muestran en los dibujos). La unidad 250 de filtración de desbloqueo incluye la pluralidad de filtros de desbloqueo que corresponden en tipo a los filtros de desbloqueo incluidos en el aparato 100 de codificación de instantáneas en movimiento. Por ejemplo, la unidad 250 de filtración de desbloqueo puede incluir dos clases de filtros de desbloqueo para bandas estrechas y para bandas anchas, como en la realización 1. Se ha de observar que la unidad 250 de filtración de desbloqueo corresponde en estructura a la unidad 150 de filtración de desbloqueo en la realización 1.
La unidad 260 de compensación adaptativa de muestra realiza, en una base por unidad de píxel, un procedimiento de asignación de un valor de compensación para la aproximación a los valores de píxel originales en los datos de imagen reconstruidos (señal de imagen reconstruida s2) filtrados por la unidad 250 de filtración de desbloqueo.
La unidad 255 de filtración de bucle adaptativo incluye un filtro de bucle adaptativo tal como un filtro Wiener, y realiza un procedimiento de distorsión de imagen de compensación debido a la compresión en los datos de imagen reconstruidos (señal de imagen reconstruida s3) emitidos desde la unidad 260 de compensación adaptativa de muestra. La señal de imagen de salida s4 de la unidad 255 de filtración de bucle adaptativo se emite como una señal decodificada que representa una imagen decodificada.
La memoria 270 de fotograma almacena, en una base por tramas, los datos de imagen reconstruidos (señal de imagen reconstruida s4) ya sometidos a la aplicación del filtro de bucle adaptativo.
La unidad 280 de predicción incluye una unidad de intra predicción que realiza predicción espacial (intra predicción) para generar una imagen de predicción, y una unidad de inter predicción que realiza predicción temporal (inter predicción) para generar una imagen de predicción (la unidad de intra predicción y la unidad de inter predicción no se muestran en el dibujo). La unidad 280 de predicción puede seleccionar el tipo de predicción en una base por tramas o una base por bloque.
[Realización 3]
Se describe un procedimiento de codificación de instantáneas en movimiento y un aparato de codificación de instantáneas en movimiento de acuerdo con la realización 3 basándose en la Figura 20.
La Figura 20 es un diagrama de bloques que muestra una estructura de ejemplo de un aparato de codificación de instantáneas en movimiento (un codificador de vídeo híbrido) en esta realización.
Como se muestra en la Figura 20, el aparato 300 de codificación de instantáneas en movimiento incluye un restador 105, una unidad 110 de transformación, una unidad 120 de cuantificación, una unidad 130 de cuantificación inversa / transformación inversa, un sumador 140, una unidad 310 de filtración de desbloqueo horizontal, una unidad 320 de filtración de desbloqueo vertical, una unidad 165 de filtración de bucle adaptativo, una unidad 160 de compensación adaptativa de muestra, una unidad 180 de predicción, y un codificador 190 de entropía.
Cada uno del restador 105, la unidad 110 de transformación, la unidad 120 de cuantificación, la unidad 130 de cuantificación inversa / transformación inversa, el sumador 140, la unidad 165 de filtración de bucle adaptativo, la unidad 160 de compensación adaptativa de muestra, la unidad 180 de predicción, y el codificador 190 de entropía en esta realización son los mismos en estructura al restador 105, la unidad 110 de transformación, la unidad 120 de cuantificación, la unidad 130 de cuantificación inversa / transformación inversa, el sumador 140, la unidad 165 de filtración de bucle adaptativo, la unidad 155 de compensación adaptativa de muestra, la unidad 180 de predicción, y el codificador 190 de entropía en la realización 1 (ejemplo de comparación), respectivamente.
El aparato 300 de codificación de instantáneas en movimiento en esta realización es diferente del aparato 100 de codificación de instantáneas en movimiento en la realización 1 en el punto que la unidad 150 de filtración de desbloqueo mostrada en la Figura 1 se divide en (i) una unidad 310 de filtración de desbloqueo horizontal que ejecuta filtración en bordes verticales y (ii) una unidad 320 de filtración de desbloqueo vertical que ejecuta filtración en bordes horizontales.
Se ha de observar que, en esta realización, la unidad 310 de filtración de desbloqueo horizontal genera una señal reconstruida s6 ejecutando filtración en un borde vertical representado por una señal reconstruida s1 emitida desde el sumador 140. Además, la unidad 320 de filtración de desbloqueo vertical ejecuta filtración en un borde horizontal representado por una señal reconstruida s6.
Se ha de observar que, la Figura 20 muestra que se introduce un parámetro de cuantificación QP al codificador 190 de entropía, a la unidad 310 de filtración de desbloqueo horizontal, y a la unidad 320 de filtración de desbloqueo vertical.
[Realización 4]
El procesamiento descrito en cada una de las realizaciones puede implementarse simplemente en un sistema informático independiente, grabando, en un medio de grabación, un programa para que implementa las configuraciones del procedimiento de codificación de instantáneas en movimiento (procedimiento de codificación de imágenes) y el procedimiento de decodificación de instantáneas en movimiento (procedimiento de decodificación de imágenes) descritos en cada una de las realizaciones. El medio de grabación puede ser cualquier medio de grabación siempre que el programa pueda grabarse, tal como un disco magnético, un disco óptico, un disco óptico magnético, una tarjeta de CI, y una memoria de semiconductores.
Posteriormente en el presente documento, se describirán las aplicaciones al procedimiento de codificación de instantáneas en movimiento (procedimiento de codificación de imágenes) y al procedimiento de decodificación de instantáneas en movimiento (procedimiento de decodificación de imágenes) descritos en cada una de las realizaciones, y sistemas que usan los mismos. El sistema tiene una característica de tener un aparato de codificación y de decodificación de imágenes que incluye un aparato de codificación de imágenes que usa el procedimiento de codificación de imágenes y un aparato de decodificación de imágenes que usa el procedimiento de decodificación de imágenes. Pueden cambiarse otras configuraciones en el sistema según sea apropiado, dependiendo de los casos.
La Figura 21 ilustra una configuración general de un sistema de provisión de contenido ex100 para la implementación de servicios de distribución de contenido. El área para proporcionar servicios de comunicación se divide en células de tamaño deseado, y las estaciones base ex106, ex107, ex108, ex109 y ex110 que son estaciones inalámbricas fijas se colocan en cada una de las células.
El sistema de provisión de contenido ex100 está conectado a dispositivos, tales como a un ordenador ex111, un asistente digital personal (PDA) ex112, una cámara ex113, un teléfono celular ex114 y una máquina de juegos ex115, mediante Internet ex101, un proveedor de servicios de Internet ex102, una red de telefonía ex104, así como a las estaciones base ex106 a ex110, respectivamente.
Sin embargo, la configuración del sistema de provisión de contenido ex100 no se limita a la configuración mostrada en la figura 21, y es aceptable una combinación en la que está conectado cualquiera de los elementos. Además, cada dispositivo puede estar directamente conectado a la red de telefonía ex104, en lugar de mediante las estaciones base ex106 a ex110 que son las estaciones inalámbricas fijas. Adicionalmente, los dispositivos pueden interconectarse entre sí mediante una comunicación inalámbrica de corta distancia y otras.
La cámara ex113, tal como una cámara de vídeo digital, puede capturar vídeo. Una cámara ex116, tal como una cámara digital, puede capturar tanto imágenes fijas como vídeo. Adicionalmente, el teléfono celular ex114 puede ser el que cumple cualquiera de las normas tales como el Sistema Global para Comunicación Móvil (GSM) (marca registrada), Acceso Múltiple por División de Código (CDMA), Acceso Múltiple por División de Código de Banda Ancha (W-CDMA), Evolución a Largo Plazo (LTE) y Acceso por Paquetes a Alta Velocidad (HSPA). Como alternativa, el teléfono celular ex114 puede ser un Sistema Móvil Personal (PHS).
En el sistema de provisión de contenido ex100, un servidor de envío por flujo continuo ex103 está conectado a la cámara ex113 y a otros mediante la red de telefonía ex104 y la estación base ex109, que posibilita la distribución de imágenes de un espectáculo en directo y otros. En una distribución de este tipo, un contenido (por ejemplo, vídeo de un espectáculo en directo de música) capturado por el usuario que usa la cámara ex113 se codifica como se ha descrito anteriormente en cada una de las realizaciones (es decir, la cámara funciona como el aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención), y el contenido codificado se transmite al servidor de flujo continuo ex103. Por otra parte, el servidor de flujo continuo ex103 lleva a cabo distribución de flujo en los datos de contenido transmitidos a los clientes tras sus solicitudes. Los clientes incluyen el ordenador ex111, el PDA ex112, la cámara ex113, el teléfono celular ex114, y la máquina de juegos ex115 que pueden decodificar los datos codificados anteriormente mencionados. Cada uno de los dispositivos que han recibido los datos distribuidos decodifican y reproducen los datos codificados (es decir, funciona como el aparato de decodificación de imágenes de acuerdo con un aspecto de la presente invención).
Los datos capturados pueden codificarse por la cámara ex113 o el servidor de flujo continuo ex103 que transmite los datos, o los procedimientos de codificación pueden compartirse entre la cámara ex113 y el servidor de flujo continuo ex103. De manera similar, los datos distribuidos pueden decodificarse por los clientes o el servidor de flujo continuo ex103, o los procedimientos de decodificaciones pueden compartirse entre los clientes y el servidor de flujo continuo ex103. Adicionalmente, los datos de las imágenes fijas y el vídeo capturado no únicamente por la cámara ex113 sino también por la cámara ex116 pueden transmitirse al servidor de flujo continuo ex103 a través del ordenador ex111. Los procedimientos de codificación pueden realizarse por la cámara ex116, el ordenador ex111, o el servidor de flujo continuo ex103, o compartirse entre ellos.
Adicionalmente, los procedimientos de codificación y decodificación pueden realizarse por un LSI ex500 generalmente incluido en cada uno del ordenador ex111 y los dispositivos. El LSI ex500 puede estar configurado de un único chip o una pluralidad de chips. El software para codificar y decodificar vídeo puede estar integrado en algún tipo de un medio de grabación (tal como un CD-ROM, un disco flexible y un disco duro) que es legible por el ordenador ex111 y otros, y los procedimientos de codificación y decodificación pueden realizarse usando el software. Adicionalmente, cuando el teléfono celular ex114 está equipado con una cámara, los datos de vídeo obtenidos por la cámara pueden transmitirse. Los datos de vídeo son datos codificados por el LSI ex500 incluido en el teléfono celular ex114.
Adicionalmente, el servidor de flujo continuo ex103 puede estar compuesto por servidores y ordenadores, y puede descentralizar los datos y procesar los datos descentralizados, registrar o distribuir los datos.
Como se ha descrito anteriormente, los clientes pueden recibir y reproducir los datos codificados en el sistema de provisión de contenido ex100. En otras palabras, los clientes pueden recibir y decodificar información transmitida por el usuario, y reproducir los datos decodificados en tiempo real en el sistema de provisión de contenido ex100, de modo que el usuario que no tiene ningún derecho y equipo particular puede implementar difusión personal.
Además del ejemplo del sistema de provisión de contenido ex100, al menos uno del aparato de codificación de instantáneas en movimiento (aparato de codificación de imágenes) y el aparato de decodificación de instantáneas en movimiento (aparato de decodificación de imágenes) descritos en cada una de las realizaciones pueden implementarse en un sistema de difusión digital ex200 ilustrado en la figura 22. Más específicamente, una estación de difusión ex201 comunica o transmite mediante ondas de radio a un satélite de difusión ex202, datos multiplexados obtenidos multiplexando datos de audio y otros en datos de vídeo. Los datos de vídeo son datos codificados por el procedimiento de codificación de instantáneas en movimiento descrito en cada una de las realizaciones (es decir, datos codificados por el aparato de codificación de imágenes de acuerdo con un aspecto de la presente invención). Tras la recepción de los datos multiplexados, el satélite de difusión ex202 transmite ondas de radio para difusión. A continuación, una antena de uso doméstico ex204 con una función de recepción de difusión por satélite recibe las ondas de radio. A continuación, un dispositivo tal como una televisión (receptor) ex300 y un decodificador de salón (STB) ex217 decodifica los datos multiplexados recibidos, y reproduce los datos decodificados (es decir, funciona como el aparato de decodificación de imágenes de acuerdo con un aspecto de la presente invención).
Adicionalmente, un lector/grabador ex218 (i) lee y decodifica los datos multiplexados grabados en un medio de grabación ex215, tal como un DVD y un BD, o (i) codifica señales de vídeo en el medio de grabación ex215, y en algunos casos, escribe datos obtenidos multiplexando una señal de audio en los datos codificados. El lector/grabador ex218 puede incluir el aparato de decodificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento como se muestra en cada una de las realizaciones. En este caso, las señales de vídeo reproducidas se visualizan en el monitor ex219, y pueden reproducirse por otro dispositivo o sistema usando el medio de grabación ex215 en el que se graban los datos multiplexados. Es también posible implementar el aparato de decodificación de instantáneas en movimiento en el decodificador de salón ex217 conectado al cable ex203 para una televisión por cable o a la antena ex204 para difusión por satélite y/o terrestre, para visualizar las señales de vídeo en el monitor ex219 de la televisión ex300. El aparato de decodificación de instantáneas en movimiento puede implementarse no en el decodificador de salón sino en la televisión ex300.
La Figura 23 ilustra la televisión (receptor) ex300 que usa el procedimiento de codificación de instantáneas en movimiento y el procedimiento de decodificación de instantáneas en movimiento descritos en cada una de las realizaciones. La televisión ex300 incluye: un sintonizador ex301 que obtiene o proporciona datos multiplexados obtenidos multiplexando datos de audio a datos de vídeo, a través de la antena ex204 o el cable ex203, etc. que recibe una difusión; una unidad de modulación/demodulación ex302 que demodula los datos multiplexados recibidos o modula datos en datos multiplexados a suministrarse al exterior; y una unidad de multiplexación/demultiplexación ex303 que demultiplexa los datos multiplexados modulados en datos de vídeo y datos de audio, o multiplexa datos de vídeo y datos de audio codificados por una unidad de procesamiento de señal en datos ex306.
La televisión ex300 incluye adicionalmente: una unidad de procesamiento de señales ex306 que incluye una unidad de procesamiento de señales de audio ex304 y una unidad de procesamiento de señales de vídeo ex305 que decodifican datos de audio y datos de vídeo y codifican datos de audio y datos de vídeo, respectivamente (que funciona como el aparato de codificación de imágenes y el aparato de decodificación de imágenes de acuerdo con los aspectos de la presente invención); y una unidad de salida ex309 que incluye un altavoz ex307 que proporciona la señal de audio decodificada, y una unidad de visualización ex308 que visualiza la señal de vídeo decodificada, tal como una pantalla. Adicionalmente, la televisión ex300 incluye una unidad de interfaz ex317 que incluye una unidad de entrada de operación ex312 que recibe una entrada de una operación de usuario. Adicionalmente, la televisión ex300 incluye una unidad de control ex310 que controla de manera global cada elemento constituyente de la televisión ex300, y una unidad de circuito de fuente de alimentación ex311 que suministra potencia a cada uno de los elementos. Además de la unidad de entrada de operación ex312, la unidad de interfaz ex317 puede incluir: un puente ex313 que se conecta a un dispositivo externo, tal como el lector/grabador ex218; una unidad de ranura ex314 para posibilitar la conexión del medio de grabación ex216, tal como una tarjeta de SD; un controlador ex315 para conectarse a un medio de grabación externo, tal como un disco duro; y un módem ex316 para conectarse a una red de telefonía. En este punto, el medio de grabación ex216 puede grabar eléctricamente información usando un elemento de memoria de semiconductores no volátil/volátil para almacenamiento. Los elementos constituyentes de la televisión ex300 están conectados entre sí a través de un bus síncrono.
En primer lugar, se describirá la configuración en la que la televisión ex300 decodifica datos multiplexados obtenidos desde el exterior a través de la antena ex204 y otros y reproduce los datos decodificados. En la televisión ex300, después de la operación de un usuario a través de un controlador remoto ex220 y otros, la unidad de multiplexación/demultiplexación ex303 demultiplexa los datos multiplexados demodulados por la unidad de modulación/demodulación ex302, bajo el control de la unidad de control ex310 que incluye una CPU. Adicionalmente, la unida ex304 de procesamiento de señal de audio decodifica los datos de audio demultiplexados, y la unidad de procesamiento de señal de vídeo ex305 decodifica los datos de vídeo demultiplexados, usando el procedimiento de decodificación descrito en cada una de las realizaciones, en la televisión ex300. La unidad de salida ex309 proporciona la señal de vídeo decodificada y la señal de audio al exterior, respectivamente. Cuando la unidad de salida ex309 proporciona la señal de vídeo y la señal de audio, las señales pueden almacenarse temporalmente en las memorias intermedias ex318 y ex319, y otros de modo que las señales se reproducen en sincronización entre sí. Adicionalmente, la televisión ex300 puede leer datos multiplexados no a través de una difusión y otros sino desde el medio de grabación ex215 y ex216, tal como un disco magnético, un disco óptico, y una tarjeta de SD. A continuación, se describirá una configuración en la que la televisión ex300 codifica una señal de audio y una señal de vídeo, y transmite los datos al exterior o escribe los datos en un medio de grabación. En la televisión ex300, después de una operación de usuario a través del controlador remoto ex220 y otros, la unidad de procesamiento de señal de audio ex304 codifica una señal de audio, y la unidad de procesamiento de señal de vídeo ex305 codifica una señal de vídeo, bajo el control de la unidad de control ex310 usando el procedimiento de codificación descrito en cada una de las realizaciones. La unidad de multiplexación/demultiplexación ex303 multiplexa la señal de vídeo y la señal de audio codificadas, y proporciona la señal resultante al exterior. Cuando la unidad de multiplexación/demultiplexación ex303 multiplexa la señal de vídeo y la señal de audio, las señales pueden almacenarse temporalmente en las memorias intermedias ex320 y ex321, y otros de modo que las señales se reproducen en sincronización entre sí. En este punto, las memorias intermedias ex318, ex319, ex320 y ex321 pueden ser varias como se ilustra, o al menos una memoria intermedia puede compartirse en la televisión ex300. Adicionalmente, se pueden almacenar datos en una memoria intermedia de modo que puede evitarse el desbordamiento y subdesbordamiento del sistema entre la unidad de modulación/demodulación ex302 y la unidad de multiplexación/demultiplexación ex303, por ejemplo.
Adicionalmente, la televisión ex300 puede incluir una configuración para recibir una entrada de AV desde un micrófono o una cámara distinta de la configuración para obtener datos de audio y de vídeo desde una difusión o de un medio de grabación, y puede codificar los datos obtenidos. Aunque la televisión ex300 puede codificar, multiplexar y proporcionar datos al exterior en la descripción, puede únicamente recibir, decodificar y proporcionar datos al exterior pero no codificar, multiplexar y proporcionar datos al exterior.
Adicionalmente, cuando el lector/grabador ex218 lee o escribe datos multiplexados desde o en un medio de grabación, una de la televisión ex300 y el lector/grabador ex218 pueden decodificar o codificar los datos multiplexados, y la televisión ex300 y el lector/grabador ex218 puede compartir la decodificación o codificación.
Como un ejemplo, la figura 24 ilustra una configuración de una unidad de reproducción/grabación de información ex400 cuando se leen o escriben datos desde o en un disco óptico. La unidad de reproducción/grabación de información ex400 incluye los elementos constituyentes ex401, ex402, ex403, ex404, ex405, ex406 y ex407 que se describen en lo sucesivo. El cabezal óptico ex401 irradia un punto láser en una superficie de grabación del medio de grabación ex215 que es un disco óptico para escribir información, y detecta luz reflejada desde la superficie de grabación del medio de grabación ex215 para leer la información. La unidad de grabación de modulación ex402 acciona eléctricamente un láser de semiconductores incluido en el cabezal óptico ex401, y modula la luz de láser de acuerdo con datos grabados. La unidad de demodulación de reproducción ex403 amplifica una señal de reproducción obtenida detectando eléctricamente la luz reflejada desde la superficie de grabación usando un fotodetector incluido en el cabezal óptico ex401, y demodula la señal de reproducción separando un componente de señal grabado en el medio de grabación ex215 para reproducir la información necesaria. La memoria intermedia ex404 mantiene temporalmente la información a grabarse en el medio de grabación ex215 y la información reproducida desde el medio de grabación ex215. El motor de disco ex405 gira el medio de grabación ex215. La unidad de servocontrol ex406 mueve el cabezal óptico ex401 a una pista de información predeterminada mientras controla el mecanismo de rotación del motor de disco ex405 para seguir el punto láser. La unidad de control de sistema ex407 controla la totalidad de la unidad de reproducción/grabación de información ex400. Los procedimientos de lectura y escritura pueden implementarse por la unidad de control de sistema ex407 usando diversa información almacenada en la memoria intermedia ex404 y generando y añadiendo nueva información según sea necesaria, y por la unidad de grabación de modulación ex402, la unidad de demodulación de reproducción ex403, y la unidad de servocontrol ex406 que graban y reproducen información a través del cabezal óptico ex401 mientras se operan de una manera coordinada. La unidad de control de sistema ex407 incluye, por ejemplo, un microprocesador y ejecuta procesamiento provocando que un ordenador ejecute un programa para lectura y escritura.
Aunque el cabezal óptico ex401 irradia un punto láser en la descripción, puede realizar grabación de alta densidad usando luz de campo cercano.
La Figura 25 ilustra el medio de grabación ex215 que es el disco óptico. En la superficie de grabación del medio de grabación ex215, se forman de manera espiral surcos de guía, y una pista de información ex230 graba, con antelación, información de dirección que indica una posición absoluta en el disco de acuerdo con el cambio en una forma de las ranuras de guía. La información de dirección incluye información para determinar posiciones de bloques de grabación ex231 que son una unidad para grabar datos. Reproducir la pista de información ex230 y leer la información de dirección en un aparato que graba y reproduce datos puede conducir a la determinación de las posiciones de los bloques de grabación. Adicionalmente, el medio de grabación ex215 incluye un área de grabación de datos ex233, un área de circunferencia interna ex232, y un área de circunferencia externa ex234. El área de grabación de datos ex233 es un área para su uso al grabar los datos de usuario. El área de circunferencia interna ex232 y el área de circunferencia externa ex234 que están en el interior y el exterior del área de grabación de datos ex233, respectivamente son para uso específico excepto para la grabación de los datos de usuario. La unidad de reproducción/grabación de información 400 lee y escribe datos de audio codificado, datos de vídeo codificado, o datos multiplexados obtenidos multiplexando los datos de audio y vídeo codificados, desde y en el área de grabación de datos ex233 del medio de grabación ex215.
Aunque se describe un disco óptico que tiene una capa, tal como un DVD y un BD como un ejemplo en la descripción, el disco óptico no se limita a esto, y puede ser un disco óptico que tiene una estructura de múltiples capas y que puede grabarse en una parte distinta de la superficie. Adicionalmente, el disco óptico puede tener una estructura para grabación/reproducción multidimensional, tal como grabación de información usando luz de colores con diferentes longitudes de onda en la misma porción del disco óptico y para grabar información que tiene diferentes capas desde diferentes ángulos.
Adicionalmente, un coche ex210 que tiene una antena ex205 puede recibir datos desde el satélite ex202 y otros, y reproducir vídeo en un dispositivo de visualización tal como un sistema de navegación de coche ex211 establecido en el coche ex210, en el sistema de difusión digital ex200. En este punto, una configuración del sistema de navegación de automóvil ex211 será una configuración, por ejemplo, que incluye una unidad de recepción de GPS a partir de la configuración ilustrada en la figura 23. Lo mismo se cumplirá para la configuración del ordenador ex111, el teléfono celular ex114, y otros.
La Figura 26A ilustra el teléfono celular ex114 que usa el procedimiento de codificación de instantáneas en movimiento y el procedimiento de decodificación de instantáneas en movimiento descritos en las realizaciones. El teléfono celular ex114 incluye: una antena ex350 para transmitir y recibir ondas de radio a través de la estación base ex110; una unidad de cámara ex365 capaz de capturar imágenes en movimiento y fijas; y una unidad de visualización ex358 tal como un visualizador de cristal líquido para visualizar datos tales como vídeo decodificado capturado por la unidad de cámara ex365 o recibido por la antena ex350. El teléfono celular ex114 incluye adicionalmente: una unidad de cuerpo principal que incluye una unidad de teclas de operación ex366; una unidad de salida de audio ex357 tal como un altavoz para la salida de audio; una unidad de entrada de audio ex356 tal como un micrófono para la entrada de audio; una unidad de memoria ex367 para almacenar vídeo capturado o instantáneas fijas, audio grabado, datos codificados o des codificados del vídeo recibido, las instantáneas fijas, correos electrónicos, u otros; y una unidad de ranura ex364 que es una unidad de interfaz para un medio de grabación que almacena datos de la misma forma que la unidad de memoria ex367.
A continuación, un ejemplo de una configuración del teléfono celular ex114 se describirá con referencia a la figura 26B. En el teléfono celular ex114, una unidad de control principal ex360 diseñada para controlar en general cada unidad del cuerpo principal que incluye la unidad de visualización ex358 así como la unidad de teclas de operación ex366 se conecta mutuamente, a través de un bus síncrono ex370, a una unidad de circuito de fuente de alimentación ex361, una unidad de control de entrada de operación ex362, una unidad de procesamiento de señales de vídeo ex355, una unidad de interfaz de cámara ex363, una unidad de control de pantalla de cristal líquido (LCD) ex359, una unidad de modulación/demodulación ex352, una unidad de multiplexación/demultiplexación ex353, una unidad de procesamiento de señales de audio ex354, la unidad de ranura ex364 y la unidad de memoria ex367.
Cuando una tecla de fin de llamada o una tecla de alimentación es activada por una operación de un usuario, la unidad de circuito de fuente de alimentación ex361 abastece a las unidades respectivas con alimentación procedente de un paquete de batería con el fin de activar el teléfono celular ex114.
En el teléfono celular ex114, la unidad de procesamiento de señales de audio ex354 convierte las señales de audio recogidas por la unidad de entrada de audio ex356 en modo de conversación por voz en señales de audio digital bajo el control de la unidad de control principal ex360 que incluye una CPU, ROM y RAM. Entonces, la unidad de modulación/demodulación ex352 realiza un procesamiento de espectro ensanchado sobre las señales de audio digital, y la unidad de transmisión y de recepción ex351 realiza una conversión de analógico a digital y una conversión en frecuencia sobre los datos, con el fin de transmitir los datos resultantes por medio de la antena ex350. Asimismo, en el teléfono celular ex114, la unidad de transmisión y de recepción ex351 amplifica los datos recibidos por la antena ex350 en modo de conversación por voz y realiza la conversión en frecuencia y la conversión de digital a analógico sobre los datos. Entonces, la unidad de modulación/demodulación ex352 realiza un procesamiento de espectro ensanchado inverso sobre los datos, y la unidad de procesamiento de señales de audio ex354 los convierte en señales de audio analógico, con el fin de emitir las mismas por medio de la unidad de salida de audio ex357.
Además, cuando se transmite un correo electrónico en modo de comunicación de datos, datos de texto del correo electrónico introducido al operar la unidad de teclas de operación ex366 y otros del cuerpo principal se envían fuera a la unidad de control principal ex360 por medio de la unidad de control de entrada de operación ex362. La unidad de control principal ex360 da lugar a que la unidad de modulación/demodulación ex352 realice un procesamiento de espectro ensanchado sobre los datos de texto, y la unidad de transmisión y de recepción ex351 realiza la conversión de analógico a digital y la conversión en frecuencia sobre los datos resultantes para transmitir los datos a la estación base ex110 por medio de la antena ex350. Cuando se recibe un correo electrónico, un procesamiento que es aproximadamente inverso al procesamiento para transmitir un correo electrónico se realiza sobre los datos recibidos, y los datos resultantes se proporcionan a la unidad de visualización ex358.
Cuando se transmite o transmiten vídeo, imágenes fijas o vídeo y audio en modo de comunicación de datos, la unidad de procesamiento de señales de vídeo ex355 comprime y codifica señales de vídeo suministradas desde la unidad de cámara ex365 usando el procedimiento de codificación de instantáneas en movimiento mostrado en cada una de las realizaciones (es decir, funciona como el aparato de codificación de imágenes de acuerdo con el aspecto de la presente invención), y transmite los datos de vídeo codificados a la unidad de multiplexación/demultiplexación ex353. En contraposición, durante cuando la unidad de cámara ex365 captura vídeo, imágenes fijas, y otros, la unidad de procesamiento de señales de audio ex354 codifica las señales de audio recogidas por la unidad de entrada de audio ex356, y transmite los datos de audio codificados a la unidad de multiplexación/demultiplexación ex353.
La unidad de multiplexación/demultiplexación ex353 multiplexa los datos de vídeo codificados suministrados desde la unidad de procesamiento de señales de vídeo ex355 y los datos de audio codificados suministrados desde la unidad de procesamiento de señales de audio ex354, usando un procedimiento predeterminado. Entonces, la unidad de modulación/demodulación (unidad de circuito de modulación/demodulación) ex352 realiza un procesamiento de espectro ensanchado sobre los datos multiplexados, y la unidad de transmisión y de recepción ex351 realiza una conversión de analógico a digital y una conversión en frecuencia sobre los datos con el fin de transmitir los datos resultantes por medio de la antena ex350.
Cuando se reciben datos de un archivo de vídeo que está vinculado a una página web y otros en modo de comunicación de datos o cuando se recibe un correo electrónico con vídeo y/o audio adjunto, para decodificar los datos multiplexados recibidos a través de la antena ex350, la unidad de multiplexación/demultiplexación ex353 demultiplexa los datos multiplexados en una secuencia de bits de datos de vídeo y una secuencia de bits de datos de audio, y suministra a la unidad de procesamiento de señales de vídeo ex355 los datos de vídeo codificados y la unidad de procesamiento de señales de audio ex354 con los datos de audio codificados, a través del bus síncrono ex370. La unidad de procesamiento de señales de vídeo ex355 decodifica la señal de vídeo usando un procedimiento de decodificación de instantáneas en movimiento que se corresponde con el procedimiento de codificación de instantáneas en movimiento mostrado en cada una de las realizaciones (es decir, funciona como el aparato de decodificación de imágenes de acuerdo con el aspecto de la presente invención) y, entonces, la unidad de visualización ex358 visualiza, por ejemplo, el vídeo y las imágenes fijas incluidos en el archivo de vídeo vinculado a la página Web por medio de la unidad de control de LCD ex359. Además, la unidad de procesamiento de señales de audio ex354 decodifica la señal de audio, y la unidad de salida de audio ex357 proporciona el audio.
Adicionalmente, de manera similar a la televisión ex300, un terminal tal como el teléfono celular ex114 probablemente tiene 3 tipos de configuraciones de implementación que incluyen no únicamente (i) un terminal de transmisión y recepción que incluye tanto un aparato de codificación como un aparato de decodificación, sino también (ii) un terminal de transmisión que incluye únicamente un aparato de codificación y (iii) un terminal de recepción que incluye únicamente un aparato de decodificación. Aunque el sistema de difusión digital ex200 recibe y transmite los datos multiplexados obtenidos multiplexando datos de audio en datos de vídeo en la descripción, los datos multiplexados pueden ser datos obtenidos multiplexando no datos de audio sino datos de caracteres relacionados con vídeo en datos de vídeo, y pueden no ser datos multiplexados sino los mismos datos de vídeo.
En este sentido, el procedimiento de codificación de instantáneas en movimiento y el procedimiento de decodificación de instantáneas en movimiento en cada una de las realizaciones se pueden usar en cualquiera de los dispositivos y sistemas descritos. Por lo tanto, se pueden obtener las ventajas descritas en cada una de las realizaciones.
La presente invención no está limitada a las realizaciones anteriores, y pueden realizarse diversas modificaciones y revisiones sin desviarse del alcance de la presente invención.
[Realización 5]
Los datos de vídeo se pueden generar conmutando, según sea necesario, entre (i) el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento mostrados en cada una de realizaciones y (ii) un procedimiento de codificación de instantáneas en movimiento o un aparato de codificación de instantáneas en movimiento cumpliendo con una norma diferente, tal como MPEG-2, AVC de MPEG-4 y VC-1.
En este punto, cuando se genera una pluralidad de datos de vídeo que cumple con las diferentes normas y se decodifican a continuación, necesitan seleccionarse los procedimientos de decodificación para cumplir con las diferentes normas. Sin embargo, puesto que no puede detectarse con qué norma cumple cada uno de la pluralidad de los datos de vídeo que se va a decodificar, existe un problema de que no puede seleccionarse un procedimiento de decodificación apropiado.
Para resolver el problema, los datos multiplexados obtenidos multiplexando datos de audio y otros en datos de vídeo tienen una estructura que incluye información de identificación que indica con qué norma cumplen los datos de vídeo. Se describirá en lo sucesivo la estructura específica de los datos multiplexados que incluyen los datos de vídeo generados en el procedimiento de codificación de instantáneas en movimiento y por el aparato de codificación de instantáneas en movimiento mostrados en cada una de las realizaciones. Los datos multiplexados son un flujo digital en el formato de Flujo de Transporte de MPEG-2.
La Figura 27 ilustra una estructura de los datos multiplexados. Como se ilustra en la figura 27, los datos multiplexados pueden obtenerse multiplexando al menos uno de un flujo de vídeo, un flujo de audio, un flujo de gráficos de presentación (PG), y un flujo de gráficos interactivo. El flujo de vídeo representa vídeo primario y vídeo secundario de una película, el flujo de audio (IG) representa una parte de audio primario y una parte de audio secundario a mezclarse con la parte de audio primario, y el flujo de gráficos de presentación representa subtítulos de la película. En este punto, el vídeo primario es vídeo normal a visualizarse en una pantalla, y el vídeo secundario es vídeo a visualizarse en una ventana más pequeña en el vídeo primario. Adicionalmente, el flujo de gráficos interactivo representa una pantalla interactiva a generarse disponiendo los componentes de la GUI en una pantalla. El flujo de vídeo se codifica en el procedimiento de codificación de instantáneas en movimiento o por el aparato de codificación de instantáneas en movimiento mostrado en cada una de las realizaciones, o en un procedimiento de codificación de instantáneas en movimiento o por un aparato de codificación de instantáneas en movimiento cumpliendo con una norma convencional, tal como MPEG-2, AVC de MPEG-4 y VC-1. El flujo de audio se codifica de acuerdo con una norma, tal como Dolby-AC-3, Dolby Digital Plus, MLP, DTS, DTS-HD y PCM lineal.
Cada flujo incluido en los datos multiplexados se identifica por PID. Por ejemplo, se asigna 0x1011 al flujo de vídeo a usar para vídeo de una película, se asigna 0x1100 a 0x111F a los flujos de audio, se asigna 0x1200 a 0x121F al flujo de gráficos de presentación, se asigna 0x1400 a 0x141F al flujo de gráficos interactivo, se asigna 0x1B00 a 0x1B1F a los flujos de vídeo a usar para vídeo secundario de la película, y se asigna 0x1A00 a 0x1A1F a los flujos de audio a usar para el audio secundario a mezclarse con el audio principal.
La Figura 28 ilustra esquemáticamente cómo se multiplexan datos. En primer lugar, un flujo de vídeo ex235 compuesto por tramas de vídeo y un flujo de audio ex238 compuesto por tramas de audio se transforman en un flujo de paquetes de PES ex236 y un flujo de paquetes de PES ex239, y adicionalmente en paquetes de TS ex237 y paquetes de TS ex240, respectivamente. De manera similar, los datos de un flujo de gráficos de presentación ex241 y los datos de un flujo de gráficos interactivo ex244 se transforman en un flujo de paquetes de PES ex242 y un flujo de paquetes de p Es ex245, y adicionalmente en paquetes de TS ex243 y paquetes de TS ex246, respectivamente. Estos paquetes de TS se multiplexan en un flujo para obtener datos multiplexados ex247.
La Figura 29 ilustra cómo se almacena un flujo de vídeo en un flujo de paquetes de PES en más detalle. La primera barra en la figura 29 muestra un flujo de tramas de vídeo en un flujo de vídeo. La segunda barra muestra el flujo de paquetes de PES. Como se indica por las flechas indicadas como yy1, yy2, yy3 y yy4 en la figura 29, el flujo de vídeo se divide en instantáneas como instantáneas I, instantáneas B e instantáneas P cada una de las cuales es una unidad de presentación de vídeo, las instantáneas se almacenan en una cabida útil de cada uno de los paquetes de PES. Cada uno de los paquetes de PES tiene un encabezado de PES, y el encabezado de PES almacena una Indicación de Tiempo de Presentación (PTS) que indica un tiempo de visualización de la instantánea, y una Indicación de Tiempo de decodificación (DTS) que indica un tiempo de decodificación de la instantánea.
La Figura 30 ilustra un formato de paquetes de TS a escribir finalmente en los datos multiplexados. Cada uno de los paquetes de TS es un paquete de longitud fija de 188 bytes que incluye un encabezamiento de TS de 4 bytes que tiene información, tal como un PID para identificar un flujo y una cabida útil de TS de 184 bytes para almacenar datos. Los paquetes de PES se dividen y se almacenan en las cabidas útiles de TS, respectivamente. Cuando se usa un BD ROM, a cada uno de los paquetes de TS se le proporciona un TP_Encabezamiento_Adicional de 4 bytes, dando como resultado por lo tanto paquetes de origen de 192 bytes. Los paquetes de origen se escriben en los datos multiplexados. El TP_Encabezamiento_Adicional almacena información tal como una Indicación_Tiempo_Llegada (ATS). La ATS muestra un tiempo de inicio de transferencia en el que se ha de transferir cada uno de los paquetes de TS a un filtro de PID. Los paquetes de origen se disponen en los datos multiplexados como se muestra en la parte inferior de la Figura 30. Los números que incrementan desde la cabecera de los datos multiplexados se denominan números de paquete de origen (SPN).
Cada uno de los paquetes de TS incluidos en los datos multiplexados incluye no únicamente flujos de audio, vídeo, subtítulos y otros, sino también una Tabla de Asociación de Programa (PAT), una Tabla de Mapa de Programa (PMT), y una Referencia de Reloj de Programa (PCR). La PAT muestra qué indica un PID en una PMT usada en los datos multiplexados, y un PID de la misma PAT se registra como cero. La PMT almacena los PID de los flujos de vídeo, audio, subtítulos y otros incluidos en los datos multiplexados, y la información de atributo de los flujos que se corresponden con los PID. La PMT también tiene diversos descriptores relacionados con los datos multiplexados. Los descriptores tienen información tal como información de control de copia que muestra si se permite o no el copiado de los datos multiplexados. La PCR almacena información de tiempo de STC que se corresponde con una ATS que muestra cuándo se transfiere el paquete de PCR a un decodificador, para conseguir sincronización entre un Reloj de Tiempo de Llegada (ATC) que es el eje de tiempo de las ATS, y un Reloj de Tiempo de Sistema (STC) que es un eje de tiempo de las PTS y DTS.
La Figura 31 ilustra la estructura de datos de la PMT en detalle. Un encabezado de PMT está dispuesto en la parte superior de la PMT. El encabezado de la PMT describe la longitud de datos incluidos en la PMT y otros. Una pluralidad de descriptores relacionados con los datos multiplexados están dispuestos después del encabezado de PMT. La información tal como la información de control de copia se describe en los descriptores. Después de los descriptores, está dispuesta una pluralidad de fragmentos de la información de flujo relacionados con los flujos incluidos en los datos multiplexados. Cada fragmento de la información de flujo incluye descriptores de flujo que cada uno describe información, tal como un tipo de flujo para identificar un códec de compresión de un flujo, un PID de flujo, e información de atributo de flujo (tal como una velocidad de tramas o una relación de aspecto). Los descriptores de flujo son iguales en número al número de flujos en los datos multiplexados.
Cuando los datos multiplexados se graban en un medio de grabación y otros, se registran juntos con archivos de información de datos multiplexados.
Cada uno de los archivos de información de datos multiplexados es información de gestión de los datos multiplexados como se muestra en la figura 32. Los archivos de información de datos multiplexados están en una correspondencia uno a uno con los datos multiplexados, y cada uno de los archivos incluye información de datos multiplexados, información de atributo de flujo y un mapa de entrada.
Como se ilustra en la figura 32, la información de datos multiplexados incluye una tasa de sistema, un tiempo de inicio de reproducción y un tiempo de fin de reproducción. La velocidad de sistema indica la velocidad de trasferencia máxima a la que un decodificador objetivo de sistema que se va a describir más adelante transfiere los datos multiplexados a un filtro de PID. Los intervalos de las ATS incluidas en los datos multiplexados se establecen para que no sean superiores a una velocidad de sistema. El tiempo de inicio de reproducción indica una PTS en una trama de vídeo en la cabecera de los datos multiplexados. Un intervalo de una trama se añade a una PTS en una trama de vídeo al final de los datos multiplexados, y la PTS se establece al tiempo de fin de reproducción.
Como se muestra en la Figura 33, se registra un fragmento de información de atributo en la información de atributo de flujo, para cada PID de cada flujo incluido en los datos multiplexados. Cada fragmento de información de atributo tiene diferente información dependiendo de si el correspondiente flujo es un flujo de vídeo, un flujo de audio, un flujo de gráficos de presentación, o un flujo de gráficos interactivo. Cada fragmento de información de atributo de flujo de vídeo lleva información que incluye qué tipo de códec de compresión se usa para comprimir el flujo de vídeo, y la resolución, relación de aspecto y velocidad de tramas de los fragmentos de datos de instantánea que se incluyen en el flujo de vídeo. Cada fragmento de información de atributo de flujo de audio lleva información que incluye qué clase de códec de compresión se usa para comprimir el flujo de audio, cuántos canales están incluidos en el flujo de audio, qué idioma soporta el flujo de audio, y cómo de alta es la frecuencia de muestreo. La información de atributo de flujo de vídeo y la información de atributo de flujo de audio se usan para inicialización de un decodificador antes de que el reproductor reproduzca la información.
En la presente realización, los datos multiplexados a usar son de un tipo de flujo incluido en la PMT. Adicionalmente, cuando los datos multiplexados se graban en un medio de grabación, se usa la información de atributo de flujo de vídeo incluida en la información de datos multiplexados. Más específicamente, el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones incluyen una etapa o una unidad para asignar información única que indica datos de vídeo generados por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento en cada una de las realizaciones, al tipo de flujo incluido en la PMT o la información de atributo de flujo de vídeo. Con la configuración, los datos de vídeo generados por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones pueden distinguirse de los datos de vídeo que se ajustan a otra norma.
Adicionalmente, la figura 34 ilustra las etapas del procedimiento de decodificación de instantáneas en movimiento de acuerdo con la presente realización. En la etapa exS100, el tipo de flujo incluido en la PMT o la información de atributo de flujo de vídeo incluido en la información de datos multiplexados se obtiene desde los datos multiplexados. A continuación, en la etapa exS101, se determina si el tipo de flujo o la información de atributo de flujo de vídeo indica o no que los datos multiplexados se generan por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento en cada una de las realizaciones. Cuando se determina que el tipo de flujo o la información de atributo de flujo de vídeo indica que los datos multiplexados se generan por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento en cada una de las realizaciones, en la etapa exS102, se realiza decodificación por el procedimiento de decodificación de instantáneas en movimiento en cada una de las realizaciones. Adicionalmente, cuando el tipo de flujo o la información de atributo de flujo de vídeo indica el cumplimiento de las normas convencionales, tales como MPEG-2, AVC de MPEG-4 y VC-1, en la etapa exS103, se realiza decodificación por un procedimiento de decodificación de instantáneas en movimiento cumpliendo con las normas convencionales.
En este sentido, asignar un nuevo valor único al tipo de flujo o la información de atributo de flujo de vídeo posibilita la determinación de si el procedimiento de decodificación de instantáneas en movimiento o el aparato de decodificación de instantáneas en movimiento que se describen en cada una de las realizaciones puede realizar o no la decodificación. Incluso cuando se introducen datos multiplexados que se ajustan a una norma diferente, puede seleccionarse un procedimiento o aparato de decodificación apropiado. Por lo tanto, se hace posible decodificar información sin error alguno. Adicionalmente, el procedimiento o aparato de codificación de instantáneas en movimiento, o el procedimiento o aparato de decodificación de instantáneas en movimiento en la presente realización se puede usar en los dispositivos y sistemas anteriormente descritos.
[Realización 6]
Cada uno del procedimiento de codificación de instantáneas en movimiento, el aparato de codificación de instantáneas en movimiento, el procedimiento de decodificación de instantáneas en movimiento, y el aparato de decodificación de instantáneas en movimiento en cada una de las realizaciones se consigue típicamente en forma de un circuito integrado o un circuito Integrado a Gran Escala (LSI). Como un ejemplo del LSI, la figura 35 ilustra una configuración del LSI ex500 que se hace en un chip. El LSI ex500 incluye los elementos ex501, ex502, ex503, ex504, ex505, ex506, ex507, ex508, y ex509 que se van a describir a continuación, y los elementos están conectados entre sí a través de un bus ex510. La unidad de circuito de fuente de alimentación ex505 se activa suministrando a cada uno de los elementos con potencia cuando se activa la unidad de circuito de fuente de alimentación ex505.
Por ejemplo, cuando se realiza codificación, el LSI ex500 recibe una señal de AV desde un micrófono ex117, una cámara ex113, y otros a través de una ES de AV ex509 bajo el control de una unidad de control ex501 que incluye una CPU ex502, un controlador de memoria ex503, un controlador de flujo ex504, y una unidad de control de frecuencia de accionamiento ex512. La señal de AV recibida se almacena temporalmente en una memoria externa ex511, tal como una SDRAM. Bajo el control de la unidad de control ex501, los datos almacenados se segmentan en porciones de datos de acuerdo con la cantidad de procesamiento y velocidad a transmitir a una unidad de procesamiento de señal ex507. A continuación, la unidad de procesamiento de señal ex507 codifica una señal de audio y/o una señal de vídeo. En este punto, la codificación de la señal de vídeo es la codificación descrita en cada una de las realizaciones. Adicionalmente, la unidad de procesamiento de señal ex507 multiplexa en ocasiones los datos de audio codificados y los datos de vídeo codificados, y una ES de flujo ex506 proporciona los datos multiplexados al exterior. Los datos multiplexados proporcionados se transmiten a la estación base ex107, o se escriben en el medio de grabación ex215. Cuando se multiplexan conjuntos de datos, los datos deberían almacenarse temporalmente en la memoria intermedia ex508 de modo que los conjuntos de datos se sincronizan entre sí.
Aunque la memoria ex511 es un elemento fuera del LSI ex500, puede incluirse en el LSI ex500. La memoria intermedia ex508 no se limita a una memoria intermedia, sino que puede estar compuesta por memorias intermedias. Adicionalmente, el LSI ex500 puede estar fabricado en un chip o una pluralidad de chips.
Adicionalmente, aunque la unidad de control ex501 incluye la CPU ex502, el controlador de memoria ex503, el controlador de flujo ex504, la unidad de control de frecuencia de accionamiento ex512, la configuración de la unidad de control ex501 no se limita a esto. Por ejemplo, la unidad de procesamiento de señal ex507 puede incluir adicionalmente una CPU. La inclusión de otra CPU en la unidad de procesamiento de señal ex507 puede mejorar la velocidad de procesamiento. Adicionalmente, como otro ejemplo, la CPU ex502 puede servir como o ser una parte de la unidad de procesamiento de señal ex507, y, por ejemplo, puede incluir una unidad de procesamiento de señal de audio. En un caso de este tipo, la unidad de control ex501 incluye la unidad de procesamiento de señal ex507 o la CPU ex502 que incluye una parte de la unidad de procesamiento de señal ex507.
El nombre usado en el presente documento es LSI, pero puede denominarse también CI, sistema LSI, súper LSI o ultra LSI dependiendo del grado de integración.
Además, las maneras para conseguir la integración no se limitan al LSI, y un circuito especial o un procesador de fin general y así sucesivamente pueden conseguir también la integración. El Campo de Matriz de Puertas Programables (FPGA) que puede programarse después de la fabricación de LSI o un procesador reconfigurable que permite la re­ configuración de la conexión o configuración de un LSI puede usarse para el mismo fin.
En el futuro, con el avance de la tecnología de semiconductores, una tecnología nueva puede sustituir a la LSI. Los bloques funcionales pueden integrarse usando una tecnología de este tipo. La posibilidad es que la presente invención se aplique a biotecnología.
[Realización 7]
Cuando se decodifican datos de vídeo generados en el procedimiento de codificación de instantáneas en movimiento o por el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, en comparación con cuando se decodifican datos de vídeo que se ajustan a una norma convencional, tal como MPEG-2, MPEG-4 AVC, y VC-1, probablemente aumenta la cantidad de procesamiento. Por lo tanto, el LSI ex500 necesita establecer una frecuencia de accionamiento más alta que la de la CPU ex502 a usar cuando se decodifican datos de vídeo de conformidad con la norma convencional. Sin embargo, cuando la frecuencia de accionamiento se establece más alta, existe un problema de que el consumo de potencia aumenta.
Para resolver el problema, el aparato de decodificación de instantáneas en movimiento, tal como la televisión ex300 y el LSI ex500 están configurados para determinar a qué norma se ajustan los datos de vídeo, y conmutar entre las frecuencias de accionamiento de acuerdo con la norma determinada. La Figura 36 ilustra una configuración ex800 en la presente realización. Una unidad de conmutación de frecuencia de accionamiento ex803 establece una frecuencia de accionamiento a una frecuencia de accionamiento superior cuando se generan datos de vídeo por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones. A continuación, la unidad de conmutación de frecuencia de accionamiento ex803 ordena a la unidad de procesamiento de decodificación ex801 que ejecute el procedimiento de decodificación de instantáneas en movimiento descrito en cada una de las realizaciones para decodificar los datos de vídeo. Cuando los datos de vídeo se ajustan a la norma convencional, la unidad de conmutación de frecuencia de accionamiento ex803 establece una frecuencia de accionamiento a una frecuencia de accionamiento inferior a la de los datos de vídeo generados por el procedimiento de codificación de instantáneas en movimiento o el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones. A continuación, la unidad de conmutación de frecuencia de accionamiento ex803 ordena a la unidad de procesamiento de decodificación ex802 que se ajusta a la norma convencional que decodifique los datos de vídeo.
Más específicamente, la unidad de conmutación de frecuencia de accionamiento ex803 incluye la CPU ex502 y la unidad de control de frecuencia de accionamiento ex512 en la figura 35. En este punto, cada una de la unidad de procesamiento de decodificación ex801 que ejecuta el procedimiento de decodificación de instantáneas en movimiento descrito en cada una de las realizaciones y la unidad de procesamiento de decodificación ex802 que se ajusta a la norma convencional se corresponden con la unidad de procesamiento de señal ex507 en la figura 35. La c Pu ex502 determina a qué norma se ajustan los datos de vídeo. A continuación, la unidad de control de frecuencia de accionamiento ex512 determina una frecuencia de accionamiento basándose en una señal desde la CPU ex502.
Adicionalmente, la unidad de procesamiento de señal ex507 decodifica los datos de vídeo basándose en la señal desde la CPU ex502. Por ejemplo, la información de identificación descrita en la realización 5 se usa probablemente para identificar los datos de vídeo. La información de identificación no se limita a la descrita en la realización 5 sino que puede ser cualquier información siempre que la información indique a qué norma se ajustan los datos de vídeo. Por ejemplo, cuando a qué norma se ajustan los datos de vídeo puede determinarse basándose en una señal externa para determinar que los datos de vídeo se usan para una televisión o un disco, etc., la determinación puede realizarse basándose en una señal externa de este tipo. Adicionalmente, la CPU ex502 selecciona una frecuencia de accionamiento basándose en, por ejemplo, una tabla de correspondencia en la que las normas de los datos de vídeo están asociadas con las frecuencias de accionamiento como se muestra en la figura 38. La frecuencia de accionamiento puede seleccionarse almacenando la tabla de búsqueda en la memoria intermedia ex508 y en una memoria interna de un LSI, y con referencia a la tabla de búsqueda por la CPU ex502.
La Figura 37 ilustra etapas para ejecutar un procedimiento en la presente realización. En primer lugar, en la etapa exS200, la unidad de procesamiento de señal ex507 obtiene información de identificación desde los datos multiplexados. A continuación, en la etapa exS201, la CPU ex502 determina si los datos de vídeo se generan o no por el procedimiento de codificación y el aparato de codificación descritos en cada una de las realizaciones, basándose en la información de identificación. Cuando los datos de vídeo se generan por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, en la etapa exS202, la CPU ex502 transmite una señal para establecer la frecuencia de accionamiento a una frecuencia de accionamiento superior a la de la unidad de control de frecuencia de accionamiento ex512. A continuación, la unidad de control de frecuencia de accionamiento ex512 establece la frecuencia de accionamiento a la frecuencia de accionamiento más alta. Por otra parte, cuando la información de identificación indica que los datos de vídeo se ajustan a la norma convencional, tal como MPEG-2, AVC de MPEG-4 y VC-1, en la etapa exS203, la CPU ex502 transmite una señal para establecer la frecuencia de accionamiento a una frecuencia de accionamiento inferior a la unidad de control de frecuencia de accionamiento ex512. A continuación, la unidad de control de frecuencia de accionamiento ex512 establece la frecuencia de accionamiento a la frecuencia de accionamiento inferior que la de en el caso en el que los datos de vídeo se generan por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones.
Adicionalmente, junto con la conmutación de las frecuencias de accionamiento, el efecto de conservación de potencia puede mejorarse cambiando la tensión a aplicarse al LSI ex500 o a un aparato que incluye el LSI ex500. Por ejemplo, cuando la frecuencia de accionamiento se establece más baja, la tensión a aplicarse al LSI ex500 o al aparato que incluye el LSI ex500 probablemente se establece a una tensión inferior que en el caso en el que la frecuencia de accionamiento se establece más alta.
Adicionalmente, cuando la cantidad de procesamiento para decodificación es mayor, la frecuencia de accionamiento puede establecerse más alta, y cuando la cantidad de procesamiento para decodificación es más pequeña, la frecuencia de accionamiento puede establecerse más baja que el procedimiento para establecer la frecuencia de accionamiento. Por lo tanto, el procedimiento de ajuste no se limita a los anteriormente descritos. Por ejemplo, cuando la cantidad de procesamiento para decodificar datos de vídeo de conformidad con MPEG-4 AVC es mayor que la cantidad de procesamiento para decodificar datos de vídeo generados por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, la frecuencia de accionamiento probablemente se establece en orden inverso al ajuste anteriormente descrito.
Adicionalmente, el procedimiento para establecer la frecuencia de accionamiento no se limita al procedimiento para establecer la frecuencia de accionamiento más baja. Por ejemplo, cuando la información de identificación indica que los datos de vídeo se generan por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, la tensión a aplicarse al LSI ex500 o al aparato que incluye el LSI ex500 probablemente se establece más alta. Cuando la información de identificación indica que los datos de vídeo se ajustan a la norma convencional, tal como MPEG-2, MPEG-4 AVC, y VC-1, la tensión a aplicarse al LSI ex500 o al aparato que incluye el LSI ex500 probablemente se establece más baja. Como otro ejemplo, cuando la información de identificación indica que los datos de vídeo se generan por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, el accionamiento de la CPU ex502 probablemente no tiene que suspenderse. Cuando la información de identificación indica que los datos de vídeo se ajustan a la norma convencional, tal como MPEG-2, MPEG-4 AVC, y VC-1, el accionamiento de la CPU ex502 probablemente se suspende a un tiempo dado puesto que la CPU ex502 tiene capacidad de procesamiento adicional. Incluso cuando la información de identificación indica que los datos de vídeo se generan por el procedimiento de codificación de instantáneas en movimiento y el aparato de codificación de instantáneas en movimiento descritos en cada una de las realizaciones, en el caso en el que la CPU ex502 tiene capacidad de procesamiento adicional, el accionamiento de la CPU ex502 probablemente se suspende en un tiempo dado. En un caso de este tipo, el tiempo de suspensión probablemente se establece más corto que en el caso cuando la información de identificación indica que los datos de vídeo se ajustan a la norma convencional, tal como MPEG-2, MPEG-4 AVC, y VC-1.
Por consiguiente, el efecto de conservación de potencia puede mejorarse conmutando entre las frecuencias de accionamiento de acuerdo con la norma a la que se ajustan los datos de vídeo. Adicionalmente, cuando el LSI ex500 o el aparato que incluye el LSI ex500 se accionan usando una batería, la duración de la batería puede ampliarse con el efecto de conservación de potencia.
[Realización 8]
Existen casos en los que una pluralidad de datos de vídeo que se ajustan a diferentes normas, se proporcionan a los dispositivos y sistemas, tales como una televisión y un teléfono celular. Para posibilitar la decodificación de la pluralidad de datos de vídeo que se ajustan a las diferentes normas, la unidad de procesamiento de señal ex507 del LSI ex500 necesita ajustarse a las diferentes normas. Sin embargo, los problemas de aumento en la escala del circuito del LSI ex500 y el aumento en el coste surgen con el uso individual de las unidades de procesamiento de señal ex507 que se ajustan a las normas respectivas.
Para resolver el problema, lo que se concibe es una configuración en la que la unidad de procesamiento de decodificación para implementar el procedimiento de decodificación de instantáneas en movimiento descrita en cada una de las realizaciones y la unidad de procesamiento de decodificación que se ajusta a la norma convencional, tal como MPEG-2, AVC de MPEG-4 y VC-1 se comparten parcialmente. Ex900 en la figura 39A muestra un ejemplo de la configuración. Por ejemplo, el procedimiento de decodificación de instantáneas en movimiento descrito en cada una de las realizaciones y el procedimiento de decodificación de instantáneas en movimiento que se ajusta a AVC de MPEG-4 tienen, parcialmente en común, los detalles de procesamiento, tal como codificación de entropía, cuantificación inversa, filtrado por desbloqueo y predicción con compensación de movimiento. Los detalles de procesamiento a compartir probablemente incluyen el uso de una unidad de procesamiento de decodificación ex902 que se ajusta a MPEG-4 AVC. En contraposición, una unidad de procesamiento de decodificación especializada ex901 probablemente se usa para otro procesamiento único para un aspecto de la presente invención. La unidad de procesamiento de decodificación probablemente se comparte para una de la decodificación de entropía, filtración de desbloqueo, y compensación de movimiento, o todo el procesamiento. La unidad de procesamiento de decodificación para implementar el procedimiento de decodificación de instantáneas en movimiento descrita en cada una de las realizaciones puede compartirse para el procesamiento a compartirse, y una unidad de procesamiento de decodificación especializada puede usarse para procesamiento único al de MPEG-4 AVC.
Adicionalmente, ex1000 en la figura 39B muestra otro ejemplo en el que el procesamiento se comparte parcialmente. Este ejemplo usa una configuración que incluye una unidad de procesamiento de decodificación especializada ex1001 que soporta el procesamiento único de un aspecto de la presente invención, una unidad de procesamiento de decodificación especializada ex1002 que soporta el procesamiento único de otra norma convencional, y una unidad de procesamiento de decodificación ex1003 que soporta procesamiento a compartirse entre el procedimiento de decodificación de instantáneas en movimiento de acuerdo con el aspecto de la presente invención y el procedimiento de decodificación de instantáneas en movimiento convencional. En este punto, las unidades de procesamiento de decodificación especializadas ex1001 y ex1002 no están necesariamente especializadas para el procesamiento de acuerdo con el aspecto de la presente invención y el procesamiento de la norma convencional, respectivamente, y pueden ser las que pueden implementar procesamiento general. Adicionalmente, la configuración de la presente realización puede implementarse por el LSI ex500.
En este sentido, reducir la escala del circuito de un LSI y reducir el coste son posibles compartiendo la unidad de procesamiento de decodificación para el procesamiento a compartirse entre el procedimiento de decodificación de instantáneas en movimiento de acuerdo con el aspecto de la presente invención y el procedimiento de decodificación de instantáneas en movimiento cumpliendo con la norma convencional.
Cada uno de los elementos estructurales en cada una de las realizaciones anteriormente descritas puede configurarse en forma de un producto de hardware exclusivo, o pueden realizarse ejecutando un programa de software adecuado para el elemento estructural. Cada uno de los elementos estructurales puede realizarse por medio de una unidad de ejecución de programa, tal como una CPU y un procesador, leyendo y ejecutando el programa de software grabado en un medio de grabación tal como un disco duro o una memoria de semiconductores. En este punto, el programa de software para realizar el aparato de decodificación de imagen de acuerdo con cada una de las realizaciones es un programa descrito a continuación.
En otras palabras, este programa hace que el ordenador ejecute las etapas de la filtración de desbloqueo.
Aunque los procedimientos de filtración de desbloqueo y el aparato de filtración de desbloqueo de acuerdo con uno o más aspectos de la presente invención se han descrito anteriormente basándose en las realizaciones, la presente invención se expone en las reivindicaciones adjuntas.
[Aplicabilidad industrial]
Un procedimiento de procesamiento de imagen de acuerdo con esta invención es aplicable a decodificación de compresión de diversos datos multimedia. El procedimiento de procesamiento de imagen de acuerdo con esta invención es útil como unos procedimientos de decodificación de compresión en almacenamiento, transmisión, comunicación y similares usando, por ejemplo, teléfonos móviles, dispositivos de DVD, ordenadores personales.
ILista de signos de referencia!
100, 300 aparato de codificación de instantáneas en movimiento 105 restador
110 unidad de transformación
120 unidad de cuantificación
130 unidad de cuantificación inversa / transformación inversa 140 sumador
150 unidad de filtración de desbloqueo
151 primer filtro de desbloqueo
152 segundo filtro de desbloqueo
153 unidad de control de filtro
154 unidad de cálculo de intensidad de límite
155 unidad de cálculo de Tc
156 unidad de selección de filtro
160 unidad de compensación adaptativa de muestra
165 unidad de filtración de bucle adaptativo
170 memoria de fotograma
180 unidad de predicción
190 codificador de entropía
200 aparato de decodificación de instantáneas en movimiento 290 decodificador de entropía
230 unidad de cuantificación inversa / transformación inversa 240 sumador
250 unidad de filtración de desbloqueo
260 unidad de compensación adaptativa de muestra
255 unidad de filtración de bucle adaptativo
270 memoria de fotograma
280 unidad de predicción
310 unidad de filtración de desbloqueo horizontal
320 unidad de filtración de desbloqueo vertical

Claims (13)

REIVINDICACIONES
1. Un procedimiento de procesamiento de imagen de realización de filtración en el límite de dos bloques de imagen adyacentes (Bp,Bq) usando una pluralidad de filtros de desbloqueo que tienen diferentes intensidades de filtro, comprendiendo el procedimiento de procesamiento de imagen:
derivar un parámetro de cuantificación (QP) basándose en los parámetros de cuantificación (QPa) y (QPb) usados para el primer bloque (Bp) y el segundo bloque (Bq);
una primera etapa de cálculo de parámetro (S100; S300) de cálculo de un primer parámetro (BS) que indica una intensidad de límite entre los dos bloques de imagen adyacentes (Bp,Bq);
una segunda etapa de cálculo de parámetro (S120) de cálculo de un segundo parámetro (Tc) y un tercer parámetro (p) que representan valores umbral para la selección de filtros de desbloqueo, determinándose el tercer parámetro (p) por el parámetro de cuantificación (QP); y
una etapa de selección (S130; S330) de selección de un filtro de desbloqueo que va a usarse en la filtración de entre los filtros de desbloqueo, usando los valores umbral representados por el segundo parámetro (Tc) y el tercer parámetro (p);
caracterizado porque
se determina el segundo parámetro (Tc) con referencia a una tabla (Tctable) usando, como un índice para búsqueda en la tabla (Tctable), una suma lineal del parámetro de cuantificación (QP) y el primer parámetro (BS); en el que el índice muestra aumento monotónico estricto con el aumento del primer parámetro (BS).
2. El procedimiento de procesamiento de imagen de acuerdo con la reivindicación 1, en el que
se selecciona un primer filtro de desbloqueo de entre los filtros de desbloqueo cuando se satisface una primera condición con respecto al segundo parámetro (Tc) y al tercer parámetro (p); y
se selecciona un segundo filtro de desbloqueo diferente del primer filtro de desbloqueo de entre los filtros de desbloqueo cuando no se satisface la primera condición y se satisface una segunda condición con respecto al segundo parámetro (Tc).
3. El procedimiento de procesamiento de imagen de acuerdo con la reivindicación 1 o la reivindicación 2, en el que, en la etapa de selección (S130; S330), se calcula el segundo parámetro (Tc) de manera que el segundo parámetro (Tc) es más grande cuando un valor del primer parámetro (BS) es más grande.
4. El procedimiento de procesamiento de imagen de acuerdo con cualquiera de las reivindicaciones 1 a la reivindicación 3, en el que, en la etapa de selección (S130; S330), no se selecciona filtro de desbloqueo cuando no se satisface ni la primera ni la segunda condición.
5. El procedimiento de procesamiento de imagen de acuerdo con cualquiera de la reivindicación 1 a la reivindicación 4, que comprende adicionalmente una etapa de determinación de si realizar o no la filtración usando el primer parámetro (Bs ) antes de ejecutar la etapa de selección (S130; S330).
6. El procedimiento de procesamiento de imagen de acuerdo con cualquiera de la reivindicación 1 a la reivindicación 5, en el que la primera etapa de cálculo de parámetro (S100; S300) incluye:
una primera etapa de determinación (S210) de determinación de si al menos uno de los dos bloques de imagen adyacentes (Bp, Bq) es o no un bloque que va a intra codificarse; y
una etapa de ajuste de ajuste de un primer valor fijo al primer parámetro (BS) cuando se determina en la primera etapa de determinación (S210) que el al menos uno de los dos bloques de imagen adyacentes (Bp,Bq) es el bloque que va a intra codificarse.
7. El procedimiento de procesamiento de imagen de acuerdo con la reivindicación 6, en el que la primera etapa de cálculo de parámetro (S100; S300) incluye adicionalmente una etapa de ajuste de ajuste, al primer parámetro (BS), de un segundo valor fijo diferente del primer valor fijo cuando se determina en la etapa de determinación (S210) que ambos de los dos bloques de imagen adyacentes (Bp,Bq) son bloques que no van a intra codificarse.
8. El procedimiento de procesamiento de imagen de acuerdo con la reivindicación 6, en el que la primera etapa de cálculo de parámetro (S100) incluye adicionalmente:
una segunda etapa de determinación (S220) de determinación de si al menos uno de los dos bloques de imagen adyacentes (Bp,Bq) incluye o no al menos un coeficiente de transformada distinto de cero cuando se determina en la primera etapa de determinación que ambos de los dos bloques de imagen adyacentes (Bp,Bq) son bloques que no van a intra codificarse; y
una etapa de ajuste de ajuste del primer parámetro (BS) usando un resultado de la segunda etapa de determinación (S220).
9. El procedimiento de procesamiento de imagen de acuerdo con la reivindicación 6, en el que, cuando se determina en la primera etapa de determinación (S210) que ambos de los dos bloques de imagen adyacentes (Bp,Bq) son bloques que no van a intra codificarse, la primera etapa de cálculo de parámetro (S100; S300) incluye adicionalmente: una segunda etapa de determinación (S220) de determinación de si al menos uno de dos bloques adyacentes (Bp, Bq) incluye o no al menos un coeficiente distinto de cero;
una tercera etapa de determinación (S250) de determinación de si los dos bloques de imagen adyacentes (Bp,Bq) tienen o no diferentes índices de referencia indicando cada uno una instantánea de referencia en inter codificación; una cuarta etapa de determinación (S260) de determinación de si un valor absoluto de diferencia entre los dos bloques de imagen adyacentes (Bp,Bq) supera o no un valor umbral predeterminado, siendo el valor absoluto de diferencia uno de un valor absoluto de diferencia entre componentes de vector de movimiento horizontal de los dos bloques de imagen adyacentes (Bp,Bq) y un valor absoluto de diferencia entre componentes de vector de movimiento vertical de los dos bloques de imagen adyacentes (Bp,Bq); y
una etapa de ajuste de ajuste del primer valor fijo al primer parámetro (BS) en el caso donde (i) se determina en la segunda etapa de determinación (S220) que está incluido el al menos un coeficiente de transformada distinto de cero, (ii) se determina en la tercera etapa de determinación (S250) que los índices de instantánea de referencia son los mismos, y (iii) se determina en la cuarta etapa de determinación (S260) que el valor absoluto de diferencia supera el valor umbral predeterminado; o en casos distintos al caso, una etapa de ajuste de ajuste de un segundo valor fijo diferente del primer valor fijo al primer parámetro (BS).
10. El procedimiento de procesamiento de imagen de acuerdo con cualquiera de la reivindicación 1 a la reivindicación 9, que comprende:
una etapa de compresión de compresión de un bloque de error de predicción que es una diferencia entre un bloque actual que va a codificarse y un bloque de predicción cada uno de los cuales incluye una pluralidad de píxeles; una etapa de reconstrucción de generación de un bloque reconstruido decodificando el bloque de error de predicción comprimido y añadiendo el bloque de error de predicción decodificado al bloque de predicción; una etapa de filtración que incluye la primera etapa de cálculo de parámetro (S100; S300), la segunda etapa de cálculo de parámetro (S120), y la etapa de selección (S130; S330), ejecutándose la etapa de filtración para el bloque reconstruido; una etapa de predicción de generación de un bloque de predicción usando el bloque reconstruido filtrado en la etapa de filtración; y una etapa de codificación de codificación del bloque de error de predicción comprimido para generar una secuencia de bits codificados.
11. El procedimiento de procesamiento de imagen de acuerdo con cualquiera de la reivindicación 1 a la reivindicación 9, que comprende:
una etapa de obtención de obtención de una secuencia de bits que incluye un bloque actual que va a decodificarse; una etapa de generación de generación de un bloque reconstruido decodificando el bloque actual que va a decodificarse y adición del bloque actual decodificado a un bloque de predicción;
una etapa de filtración que incluye la primera etapa de cálculo de parámetro (S100; S300), la segunda etapa de cálculo de parámetro (S120), y la etapa de selección (S130; S330), ejecutándose la etapa de filtración para el bloque reconstruido; y una etapa de predicción de generación de un bloque de predicción usando el bloque reconstruido filtrado en la etapa de filtración.
12. Un aparato de procesamiento de imagen que realiza filtración en el límite de dos bloques de imagen adyacentes (Bp,Bq) usando una pluralidad de filtros de desbloqueo que tienen diferentes intensidades de filtro, comprendiendo el aparato de procesamiento de imagen:
una primera unidad de cálculo de parámetro (153) configurada para calcular un primer parámetro (BS) que indica una intensidad de límite entre los dos bloques de imagen adyacentes (Bp, Bq);
una segunda unidad de cálculo de parámetro (153) configurada para calcular un segundo parámetro (Tc) y un tercer parámetro (p) que representan valores umbral para la selección de filtros de desbloqueo, determinándose el tercer parámetro (p) por un parámetro de cuantificación (QP) que se deriva basándose en los parámetros de cuantificación (QPa) y (QPB) usados para el primer bloque (Bp) y el segundo bloque (Bq); y
una unidad de selección (153) configurada para seleccionar un filtro de desbloqueo que va a usarse en la filtración de entre la pluralidad de filtros de desbloqueo, usando los valores umbral representados por el segundo parámetro (Tc) y el tercer parámetro (p);
caracterizado porque
la segunda unidad de cálculo de parámetro (153) está configurada para determinar el segundo parámetro (Tc) con referencia a una tabla (Tctable) usando, como un índice para búsqueda en la tabla (Tctable), una suma lineal del parámetro de cuantificación (QP) y el primer parámetro (BS); en el que el índice muestra aumento monotónico estricto con aumento del primer parámetro (BS);.
13. El aparato de procesamiento de imagen de acuerdo con la reivindicación 12, en el que
se selecciona un primer filtro de desbloqueo de entre los filtros de desbloqueo cuando se satisface una primera condición con respecto al segundo parámetro (Tc) y al tercer parámetro (p); y
se selecciona un segundo filtro de desbloqueo diferente del primer filtro de desbloqueo de entre los filtros de desbloqueo cuando no se satisface la primera condición y se satisface una segunda condición con respecto al segundo parámetro (Tc).
ES12852002T 2011-11-25 2012-11-21 Procedimiento de procesamiento de imágenes y dispositivo de procesamiento de imágenes Active ES2831999T3 (es)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201161563695P 2011-11-25 2011-11-25
PCT/JP2012/007473 WO2013076978A1 (ja) 2011-11-25 2012-11-21 画像処理方法および画像処理装置

Publications (1)

Publication Number Publication Date
ES2831999T3 true ES2831999T3 (es) 2021-06-09

Family

ID=48469441

Family Applications (1)

Application Number Title Priority Date Filing Date
ES12852002T Active ES2831999T3 (es) 2011-11-25 2012-11-21 Procedimiento de procesamiento de imágenes y dispositivo de procesamiento de imágenes

Country Status (13)

Country Link
US (9) US9414064B2 (es)
EP (1) EP2785057B1 (es)
JP (5) JP5343178B1 (es)
KR (2) KR102094939B1 (es)
CN (2) CN103621097B (es)
BR (1) BR112013032615A2 (es)
CA (1) CA2840036C (es)
ES (1) ES2831999T3 (es)
MX (1) MX2013014207A (es)
MY (1) MY164978A (es)
PL (1) PL2785057T3 (es)
TW (1) TWI599213B (es)
WO (1) WO2013076978A1 (es)

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CA2840036C (en) * 2011-11-25 2018-12-18 Panasonic Corporation Image processing method and image processing apparatus
TWI569625B (zh) 2012-04-06 2017-02-01 Sony Corp Image processing apparatus and method, program, and recording medium
US10477208B2 (en) * 2012-09-24 2019-11-12 Intel Corporation Histogram segmentation based local adaptive filter for video encoding and decoding
JP2014207536A (ja) * 2013-04-12 2014-10-30 ソニー株式会社 画像処理装置および方法
US9408230B2 (en) 2013-05-03 2016-08-02 Qualcomm Incorporated Transmit opportunity (TXOP) based channel reuse
JP6359101B2 (ja) 2013-10-14 2018-07-18 マイクロソフト テクノロジー ライセンシング，エルエルシー ビデオ及び画像の符号化及び復号のためのイントラブロックコピー予測モードの特徴
CN105659602B (zh) 2013-10-14 2019-10-08 微软技术许可有限责任公司 用于视频和图像编码的帧内块复制预测模式的编码器侧选项
CN105917650B (zh) 2014-01-03 2019-12-24 微软技术许可有限责任公司 视频和图像编/解码的方法、计算设备及计算机可读介质
US10390034B2 (en) 2014-01-03 2019-08-20 Microsoft Technology Licensing, Llc Innovations in block vector prediction and estimation of reconstructed sample values within an overlap area
US11284103B2 (en) 2014-01-17 2022-03-22 Microsoft Technology Licensing, Llc Intra block copy prediction with asymmetric partitions and encoder-side search patterns, search ranges and approaches to partitioning
MX361228B (es) 2014-03-04 2018-11-29 Microsoft Technology Licensing Llc Inversión de bloque y modo de omisión en predicción de intracopia de bloque.
CN105493505B (zh) 2014-06-19 2019-08-06 微软技术许可有限责任公司 统一的帧内块复制和帧间预测模式
CA2959682C (en) 2014-09-30 2022-12-06 Microsoft Technology Licensing, Llc Rules for intra-picture prediction modes when wavefront parallel processing is enabled
JP6396782B2 (ja) * 2014-12-11 2018-09-26 日本電信電話株式会社 デブロッキング処理方法、デブロッキング処理装置、コンピュータプログラム及び記録媒体
JP6545515B2 (ja) 2015-04-24 2019-07-17 株式会社東芝 画像復号装置
WO2016200115A1 (ko) * 2015-06-07 2016-12-15 엘지전자(주) 디블록킹 필터링을 수행하는 방법 및 장치
CN108141589B (zh) 2015-09-29 2021-08-27 Lg 电子株式会社 图像编译系统中对图像进行滤波的方法和装置
JP7094076B2 (ja) 2016-08-19 2022-07-01 沖電気工業株式会社 映像符号化装置、プログラム及び方法、並びに、映像復号装置、プログラム及び方法、並びに、映像伝送システム
KR102437742B1 (ko) * 2016-08-21 2022-08-29 엘지전자 주식회사 영상 부호화/복호화 방법 및 이를 위한 장치
US20180091812A1 (en) * 2016-09-23 2018-03-29 Apple Inc. Video compression system providing selection of deblocking filters parameters based on bit-depth of video data
CN114173117B (zh) * 2016-12-27 2023-10-20 松下电器（美国）知识产权公司 编码方法、解码方法及发送方法
CN110115039B (zh) * 2016-12-28 2022-02-11 索尼公司 图像处理装置和图像处理方法
TWI833248B (zh) * 2017-04-06 2024-02-21 美商松下電器（美國）知識產權公司 解碼方法及編碼方法
CN107316276B (zh) * 2017-06-30 2020-12-11 京东方科技集团股份有限公司 用于对图像进行拉伸的方法及装置
US10645408B2 (en) * 2017-09-17 2020-05-05 Google Llc Dual deblocking filter thresholds
CN114979635B (zh) * 2017-10-09 2023-10-27 佳能株式会社 用于对样本块进行滤波的方法、装置和存储介质
US10986349B2 (en) 2017-12-29 2021-04-20 Microsoft Technology Licensing, Llc Constraints on locations of reference blocks for intra block copy prediction
JPWO2019225459A1 (ja) * 2018-05-23 2021-04-22 パナソニック インテレクチュアル プロパティ コーポレーション オブ アメリカＰａｎａｓｏｎｉｃ Ｉｎｔｅｌｌｅｃｔｕａｌ Ｐｒｏｐｅｒｔｙ Ｃｏｒｐｏｒａｔｉｏｎ ｏｆ Ａｍｅｒｉｃａ 符号化装置、復号装置、符号化方法及び復号方法
US20200068223A1 (en) * 2018-08-27 2020-02-27 Qualcomm Incorporated Deblocking filter for video coding and processing
US11356699B2 (en) * 2019-01-11 2022-06-07 Hfi Innovation Inc. Method and apparatus of sub-block deblocking in video coding
WO2020176026A1 (en) * 2019-02-27 2020-09-03 Telefonaktiebolaget Lm Ericsson (Publ) Deblocking using sub-pel motion vector threshold
WO2023113224A1 (ko) 2021-12-17 2023-06-22 현대자동차주식회사 매핑 기반 비디오 코딩에서 인루프 필터링
US20250234047A1 (en) * 2021-12-21 2025-07-17 Interdigital Ce Patent Holdings, Sas Gdr adapted filtering

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4227160B2 (ja) * 2000-10-20 2009-02-18 パナソニック株式会社 ブロック歪み除去方法
US7518646B2 (en) * 2001-03-26 2009-04-14 Panavision Imaging Llc Image sensor ADC and CDS per column
US7929610B2 (en) * 2001-03-26 2011-04-19 Sharp Kabushiki Kaisha Methods and systems for reducing blocking artifacts with reduced complexity for spatially-scalable video coding
WO2003047267A1 (en) 2001-11-29 2003-06-05 Matsushita Electric Industrial Co., Ltd. Coding distortion removal method, moving picture coding method, moving picture decoding method, and apparatus for realizing the same, program
EP2320661B8 (en) 2001-11-29 2015-09-02 Godo Kaisha IP Bridge 1 Coding distortion removal method
JP2003244190A (ja) * 2002-02-19 2003-08-29 Matsushita Electric Ind Co Ltd データフロー制御スイッチ用プロセッサ及びデータフロー制御スイッチ
US7227901B2 (en) * 2002-11-21 2007-06-05 Ub Video Inc. Low-complexity deblocking filter
US7167522B2 (en) * 2003-02-27 2007-01-23 Texas Instruments Incorporated Video deblocking filter
JP2004328634A (ja) * 2003-04-28 2004-11-18 Sony Corp 画像復号化装置及び方法
US7460596B2 (en) * 2004-04-29 2008-12-02 Mediatek Incorporation Adaptive de-blocking filtering apparatus and method for MPEG video decoder
NO322722B1 (no) 2004-10-13 2006-12-04 Tandberg Telecom As Fremgangsmate for videokoding gjennom reduksjon av blokkartefakter
KR100843196B1 (ko) * 2004-12-17 2008-07-02 삼성전자주식회사 Ｈ.264/ａｖｃ 비디오 디코더의 디블록킹 필터
JP4784188B2 (ja) * 2005-07-25 2011-10-05 ソニー株式会社 画像処理装置、画像処理方法およびプログラム
JP4825524B2 (ja) * 2006-01-31 2011-11-30 株式会社東芝 動画像復号装置および動画像復号方法
KR101370287B1 (ko) * 2006-11-22 2014-03-07 세종대학교산학협력단 디블록킹 필터링 방법 및 장치
DE602007010514D1 (de) * 2006-12-18 2010-12-23 Koninkl Philips Electronics Nv Bildkomprimierung und dekomprimierung
US7907789B2 (en) 2007-01-05 2011-03-15 Freescale Semiconductor, Inc. Reduction of block effects in spatially re-sampled image information for block-based image coding
CN100571391C (zh) * 2007-05-09 2009-12-16 安凯（广州）软件技术有限公司 用于视频编解码系统中解块滤波的并行处理方法
CN101389016B (zh) * 2007-09-13 2010-10-20 华为技术有限公司 获得块边界强度和去除块效应的方法和装置
JP2009194617A (ja) * 2008-02-14 2009-08-27 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
US8644389B2 (en) * 2009-05-15 2014-02-04 Texas Instruments Incorporated Real-time video image processing
CN102098501B (zh) * 2009-12-09 2013-05-08 中兴通讯股份有限公司 一种视频图像去块效应的方法和装置
US9185430B2 (en) * 2010-03-15 2015-11-10 Mediatek Singapore Pte. Ltd. Deblocking filtering method and deblocking filter
US9503741B2 (en) 2011-06-08 2016-11-22 Vixs Systems, Inc. Video decoder with multi-format vector processor and methods for use therewith
JP6070553B2 (ja) * 2011-06-28 2017-02-01 ソニー株式会社 画像処理装置、画像処理方法、プログラム、並びに記録媒体
CA2840036C (en) * 2011-11-25 2018-12-18 Panasonic Corporation Image processing method and image processing apparatus

Also Published As

Publication number Publication date
EP2785057A1 (en) 2014-10-01
JP2014030234A (ja) 2014-02-13
US20220417560A1 (en) 2022-12-29
JP2017085631A (ja) 2017-05-18
CN103621097A (zh) 2014-03-05
JP6799798B2 (ja) 2020-12-16
CN103621097B (zh) 2018-04-24
KR102061214B1 (ko) 2019-12-31
US12363345B2 (en) 2025-07-15
US10587895B2 (en) 2020-03-10
CN108471532B (zh) 2021-06-29
EP2785057B1 (en) 2020-10-21
JPWO2013076978A1 (ja) 2015-04-27
US10924764B2 (en) 2021-02-16
BR112013032615A2 (pt) 2017-08-01
EP2785057A4 (en) 2015-04-15
US9961371B2 (en) 2018-05-01
US11463731B2 (en) 2022-10-04
US20240146967A1 (en) 2024-05-02
PL2785057T3 (pl) 2021-05-04
TW201336316A (zh) 2013-09-01
CA2840036C (en) 2018-12-18
MX2013014207A (es) 2014-01-20
US9414064B2 (en) 2016-08-09
WO2013076978A1 (ja) 2013-05-30
TWI599213B (zh) 2017-09-11
US20130182764A1 (en) 2013-07-18
US20160150249A1 (en) 2016-05-26
US20250310565A1 (en) 2025-10-02
US20160150248A1 (en) 2016-05-26
US20200112748A1 (en) 2020-04-09
MY164978A (en) 2018-02-28
US20130343456A1 (en) 2013-12-26
JP2013255272A (ja) 2013-12-19
JP5386653B2 (ja) 2014-01-15
KR102094939B1 (ko) 2020-03-31
JP5343178B1 (ja) 2013-11-13
JP2019037012A (ja) 2019-03-07
CN108471532A (zh) 2018-08-31
JP6078921B2 (ja) 2017-02-15
KR20140098672A (ko) 2014-08-08
US11895335B2 (en) 2024-02-06
US9313499B2 (en) 2016-04-12
KR20170129279A (ko) 2017-11-24
US20210136417A1 (en) 2021-05-06
CA2840036A1 (en) 2013-05-30

Similar Documents

Publication Publication Date Title
ES2831999T3 (es) Procedimiento de procesamiento de imágenes y dispositivo de procesamiento de imágenes
JP6064235B2 (ja) 符号化方法、プログラムおよび符号化装置
CN106851306B (zh) 动态图像解码方法和动态图像解码装置
ES2807351T3 (es) Procedimiento de codificación de imágenes, procedimiento de descodificación de imágenes, dispositivo de codificación de imágenes, dispositivo de descodificación de imágenes y dispositivo de codificación/descodificación de imágenes
CA2825767C (en) Image coding method, image decoding method, image coding apparatus and image decoding apparatus
JP6327435B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、及び、画像復号装置
ES2754784T3 (es) Procedimiento de decodificación de vídeo, aparato de decodificación de vídeo
KR102215469B1 (ko) 필터 방법, 동화상 부호화 장치, 동화상 복호 장치 및 동화상 부호화 복호 장치
JP6004375B2 (ja) 画像符号化方法および画像復号化方法
WO2012108205A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置および画像符号化復号装置
WO2012096185A1 (ja) 画像符号化方法、画像符号化装置、画像復号方法、画像復号装置、および画像符号化復号装置
JP2013526199A (ja) 予測誤差から導出されるブロック形状を用いた予測符号化
WO2013073184A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、および画像符号化復号装置
CN102860009A (zh) 编码失真除去方法、编码方法、解码方法、编码失真除去装置、编码装置、及解码装置
JP6399433B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置
WO2013001813A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置および画像復号装置
WO2012042810A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置および画像処理システム
WO2011135829A1 (ja) 符号化方法及び復号方法
WO2012095930A1 (ja) 画像符号化方法、画像復号方法、画像符号化装置及び画像復号装置