WO1998054892A1 - Procede et dispositif de reduction de la distorsion de blocs et procede et dispositif de codage - Google Patents

Procede et dispositif de reduction de la distorsion de blocs et procede et dispositif de codage Download PDF

Info

Publication number
WO1998054892A1
WO1998054892A1 PCT/JP1998/002370 JP9802370W WO9854892A1 WO 1998054892 A1 WO1998054892 A1 WO 1998054892A1 JP 9802370 W JP9802370 W JP 9802370W WO 9854892 A1 WO9854892 A1 WO 9854892A1
Authority
WO
WIPO (PCT)
Prior art keywords
block distortion
block
encoding
image data
correction value
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP1998/002370
Other languages
English (en)
French (fr)
Inventor
Kyoko Fukuda
Hiroshi Kobayashi
Nobuhiro Igi
Koji Obata
Motoki Kato
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Corp
Original Assignee
Sony Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Corp filed Critical Sony Corp
Priority to EP98921871A priority Critical patent/EP0917357A4/en
Priority to US09/230,465 priority patent/US6434275B1/en
Priority to JP50048699A priority patent/JP4164877B2/ja
Publication of WO1998054892A1 publication Critical patent/WO1998054892A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/14—Coding unit complexity, e.g. amount of activity or edge presence estimation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • H04N19/86—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression involving reduction of coding artifacts, e.g. of blockiness

Definitions

  • the present invention relates to a block coding method that blocks input data such as still image data or moving image data and performs DCT coding or the like.
  • TECHNICAL FIELD The present invention relates to a block distortion reduction method and apparatus for reducing block distortion, and an encoding method and apparatus for performing encoding by reducing block distortion.
  • Background art Conventionally, block coding such as block DCT (discrete cosine transform) coding has been known as a coding method for efficiently compressing still image data or moving image data. .
  • block distortion (block noise) may occur, and distortion tends to occur as the compression ratio increases.
  • This block distortion is transformed by DCT coding etc. in a closed space inside the block and does not consider the correlation beyond the block boundary, so continuity at the block boundary cannot be preserved and the adjacent block The deviation of the reproduced data value at the boundary between the two is perceived as noise.
  • Block distortion that occurs when image data is block-encoded has a type of regularity, and it It is more easily perceived than dam noise, and is a major factor in image quality degradation.
  • the former method of turning on and off the noise removal filter is easy to process, but has the disadvantage that the high-frequency components of the image are lost and the resolution is degraded.
  • a bit stream coded by the block coding method is used to support a device having a different bit rate, for example, a bit stream having a bit rate different from 8 Mbps to 4 Mbps. Two May be converted.
  • bit stream encoded by the block encoding scheme is rate-converted and re-encoded, even if block noise occurs in the decoded image decoded by the decoder, , Was encoded as it is.
  • an MPEG Dynamic Transformation Transformation (DCT) conversion using intra-screen correlation, motion compensation using inter-screen correlation, and Huffman coding using code sequence correlation are combined.
  • DCT Dynamic Transformation Transformation
  • Moving pictures experts group Moving pictures experts group.
  • DISCLOSURE OF THE INVENTION The present invention has been made in view of such circumstances, is simple in processing, has no loss of high frequency components, can stably reduce or eliminate block distortion, and can determine block distortion. Erroneous judgment at the time of re-encoding, and prevents the detection accuracy of the motion vector from deteriorating at the time of re-encoding. It is another object of the present invention to provide a block distortion reduction method and apparatus for suppressing generation of block noise, and an encoding method and apparatus for reducing block noise.
  • the present invention detects a parameter indicating the degree of difficulty of encoding from input image data when reducing block distortion in block encoding of image data, Calculate the parameters necessary for the block distortion determination from the image data, and determine the block distortion based on the parameter detection result indicating the degree of difficulty of encoding and the result of the parameter calculation described above, It is characterized in that a correction value for reducing the block distortion is calculated, a correction based on the correction value according to the determination result of the block distortion is applied to the input image data, and then output.
  • FIG. 1 is a block diagram showing a configuration example of a block distortion reduction device according to a first embodiment of the present invention.
  • FIG. 2A is a diagram showing the relationship between the value of the motion vector difference MV and the number of samples for samples that are easy to encode.
  • FIG. 2B is a diagram illustrating the relationship between the value of the motion vector difference MV and the number of samples for samples that are difficult to encode.
  • FIG. 3A is a diagram showing the relationship between the value of the IDCT coefficient and the number of samples for samples that are easy to encode.
  • FIG. 3B is a diagram showing the relationship between the IDCT coefficient value and the number of samples for samples that are difficult to encode.
  • FIG. 4 is a diagram for explaining an example when calculating the IDCT coefficient and the motion vector difference MV in one frame. ⁇
  • FIG. 5 is a diagram for explaining an example of a method of obtaining the encoding difficulty level of a vertical block boundary.
  • FIG. 6 is a diagram illustrating pixels near a DCT block boundary for explaining a method of obtaining the strength of vertical correlation.
  • FIG. 7 is a diagram showing pixels near a block boundary for block distortion correction.
  • FIG. 8 is a block diagram showing a schematic configuration of an image-depth block distortion reduction device according to a second embodiment of the present invention.
  • FIG. 9 is a block diagram showing a schematic configuration of a decoder system using the image data block distortion reduction apparatus according to the second embodiment of the present invention.
  • FIG. 10 is a flowchart for explaining the processing procedure of the block distortion reduction method according to the second embodiment of the present invention.
  • FIG. 11 is a flowchart illustrating an example of the operation of the edge extraction processing.
  • FIG. 12 is a diagram showing an example of the Laplacian fill coefficient.
  • FIG. 13 is a flowchart for explaining an example of the operation of the motion detection process.
  • FIG. 14 is a flowchart for explaining an example of the operation of the block distortion determination processing.
  • Figure 15 shows the processing when edge extraction is performed by one-dimensional secondary differentiation.
  • 6 is a front chart for explaining an example of the operation.
  • FIG. 16 is a block diagram illustrating a schematic configuration of a block distortion reduction device for image data in the case where edge extraction in FIG. 15 is performed.
  • FIG. 17 is a diagram for explaining the block distortion reduction processing when the luminance value of each pixel monotonously decreases through the block boundary and increases only at the block boundary.
  • FIG. 18 is a diagram for explaining a block distortion reduction process for an edge generated at a position other than a block boundary.
  • FIG. 19 is a diagram for explaining block distortion reduction processing when there is a pixel indicating an edge that is detected as a block distortion in parallel with a block boundary.
  • FIG. 20 is a diagram for explaining a correction process when suppressing a newly generated edge after the correction.
  • FIG. 21 is a diagram illustrating an example of a method of reducing block distortion.
  • FIG. 22 is a flowchart when the block distortion reduction processing is performed by the block distortion reduction device according to the first embodiment.
  • FIG. 23 is a flowchart showing a special process in the block reduction process.
  • FIG. 24 is a block diagram of a method for removing block noise before re-encoding.
  • FIG. 25 is a block diagram of the adaptive block noise elimination method.
  • FIG. 26 is a block diagram in the case of an analog signal that has been DZA-converted after decoding. BEST MODE FOR CARRYING OUT THE INVENTION
  • FIG. 1 shows a schematic configuration of a block distortion reduction device 1 according to the first embodiment.
  • the block distortion reduction device 1 shown in FIG. 1 is an example in which an MPEG decoder that decodes an MPEG bitstream is built. That is, the block distortion reduction device 1 is configured to reduce block distortion that occurs in the image data decoded by the MPEG decoder.
  • the block distortion reduction device 1 includes an MPEG decoder 2 that performs a decoding process on input image data, an encoding difficulty evaluation circuit 3 that evaluates the encoding difficulty of the decoded image data, and A parameter calculation circuit 4 for calculating parameters required for judging block distortion, a vertical correlation detection circuit 5 for detecting vertical correlation in image data, and a state of block distortion in image data. And a block distortion correction circuit 7 for correcting block distortion generated in the image data.
  • the MPEG decoder 2 receives an MPEG bitstream.
  • the MPEG decoder 2 performs a decoding process by performing inverse quantization and inverse DCT (discrete cosine transform) on the data in the input bitstream.
  • the MPEG decoder 2 performs decoding in units of DCT blocks consisting of a plurality of macroblocks.
  • the MPEG decoder 2 uses the IDCT (inverse DCT) coefficient obtained as a result of the decoding process and the motion vector. Difficult to encode by detecting difference MV Output to the ease evaluation circuit 3 and the block distortion correction circuit 7.
  • the coding difficulty evaluation circuit 3 uses the motion vector difference MV from the MPEG decoder 2 and the IDCT coefficient to generate a parameter Kp indicating the coding difficulty of the image data.
  • the motion vector difference MV is the difference value of the motion vector included in the bitstream input to the MPEG decoder 2
  • the IDCT coefficient is the bit input to the MPEG decoder 2. This is the coefficient obtained as a result of the inverse DCT after inverse quantization of the quantized DCT coefficients included in the stream.
  • the motion vector difference MV and the IDCT coefficient have a relationship as shown in FIGS. 2A, 2B, 3A, and 3B according to the complexity of the image represented by the input image data.
  • FIG. 11 is a diagram showing a motion vector difference MV and an IDCT coefficient for a second sample (f 1 ower) generally having low encoding difficulty.
  • Fig. 2A, Fig. 2B, Fig. 3A and Fig. 3B in the case of a macro block ⁇ with a strong movement and a complicated macro block including a high frequency component, it is shown in Figs. 2A and 3A.
  • the motion vector difference MV and IDCT coefficient obtained by the MPEG decoder 2 show high values, and the macroblock whose motion is monotonous and gradual, and the flat macroblock with few high-frequency components, As shown in FIG. 2B and FIG. 3B, it is confirmed that the motion vector difference MV and the IDCT coefficient obtained by the MPEG decoder 2 show low values.
  • the encoding difficulty evaluation circuit 3 uses the MPEG decoder When the motion vector difference MV and the IDCT coefficient obtained in step 2 are large, it is determined that the encoding difficulty is high, and the parameter Kp indicating the encoding difficulty is set to a high value. I do.
  • FIG. 2A, FIG. 2B, FIG. 3A, and FIG. 3B described above are described using the motion vector difference MV and IDCT coefficient only for B-picture and P-picture, For -picture, a parameter Kp indicating the degree of difficulty of encoding is set using only IDCT coefficients.
  • the encoding difficulty evaluation circuit 3 when setting the encoding difficulty Kp for image data in one frame, first, when the macroblocks are arranged as shown in FIG.
  • the motion vector difference MV and the IDCT coefficient for are calculated. For example, the calculation is performed as shown in the following equation for the macroblock MB0.
  • ⁇ 0 ( ⁇ 0 + ⁇ 1 + ⁇ 2 + ⁇ 3 + ⁇ 4 + ⁇ 5 + ⁇ 6 + ⁇ 7 + ⁇ 8) / 9
  • the calculation is performed in consideration of the neighboring macroblocks MB1 to MB8.
  • the encoding difficulty evaluation circuit 3 calculates the parameter K p indicating the encoding difficulty of the vertical block boundary, as shown in FIG. 5, the block boundary between the macroblocks.
  • the parameter Kp indicating the degree of difficulty of encoding is calculated by calculating the IDCT coefficient and the motion vector difference MV of both macroblocks.
  • the IDCT coefficient of the macro block and the motion vector difference MV are used as is as a parameter ⁇ indicating the encoding difficulty.
  • the vertical correlation detection circuit 5 detects the strength of edge correlation in the direction along the block boundary.
  • Para The meter Kp is set in multiple stages within the range of 0 to 1 so as to increase as the encoding difficulty increases.
  • the input luminance signal is input to the HPF (high-pass filter) of the edge extraction unit, and performs second differentiation for detecting edge elements.
  • edge elements are extracted using Laplacian.
  • the signal whose edge has been extracted by the HPF is input to the maximum value extraction unit.
  • the maximum value is detected in the edge extraction block across the block boundary in order to find the threshold required in the next-stage binarization unit.
  • the binarization unit the threshold value obtained by the maximum value extraction unit and the signal from which the edge element is extracted by the HPF are input, and the signal is binarized based on the threshold value.
  • the HPF, edge extraction unit, maximum value extraction unit, and binarization unit will be described later.
  • the vertical correlation detection circuit 5 obtains the vertical correlation strength at the block boundaries of the edge components extracted in this way. An example of a method for obtaining the strength of the vertical correlation at this time will be described with reference to FIG.
  • the region is divided into a region b containing the block boundary of interest and regions a and c adjacent thereto.
  • the number of edge components extracted earlier is calculated for each region. These are Ea, Eb, and Ec.
  • the vertical correlation detection circuit 5 not only outputs the strength of the detected vertical correlation to the block distortion determination circuit 6 but also uses the block distortion correction as a difficulty when encoding the correlation detection strength. It may be output to the circuit 7. That is, the vertical correlation detected by the vertical correlation detection circuit 5 Is larger, it is considered that the encoding is more difficult, and a parameter corresponding to the vertical correlation is output to the block distortion correction circuit 7, and the correction value calculated by the block distortion correction circuit 7 is applied to the parameter. Evening is multiplied.
  • the ratio ⁇ ⁇ of the number of edge components in the region that includes the block boundary and the region that does not include the block boundary is determined, and classification is performed.
  • a weighting coefficient Kc is assigned according to each class.
  • the weighting coefficient Kc for each class for example,
  • the block distortion determination circuit 6 receives the decoded image data from the MPEG decoder 2 as shown in FIG.
  • the pixels used for determining the block distortion will be described with reference to FIG.
  • FIG. 7 a specific example of a processing target in a case where DCT coding is used for block coding and a DCT block is composed of 8 ⁇ 8 pixels is shown. That is, 5 pixels each are used for the block distortion reduction processing on the left and right sides from the block boundaries of the left and right DCT blocks 51 L and 51 R in the figure, and 4 pixels are used for the correction range from the block boundaries.
  • the edge extraction block 52 is a block of 8 ⁇ 8 pixels centered on the block boundary
  • the block distortion correction processing block 53 is a block of one line in the edge extraction block 52. This is a block composed of pixels.
  • the block distortion determination circuit 6 calculates a parameter required for the determination of the block distortion.
  • the block distortion determination circuit 6 obtains the boundary difference I tmpO I, the activity I tmp I, and the adjacent difference I dif f I as parameters, by the following formula.
  • I tmp I (I b-a I + I c-b I + I d-c I + I e-d I
  • the boundary difference I tmpO ⁇ is the absolute value of the difference between the pixels e and f adjacent to each other across the boundary of the DC block in FIG. 7, and the activity I tmp I is Is the average of the absolute values of the differences between adjacent pixels (except for between e and f) for the block distortion processing block 53.
  • the adjacent difference I diffI is calculated between pixels c and d, d and e.
  • the block distortion determination circuit 6 outputs each of these parameters to the block distortion correction circuit 7.
  • the block distortion determination circuit 6 uses the parameters Kp from the encoding difficulty evaluation circuit 3, the parameters from the parameter calculation circuit 4, and the weighting coefficient Kc from the vertical correlation detection circuit 5. Then, the presence or absence of block distortion is determined. Further, the block distortion correction circuit 7 has a threshold value det-th for determining whether or not to perform the block distortion correction.
  • the block distortion determination circuit 6 determines that there is a step at the block boundary.
  • the block distortion determination circuit 6 determines that there is no edge at the block boundary when I tmpO I and det_th are satisfied. If it is determined that I tmpO I ⁇ I diff 3 I and I tmpO
  • a flag corresponding to the result is set, and the block distortion correction circuit 7 is controlled.
  • the block distortion correction circuit 7 generates an image having block distortion by using the flag from the block distortion determination circuit 6, the parameter Kp from the encoding difficulty evaluation circuit 3, and the weight coefficient Kc from the vertical correlation detection circuit 5. Calculate the correction value that corrects the data. Further, assuming that the threshold used for correcting the block distortion is corr_th, the block distortion correction circuit 7 calculates the corrected boundary step I st ep I from the adjacent difference based on the properties of the image, particularly, the linearity.
  • I ⁇ I (I tmpO
  • I ⁇ I (I tmpO
  • I ⁇ I (I tmpO
  • the block distortion correction circuit 7 multiplies the I and I by the above-mentioned weight coefficient Kc and parameter Kp to obtain the IDCT coefficient, the motion vector difference MV, and the vertical correlation.
  • the correction amounts I and I may be determined.
  • the block distortion correction circuit 7 may change the above-mentioned threshold value corr_th based on the above-mentioned K c, K r mich This is to avoid erroneous correction if the boundary difference I tmpO I is larger than the predetermined threshold corr_th because there is a possibility that an erroneous judgment is made in the block distortion judgment even though an edge actually exists on the block boundary.
  • the strength of the correction is switched between strong and weak.
  • the block distortion correction circuit 7 obtains a correction value for each pixel from the obtained correction value I ⁇ I.
  • a correction value that is inversely proportional to the distance from the boundary is calculated as shown in the following equation. Specifically, when the respective correction values for the respective pixels b to i in the correction range 53 in FIG. 6 are I and b l l cxi l, respectively, using the above correction values I and I,
  • the block distortion correction circuit ⁇ uses the correction values I and b
  • the block distortion correction circuit 7 corrects the corrected image data SB in accordance with the sign of tmpO. b to SB i,
  • SB. S. +
  • , tmpO ⁇ 0: SB c S c-
  • the block distortion determination and the parameter Kp indicating the degree of difficulty of encoding using the IDCT coefficient and the motion vector difference MV from the MPEG decoder 2 are performed. Since block distortion can be corrected, stable block distortion can be reduced or eliminated, and erroneous determination in block distortion determination can be prevented.
  • FIG. 8 is a block diagram showing a schematic configuration of the work distortion reduction device 10 according to the second embodiment.
  • the block distortion reduction is also called block distortion removal, block noise removal, or the like.
  • input terminals 11 and 12 are provided with block coding.
  • the video signal or the chroma signal and the luminance signal of the image data which are decoded after the image coding is performed are supplied.
  • the image coding including the block coding there is a so-called MPEG coding standard.
  • This MPEG refers to ISO / IECJTC1, S C29 (International Organization for Standardization I Iniernational Electrotechnical Commission, Joint Technica 1 Committee 1 / Sub Committee 29). 9)
  • the MPEG1 standard is IS011172 and the MPEG2 standard is IS013818. In these international standards, IS011172-1 and IS013818-1 are for multimedia multiplexing, IS011172-2 and IS013818-2 are for video, and IS011172-3 and IS013818-3 are for audio. Standardized.
  • image signals are compressed and encoded in picture (frame or field) units using the correlation of the image in the time and space directions.
  • the use of correlation in the spatial direction is realized by using block DCT coding.
  • the chroma (color) of video signal data (image data) that has been subjected to compression encoding including block DCT encoding, serially transmitted or recorded / reproduced, and then inversely DCT-processed at the decoder side
  • the component and the luminance component are supplied to the chroma signal input terminal 11 and the luminance signal input terminal 12 in FIG. 8, respectively.
  • Chroma signal input terminal 1 Chroma of input image data supplied to 1
  • the (color) component is extracted from the chroma signal output terminal 40 via the delay circuit 14.
  • the delay circuit 14 delays the time required for performing the block distortion reduction processing on the luminance component, and adjusts the timing of the output luminance component and the chroma component.
  • the horizontal synchronizing signal and the vertical synchronizing signal are input to the HD / VD input terminal 13 and sent to the control signal generator 26, where each circuit generates a necessary evening signal.
  • the luminance signal input from the terminal 12 is output to the correction signal calculation unit 15, the parameter overnight calculation unit 16, the edge extraction unit 17, the switch selection switch 19, and the motion detection unit 20. And sent to.
  • the input luminance signal is sent to the adder 31 and the correction value calculation section 32.
  • the correction value calculation unit 32 calculates the correction value by predicting the slope after correction from the adjacent difference between the pixels on both sides of the boundary, and determines the correction value based on the correction strength / weak information from the block distortion determination unit. The correction is obtained, and a correction value for each pixel, which is inversely proportional to the boundary distance, is obtained.
  • the correction value from the correction value calculation unit 32 is sent to the adder 31 and added to the input luminance signal.
  • the input luminance signal is input to a high-pass filter (HPF) 34 of the edge extraction unit 17 and performs a second differentiation for detecting an edge element.
  • HPF high-pass filter
  • edge elements are extracted using, for example, Laplacian.
  • the signal whose edge has been extracted by the HPF 34 is input to the maximum value extracting unit 35.
  • the maximum value is detected within the edge extraction block across the block boundary in order to obtain the threshold required by the binarization circuit 36 at the next stage.
  • the threshold value obtained by the maximum value extracting unit 35 and the threshold value A signal from which edge elements have been extracted by the HPF 34 is input, and the signal is binarized based on a threshold value.
  • the Hough transform unit 37 performs Hough transform in the edge extraction block sandwiching the block boundary based on the binarized signal, thereby mapping the edge element to the parameter space ( ⁇ , ⁇ ). By imaging, a straight line (/ ⁇ , ⁇ 0) within the block is obtained. The obtained ⁇ 0, 00 is input to the block distortion determination unit 18.
  • the input luminance signal from the terminal 12 is input to the parameter calculation circuit 33 of the parameter calculation section 16, and the block distortion determination section 18 obtains the required parameter in the correction block. .
  • the input luminance signal is input to the memory 22 of the motion detecting section 20, and writing is performed under the control of the memory controller 21.
  • the luminance signal of the previous field read from the memory by the memory controller 21 is input to the pattern matching unit 23, and on the other hand, the input luminance signal is subjected to pattern matching.
  • the calculation result of the pattern matching is input to the motion vector determination unit 24, and the magnitude of the motion can be determined.
  • the presence or absence of the obtained motion is input to the block distortion determination unit 18.
  • the motion detector 20 detects the motion vector MV, and as a parameter indicating the degree of difficulty of encoding based on the motion vector MV, the block distortion determiner 18 and the correction value calculation. It may be output to the unit 32.
  • the linear component (p C ⁇ 0) in the block from the edge extraction unit, the parameter in the correction block from the parameter calculation unit, and the magnitude of the motion from the motion detection unit Is used to determine whether or not block distortion is to be used, and whether or not to use the block distortion correction value (weak) or not (strong).
  • the input luminance signal is input to the adder 31 of the correction signal calculation unit 15, and a signal from which block distortion has been removed by adding the luminance signal and the correction value obtained from the correction value calculation unit 32. Is sent to the changeover selection switch (selector) 19.
  • the selector 19 selects whether to output the input luminance signal as it is or to output a corrected signal according to the block distortion 0 N / 0 FF signal from the block distortion determination unit 18.
  • the input chroma signal is input to the delay circuit 14, and the delay is adjusted to the luminance signal passing through the correction circuit.
  • the correction signal output from the correction value calculation unit 32 should be set to 0. May be used.
  • the noise eliminator according to the second embodiment shown in FIG. 8 is assumed to perform the block distortion reduction processing only on the luminance signal, but the same processing can be performed on the chroma signal. it can.
  • the block distortion reduction device 10 having the configuration of FIG. 8 described above can be used as, for example, a block distortion reduction circuit 107 of a video CD player as shown in FIG.
  • the optical pickup 102 reads out the F signal from the disk 101 such as a video CD or a CD-ROM, and the F signal is input to the RF amplifier 103.
  • the RF signal amplified here is demodulated by an EFM (8-14 modulation) demodulation circuit 104, and is converted into a serial data by a disk recording format decoder such as a CD-R. ⁇ ⁇ ⁇ Enter the M decoder 105.
  • the CD—R0M decoder 105 converts the serial data into, for example, an MPEG bitstream signal and sends it to the MPEG decoder 106.
  • the M PEG performs compression encoding using the correlation in the time and space directions of an image, and employs a block DCT code in order to use the correlation in the space direction.
  • decoding is performed in accordance with, for example, the MPEG-1 format.
  • the inverse DCT processing by the inverse DCT circuit 162 is performed after the inverse quantization by the inverse quantizer 161. Apply. Outputs after performing processing such as interpolation as needed.
  • the video signal output from the MPEG decoder 106 is input to a process distortion reduction circuit 107 as a noise reducer, and the signal here includes noise due to compression / expansion in MPEG 1. Therefore, these noises are removed by the block distortion reduction circuit 107.
  • the block distortion reduction circuit 107 As the block distortion reduction circuit 107, the embodiment of the present invention as shown in FIG. 9 described above is applied.
  • the NTSC encoder 108 After the processing in the block distortion reduction circuit 107, the NTSC encoder 108 adds a synchronization signal, modulates the chroma signal, etc., and generates an NTSC video signal. This NTSC video signal is output to the output terminal 110 via the D / A converter 109.
  • a control circuit 111 using a microcomputer or the like is provided, and a control signal from the operation unit 112 is supplied to the control circuit 111. Is done.
  • the operation unit 112 is provided with a noise reduction, for example, a control switch for reducing block distortion, and switches on / off of block distortion reduction.
  • control The circuit 111 is often used for controlling other circuits of the block distortion reduction circuit 107, for example, the MPEG decoder 106.
  • FIG. 10 is a flowchart illustrating an algorithm of the block distortion reduction method according to the embodiment of the present invention.
  • the example of Fig. 10 shows the processing algorithm in the H (horizontal) direction, but the block distortion reduction algorithm in the V (vertical) direction is the same except that the processing in the H direction changes to the V direction. Therefore, the explanation is omitted.
  • step ST 41 it is determined whether or not the block distortion reduction processing has been completed for all the block boundaries in the H direction. In the case of, proceed to the next step ST42.
  • the pixels used for the block distortion reduction processing are the same as those in FIG. 7 described in the first embodiment.
  • the first step ST 41 of FIG. 10 described above it is determined whether or not the block distortion correction processing has been performed for all the correction processing blocks 53.
  • the boundary difference I tmpO I, the activity I tmp I, and the adjacent difference I diff I as parameters required for determining whether or not there is block distortion are determined by the first implementation described above. It is calculated by the same formula as in the above embodiment.
  • step ST43 an edge in the edge extraction block 52 corresponding to the correction processing block is extracted, and a linear component ⁇ 0, 00) is obtained.
  • step ST44 the magnitude of the motion is checked for the two DCT blocks 51 L and 51 R sandwiching the correction processing block. The details of this motion detection operation will be described later.
  • step ST45a each of the above steps ST42, ST43
  • step ST 45 b if there is block distortion, the step
  • step ST46a If it is determined to be block distortion, the process proceeds to step ST46a, and based on the properties of the image, particularly, the linearity, the boundary step I st ep
  • I step I I diff3 + diff4
  • I ⁇ I (I tmpO
  • the boundary difference I tmpO I is discriminated by a predetermined threshold corr-th to switch the correction strength.
  • I tmpO I becomes corr-th and the correction strength becomes strong (correction ),
  • the correction amounts I and I are
  • I ⁇ I (I tmpO
  • I ⁇ I (I tmpO
  • a correction value for each pixel is obtained from the obtained correction values I and I.
  • a correction value inversely proportional to the distance from the boundary is obtained as in the first embodiment described above.
  • I era I I ⁇ I / 2
  • a. I and a I / 2
  • I. I I ⁇ I / 4 and ⁇
  • I i7 b I I ⁇ I / 8, ⁇ ⁇ 8
  • step ST 4 6 c using the correction value I cr b I ⁇ I cri I of the step ST 4 every 6 b in seeking et pixels were B to i, block distortion corrected image signals (image Data) Obtain S Bb S Bi.
  • SB b Sb + I ab
  • , tmpO ⁇ 0: SB b S b —
  • the signal subjected to the block distortion correction processing is output.
  • step ST45b If it is determined in step ST45b that there is no block distortion, the process proceeds to step ST48, and the original signal in the correction range is output as it is.
  • step ST48 the original signal in the correction range is output as it is.
  • a two-dimensional HPF for example, a Laplacian filter
  • a Laplacian filter is applied to the input signal in the edge extraction block for edge element extraction.
  • Examples of the two-dimensional Lablacian filter include a coefficient as shown in FIG. 12, but are not limited to the example in FIG. 12. Instead, various modifications such as, for example, Sobel Operet, Prewitt operator, Kirsch operator, Robinson Operet, etc. can be considered.
  • step ST64 in which the extracted page elements are subjected to a no-off transform, and are mapped to a parameter overnight space (p, ⁇ ).
  • This Hough transform converts the edge element (x, y) in the block into the parameter overnight space (0, 0),
  • step ST65 a point (/ ⁇ ⁇ , ⁇ 0) where many points gather in this parameter overnight space is detected.
  • the straight line passing through (/ ⁇ , ⁇ 0) is the straight line page detected in the edge extraction block, and the parameters (p, ⁇ ) are output in step ST66.
  • pattern matching is performed on the left and right DCT blocks 51 L, 51 R sandwiching the block boundary of the correction processing block to be processed in FIG.
  • Pattern matching is performed for all pixels in the DCT Reads the previous field pixel at the same position from memory (step
  • step ST 72 performs the processing of the arithmetic expression shown in the following equation (1) (step ST 73), and writes the pixel of the current field to the memory (step ST 74)
  • Sn (i, j) indicates the luminance signal of the pixel at the position (i, j) in the n field
  • BLK—H, BLK_V indicates the DCT block size in the H and V directions, respectively. ing.
  • step ST71 it is determined in the first step ST71 whether or not the processing has been completed for all the pixels in the DCT (MXN) block, and if YES, the processing has been completed. ), The process proceeds to step ST75, and the motion is determined according to the value of Cr obtained by the above equation (1).
  • a predetermined threshold value mov—thL, mov_thH (where mov—thL and mov_thH) is applied to the value of Cr,
  • pattern matching was performed for all pixels in the DCT block.
  • the pattern matching is limited to this example. Instead, for example, a modification such as applying an LPF, performing a thinning process on two or four pixels, and then performing pattern matching on the thinned pixels may be considered.
  • the pattern matching for the DCT block at the same position is used as a means for obtaining the magnitude of the motion.
  • the present invention is not limited to this example.
  • Pattern matching C (k) is compared for all trial vectors, and the trial vector that gives the minimum C (k) is used as the motion vector, and deformation is performed to determine the presence / absence of motion, and representative point masking is performed. The deformation of is also conceivable.
  • step ST 81 It is determined whether the detected movement is small. If the motions in both DCT blocks 51 L and 51 R are small, it is determined that there is no quantization error, and the process proceeds to step ST86 to terminate the process without performing block distortion correction .
  • step ST82 If N0 is determined in step ST82, the process proceeds to step ST83, where a straight edge is formed in the vicinity of the boundary between the left and right DCT blocks 51L and 51R in FIG. It is determined whether or not the vehicle passes. If it passes, it is determined that there is weak block distortion, and the process proceeds to step ST87 to correct the block distortion (weak).
  • step ST83 block distortion is determined using parameters, and it is determined whether correction is strong (step ST84) or correction is weak (step ST85). .
  • step ST84 the process proceeds to step ST88, and when it is determined that the correction is weak, the process proceeds to step ST87. Otherwise, the correction is 0 F F, and the process proceeds to Step ST86.
  • a fixed value is used as the threshold value div-th in the second embodiment, but a value proportional to the maximum value of the quantization step size of each block can be used.
  • block distortion is determined. Further, the strength of the correction is determined according to whether or not the boundary difference I tmpO I is smaller than a predetermined threshold corr_th.
  • the values of the threshold values div_th and corr_th are adaptively changed according to the magnitude of the motion obtained by the motion detection processing. For example,
  • corr— th corr— th (constant)
  • corr_th corr_th / 2
  • the magnitude of the motion in the motion detection process is not limited to the three levels of dog / medium / small.
  • the values of the above thresholds div-th and corr_th are also two levels of the above-mentioned motion dog / medium. Is not limited, and may be changed to more detailed steps.
  • FIG. 15 is a flowchart for explaining the operation in the case of the simple edge extraction
  • FIG. 16 is a block diagram of a schematic configuration of the block distortion reduction apparatus using the edge extraction.
  • edge extraction is performed by a one-dimensional (horizontal) second derivative (BPF: band passfill).
  • BPF horizontal second derivative
  • H (z) of the second derivative for example,
  • the maximum value is detected in the processing block, and using this maximum value, the binary value of the BPF processed image is obtained in the next step ST93.
  • edge detection The threshold for binarization may be, for example, / of the maximum value obtained by performing the second derivative and absolute value processing in the block, as in the above-described example.
  • the luminance signal input from the terminal 12 is secondarily differentiated by the BPF 34' as described above, and the absolute value is obtained by the absolute value conversion circuit 38.
  • Detection circuit 35 detects the maximum value. Then, the threshold value from the maximum value detection circuit 35 is sent to the binarization circuit 36, and the signal from the absolute value circuit 38 is binarized. The output from the binarization circuit 36 is sent to the vertical correlation detection unit 39.
  • FIG. 16 The other configuration and operation in FIG. 16 are the same as those in the above-described example of FIG. 8, and the corresponding portions are denoted by the same reference symbols and description thereof is omitted.
  • the vertical correlation detection unit 39 has been described in the first embodiment of FIG. The operation is the same as that of the vertical correlation detection circuit 5.
  • the class and the correction stage are described as four and three stages, respectively, but the invention is not particularly limited to this.
  • the weighting coefficient Kc of the correction amount calculated by detecting the vertical correlation may be obtained by the following equation.
  • the value of div_th which is the detection threshold of the block distortion determination unit, may be controlled by the class obtained from the vertical correlation detection unit 39.
  • the edge extraction unit, the correction signal calculation unit, the block distortion determination parameter calculation unit, and the like in the embodiment of the present invention use the above-described algorithms, but are not limited to these algorithms only.
  • LPF is used for the correction signal calculation unit
  • various edge extraction methods such as edge extraction method using edge tracking are used for the edge extraction unit
  • various parameters are used for the block distortion determination unit. Can be considered.
  • the block distortion correction is performed in the horizontal direction of the luminance signal.
  • the present invention is not limited to this example.
  • the block distortion correction may be performed in the vertical direction or the chroma signal.
  • Various deformations can be considered.
  • the block distortion determination circuit 6 determines whether or not there is block distortion, in addition to the determination conditions described in the first embodiment and the second embodiment, an adaptive determination is made.
  • An example of the case where block distortion is performed by adding a condition will be described.
  • the block distortion determination circuit 6 according to the first embodiment will be described.
  • the block distortion determination circuit 6 for example, as shown in FIG. 17, when all of diff0 to diff7 take a negative value and only tmpO takes a positive value, or all of diff0 to diff7 take a negative value.
  • noise removal is performed in a case where information indicating that tmpO has a positive value and only tmpO has a negative value is input from the parameter overnight arithmetic circuit 4.
  • FIG. 17 shows the magnitudes of the luminance signals of the pixels a to j arranged in a line in a direction orthogonal to the block boundaries as the vertical axis, and the white circles represent the values of the luminance signal before correction. Black circles are shown as corrected luminance signal values.
  • the encoding or decoding is performed before the correction is performed assuming that it has decreased monotonously even at the block boundary.
  • the block distortion determination circuit 6 performs the processing in addition to the determination conditions described in the first and second embodiments.
  • Block distortion is determined by adding the first to third determination conditions. That is, in the first determination condition, it is determined that the change in the luminance value in the correction range excluding the block boundary is monotonically decreasing or monotonically increasing. In the second determination condition, it is determined that the change in the luminance value at the block boundary is opposite to the change in the other luminance values in the correction range. In the third determination condition, the parameter Kp indicating the degree of difficulty of encoding is equal to or greater than a predetermined threshold value diff_th. Judge that.
  • the block distortion determination circuit 6 sets a flag indicating that the image data before encoding or decoding is an image data indicating a monotone decrease or a monotone increase. Is generated and supplied to the block distortion correction circuit 7.
  • the block distortion correction circuit 7 calculates a correction value 0 according to the flag from the block distortion determination circuit 6 as described below.
  • the strength of the correction determined by the block distortion correction circuit 7 is determined according to whether or not the boundary difference I tmpO I is smaller than a predetermined threshold corr_th.
  • the block condition is determined according to the determination conditions shown in the above-described first and second embodiments. Since the condition for detecting the distortion is not satisfied, for example, when the block distortion is not recognized as the block distortion even when it is silently recognized, the block distortion determination circuit 6
  • the first to third determination conditions of diff3 x tmp0 0 0, dif f4 x tmp0 ⁇ 0, dif f2 x dif f3 ⁇ 0 are changed to the determination conditions shown in the first and second embodiments.
  • block distortion is determined.
  • the first judgment condition is to judge whether there is a protruding step at the block boundary.
  • the second determination condition the presence or absence of an edge at a block boundary is determined
  • the third determination condition the presence or absence of an edge in a pixel adjacent to the block boundary is determined.
  • the third determination condition it is determined that the change in the luminance value between the pixels d to e and the change in the luminance value at the block boundary are opposite, and the change in the luminance value between the pixels f to g and the block boundary are determined. It is determined that the change in the luminance value is the same in step (a), and the change in the luminance value between the pixels c to d and the change in the luminance value between the pixels d to e are determined to be the same.
  • the third judgment condition contrary to the case shown in FIG. 18, when judging the presence or absence of an edge between pixels f to g, diff4xtmpO ⁇ 0 diff 3 x tmpO ⁇ 0, diff 4 x diff 5 ⁇ 0
  • the presence or absence of an edge is determined using the third determination condition.
  • the correction strength is determined according to whether the boundary difference I tmpO I is smaller than a predetermined threshold corr_th,
  • correction value 1 and correction value 2 are identical to correction value 1 and correction value 2
  • Correction value cr2 diff4 / 2.
  • the correction value r O (I tmpO
  • correction value ⁇ ⁇ and the correction value ⁇ 2 are
  • the edge is present at a threshold or more. If so, control may be performed so that no correction is performed.
  • the pixel recognized as an edge by the vertical correlation detection circuit 5 is shown as 1, and the pixel not recognized as an edge is shown as 0. That is, as shown in FIG. 19, the position of the edge of the line A for which the distortion is currently corrected and the position of the edge of the line adjacent to the line A in the vertical direction V are detected in the vertical correlation detection range. Count the locations where the edge is at the same position on the three lines in the vertical direction. At this time, if the number of pixels detected as edges is num-edge and the threshold value of whether to perform correction is edge_th, the block distortion determination circuit 6
  • the vertical correlation detection circuit 5 detects the correlation in the vertical direction, and the block distortion determination circuit 6 changes the determination condition, whereby, for example, a fine stripe pattern in the vertical direction different from the edge is obtained. Even if there is a certain pattern, it is possible to suppress erroneous detection as block distortion.
  • Block distortion is determined by adding the first to third determination conditions. That is, in the first determination condition, it is determined whether or not the corrected step I step I is smaller than a fixed ratio (corr_ratio) compared to the correction amount 0, and in the second determination condition, the correction amount 0 is determined. It is determined whether or not the step (diff3, diff4) on both sides of the block boundary is larger than the difference I step I at the block boundary is smaller than the threshold corr_th for determining the correction amount in the third determination condition. Determine whether or not. In the third determination condition, the ratio between the corrected step Istep I and the correction amount is set to 0 and corr_ratio to 1.
  • the block distortion determination circuit 6 outputs a flag indicating such to the block distortion correction circuit 7, and the block distortion correction circuit 7 And the pixel correction value 0 '
  • the luminance value after correction does not have a step that is newly perceived as block distortion.
  • the block distortion determination circuit 6 identifies the pattern of the brightness value near the block boundary by adding the first to third determination conditions, and in the first and second embodiments described above.
  • the correction is performed under the indicated determination conditions, it is possible to measure whether a new edge occurs after the correction and to control the correction value. Therefore, by adding such first to third determination conditions, it is possible to prevent the occurrence of a newly generated edge after correction.
  • the block distortion reduction processing is performed according to a flowchart shown in FIG.
  • step ST101 it is determined whether or not the processing for all the frames constituting the moving image has been completed.
  • step ST102 it is determined whether or not the processing has been completed for all the frames.
  • step ST103 it is determined whether or not the frame to be subjected to the block distortion reduction processing is an I-picture. If it is determined that the frame is an I-picture, the process proceeds to step ST104, where -If it is determined that the picture is not a picture, the process proceeds to step ST105.
  • step ST104 the encoding difficulty evaluation circuit 3 calculates a parameter Kp indicating the encoding difficulty using the IDCT coefficient from the MPEG decoder 2 using the IDCT coefficient.
  • step ST105 the IDCT coefficient and the motion are calculated.
  • MV the vector difference signal
  • step S ⁇ 106 it is determined whether or not the processing has been completed for all the DC blocks in the frame to be processed. When it is determined that the processing has been completed, the process returns to step ST101, and the process is performed for the next frame. When it is determined that the processing has not been completed, the process proceeds to step S ⁇ 107. .
  • step S 107 the parameter operation circuit 4 calculates the parameters of the activity I tmp I, the block boundary difference I tmpO
  • the signal is output to the distortion determination circuit 6, and the process proceeds to Step ST108.
  • step ST108 the vertical correlation detection circuit 5 extracts a page to calculate a weight coefficient Kc, and outputs the weight coefficient Kc to the block distortion determination circuit 6 and the block distortion correction circuit 7. Proceed to step ST109.
  • step ST109 the block distortion determination circuit 6 determines the vertical correlation value Kc from the vertical correlation detection circuit 5 and the vertical correlation value Kc from the coding difficulty evaluation circuit 3.
  • the thresholds det_th and corr_th are determined using the parameter K indicating the degree of difficulty of encoding.
  • step ST110 the block distortion determination circuit 6
  • step ST111 the original signal is output as it is without performing any correction processing in the block distortion correction circuit 7. .
  • step ST112 it is determined that there is block distortion, and the process proceeds to step ST112.
  • step ST112 the image data to be processed is processed by the block distortion determination circuit 6 as described with reference to FIG.
  • step ST115 it is determined whether or not the determination condition is satisfied. If this determination condition is satisfied, it is determined that the change in the luminance value in the correction range excluding the block boundary is monotonically decreasing or monotonically increasing, and the process proceeds to step ST115, and this determination condition is not satisfied. If so, go to step ST113.
  • step ST115 when a flag indicating the determination result in step ST112 is input to the block distortion correction circuit 7, I tmpO I> corr It is determined whether or not ⁇ th is satisfied. If this condition is satisfied, the process proceeds to step ST 1 16 to make the correction weak. If not, the process proceeds to step ST 117 to make the correction strong and the process proceeds to step ST 1 2. Proceed to 2.
  • step ST113 the block distortion determination circuit 6 uses I tmpO I ⁇ I diff3
  • step ST114 By judging whether or not the judgment condition of I is satisfied, the judgment condition in the case where it is not recognized as the block distortion under the conditions shown in the above-described first and second embodiments is changed. As a result, if the above condition is satisfied, it is determined that there is no edge other than the block boundary, and the process proceeds to step ST114. Proceeding to step ST118, special processing described later is performed.
  • step ST114 the same processing as in step ST115 described above is performed by the block distortion determination circuit 6, and when the condition is satisfied, the process proceeds to step ST120. When the condition is not satisfied, step ST120 is performed. Go to 1 1 9
  • step ST119 the block distortion determination circuit 6 performs the processing described with reference to FIG. That is, in step ST119, the above-described first and second determination conditions are determined. Note that the above third determination condition is satisfied in step ST114. By applying such a determination condition, as described above, it is determined whether or not a new edge occurs near the block boundary after the correction. Then, in step ST 119, when the first determination condition and the second determination condition are satisfied, it is determined that a new edge will occur after correction, and the correction is made weaker. Go to 0, not satisfied Sometimes, it is determined that a new edge does not occur after the correction, and the process proceeds to step ST122 so as to increase the correction.
  • step ST120 and step ST121 the block distortion correction circuit 7 determines the level of correction in the same manner as in step ST116 and step ST117 described above, and proceeds to step ST122. move on.
  • step ST122 the block distortion correction circuit 7 sets a parameter Kp indicating the encoding difficulty from the encoding difficulty evaluation circuit 3 and a weighting coefficient Kc indicating the correlation from the vertical correlation detection circuit 5. Are multiplied by the correction value cr O, and the process proceeds to Step ST123.
  • step ST123 the block distortion correction circuit ⁇ determines the correction value of each pixel in the correction range. At this time, in the block distortion correction circuit 7, the correction becomes stronger nearer the block boundary. After determining the correction values 1, 2, and ⁇ 3 for each pixel, the process proceeds to step ST 124.
  • step S ⁇ 124 the block distortion correction circuit 7 performs step S ⁇ 1 2
  • the correction value determined in step 3 is added to the original signal to obtain a corrected image data
  • step S ⁇ 125 the block distortion correction circuit 7 outputs image data with reduced block distortion
  • step S126 the block distortion reduction process and the correction process for one DC block are completed, and the process returns to step ST106.
  • step ST106 the noise reduction processing and the correction processing are performed by performing steps ST106 to ST125 for each DCT block constituting one frame, and step ST106 is performed.
  • step ST106 is performed.
  • the process moves to the next frame and repeats step S ⁇ 101 to step S ⁇ 106 to obtain all the moving images that compose the moving image. Perform processing on the frame.
  • step ST118 will be described with reference to the flowchart shown in FIG.
  • step ST131 the number of edges num_edge in the vertical direction V is counted by the vertical correlation detection circuit 5, and The block distortion determination circuit 6 determines whether or not a determination condition of num_edge> edge_th is satisfied.
  • the process proceeds to step ST132, and the original signal is output as it is without performing the noise reduction processing. That is, it is determined that the original signal is image data showing a stripe pattern near the block boundary.
  • the process proceeds to step ST133.
  • step ST133 the block distortion determination circuit 6 determines whether an edge other than the above-described block boundary exists on the left side of the block boundary. That is, in step S T 1 3 3,
  • the block distortion determination circuit 6 determines whether the condition is satisfied. As a result, when this determination condition is satisfied, the process proceeds to step ST1334, and when not satisfied, the process proceeds to step ST139.
  • step ST139 the block distortion determination circuit 6 determines whether an edge other than the above-described block boundary exists on the right side of the block boundary. That is, in step S T 1 3 3,
  • the block distortion determination circuit 6 determines whether the condition is satisfied. As a result, if this determination condition is satisfied, the process proceeds to step ST140. If the determination condition is not satisfied, there is no portion regarded as an edge on the left and right sides of the block boundary, and the process proceeds to step ST132.
  • the original signal Output is not satisfied.
  • step ST 1 34 it is determined whether or not I tmpO
  • step ST137 the work distortion correction circuit 7 sets a parameter Kp indicating the encoding difficulty from the encoding difficulty evaluation circuit 3 and a weight coefficient Kc indicating the correlation from the vertical correlation detection circuit 5. Are multiplied by the correction value 0 and the process proceeds to step ST138.
  • step ST138 the correction values 1 and 2 for the pixels adjacent to both sides of the pixel to be corrected with the correction value 0 are calculated.
  • steps ST140 to ST146 substantially the same processing as in steps ST134 to ST138 is performed.
  • the difference is that the strength of the correction is determined in steps ST144 and ST142, and the adjacent difference to be corrected by the correction value 1 in step ST144 is diff3 and the correction value 2
  • the difference is that the adjacent difference to be corrected is diff5.
  • step ST145 the same processing as in step ST124 is performed, and in step ST146, the same processing as in step ST125 is performed, thus ending the processing.
  • Block distortion reduction device described with reference to FIGS. 17 to 23 has been described only with respect to the block distortion reduction device 1 according to the first embodiment. Block distortion reduction times related to It is also applicable on roads.
  • the block distortion determination unit 18 applies the above-described determination condition corresponding to the pattern of the image data as described above. Block distortion is determined according to the picture, and the correction value is calculated by the correction value calculation unit 32.
  • bit stream bit rate conversion is performed. Specifically, for example, an 8 Mbps bit stream may be converted to a 4 Mbps bit stream.
  • a bit stream of a moving picture coding method that performs registration processing using a DCT transform other than MPEG is temporarily decoded according to the coding method and then MPEG-encoded to obtain a bit stream of MPEG.
  • MPEG encoding was performed as it was, even if it was converted to a stream and block noise was generated.
  • block noise interfered with the detection accuracy of the motion vector.
  • the position where block noise occurs depends uniquely on the block boundary. Therefore, if the position of the block boundary is re-encoded or encoded for format conversion using the same encoding method, if the image with block noise is encoded without removing the block noise, the reproduced image , There was a problem that the block noise was emphasized and became more conspicuous.
  • FIG. 24 below shows a block diagram of an encoding device according to the third embodiment for removing block noise before re-encoding.
  • the encoding apparatus includes an adaptive block noise elimination circuit 56 that performs adaptive block noise elimination on an input bitstream at an input terminal 51, and a decoded image from the adaptive block noise elimination circuit 56, which is provided with an MPEG standard bit stream. And an encoder 54 for encoding the stream and outputting it to an output terminal 55.
  • the adaptive noise elimination circuit 56 includes a decoder 52 for decoding an input bitstream and a block noise elimination circuit 53 for eliminating a block noise from a decoded image from the decoder 52.
  • the bit stream input from the input terminal 51 is decoded by the decoder 52.
  • the bit stream input from the input terminal 51 is encoded by an encoding method for performing a block process using two-dimensional DCT, and can be decoded by the decoder 52.
  • the decrypted image decrypted in Decode 52 is used to remove the block noise.
  • Block 53 eliminates block noise.
  • the block noise removal in the block noise removal circuit 53 can be performed, for example, by the method described above. At this time, since the block noise of the input image input to the encoder is removed from the decoded image input to the encoder 54, the encoding efficiency in the encoder 54 is improved.
  • the encoded bitstream obtained by the encoder 54 is output to an output terminal 55.
  • the bit stream input from the input terminal 51 is a motion compensation (MC) —a hybrid compression method that uses motion compensation together with two-dimensional DCT, such as MPEG using DCT.
  • MC motion compensation
  • the motion vector highly correlated with the occurrence of block noise from the decoder 51 and coding parameters such as counting after applying inverse DC ⁇ are obtained. Therefore, the block noise can be more efficiently removed by using the adaptive block noise removing circuit 56. This adaptive block noise removal has been described above.
  • FIG. 25 below shows a block diagram of an adaptive block noise elimination circuit 56 for performing adaptive block noise elimination.
  • the adaptive block noise elimination circuit 56 decodes a bit stream coded by the MPEG system input from the input terminal 71, and outputs a Y signal and a C signal from a decoded image from the MPEG decoder 72.
  • a YC synthesizing circuit 79 for synthesizing the obtained C signal and the Y signal obtained via the pixel value memory 76 and outputting the synthesized signal to the output terminal 80 as an output image.
  • the MPEG decoder 72 corresponds to the decoder 52 in FIG.
  • the adaptive block noise elimination circuit 56 includes an encoding difficulty calculation circuit 73 for calculating the encoding difficulty based on the encoding parameters from the MPEG decoder 72, and Y from the pixel value memory # 6.
  • a parameter / arithmetic operation circuit 77 that performs a parameter / arithmetic operation on a signal, and a block based on the encoding difficulty from the encoding difficulty calculating circuit 73 and the parameter from the parameter / arithmetic calculating circuit 77.
  • a block distortion determination and correction value calculation circuit 74 for determining a distortion and calculating a correction value and providing the distortion correction value to the pixel value memory 76;
  • the MPEG-encoded bit stream input to the input terminal 71 is decoded by the MPEG decoder 72.
  • the encoding parameters obtained at the time of decoding are sent to an encoding difficulty calculation circuit 73, where the encoding difficulty is obtained.
  • the encoding difficulty is sent to the block distortion determination and correction value calculation circuit 74, where it is used for calculating the block distortion and the correction value.
  • the YC separation circuit 75 separates the input decoded image into a Y signal and a C signal. Pixel values in a range necessary for the correction of the Y signal are stored in the pixel value memory 76.
  • the parameter overnight calculation circuit 77 calls out a desired Y signal from the pixel value memory 76 and calculates the parameter overnight.
  • the block distortion determination and correction value calculation circuit 74 determines whether or not block distortion is present based on the input parameters and the degree of difficulty of encoding. Judgment is made as to whether or not there is distortion, and a correction value is calculated to obtain a pixel value memory 7
  • a correction signal is obtained by adding a correction value to a predetermined Y signal.
  • the digital signal may be converted to an analog signal after decoding the bitstream.
  • the analog signal is converted by the encoder after the block distortion is removed from the image data by the block boundary determination circuit 81 and the subsequent block noise removal circuit 82. It is encoded in 54.
  • the compression method used in the previous stage is a hybrid compression method using MC-DCT and the motion vector information at the time of MC can be used at the time of recompression, this motion vector
  • the efficiency of block noise elimination can be improved.
  • the encoding efficiency is improved.
  • the generation of block noise can be suppressed, and the subjective image quality can be improved.
  • block distortion reduction method and apparatus without loss of high frequency components and maintaining resolution is performed.
  • bankruptcy due to supplementary IF can be reduced.
  • various consumer devices that perform compression processing using block coding such as DCT coding as well as business use, such as video CD players, digital video disc players, It can be installed in digital television receivers, videophones, etc.
  • the above-mentioned algorithm can be implemented by software processing, and it is also easy to reduce block distortion and remove block distortion in real-time video playback on the so-called “Inuyuichi Net Multimedia”. it can.
  • three modes of strong / medium / weak are provided, so that block distortion can be reduced according to the state of the video.
  • the parameters used in the block distortion processing can also be adjusted externally, so not only the above three modes but also fine adjustments are possible.
  • erroneous determination due to block distortion determination can be reduced by using effective information of edge extraction and motion detection.
  • the present invention is not limited to the above embodiment.
  • the processing in the horizontal (H) direction has been described, but the same applies to the vertical (V) direction.
  • the specific example of the calculation of the correction value / the filtering process is not limited to the above example.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Picture Signal Circuits (AREA)

Description

明 細 書 プロック歪低減方法及び装置並びに符号化方法及び装置 技 術 分 野 本発明は、 静止画デ一夕や動画データ等の入力データをプロック 化して D C T符号化等を施すようなプロック符号化におけるプロッ ク歪を低減するためのブロック歪低減方法及び装置、 並びにブ口ッ ク歪を低減して符号化を行う符号化方法及び装置に関するものであ る。 背 景 技 術 従来、 静止画デ一夕や動画データ等を効率よく圧縮符号化するた めの符号化方式として、 ブロック D C T (離散コサイ ン変換） 符号 化等のプロック符号化が知られている。
このようなプロック符号化による画像データ等の圧縮/伸張の際 には、 ブロック歪 （プロック雑音） が発生することがあり、 圧縮率 が高くなるほど歪を発生させ易い。 このブロック歪は、 D C T符号 化等がプロック内の閉じた空間で変換を行っており、 プロツク境界 を越えた相関を考慮していないため、 プロック境界での連続性が保 存できず、 隣接プロックとの境界部での再生データ値のずれが雑音 として知覚されるものである。 画像データをプロック符号化した場 合に発生するプロック歪は、 一種の規則性を有するため一般のラン ダム雑音に比べて知覚され易く、 画質劣化の大きな要因となってい る。
このブロック歪を低減するために、 例えば、 「井田、 駄竹， " M C— D C T符号化方式におけるノイズ除去フィル夕" ， 1990年電子 情報学会春季全国大会講演論文集， 7-35」 の文献においては、 画像 本来の情報であるエッジを保存し、 それらのノィズを除去するため、 フィル夕の on, of fの決定に量子化ステツプサイズを用いたり、 処理 していく方向を変えて複数回処理を行う技術が開示されている。 ま た、 「井澤， "画像のプロック符号化における適応形雑音除去フィ ル夕の特性" ， 信州大学工学部紀要 第 7 4 ¾、 pp . 89- 100 」 の文 献においては、 周辺ブロックまで抜き出して D C T変換を行いノィ ズ周波数成分を除去する技術が開示されている。
ところで、 前者のノイズ除去フィル夕を on，offする方法では、 処 理が簡単な反面、 画像の高周波成分が欠落して、 解像度が劣化する という欠点がある。
また、 後者の適応形雑音除去フィル夕を用いる方法では、 解像度 が保存されながら効果的なプロック歪の低減が行えるものの、 処理 が複雑でコス 卜が嵩み、 特に民生用機器等に適用するには不適当で ある。
また、 ブロック歪判定の際の誤判定により、 完全にブロック歪が 除去できなかったり、 エッジを誤補正して擬似エッジを発生させた りする、 という問題点がある。
ブロック符号化方式にて符号化されたビッ トス ト リームは、 例え ばビッ トレ一トの異なる機器に対応させるために、 例えば 8 M b p sから 4 M b p sに異なるビッ トレ一卜のビッ トス ト リームにレ一 ト変換されることがある。
このように、 プロック符号化方式にて符号化されたビッ トス ト リ ームをレート変換して再符号化を行う場合には、 デコーダで復号さ れた復号画像にプロックノィズが発生していても、 そのまま符号化 していた。
このため、 再符号化時や、 フォーマッ ト変換時のように、 動き補 償により予測符号化をする動きべク トル検出を行う際には、 プロッ クノィズに妨害されて動きべク トルの検出精度が低下していた。 また、 プロックノイズが発生する位置は、 ブロックの境界の位置 に一意に依存する。 そのため、 ブロック境界の位置が同じ符号化方 式を用いて再エンコードやフォーマツ トのための符号化を行う場合、 ブロックノィズが発生してる画像についてプロックノィズの除去を することなく符号化すると、 再生画像においては、 プロックノイズ が強調されてさらに目立ってしまうという問題があった。
なお、 画像データのブロック符号化方式の一例としては、 画面内 の相関を利用した D C T変換、 画面間の相関を利用した動き補償、 及び符号列の相関を利用したハフマン符号化を組み合わせた M P E G ( Moving pictures experts group ) を挙げることができる。 発 明 の 開 示 本発明は、 このような実情に鑑みてなされたものであり、 処理が 簡単で、 高周波成分の欠落もなく、 安定したブロック歪の低減ある いは除去が図れ、 プロック歪判定の際の誤判定を防止することがで き、 さらに、 再符号化の際に動きベク トルの検出精度を低下を防止 すると共にプロックノィズの発生を抑制するようなプロック歪低減 方法及び装置、 並びにプロックノィズを低減するような符号化方法 及び装置を提供することを目的とする。
本発明は、 上述した課題を解決するために、 画像データのプロッ ク符号化におけるプロック歪を低減する際に、 入力画像デ一夕から 符号化の難易度を示すパラメ一夕を検出し、 入力画像データからブ 口ック歪判定に必要なパラメ一夕を演算し、 符号化の難易度を示す パラメ一夕検出の結果及び上記パラメ一夕演算の結果に基づいてブ ロック歪を判定し、 プロック歪を低減するための補正値を算出し、 プロック歪の判定結果に応じた補正値による補正を入力画像デ一夕 に対して施して出力することを特徴としている。
プロック歪を低減するためのブロック歪の判定に、 入力画像デー 夕から符号化の難易度を示すパラメ一夕を用いることにより、 判定 が有効に行え、 誤判定を軽減できる。 図面の簡単な説明 図 1は、 本発明の第 1の実施の形態に係るプロック歪低減装置の 構成例を示すブロック図である。
図 2 Aは、 符号化が容易なサンプルについての動きべク トル差分 M Vの値とサンプル数との関係を示す図である。
図 2 Bは、 符号化が困難なサンプルについての動きべク トル差分 M Vの値とサンプル数との関係を示す図である。
図 3 Aは、 符号化が容易なサンプルについての I D C T係数の値 とサンプル数との関係を示す図である。 図 3 Bは、 符号化が困難なサンプルについての I D C T係数の値 とサンプル数との関係を示す図である。
図 4は、 1 フレーム内において I D C T係数と動きべク トル差分 M Vを算出するときの一例を説明するための図である。 ―
図 5は、 垂直方向のブロック境界の符号化難易度の求め方の一例 を説明するための図である。
図 6は、 垂直相関の強さを求める方法を説明するための D C Tブ 口ック境界近傍の画素を示す図である。
図 7は、 プロック歪補正のためのプロック境界近傍の画素を示す 図である。
図 8は、 本発明に係る第 2の実施の形態となる画像デ一夕のプロ ック歪低減装置の概略構成を示すプロック図である。
図 9は、 本発明に係る第 2の実施の形態となる画像データのプロ ック歪低減装置が用いられたデコーダシステムの概略構成を示すブ ロック図である。
図 1 0は、 本発明に係る第 2の実施の形態となるプロック歪低減 方法の処理手順を説明するためのフローチャートである。
図 1 1は、 エッジ抽出処理の動作の一例を説明するためのフロー チャートである。
図 1 2は、 ラプラシアンフィル夕の係数の一例を示す図である.。 図 1 3は、 動き検出処理の動作の一例を説明するためのフローチ ヤー 卜である。
図 1 4は、 プロック歪判定処理の動作の一例を説明するためのフ 口—チャートである。 図 1 5は、 1次元の 2次微分によりエッジ抽出を行う場合の処理 動作の一例を説明するためのフ口一チャートである。
図 1 6は、 図 1 5のエツジ抽出を行う場合の画像データのプロッ ク歪低減装置の概略構成を示すプロック図である。
図 1 7は、 プロック境界を介して各画素の輝度値が単調減少して いて、 ブロック境界でのみ輝度値が増加しているときにおけるプロ ック歪低減処理を説明するための図である。
図 1 8は、 ブロック境界以外に生ずるエッジに対するブロック歪 低減処理を説明するための図である。
図 1 9は、 プロック境界に平行してプロヅク歪と検出されるエツ ジを示す画素があるときにおけるブロック歪低減処理を説明するた めの図である。
図 2 0は、 補正後に新たに生ずるエツジを抑制するときの補正処 理を説明するための図である。
図 2 1は、 ブロック歪の低減方法の一例を示す図である。
図 2 2は、 第 1の実施の形態に係るプロック歪低減装置でプロッ ク歪低減処理を行うときのフローチャートである。
図 2 3は、 プロック低減処理における特殊処理を行うときのフロ 一チャートを示す図である。
る。
図 2 4は、 再符号化の前にプロックノィズ除去を行う方式のプロ ック図である。
図 2 5は、 適応プロックノィズ除去方式のプロック図である。 図 2 6は、 デコ一ド後に D Z A変換したアナログ信号の場合のブ ロック図である。 発明を実施するための最良の形態 以下、 本発明に係る実施の形態について図面を参照しながら説明 する。
図 1には、 第 1の実施の形態に係るプロック歪低減装置 1の概略 構成を示している。 この図 1に示すプロック歪低減装置 1は、 MP E Gビッ トス ト リームを復号処理する MP E Gデコーダを内蔵して いる一例である。 すなわち、 このブロック歪低減装置 1は、 MP E Gデコーダでデコード処理が施された画像デ一夕に生ずるブロック 歪を低減するようになされている。
このプロック歪低減装置 1は、 入力された画像データにデコード 処理を施す MP E Gデコーダ 2と、 デコード処理が施された画像デ 一夕の符号化難易度を評価する符号化難易度評価回路 3と、 プロッ ク歪の判定に必要なパラメ一夕を演算するパラメータ演算回路 4と、 画像デ一夕の垂直方向の相関を検出する垂直相関検出回路 5と、 画 像デ一夕のプロック歪の状態を判定するプロック歪判定回路 6と、 画像データに生じたプロック歪を補正するプロック歪補正回路 7と を備える。
M P E Gデコーダ 2には、 M P E G方式のビッ トス ト リ一ムが入 力される。 この MP E Gデコーダ 2は、 入力されたビッ トス ト リー ム内のデータに逆量子化、 逆 D C T (離散コサイン変換） を施すこ とで、 デコード処理を施す。 このとき、 MP E Gデコーダ 2は、 複 数のマクロブロックからなる D C Tプロック単位でデコードを施す ( この M P E Gデコーダ 2は、 デコード処理を施した結果得た I D C T (逆 D C T) 係数と、 動きべク トル差分 MVを検出して符号化難 易度評価回路 3及びプロック歪補正回路 7に出力する。
符号化難易度評価回路 3は、 MP E Gデコーダ 2からの動きべク トル差分 M Vと I D C T係数とを用いて、 画像データの符号化難易 度を示すパラメ一夕 K pを生成する。 ここで、 動きベク トル差分 M Vは MP E Gデコーダ 2に入力されるビッ トス ト リームに含まれて いる動きべク トルの差分値であり、 I D C T係数は MP E Gデコ一 ダ 2に入力されるビッ トス ト リームに含まれている量子化された D C T係数を逆量子化した後に逆 D C Tした結果得られる係数である。 動きべク トル差分 MV及び I D C T係数は、 入力画像データが示 す画像の複雑度に応じて図 2 A、 図 2 B、 図 3 A及び図 3 Bに示す ような関係を有する。 これらの図は、 図 2 A及び図 3 Aとして一般 的に符号化難易度の高い第 1のサンプル （y a s h i ) についての 動きべク トル差分 MV及び I D C T係数を示し、 図 2 B及び図 3 B として一般的に符号化難易度の低い第 2のサンプル （f 1 ow e r ) についての動きべク トル差分 MV及び I D C T係数を示した図 である。
この図 2 A、 図 2 B、 図 3 A及び図 3 Bによれば、 動きが激しく て複雑なマクロブ口ックゃ、 高周波成分を含むマク口プロックでは、 図 2 A及び図 3 Aに示すように、 MP E Gデコーダ 2で得られる動 きべク トル差分 MV及び I D C T係数が高い値を示しており、 動き が単調で緩やかなマクロプロックや、 高周波成分の少ない平坦なマ クロブロックでは、 図 2 B及び図 3 Bに示すように、 MP E Gデコ —ダ 2で得られる動きべク トル差分 MV及び I D C T係数が低い値 を示していることが確認される。
このことから、 符号化難易度評価回路 3では、 MP E Gデコーダ 2で得られる動きべク トル差分 MV及び I D C T係数が大きいとき には、 符号化を行うときの難易度が高いと判断して、 符号化難易度 を示すパラメ一夕 K pを高い値に設定する。 なお、 上述の図 2 A、 図 2 B、 図 3 A及び図 3 Bについては、 B-picture，P- pictureのみに ついての動きべク トル差分 MV及び I D C T係数を用いて説明した が、 I-pictureについては、 I D C T係数のみを用いて符号化難易度 を示すパラメ一夕 K pを設定する。
この符号化難易度評価回路 3では、 1フレーム内の画像データに ついて符号化難易度 K pを設定するときには、 先ず図 4に示すよう に各マクロブロックが配列しているとき、 各マクロブロック毎につ いての動きべク トル差分 M Vと I D C T係数を計算する。 例えば、 マクロブロック MB 0についての下式に示すように算出する。
ΜΒ0=(ΜΒ0+ΜΒ1+ΜΒ2+ΜΒ3+ΜΒ4+ΜΒ5+ΜΒ6+ΜΒ7+ΜΒ8)/9
すなわち、 図 4に示したマクロプロック MB 0について動きべク トル差分 MV及び I D C T係数を算出するときには、 周囲に隣接す るマクロブロック MB 1〜MB 8も考慮して算出される。
そして、 符号化難易度評価回路 3では、 垂直方向のブロック境界 の符号化難易度を示すパラメ一夕 K pを算出するとき、 図 5に示す ように、 各マクロブロックの間のブロック境界であるマクロブロヅ ク境界においては、 双方のマクロブロックの I D C T係数と動きべ ク トル差分 MVとを算出することで符号化難易度を示すパラメ一夕 K pを算出する。 また、 ブロック境界においては、 当該マクロプロ ックの I D C T係数と動きべク トル差分 MVとをそのまま符号化難 易度を示すパラメ一夕 Κ ρとして用いる。 垂直相関検出回路 5は、 プロック境界に沿った方向のエツジの相関の強さを検出する。 パラ メータ K pは、 符号化難易度が高いほど大きくなるように、 0 ~ 1 の範囲内に多段階に設定する。
すなわち、 入力輝度信号は、 エッジ抽出部の HP F (ハイパスフ ィル夕） に入力され、 エッジ要素の検出のために 2次微分を行う。 例えばラプラシアンを用いて、 エッジ要素の抽出を行う。 H P Fで エッジ抽出された信号は、 最大値抽出部に入力される。 ここでは、 次段の 2値化部で必要なしきい値を求めるために、 プロック境界を はさんだエッジ抽出プロック内において最大値の検出を行う。 2値 化部では、 最大値抽出部で求められたしきい値と、 H P Fでエッジ 要素抽出された信号が入力され、 しきい値をもとに、 信号の 2値化 を行う。 これら H P F、 エッジ抽出部、 最大値抽出部、 及び 2値化 部については後に述べる。
垂直相関検出回路 5では、 このようにして抽出されたエツジ成分 のブロック境界における垂直相関の強さを求める。 このときの垂直 相関の強さを求める方法の一例を図 6を用いて説明する。
この図 6において、 注目するプロック境界を含む領域 bとその近 傍の領域 aおよび cに分割する。 先に抽出したエツジ成分の数を各 領域毎に算出する。 これらを E a、 E b、 E cとする。 図 6におい て、 エッジとして抽出された画素を 1と記し、 エッジではないと判 別された画素を 0と記している。 本例では、 E a= 5、 E b = 1 2、 E c = 5となる。
また、 この垂直相関検出回路 5は、 検出した垂直相関の強さを、 プロック歪判定回路 6に出力する場合のみならず、 相関検出の強さ を符号化するときの難易度として、 プロック歪補正回路 7にも出力 しても良い。 すなわち、 垂直相関検出回路 5で検出される垂直相関 が大きいほど符号化を行う難易度が高いとみなして、 垂直相関に応 じたパラメ一夕をプロック歪補正回路 7に出力して、 ブロック歪補 正回路 7で算出した補正値に当該パラメ一夕を乗算処理する。
プロック境界を含む領域とそうでない領域におけるエツジ成分の 数の比 Κ νを求め、 クラス分けを行う。
例えば、
K v≥ 4 の時、 クラス 1
2≤ K v < 4 の時、 クラス 2
1≤ Κ ν < 2 の時、 クラス 3
Κ ν < 1 の時、 クラス 4
とする。 図 1 6の例では、
Kv= ( 2 x l 2 ) / ( 5 + 5 )
= 2. 4
なのでクラス 2となる。
次に、 ブロック歪判定回路 6の役割について説明する。 各クラス に応じて重み係数 K cを割り当てる。 この各クラス毎の重み係数 K cとしては、 例えば
クラス 重み係数 K c
1 1
2 0. 7 5
3 0. 5
4 0. 2 5
とすることが挙げられる。
よって、 ブロック境界部の垂直相関が強い場合には、 補正量が大 きくなり、 ブロック歪の除去が効果的に行うことができる。 つまり、 プロック歪の検出精度を高めることになる。
ブロック歪判定回路 6は、 図 1に示すように、 M P E Gデコーダ 2からデコード処理が施された画像デ一夕が入力される。
ここで、 ブロック歪を判定するときに用いられる画素について、 図 7を参照しながら説明する。 この図 7の例では、 例えば、 ブロッ ク符号化に D C T符号化が用いられ、 8 X 8画素で D C Tプロック を構成する場合の処理対象の具体例を示している。 すなわち、 図中 の左右の D C Tブロック 5 1 L , 5 1 Rのブロック境界から左側及 び右側にそれぞれ 5画素ずつがブロック歪低減処理に用いられ、 ブ 口ック境界から 4画素ずつが補正範囲とされるとき、 エッジ抽出ブ ロック 5 2はブロック境界を中心とする 8 X 8画素のブロックであ り、 ブロック歪補正処理ブロック 5 3は、 このエッジ抽出ブロック 5 2内の 1ライン上の 8画素から成るブロックである。
そして、 このブロック歪判定回路 6は、 ブロック歪の判定に必要 なパラメ一夕を算出する。 このブロック歪判定回路 6は、 パラメ一 夕として、 境界差分 I tmpO I 、 アクティ ビティ I tmp I 及び隣接差分 I d i f f I を次の計算式により求める。
I tmpO I = I f-e I
I tmp I = ( I b-a I + I c-b I + I d-c I + I e-d I
+ I g-f I + I h-g I + I i -h I + I j - i I ) / 8 di ffO 1 = 1 b-a 1
di ff l 1 = 1 c-b 1
diff2 1 二 1 d-c 1
diff3 1 = 1 e-d 1
diff4 1 = 1 g-f 1 I di f f 5 I - I h-g I
I d i f f6 I = I i-h I
I d i ff 7 I = I j-i I
これらの計算式から明らかなように、 境界差分 I tmpO ίは、 図 7 の D C Τプロックの境界を挟んで隣接する画素 e， f 間の差分の絶 対値であり、 アクティ ビティ I tmp I は、 ブロック歪処理ブロック 5 3についての各隣接画素間 （ただし e , f 間を除く） の差分の絶 対値の平均値であり、 隣接差分 I diff I は、 画素 c , d間、 d， e 間、 f , g間、 g， h間の各差分の絶対値である。 そして、 ブロ ヅ ク歪判定回路 6は、 これらめ各パラメ一夕をプロック歪補正回路 7 に出力する。
プロック歪判定回路 6は、 符号化難易度評価回路 3からのパラメ 一夕 K p、 パラメ一夕演算回路 4からの各パラメ一夕、 垂直相関検 出回路 5からの重み係数 K cを用いて、 ブロック歪の有無を判定す る。 また、 このブロック歪補正回路 7は、 ブロック歪補正を行うか 否かの閾値 det— thを有している。
具体的には、 このブロック歪判定回路 6は、 I tmpO I > I tmp I が 満たされているときには、 プロック境界に段差があると判定する。 また、 このブロック歪判定回路 6は、 I tmpO I く det_thが満たされ ているときには、 ブロック境界にエッジがないと判断する。 I tmpO I ≥ I di ff 3 I 及び I tmpO | ≥ | d i ff4 | が満たされていると判断し たときには、 プロック境界の両側にエツジがないことを判断する。 また、 このブロック歪判定回路 6は、 上述の重み係数 K c及び K pを用いることで、 プロック歪を行うための閾値 det_thを変更する。 そして、 このプロック歪判定回路 6では、 上述のように判定した結 果に応じたフラグをたてて、 プロック歪補正回路 7を制御する。 プロック歪補正回路 7は、 プロック歪判定回路 6からのフラグと 符号化難易度評価回路 3からのパラメ一夕 K p、 垂直相関検出回路 5からの重み係数 K cを用いてプロック歪を有する画像データに補 正を行う補正値を算出する。 また、 このブロック歪補正回路 7は、 プロック歪を補正するときに用いる閾値を corr_thとすると、 画像の 性質、 特に線形性に基づいて、 隣接差分から補正後の境界段差 I st ep I を、
I step I 二 I diff3 + diff4 | / 2
の式から求める。 そして、 補正後にこれだけの境界段差 I step I を 持たせるために必要な補正量 I び I を、
I σ I = ( I tmpO | - | step | ) / 2
により求める。 ここで、 上記境界差分 I tmpO I を所定の閾値 corr— t h で弁別して補正の強さを切り換えることが好ましく、 この場合、 I tmpO I < corr_th となって補正の強さを強 （補正強） とするとき、 補正量 I σ I を、
I σ I = ( I tmpO | ― | step | ) / 2
とし、 I tmpO I ≥corr_th となって補正弱のとき、 上記補正量 | び I を半分に減らして、
I σ I = ( I tmpO | - | step | ) / 4
の補正を行う。 また、 プロック歪補正回路 7は、 この I び I に上述 の重み係数 K c , パラメ一夕 K pを乗算処理することで、 I D C T 係数、 動きべク トル差分 M V、 垂直相関を考慮して、 補正量 I び I を決定しても良い。 さらに、 ブロック歪補正回路 7は、 上述の閾値 corr_thを上述の K c , K r»に基づいて変更させても良い。 これは、 上記境界差分 I tmpO Iが所定の閾値 corr_th より大きい 場合は、 本当はプロック境界にエッジが存在するのに、 ブロック歪 判定で誤判定された可能性もあるので、 誤補正を回避するために、 上記補正の強さを強/弱に切り換えるものである。
そして、 プロック歪補正回路 7は、 得られた補正値 I σ Iから、 各画素毎の補正値を求める。 隣の補正範囲とのつなぎ目を滑らかに するため、 またブロック歪は境界付近程強く現れることから、 次の 式に示すように、 境界からの距離に反比例した補正値を求める。 具体的には、 図 6の補正範囲 5 3内の各画素 b〜iについての各 補正値をそれぞれ I び b l l cxi l とするとき、 上記補正値 I び I を用いて、
\ σ \ ^ \ σ \ , \ σ f \ = \ σ \
\ σά \ = \ σ \ / 2 , \ σ, \ = \ σ \ /2
I I = I σ I /4 , I σ h I = I σ I / 4
\ σ, \ = \ σ \ /8 , \ \ = \ σ \ /8
のような各補正値をそれぞれ求める。
そして、 プロック歪補正回路 Ίは、 各画素 b〜 i毎の補正値 I び b | 〜 | cT i | 、 を用いて、 ブロック歪補正された映像信号 （画像デ 一夕） S B b〜 S B を求める。
具体的には、 ブロック歪補正回路 7は、 補正前の各画素 b~iの 入力画像デ一夕を Sb~ S iとするとき、 上記 tmpOの正負に応じて、 補正された画像データ S B b〜 S B iを、
tmpO≥ 0 ： S B b= S b+ I crb I , tmpO< 0 ： S B b = S b— | a b I
tmpO≥ 0 : S B。= S。+ | cr。 | , tmpO< 0 ： S B c= S c- | a
tmpO≥ 0 ： S B d= S d + σ d , tmpO< 0 ： S B d= S d a d
tmpO≥ 0 ： S B e= S e + び ， tmpO< 0 ： S B e= S a
tmpO≥ 0 ： S B f = S σ tmpO< 0 ： S B f = S f + a
tmpO≥ 0 ： S B s= S び , tmpO< 0 ： S B g = S g + び
tmpO≥ 0 ： S B h = S び h tmpO< 0 ： S B h = S h + a h
tmpO≥ 0 ： S B i = S i - σ i ， tmpO< 0 ： S B i = S i + σ i
とするような補正を MP E Gデコーダ 2からの画像データに対して 行う。
したがって、 このようなブロック歪低減装置 1では、 MP E Gデ コーダ 2から I D C T係数、 動きべク トル差分 MVを用いて符号化 難易度を示すパラメ一夕 K pを用いて、 ブロック歪の判定及びプロ ック歪の補正を行うことができるので、 安定したブロック歪の低減 あるいは除去が図れ、 さらに、 ブロック歪判定の際の誤判定を防止 することができる。
図 8は、 第 2の実施の形態となるプロヅク歪低減装置 1 0の概略 構成を示すプロック図である。 なお、 ブロック歪低減は、 ブロック 歪除去、 ブロック雑音除去等とも称される。
この図 8において、 入力端子 1 1、 1 2には、 プロヅク符号化を 含む画像符号化が施された後に復号された映像信号あるいは画像デ 一夕のクロマ信号、 輝度信号がそれぞれ供給される。 このプロック 符号化を含む画像符号化の具体例としては、 いわゆる MP E Gの符 号化規格が挙げられる。 この M P E Gとは、 I S O/ I E C J T C 1, S C29 ( International Organization for Standardization I Iniernational Electrotechnical Commission, Joint Technica 1 Committee 1 / Sub Committee 29： 国際標準化機構/国際電気標 準会議 合同技術委員会 1 /専門部会 2 9 ) の動画像圧縮符号化の 検討組織 (Moving picture experts group) の略称であり、 MP E G 1標準として IS011172が、 MP E G 2標準として IS013818がある。 これらの国際標準において、 マルチメディァ多重化の項目で IS0111 72 - 1及び IS013818- 1が、 映像の項目で IS011172- 2及び IS013818- 2が、 また音声の項目で IS011172- 3及び IS013818-3がそれぞれ標準化され ている。
ここで、 画像圧縮符号化規格としての IS011172- 2又は IS013818- 2 においては、 画像信号を、 ピクチャ （フレーム又はフィールド） 単 位で、 画像の時間及び空間方向の相関を利用して、 圧縮符号化を行 つており、 空間方向の相関の利用は、 ブロック D C T符号化を用い ることで実現している。
このように、 例えばプロック D C T符号化を含む圧縮符号化が施 されて、 シリアル伝送されたり記録再生された後に、 デコーダ側で 逆 D C Tされた映像信号データ （画像デ一夕） のクロマ （色） 成分 及び輝度成分が、 図 8のクロマ信号入力端子 1 1及び輝度信号入力 端子 1 2にそれぞれ供給される。
クロマ信号入力端子 1 1に供給された入力画像デ一夕のクロマ (色） 成分は、 遅延回路 1 4を介してクロマ信号出力端子 4 0より 取り出される。 遅延回路 1 4は、 輝度成分についてのプロック歪低 減処理が施されるのに要する時間を遅延させて、 出力される輝度成 分とクロマ成分とのタイ ミングを合わせるためのものである。
H D · V D入力端子 1 3には、 水平同期信号及び垂直同期信号が 入力され、 制御信号発生部 2 6に送られて、 各回路で必要な夕イ ミ ング信号が作成される。
端子 1 2より入力された輝度信号は、 補正信号算出部 1 5と、 パ ラメ一夕算出部 1 6と、 ェッジ抽出部 1 7と、 切換選択スィ ッチ 1 9 と、 動き検出部 2 0とに送られる。
補正信号算出部 1 5において、 上記入力された輝度信号が加算器 3 1及び補正値算出部 3 2に送られている。 補正値算出部 3 2では、 境界の両隣の画素の隣接差分から補正後の傾きを予測して補正値を 求め、 また、 ブロック歪判定部からの補正強/弱情報に基づいてこ れに応じた補正を求め、 さらに境界の距離に反比例した各画素毎の 補正値を求める。 この補正値算出部 3 2からの補正値を加算器 3 1 に送って上記入力輝度信号と加算している。
また、 入力輝度信号は、 エッジ抽出部 1 7の H P F (ハイパスフ ィル夕） 3 4に入力され、 エッジ要素の検出のために 2次微分を行 う。 この第 2の実施の形態では、 例えばラプラシアンを用いて、 ェ ッジ要素の抽出を行う。 H P F 3 4でエッジ抽出された信号は、 最 大値抽出部 3 5に入力される。 ここでは、 次段の 2値化回路 3 6で 必要なしきい値を求めるために、 プロック境界をはさんだエツジ抽 出プロック内において最大値の検出を行う。
2値化回路 3 6では、 最大値抽出部 3 5で求められたしきい値と、 H P F 3 4でエツジ要素抽出された信号が入力され、 しきい値をも とに、 信号の 2値化を行う。 ハフ変換部 3 7では、 2値化された信 号をもとに、 プロック境界をはさむェッジ抽出プロック内でハフ変 換を行い、 これによりエッジ要素をパラメ一夕空間 （ ρ、 Θ ) に写 像することにより、 ブロック内の直線 （ /Ο θ、 Θ 0 ) を求める。 求 まった Ρ 0、 0 0はプロック歪判定部 1 8へ入力される。
また、 端子 1 2からの上記入力輝度信号は、 パラメ一夕算出部 1 6のパラメ一夕演算回路 3 3へ入力され、 プロック歪判定部 1 8で 必要な補正ブロック内のパラメ一夕を求める。
また、 上記入力輝度信号は、 動き検出部 2 0のメモリ 2 2へ入力 され、 メモリコン トローラ 2 1からの制御によって書き込みが行わ れる。 メモリコン トローラ 2 1によって、 メモリから読みだされた 前フィ一ル ドの輝度信号は、 パターンマッチング部 2 3へ入力され、 一方で入力された輝度信号とパターンマッチングが行われる。 この パターンマッチングの演算結果は動きべク トル判定部 2 4へ入力さ れ、 動きの大きさを判断できる。 ここで、 求まった動きの有無はブ ロック歪判定部 1 8に入力される。 また、 この動き検出部 2 0では、 動きべク トル M Vを検出することで、 動きべク トル M Vに基づいて 符号化の難易度を示すパラメ一夕としてプロック歪判定部 1 8及び 補正値算出部 3 2に出力しても良い。
プロック歪判定部 1 8では、 ェッジ抽出部からのプロヅク内の直 線成分 （ p C Θ 0 ) とパラメ一夕演算部からの補正ブロック内の パラメ一夕と動き検出部からの動きの大きさを用いて、 ブロック歪 か否かの判定、 ブロック歪補正値を制御して使うか （弱） 否か (強） の判定を行い、 この補正強/弱信号を補正信号算出部 1 5の 補正値算出部 3 2へ送り、 また補正 ON/O F F信号を切換選択ス イ ッチ （セレクタ） 1 9のコン トロール端子に送る。
また、 上記入力輝度信号は、 補正信号算出部 1 5の加算器 3 1に 入力され、 輝度信号と補正値算出部 3 2から求めた補正値を加算す ることにより、 ブロック歪除去された信号が求められ、 切換選択ス イ ッチ （セレクタ） 1 9へ送られる。
セレクタ 1 9では、 ブロック歪判定部 1 8からのブロック歪 0 N /0 F F信号に応じて、 入力された輝度信号をそのまま出力するか、 補正された信号を出力するかを選択する。
一方、 入力されたクロマ信号は遅延回路 1 4に入力され、 補正回 路を通過する輝度信号との遅延を合わせる。
なお、 セレクタ 1 9を使わずに、 プロック歪判定部 1 8からのブ ロック歪 ON/O F F信号が O F Fの場合には補正値算出部 3 2か らの出力である補正信号を 0にする方法を用いてもよい。
なお、 この図 8に示した第 2の実施の形態に係るノィズ除去装置 では、 輝度信号についてのみプロック歪低減処理を施すことを想定 しているが、 クロマ信号についても同様の処理を施すことができる。 ところで、 上述した図 8の構成のプロック歪低減装置 1 0は、 例 えば図 9に示すようなビデオ C Dプレーヤのプロック歪低減回路 1 0 7として用いることができる。
この図 9において、 ビデオ CDや CD— R OM等のディスク 1 0 1から、 光ピックアップ 1 0 2により読み出された: F信号は、 R Fアンプ 1 0 3に入力される。 ここで増幅された R F信号は、 E F M ( 8— 1 4変調） 復調回路 1 04で復調され、 シリアルデ一夕と して、 ディスク記録フォーマツ 卜のデコーダである例えば CD—R 〇 Mデコーダ 1 0 5に入る。
C D— R 0 Mデコーダ 1 0 5では、 シリアルデ一夕から例えば M P E Gビッ トス ト リーム信号に変換し、 M P E Gデコーダ 1 0 6に 送る。 この M P E Gは、 上述したように、 画像の時間及び空間方向 の相関を利用して圧縮符号化を行うものであり、 空間方向の相関性 を利用するためにプロック D C T符号を採用している。 M P E Gデ コーダ 1 0 6では、 例えば M P E G 1フォーマヅ トに従い復号を行 つており、 この復号の際に、 逆量子化器 1 6 1による逆量子化処理 後に逆 D C T回路 1 6 2による逆 D C T処理を施す。 さらに、 必要 に応じて補間などの処理を行った後出力する。
M P E Gデコーダ 1 0 6から出力された映像信号は、 ノイズリデ ュ一サとしてのプロヅク歪低減回路 1 0 7に入力されるが、 ここで の信号は M P E G 1での圧縮/伸張によるノィズが含まれているの で、 ブロック歪低減回路 1 0 7でこれらのノイズ除去を行う。 この プロック歪低減回路 1 0 7として、 上述した図 9に示すような本発 明の実施の形態が適用される。
プロック歪低減回路 1 0 7での処理後、 N T S Cエンコーダ 1 0 8で同期信号の付加、 クロマ信号の変調などを行い N T S C映像信 号を生成する。 この N T S C映像信号が D / A変換器 1 0 9を介し て出力端子 1 1 0に出力される。
プロック歪低減回路 1 0 7 と関連して、 マイクロコンピュー夕等 を用いた制御回路 1 1 1が設けられ、 制御回路 1 1 1に対しては操 作部 1 1 2からの制御信号が供給される。 操作部 1 1 2には、 ノィ ズリダクシヨン、 例えばプロック歪低減の制御スィ ツチが設けられ ており、 ブロック歪低減のオン/オフの切り換えがなされる。 制御 回路 1 1 1は、 プロック歪低減回路 1 0 7の他の回路、 例えば M P E Gデコーダ 1 0 6の制御にも用いられることが多い。
次に、 上記図 8の構成のプロック歪低減装置 1 0におけるプロッ ク歪低減処理のァルゴリズムについて、 さらに詳細に説明する。 図 1 0は、 本発明の実施の形態となるブロック歪低減方法のアル ゴリズムを説明するためのフローチャートを示している。 この図 1 0の例では、 H (水平） 方向についての処理のアルゴリズムを示し ているが、 V (垂直） 方向についてのプロック歪低減アルゴリズム は、 H方向の処理が V方向に変わる以外は同様であるため説明を省 略する。
この図 1 0において、 最初のステップ S T 4 1では、 H方向の総 てのブロック境界について、 ブロック歪低減処理が終了したか否か を判別しており、 Y E Sの場合は処理を終了し、 N Oの場合に次の ステップ S T 4 2に進む。
ここで、 プロック歪低減処理のために用いられる画素については、 上述の第 1の実施の形態で説明した図 7 と同様である。 そして、 上 記図 1 0の最初のステツプ S T 4 1では、 プロック歪補正処理が全 ての補正処理プロック 5 3について行われたか否かを判断している。 次のステップ S T 4 2では、 プロック歪か否かの判定に必要とさ れるパラメ一夕としての境界差分 I tmpO I 、 アクティ ビティ I tmp I 及び隣接差分 I diff I を、 上述の第 1の実施の形態と同様の計算式 により求める。
次に、 ステップ S T 4 3において、 補正処理ブロックに対応する 上記エッジ抽出ブロック 5 2内のエッジ抽出を行い、 直線成分 、 ρ 0、 0 0 ) を求める。 このェヅジ抽出処理の詳細については、 後ほ ど説明する。
次に、 ステップ S T 4 4に進んで、 補正処理ブロックを挟む上記 2つの D C Tブロック 5 1 L , 5 1 Rについて、 動きの大きさを調 ベる。 この動き検出動作の詳細については、 後ほど説明する。
次に、 ステップ S T 4 5 aでは、 上記各ステップ S T 4 2 , S T
4 3 , S T 4 4で求めたパラメ一夕、 直線成分 （ /o 0、 0 0 ) 、 及 び動きの大きさを用いて、 このブロック境界にブロック歪があるか どうかの判定と補正の強さの判定処理を行う。 このプロック歪判定 処理の一例については、 後ほど説明する。
次のステップ S T 4 5 bで、 ブロック歪あり とされればステップ
5 T 4 6 aに進み、 プロック歪無しとされればステップ S T 4 8に 進む。
ブロック歪と判定されれば、 ステップ S T 4 6 aに進み、 画像の 性質、 特に線形性に基づいて、 隣接差分から補正後の境界段差 I st ep | を、 第 1の実施の形態と同様に、
I step I = I diff3 + diff4 | / 2
の式から求める。 そして、 補正後にこれだけの境界段差 I step I を 持たせるために必要な補正量 I び I を、
I σ I = ( I tmpO | 一 | step | ) / 2
により求める。 ここで、 上記境界差分 I tmpO I を所定の閾値 corr— t h で弁別して補正の強さを切り換えることが好ましく、 この場合、 I tmpO I く corr—th となって補正の強さを強 （補正強） とするとき、 補正量 I び I を、
I σ I = ( I tmpO | - | step | ) / 2
とし、 I tmpO I ≥corr th となって補正弱のとき、 上記補正量 | σ Iを半分に減らして、
I σ I = ( I tmpO | - | step | ) /4
の補正を行う。
次のステヅプ S T 4 6 bでは、 得られた補正値 I び I から、 各画 素毎の補正値を求める。 隣の補正範囲とのつなぎ目を滑らかにする ため、 またブロック歪は境界付近程強く現れることから、 上述した 第 1の実施の形態と同様に、 境界からの距離に反比例した補正値を 求める。
具体的には、 図 7の補正範囲 5 3内の各画素 b〜iについての各 補正値をそれぞれ I び b | 〜 | び i | とするとき、 上記補正値 I σ I を用いて、
I cre I = I σ I , び σ
I era I = I σ I /2 ， a . = I びa I /2
I び。 I = I σ I /4 ， び σ
I i7b I = I σ I /8 ， σ σ 8
のような各補正値をそれぞれ求める。
次のステップ S T 4 6 cでは、 上記ステツプ S T 4 6 bで求めら れた各画素 b〜 i毎の補正値 I crb I〜 I cri I を用いて、 ブロック 歪補正された映像信号 （画像データ） S Bb S Biを求める。
具体的には、 補正前の各画素 b〜 iの入力画像デ一夕を S b〜 S丄 とするとき、 上記 tmpOの正負に応じて、 補正された画像デ一夕 S B b〜 S B iを、
tmpO≥ 0 ： S Bb= Sb+ I ab | ， tmpO< 0 ： S B b = S b— | σ b I
tmpO≥ 0 : S B。二 Sc+ | cre | , tmpO< 0 ： S B c= S c- | び c
tmpO≥ 0 ： S Bd= Sd + Iび d tmpO< 0 ： S B d= S d- び d
tmpO≥ 0 ： S B e= S e+ I σ tmpO< 0 ： S B e = S e ~ び
tmpO≥ 0 ： S B f = S び tmpO< 0 ： S B t = S f + び f
tmpO≥ 0 ： S B g = S g - I σ tmpO< 0 ： S B g= S g + び
tmpO≥ 0 ： S B h = S σ tmpO< 0 ： S B h = S h + び
tmpO≥ 0 ： S B i二 S び tmpO< 0 ： S B i = S i + σ i
とするような補正を行う。
次のステップ S T 4 7では、 このようにブロック歪補正処理され た信号を出力する。
上記ステップ S T 4 5 bでプロック歪でないと判定されれば、 ス テツプ S T 4 8に進んで、 補正範囲の原信号をそのまま出力する。 次に、 上記ステツプ S T 4 3におけるエツジ検出処理の動作の一 例について、 図 1 1を参照しながら説明する。
図 1 1の最初のステ ヅプ S T 6 1では、 ェッジ要素抽出のため、 エッジ抽出ブロック内の入力信号に対して、 2次元 H P F (ハイパ スフィル夕） 、 例えばラプラシアンフィル夕をかけている。
この 2次元のラブラシアンフィルタとしては、 例えば図 1 2の係 数のようなものが挙げられるが、 この図 1 2の例に限定されるもの ではなく、 また例えば、 Sobelォペレ一夕、 Prewittオペレータ、 Kirschオペレータ、 Robinsonォペレ一夕等の種々の変形が考えられ る。
次に、 ステップ S T 6 2に進んで、 上記 H P Fをかけたブロック 内の信号の最大値 Maxを検出し、 次のステップ S T 6 3でこの最大 値 Maxに基づく閾値 Thresh (例えば Thresh= Max/ 2 ) を用いて 2 値化を行い、 エッジ要素を抽出する。 すなわちこの 2値化は、 入力 信号 S in>Threshのとき、 出力信号 S out = 1 とし、 S in≤Thresh のとき、 Sout = 0とするような処理である。
次に、 ステップ S T 6 4に進んで、 抽出されたェヅジ要素に、 ノ、 フ変換を行い、 パラメ一夕空間 （ p , Θ ) に写像する。 このハフ変 換は、 ブロック内のエッジ要素 （x， y ) をパラメ一夕空間 （ 0， 0 ) に、
X cos Θ + y sm6― p
の式により写像するものである。
次のステップ S T 6 5で、 このパラメ一夕空間で多くの点が集ま る （ /Ο θ， Θ 0 ) を検出する。 この （ /θ θ , Θ 0 ) を通過する直線 がェッジ抽出プロック内で検出された直線ェヅジということになり、 ステップ S T 6 6でパラメ一夕 （ p , Θ ) を出力している。
次に、 上記図 1 0のステップ S T 4 4での動き検出処理の動作の 一例について、 図 1 3を参照しながら説明する。
この図 1 3の動き検出処理においては、 上記図 7における処理す る補正処理プロヅクのプロック境界を挟む左右の D C Tブロック 5 1 L , 5 1 Rについて、 パターンマッチングを行う。
パターンマッチングは D C Tプロヅク内の総ての画素について、 同一位置の前フィ一ルドの画素をメモリ一から読みだし （ステップ
S T 7 2 ) 、 次の式 （ 1 ) に示す演算式の処理を行い （ステップ S T 73 ) 、 メモリに現フィ一ルドの画素を書き込む （ステップ S T 7 4) o
Figure imgf000029_0001
この式 （ 1 ) において、 Sn(i,j)は、 nフィールドにおける位置 ( i , j ) の画素の輝度信号を示し、 BLK— H， BLK_Vは、 それぞれ H， V方向の D C Tブロックサイズを示している。
これらのステップ S T 72〜 S T 74の処理について、 D C T (M X N ) ブロック内の全ての画素について、 処理が終わったか否 かを最初のステップ S T 7 1で判別し、 YESのとき （処理が終了し たとき） にはステツブ S T 7 5に進んで、 上記式 （ 1 ) で求めた C rの値に応じて、 動き判定を行っている。
このステップ S T 7 5の動き判定としては、 上記 C rの値に対し て所定の閾値 mov— thL， mov_thH (ただし mov— thLく mov_thH ) を ¾t疋し、
C rく mov_th L のとき、 動き小
mov_thL≤ C r <mov_thH のとき、 動き中
mov_thH≤ C r のとき、 動き大
のような判定を行うことが挙げられる。
なお、 この図 1 3の例では、 パターンマッチングを D C Tブロッ ク内の総ての画素について行ったが、 この例にのみ限定されるもの ではなく、 例えば、 L P Fをかけ、 2、 4画素の間引き処理を行つ た後、 間引かれた画素についてパターンマッチングを行う等の変形 も考えられる。
また、 図 1 3の例では、 動きの大きさを求める手段として、 同一 位置の D C Tブロックに対するパターンマッチングを用いたが、 こ の例にのみ限定されるものではなく、 例えば、 動き補償範囲内のす ベての試行ベク トルについてパターンマッチング C ( k ) を比較し、 最小の C (k) を与える試行ベク トルを動きベク トルとして動きの 有無を求める変形や、 代表点マ 'ソチングを行う等の変形も考えられ る。
次に、 上記図 1 0のステップ S T 4 5 a， S T 4 5 bにおけるブ 口ック歪判定動作の一例について、 図 1 4を参照しながら説明する。 この図 1 4に示す例においては、 パラメ一夕判定と動き検出によ る判定とを組み合わせて用いている。
まず、 上記図 7の補正処理プロックのプロック境界を挟む左右の D C Tブロック 5 1 L， 5 1 Rについて、 上述したようなパターン マッチングを行って、 動きの大きさを調べ、 ステップ S T 8 1で、 検出された動きが小であるか否かを判別する。 両方の D C Tプロッ ク 5 1 L , 5 1 R内の動きが小さいとされれば、 量子化誤差は無い と判断し、 ステップ S T 8 6に進んで、 プロック歪補正をかけずに 処理を終了する。
ステップ S T 8 1で N 0、 すなわち動きが小さくないときには、 次のステップ S T 8 2に進んで、 直線ェッジがブ口ヅク境界上に存 在するか否かを判別する。 このとき、 /00 =エッジ抽出ブロックサ ィズ /2 , 0 Ο = 7τ/2とする。 ステップ S T 8 2で境界上にある と判別されれば、 強いブロック歪があるとされ、 ステップ S T 8 8 に進んで、 ブロック歪 （強） の補正をかける。
ステップ S T 8 2で N 0と判別されれば、 ステップ S T 8 3に進 んで、 上記図 6の左右の D C Tプロック 5 1 L , 5 1 Rの境界の近 傍領域 （エリア） 内を直線エッジが通過するか否かを判別する。 通 過すれば、 弱いブロック歪があるとして、 ステップ S T 8 7に進ん で、 プロック歪 （弱） の補正をかける。
ステップ S T 8 3で N 0と判別されたときには、 パラメ一夕を用 いてブロック歪の判定を行って、 補正強か （ステップ S T 8 4 ) 、 補正弱か （ステップ S T 8 5 ) の判別を行う。 補正強と判別された ときにはステツプ S T 8 8に進み、 補正弱と判別されたときにはス テツプ S T 8 7に進む。 それ以外は、 補正 0 F Fとされ、 ステップ S T 8 6に進む。
ここで、 上記ブロック歪判定の一例を説明すると、 上記パラメ一 夕 I tmpO I 、 I tmp | 及び | di ff | に基づいて、 次のような条件判 別を行うことによりプロック歪か否かの判定を行う。 この判定条件 は、
( 1 ) 周辺と比べて突出した段差であるか否か。
：境界差分 I tmpO I >アクティ ビティ I tmp I
( 2 ) 直流成分及び低周波成分の量子化誤差による段差であるか、 す なわち、 ブロック歪による段差であるか否か。
：境界差分 I tmpO I く閾値 div_th
ここで、 閾値 div— thとしては、 第 2の実施の形態では固定値を用 いたが、 各プロックの量子化ステツプサイズの最大値に比例した値 を用いることもできる。 ( 3 ) 境界の両隣に境界の段差より大きな段差がないか、 すなわち、 境界の両隣にエツジがないか否か。
： 隣接差分 I di ff3 I ≤境界差分 I tmpO |
かつ、 隣接差分 I di ff4 I ≤境界差分 I tmpO | '
の 3つである。
これらの 3つの判定条件の全てが満たされれば、 プロック歪あり とされる。 また、 補正の強さは、 上記境界差分 I tmpO I が所定の閾 値 corr_th より小さいか否かに応じて決定しており、
I tmpO I < corr_th のとき、 補正強
I tmpO I ≥corr_th のとき、 補正弱
ただし、 corr_th< aiv_th
としている。
ここで、 上記各閾値 div_th, corr_th の値は、 上記動き検出処理 により得られた動きの大きさによって適応的 （ァダブティブ） に変 化させることが好ましい。 例えば、
動き大のとき、 div_th = div_th (定数）
corr— th = corr— th (定数)
動き中のとき、 div— th 二 div— th/ 2
corr_th= corr_th/ 2
とすればよい。
なお、 動き検出処理における動きの大きさは、 犬/中/小の 3段 階にのみ限定されるものではなく、 上記各閾値 div— th， corr_th の 値も上記動き犬/中の 2段階には限定されず、 さらに細かい段階に 変化させるようにしてもよい。
次に、 上記図 1 1 と共に説明したエツジ抽出処理の方法としては、 前述のハフ変換を用いずに、 以下に述べるような簡易な方法で行う こともできる。
この簡易なエツジ抽出の場合の動作を説明するためのフローチヤ 一トを図 1 5に示し、 このエッジ抽出を用いる場合のプロック歪低 減装置の概略構成のプロック図を図 1 6に示す。
この例においては、 先ず、 図 1 5のステップ S T 9 1に示すよう に、 エッジ抽出を 1次元 （水平方向） の 2次微分 （ B P F ： バン ド パスフィル夕） により行っている。 2次微分特性の伝達関数 H ( z ) としては、 例えば、
H ( z ) = ( - 1 + 2 z 1 - z 2 ) / 4
が挙げられる。
2次微分信号の絶対値をとつた後、 ステップ S T 9 2では処理ブ 口ック内で最大値の検出を行い、 この最大値を用いて次のステップ S T 9 3で B P F処理画像の 2値化を行い、 エッジ検出を行う。 2 値化する際の閾値は、 前述の例と同様に、 例えばブロック内で 2次 微分及び絶対値処理して得た最大値の 1 / 2とすればよい。
図 1 6のエツジ抽出部 1 7 ' では、 端子 1 2からの輝度信号入力 を、 B P F 3 4 ' で上述のように 2次微分し、 絶対値化回路 3 8で 絶対値をとり、 最大値検出回路 3 5で最大値を検出している。 そし て、 最大値検出回路 3 5からの閾値を 2値化回路 3 6に送り、 絶対 値化回路 3 8からの信号を 2値化している。 2値化回路 3 6からの 出力は、 垂直相関検出部 3 9に送られる。
なお、 図 1 6の他の構成及び動作は、 上述した図 8の例と同様で あるため、 対応する部分に同じ指示符号を付して説明を省略する。 また、 垂直相関検出部 3 9は、 図 1の第 1の実施の形態で説明した 垂直相関検出回路 5と同様の動作である。
本例では、 クラス及び補正段階をそれぞれ 4及び 3段階として説 明したが、 特にこれに限定されない。 また、 例えば垂直相関を検出 することで算出される補正量の重み係数 K cを下式により求めても 良い。
K c = E b / ( E a + E b + E c )
また、 垂直相関検出部 3 9から得たクラスにより、 ブロック歪判 定部の検出の閾値である div_thの値を制御してもよい。 例えば、 垂 直相関が弱い程、 ブロック歪である可能性が低いので、 検出の閾値 div_thの値を大きく し、 検出しにくい方向へ制御する。
なお、 本発明の実施の形態におけるエッジ抽出部、 補正信号算出 部、 プロック歪判定パラメ一夕算出部等については、 上述したよう なアルゴリズムを用いたが、 これらのアルゴリズムにのみ限定され るものではなく、 例えば、 補正信号算出部には L P Fを用いたり、 ェッジ抽出部にはエツジ追跡によるエツジ抽出法などの種々のエツ ジ抽出法、 プロック歪判定部には種々のパラメ一夕を使うといった 種々の変形が考えられる。
また、 上述した実施の形態は輝度信号の水平方向に対してプロッ ク歪補正をかける例であるが、 この例にのみ限定されるものではな く、 例えば、 垂直方向やクロマ信号にブロック歪補正をかけるとい つた種々の変形が考えられる。
、 プロック歪判定回路 6がプロック歪か否かの判断を行うときに おいて、 上述した第 1の実施の形態に及び第 2の実施の形態で示し た判定条件の他に、 適応的に判定条件を追加してプロック歪を行う ときの一例について説明する。 なお、 以下の説明においては、 上述 の第 1の実施の形態についてのプロック歪判定回路 6で説明する。 ここで、 ブロック歪判定回路 6において、 例えば図 1 7に示すよ うに、 di ff0〜diff7までの全てが負の値をとり tmpOのみが正の値を とるとき、 又は diff0〜diff7までの全てが正の値をとり tmpOのみが 負の値をとるという情報がパラメ一夕演算回路 4から入力された場 合についてノイズ除去を行うときについて説明する。 なお、 図 1 7 は、 ブロック境界に対して直交する方向に一列に配置された画素 a 〜 jの輝度信号の大きさを縦軸として示しており、 白丸を補正前の 輝度信号の値とし、 黒丸を補正後の輝度信号の値として示している。
このように、 画素 a〜 eが単調減少していて、 ブロック境界での み輝度値が増加し、 画素 f 〜 jで輝度値が単調減少している場合に は、 符号化又は復号を行う前にプロック境界でも単調減少していた とみなして、 補正を行う。
すなわち、 ブロック歪判定回路 6では、 このような画像データを 示すパラメ一夕がパラメ一夕演算回路 4から入力された場合、 上述 の第 1及び第 2の実施の形態で示した判定条件の他に、
( 1 ) di ff0〜diff7 > 0 又は dif f 0〜dif f 7< 0
( 2 ) tmpO x ( diff0〜diff7 ) < 0
( 3 ) K p≥diff_th
という第 1〜第 3の判定条件を追加することで、 プロック歪の判定 を行う。 すなわち、 第 1の判定条件では、 プロック境界を除いた補 正範囲の輝度値の変化が単調減少か単調増加であることを判断する。 第 2の判定条件では、 プロック境界での輝度値の変化が補正範囲の 他の輝度値の変化と逆であることを判断する。 第 3の判定条件では、 符号化難易度を示すパラメ一夕 K pが所定の閾値 diff_th以上である ことを判断する。
プロック歪判定回路 6は、 上記の第 1〜第 3の判定条件が満たさ れると、 符号化又は復号を行う前の画像データは単調減少又は単調 増加を示す画像デ一夕であることを示すフラグを生成し、 プロック 歪補正回路 7に供給する。
プロック歪補正回路 7では、 プロック歪判定回路 6からのフラグ に応じて以下に示すように、 補正値び0を算出する。 このプロック歪 補正回路 7で決定する補正の強さは、 上記境界差分 I tmpO I が所定 の閾値 corr_th より小さいか否かに応じて決定しており、
ブロック境界差分 I tmpO I く corr—th のとき、
補正値び 0 = ( I tmpO I + I step | ) / 2として、 補正を強くする。
また、 I tmpO I ≥corr— th のとき、
補正値び 0 = ( I tmpO I + I step | ) / 4として、 補正を弱くする。 次に、 ブロック境界において、 図 1 8に示すように、 I diff3 I が I tmpO I よりも大きい値を有するとき、 上述した第 1及び第 2の実 施の形態で示した判定条件では、 プロック歪として検出される条件 を満たしていないため、 例えば黙視でブロック歪と認識されてもブ ロック歪として認識されないような場合、 プロック歪判定回路 6で は、
( 1 )ブロック境界差分 I tmpO I アクティ ビティ I tmp I
( 2 )プロック境界差分 I tmpO I < det_th
( 3 ) diff3 x tmp0く 0、 dif f4 x tmp0≥ 0, dif f2 x dif f3≥ 0 という第 1から第 3の判定条件を上述の第 1及び第 2の実施の形態 で示した判定条件に追加して、 ブロック歪を判定する。 すなわち、 第 1の判定条件ではプロック境界に突出した段差があるか否かを判 断し、 第 2の判定条件ではプロック境界におけるエツジの有無を判 断し、 第 3の判定条件ではプロック境界に近接する画素におけるェ ッジの有無を判断する。 すなわち、 第 3の判定条件では、 画素 d〜 e間の輝度値の変化とプロック境界における輝度値の変化とが逆で あることを判断し、 画素 f 〜 g間の輝度値の変化とプロック境界に おける輝度値の変化とが同じであることを判断し、 画素 c ~ d間の 輝度値の変化と画素 d ~ e間の輝度値の変化とが同じであることを 判断している。 また、 第 3の判定条件では、 図 1 8で示した場合と 逆に、 画素 f 〜g間におけるエッジの有無を判定するときには、 diff4xtmpO<0 dif f 3 x tmpO≥ 0, dif f4 x dif f 5≥ 0
という第 3の判定条件を用いてエッジの有無を判断する。
プロック歪補正回路 7では、 上述の判定条件に基づいてフラグが 入力されたときには、 補正の強さを境界差分 I tmpO Iが所定の閾値 corr_th より小さいか否かに応じて決定しており、
ブロック境界差分 I tmpO I corr— th のとき、
補正値び 0= ( I tmpO I + I diff3 | ) / 4として、 補正を弱くする。
また、 I tmpO Iく corr— th のとき、
補正値 crO= ( I tmpO | + | diff3 | ) /2として、 補正を強くする。
また、 補正値び 1及び補正値び 2は、
補正値 orl = diff2/2 とし、
補正値 cr2 = diff4/2 とする。
また、 図 1 8で示した場合と逆に画素 f 〜 gの間にエッジがある
¾口に Vよ、
ブロック境界差分 I tmpO I ≥corr_th のとき、
補正値び 0= ( I tmpO I + I diff4 | ) / 4として、 補正を弱くする。 また、 I tmpO I < corr— th のとき、
補正値 r O = ( I tmpO | + | diff4 | ) / 2として、 補正を強くする。
また、 補正値 σ ΐ及び補正値 σ 2は、
補正値び l = diff3/ 2 とし、
補正値び 2 = diff5/ 2 とする。
このようにプロック歪判定回路 6で判定条件を変更することで、 プロック境界に近接する画素上にエッジがあると知覚される場合で も、 ブロック歪として検出することが可能である。
また、 上述の垂直相関検出回路 5では、 図 1 9に示すように、 ブ 口ック境界に平行してプロック歪と検出されるエツジを示す画素が あっても、 当該ェッジが閾値以上に存在するときには補正を行わな いように制御しても良い。 なお、 図 1 9では、 垂直相関検出回路 5 でェッジと認められる画素については 1 と図示し、 ェッジであると 認められない画素については 0 と図示している。 すなわち、 図 1 9 に示すように、 現在プロヅク歪の補正を行っているライ ン Aと、 当 該ライン Aの垂直方向 Vに隣接するライ ンのエツジの位置を垂直相 関検出範囲で検出し、 上下方向における 3ラインで同じ位置にエツ ジがある場所をカウントする。 このとき、 エッジとして検出される 画素の数を num— edgeとし、 補正を行うか否かの閾値を edge_thとする と、 プロック歪判定回路 6は、
num_edge > edge_th
という条件を満たすときに補正を行わないようなフラグを生成し、 ブロック歪補正回路 7に出力する。 このように垂直相関検出回路 5 で垂直方向の相関を検出して、 プロック歪判定回路 6で判定条件を 変更することで、 例えばエッジとは異なる、 垂直方向に細かい縞模 様があるような絵柄であっても、 それをプロック歪として誤検出し てしまうようなことを抑制することができる。
さらに、 プロック歪判定回路 6では、 上述の第 1及び第 2の実施 の形態でプロック歪に対する補正の処理を行った結果、 新たにエツ ジが生じないようにするために、 図 2 0に示すようなブロック歪の 補正を行うとき、
( 1 ) I step I くび 0 X corr_ratio
(2) σ0> I diff3 | かつ び0> | diff4 |
(3) I tmpO I <corr_th
という第 1〜第 3の判定条件を追加して、 プロック歪を判定する。 すなわち、 第 1の判定条件では補正後の段差 I step I が補正量び 0に 比べて一定の比 （corr_ratio) よりも小さいか否かを判断し、 第 2 の判定条件では補正量び0がプロック境界の両脇の段差 （diff3,dif f4) よりも大きいか否かを判断し、 第 3の判定条件ではブロック境 界の段差 I step I が補正量決定のための閾値 corr_thよりも小さいか 否かを判断する。 なお、 第 3の判定条件において、 補正後の段差 I step I と補正量との比を 0く corr_ratioく 1とする。
そして、 ブロック歪判定回路 6では、 これら第 1〜第 3の判定条 件が成立するとき、 そのようなことを示すフラグをプロック歪補正 回路 7に出力し、 プロック歪補正回路 7では、 画素 e及び画素 の 補正値び 0' を、
σθ' = σθ/ 2
として第 1及び第 2の実施の形態で算出される補正値び 0を修正する ( また、 画素 e及び画素 f の周辺の画素についての補正値び 1, σΖ, び3は、 a l = び 0 ' / 2
び 2 = び 0， / 4
び3 = び 0 ' / 8
とする。 このように補正値を決定することで、 補正後の輝度値は、 図 2 0の黒丸で示すように、 新たにプロック歪と知覚されるような 段差が発生しないこととなる。
このようにブロック歪判定回路 6は、 第 1〜第 3の判定条件を追 加することで、 プロック境界の近傍の輝度値のパターンを識別し、 上述の第 1及び第 2の実施の形態で示した判定条件で補正を行った 場合に補正後に新たなエツジが生ずるかを^測し、 補正値を制御す ることができる。 したがって、 このような第 1〜第 3の判定条件を 追加することで、 補正後新たに生じるエツジの発生を未然に防止す ることができる。
また、 処理を行うことにより、 ブロック歪判定回路 6では、 上述 の第 1及び第 2の実施の形態では、 図 2 1に示すように、 補正後の di ff3の値が大きくなつて新たに生じたエッジとして検出されるよう なことがない。
このようなプロック歪低減装置 1でプロック歪の低減処理を行う ときには、 図 2 2に示すようなフローチャートに従って行う。
すなわち、 このフローチャートによれば、 先ず、 ステップ S T 1 0 1において、 動画像を構成する全てのフレームについての処理が 終了したか否かの判断を行う。 そして、 全てのフレームについての 処理が終了したと判断したときには、 ステップ S T 1 0 2に進み処 理を終了し、 処理が終了していないと判断したときには、 ステップ S T 1 0 3に進む。 ステップ S T 1 0 3では、 プロック歪低減処理の対象となるフレ —ムが I -pictureであるか否かを判断し、 I- pictureであると判断し たときにはステップ S T 1 0 4に進み、 I- pictureでないと判断した ときにはステップ S T 1 0 5に進む。
ステップ S T 1 0 4では符号化難易度評価回路 3において M P E Gデコーダ 2から I D C T係数を用いて符号化難易度を示すパラメ 一夕 K pを算出し、 ステップ S T 1 0 5では、 I D C T係数及び動 きべク トル差分信号 M Vを用いて符号化難易度を示すパラメ一夕 Κ Ρを算出し、 プロック歪判定回路 6及びプロック歪補正回路 7に出 力して、 ステップ S Τ 1 0 6に進む。
ステップ S Τ 1 0 6では、 処理の対象となっているフレームの全 ての D C Τブロックについて処理が終了したか否かの判断を行う。 そして、 処理が終了したと判断した場合には、 上記のステップ S T 1 0 1に戻り、 次のフレームについて処理を行い、 処理が終了して いないと判断したときには、 ステップ S Τ 1 0 7に進む。
ステップ S Τ 1 0 7では、 パラメータ演算回路 4でプロヅク境界 の近傍におけるアクティ ビティ I tmp I 、 ブロック境界差分 I tmpO | 、 隣接差分 I diffO I 〜 I diff7 | の各パラメ一夕を算出し、 プロヅク 歪判定回路 6に出力して、 ステップ S T 1 0 8に進む。
ステップ S T 1 0 8では、 垂直相関検出回路 5でェヅジ抽出を行 うことで、 重み係数 K cを算出し、 当該重み係数 K cをブロック歪 判定回路 6及びプロック歪補正回路 7に出力して、 ステップ S T 1 0 9に進む。
ステップ S T 1 0 9では、 プロック歪判定回路 6で、 垂直相関検 出回路 5からの垂直相関値 K c及び符号化難易度評価回路 3からの 符号化難易度を示すパラメ一夕 K を用いて、 閾値 det_th及び corr _thを決定する。
次にステップ S T 1 1 0では、 ブロック歪判定回路 6で、
I tmpO I > I tmp I 及び I tmpO | <det_th
という判定条件が適用されることで、 プロック境界における段差が 周辺の画素と比べて突出した段差であるか否か、 直流成分及び低周 波成分の量子化誤差による段差であるか、 すなわち、 ブロック歪に よる段差であるか否かが判断される。 そして、 これらの 2つの判定 条件のいづれにも該当しない場合には、 ステップ S T 1 1 1に進み、 プロック歪補正回路 7では'補正処理が施されずに原信号がそのまま 出力されることとなる。 一方、 上記の 2つの判定条件のいづれかに 該当する場合には、 ブロック歪があるとみなされ、 ステップ S T 1 1 2に進む。
ステップ S T 1 1 2では、 ブロック歪判定回路 6で、 図 1 7を用 いて説明したように、 処理の対象となる画像データが
(1) diff0〜diff7>0 又は diff0〜diff7< 0
(2) tmpOx (diff0~diff7)<0
(3) K ρ≥diff_th
という判定条件を満たすか否かを判断する。 そして、 この判定条件 を満たす場合は、 プロヅク境界を除いた補正範囲の輝度値の変化が 単調減少か単調増加であることを判断してステップ S T 1 1 5に進 み、 この判定条件を満たさない場合には、 ステップ S T 1 1 3に進 む。
ステヅプ S T 1 1 5では、 ブロック歪補正回路 7でステップ S T 1 1 2での判定結果を示すフラグが入力されると、 I tmpO I >corr —thを満たすか否かを判断し、 この条件を満たす場合にはステツプ S T 1 1 6に進み補正を弱とし、 満たさない場合にはステツプ S T 1 1 7に進み補正を強としてステップ S T 1 2 2に進む。
ステップ S T 1 1 3では、 プロック歪判定回路 6で、 図 1 8を用 いて説明したように、 I tmpO I ≥ I diff3 | 及び | tmpO | ≥ | diff4
I という判断条件を満たすか否かを判断することで、 上述の第 1及 び第 2の実施の形態で示した条件ではプロック歪として認識されな いような場合における判定条件を変更する。 その結果、 上記の条件 を満たす場合にはプロック境界以外にェッジがないと判断して、 ス テヅプ S T 1 1 4に進み、 満たさない場合にはブロック境界以外に ェヅジがぁると判断して、 ステップ S T 1 1 8に進み、 後述する特 殊処理を行う。
ステップ S T 1 1 4では、 ブロック歪判定回路 6で、 上述のステ ップ S T 1 1 5と同様の処理を行い、 条件を満たすときにはステツ プ S T 1 2 0に進み、 条件を満たさないときにはステップ S T 1 1 9に進む。
ステップ S T 1 1 9では、 ブロック歪判定回路 6で、 上述の図 2 0を用いて説明した処理を行う。 すなわちこのステップ S T 1 1 9 では、 上述の第 1及び第 2の判定条件を判断する。 なお、 上述の第 3の判定条件は、 ステップ S T 1 1 4で満たされている。 このよう な判定条件を適用することで、 上述したように、 補正後にプロック 境界の近傍に新たなエツジが生じないか否かを判断する。 そして、 ステップ S T 1 1 9では、 第 1の判定条件及び第 2の判定条件が満 たされているときには補正後に新たなエッジが生ずると判断して補 正を弱とするようにステップ S T 1 2 0に進み、 満たされていない ときには補正後に新たなエツジが生じないと判断して補正を強とす るようにステップ S T 1 2 1に進む。
ステップ S T 1 2 0及びステップ S T 1 2 1では、 ブロック歪補 正回路 7で上述のステップ S T 1 1 6、 ステップ S T 1 1 7と同様 に、 補正の強弱を決定してステツプ S T 1 2 2に進む。
ステップ S T 1 2 2では、 プロック歪補正回路 7で、 符号化難易 度評価回路 3からの符号化難易度を示すパラメ一夕 K p及び垂直相 関検出回路 5からの相関を示す重み係数 K cとを補正値 cr Oに乗算処 理して、 ステップ S T 1 2 3に進む。
ステップ S T 1 2 3では、 プロック歪補正回路 Ίで補正範囲にお ける各画素の補正値を決定する。 このとき、 ブロック歪補正回路 7 では、 ブロック境界の近傍程補正を強とする。 そして、 各画素につ いての補正値び 1，び2, σ 3を決定したら、 ステップ S T 1 2 4に進む, ステップ S Τ 1 2 4では、 ブロック歪補正回路 7で、 ステップ S Τ 1 2 3で決定した補正値を原信号に加算し、 補正された画像デ一 夕を得て、 ステップ S Τ 1 2 5でブロック歪補正回路 7からブロッ ク歪が低減された画像データを出力し、 ステップ S Τ 1 2 6で 1つ の D C Τプロックについてのプロック歪低減処理及び補正処理を終 了して、 ステップ S T 1 0 6に戻る。 すなわち、 このフローチヤ一 トによれば、 1フレームを構成する各 D C Tブロックについてステ ップ S T 1 0 6〜ステップ S T 1 2 5を行うことでノィズ低減処理 及び補正処理を行い、 ステップ S T 1 0 6で 1 フレーム内の全ての D C Τブロックの処理が終了したら、 次のフレームに移って、 ステ ヅプ S Τ 1 0 1〜ステップ S Τ 1 0 6を繰り返すことで、 動画像を 構成する全てのフレームについて処理を行う。 、 上述のステツプ S T 1 1 8の特殊処理について図 2 3に示すフ ローチャートを用いて説明する。
このフローチヤ一 トによれば、 先ず、 ステップ S T 1 3 1で、 図 1 9を用いて説明したように、 垂直相関検出回路 5で垂直方向 Vに おけるェッジの数 num_edgeを力ゥン トし、 プロック歪判定回路 6で num_edge > edge_thという判定条件を満たすか否かを判断する。 この 条件を満たすときにはステップ S T 1 3 2に進んでノィズ低減処理 を行わずに原信号をそのまま出力する。 すなわち、 原信号がプロッ ク境界の近傍に縞模様を示す画像データであると判断する。 また、 条件を満たさないときにはステップ S T 1 3 3に進む。
ステップ S T 1 3 3では、 ブロック歪判定回路 6で、 上述のブ口 ック境界以外に存在するエツジがプロック境界の左側に存在するか 否かを判断する。 すなわち、 ステップ S T 1 3 3では、
diff3 x tmp0く 0、 dif f4 x tmpO≥ 0S dif f2 x diff3≥ 0
という条件を満たすか否かをプロック歪判定回路 6で判断する。 そ の結果、 この判定条件を満たす場合にはステツプ S T 1 3 4に進み、 満たさない場合にはステップ S T 1 3 9に進む。
ステップ S T 1 3 9では、 ブロック歪判定回路 6で、 上述のブ口 ック境界以外に存在するエツジがブ口ック境界の右側に存在するか を判断する。 すなわち、 ステップ S T 1 3 3では、
diff4 x tmp0く 0、 diff 3 x tmpO≥ 0, dif f4 x dif f 5≥ 0
という条件を満たすか否かをプロック歪判定回路 6で判断する。 そ の結果、 この判定条件を満たす場合にはステツプ S T 1 4 0に進み、 満たさない場合にはプロック境界の左右側にはエツジとみなされる 部分がないとして、 ステップ S T 1 3 2に進んで、 原信号をそのま ま出力する。
ステップ S T 1 3 4では、 ブロック歪補正回路 7で I tmpO | > co rr_thを満たすか否かを判断し、 この条件を満たす場合にはステツプ S T 1 3 5に進み補正を弱とし、 満たさない場合にはステツプ S T 1 3 6に進み補正を強としてそれぞれステツプ S T 1 3 7に進む。 ステップ S T 1 3 7では、 プロヅク歪補正回路 7で、 符号化難易 度評価回路 3からの符号化難易度を示すパラメ一夕 K p及び垂直相 関検出回路 5からの相関を示す重み係数 K cとを補正値び0に乗算処 理して、 ステップ S T 1 3 8に進む。
ステップ S T 1 3 8では、 補正値び 0で補正される画素の両側に隣 接する画素についての補正値び 1及びび 2を
cr l = diff2/2 , 2 = diff4/2
で示される式で算出する。
ステップ S T 1 4 0〜ステップ S T 1 4 6では、 上述のステップ S T 1 3 4〜ステップ S T 1 3 8 とほぼ同様の処理を行う。 異なる 点は、 ステップ S T 1 4 1及びステツプ S T 1 4 2で補正の強弱を 決定する点と、 ステップ S T 1 4 4で補正値び 1により補正を行う隣 接差分が diff3であり補正値び 2により補正を行う隣接差分が diff5で ある点である。
次にステツプ S T 1 4 5では上述のステツプ S T 1 2 4と同様の 処理を行い、 ステップ S T 1 4 6では上述のステツプ S T 1 2 5と 同様の処理を行うことで処理を終了する。
また、 図 1 7〜図 2 3を参照して説明したプロック歪低減装置の 動作については、 第 1の実施の形態に係るプロック歪低減装置 1に ついてのみ説明したが、 第 2の実施の形態に係るプロック歪低減回 路でも適用可能である。 このとき、 第 2の実施の形態で説明したプ 口ック歪低減回路では、 プロック歪判定部 1 8で上述したような画 像データの絵柄に対応して上述した判定条件を適用することで、 絵 柄に応じてプロック歪の判定を行い、 補正値算出部 3 2で補正を行
Ό。
次に、 本発明の第 3の実施の形態として、 2次元 D C T変換によ るプロック処理を用いた画像圧縮装置で圧縮された動画像を M P E Gを用いて再圧縮する際に、 当該圧縮方式特有のプロックノイズを あらかじめ除去してから再圧縮を行うことで、 符号化圧縮効率を向 上させるプロック歪み符号化装置について説明する。
例えば、 光ディスクのような記録媒体から読み出した画像データ が符号化されたビッ トス ト リームを放送により送出する際には、 記 録媒体からの読み出しのビッ トレ一トと放送による送出のビッ トレ —トは一般に異なるので、 ビッ トス ト リームのビッ トレートの変換 が行われる。 具体的には、 例えば 8 M b p sのビッ トス ト リームが 4 M b p sのビッ トス ト リームに変換されることがある。
従来、 M P E Gエンコードされたビヅ トス ト リームをレート変換 して M P E Gで再エンコード使用する場合などには、 M P E Gデコ 一ドで得られた復号画像にプロックノイズが発生していても、 その まま再ェンコ一ドしていた。
また、 M P E G以外の D C T変換を用いた歩録処理を行う動画像 符号化方式のビッ トス ト リームを、 一旦当該符号化方式に従って復 号画像を得た後に M P E Gエンコードすることによって M P E Gの ビッ トス ト リームに変換する場合も、 ブロックノイズが発生してい たとしても、 そのまま M P E Gエンコードしていた。 そのため、 M P E G再エンコード時やフォ一マツ ト変換時の M P E Gエンコード時の動き補償についての動きべク トル検出を行う際 に、 プロックノィズに妨害されて動きべク トルの検出精度が低下し ていた。
また、 ブロックノィズが発生する位置はプロックの境界に一意に 依存する。 そのため、 ブロック境界の位置は同じ符号化方式を用い て再エンコードやフォーマッ ト変換のためのエンコードを行う場合、 ブロックノイズが発生している画像をブロックノイズを除去するこ となくエンコードすると、 再生画像においては、 ブロックノイズが 強調されてさらに目立ってしまうという問題があった。
以下の図 2 4に、 再符号化の前にプロックノィズ除去を行う第 3 の実施の形態の符号化装置のプロック図を示す。
この符号化装置は、 入力端子 5 1に入力ビッ トス ト リームに対し て適応ブロックノイズ除去を行う適応ブロックノィズ除去回路 5 6 と、 この適応プロックノィズ除去回路 5 6からの復号画像を M P E G規格のビッ トス ト リームに符号化して出力端子 5 5に出力するェ ンコーダ 5 4とを備えている。
適応プロヅクノィズ除去回路 5 6は、 入力ビッ トス ト リ一ムを復 号するデコーダ 5 2と、 デコーダ 5 2からの復号画像からブロック ノィズを除去するプロックノィズ除去回路 5 3 とを有している。 入力端子 5 1から入力したビッ トス ト リームは、 デコーダ 5 2に てデコードされる。 入力端子 5 1から入力されるビッ トス 卜 リーム は、 2次元 D C Tを用いたプロック処理を行う符号化方式でェンコ —ドされたものであり、 デコーダ 5 2で復号できるものである。 デコ一ド 5 2にて復号された復号画像は、 プロックノィズ除去回 路 5 3によってブロックノィズが除去される。 プロックノィズ除去 回路 5 3におけるプロックノィズ除去は、 例えば上述したような方 法により行うことができる。 このとき、 エンコーダ 5 4に入力され る復号画像からは、 この符号化装置に入力される入力画像のプロッ クノィズが除去されているため、 エンコーダ 5 4における符号化効 率が改善される。
エンコーダ 5 4で得られた符号化されたビッ トス ト リームは、 出 力端子 5 5に出力される。
ここで、 入力端子 5 1から入力したビッ トス ト リームが、 動き補 償 （motion compensat ion ; MC ) — D C Tを用いた M P E Gのように、 2次元 D C Tと共に動き補償を用いたハイプリ ッ ド圧縮方式で符号 化されたビッ トス ト リームであった場合、 デコーダ 5 1からブロッ クノィズの発生に相関の高い動きべク トルや、 逆 D C Τをかけた後 の計数などの符号化パラメ一夕を得ることができるため、 適応プロ ックノィズ除去回路 5 6を用いて、 より効率の高いプロックノイズ 除去が可能になる。 この適応プロックノイズ除去については、 上述 した。
以下の図 2 5には、 適応プロックノィズ除去を行う場合の適応ブ ロックノイズ除去回路 5 6のブロック図を示す。
適応プロックノィズ除去回路 5 6は、 入力端子 7 1から入力され る M P E G方式にて符号化されたビッ トス ト リームを復号する M P E Gデコーダ 7 2 と、 M P E Gデコーダ 7 2からの復号画像から Y 信号及び C信号を分離する Y C分離回路 7 5と、 Y C分離回路 7 5 からの C信号を遅延させる遅延回路 7 8 と、 Y C分離回路 7 5から の Y信号をメモリする画素値メモリ 7 6 と、 遅延回路 7 8を介して 得られる C信号及び画素値メモリ 7 6を介して得られる Y信号を合 成して出力端子 8 0に出力画像として出力する Y C合成回路 7 9 と を有している。 ここで、 M P E Gデコーダ 7 2は、 図 2 4における デコーダ 5 2に対応している。
また、 適応ブロックノイズ除去回路 5 6は、 M P E Gデコーダ 7 2 からの符号化パラメ一夕に基づいて符号化難易度を算出する符号化 難易度算出回路 7 3と、 画素値メモリ Ί 6からの Y信号についての パラメ一夕演算を行うパラメ一夕演算回路 7 7 と、 符号化難易度算 出回路 7 3からの符号化難易度及びパラメ一夕算出回路 7 7からの パラメ—夕に基づいてブロック歪みを判定すると共に補正値を算出 して歪み補正値を画素値メモリ 7 6に与えるプロック歪み判定及び 補正値算出回路 7 4とを有している。
入力端子 7 1に入力された M P E G符号化されたビッ トス ト リー ムは、 M P E Gデコーダ 7 2にてデコードされる。
デコード時に得られた符号化パラメ一夕は、 符号化難易度算出回 路 7 3に送られ、 ここで符号化難易度が得られる。 符号化難易度は プロック歪み判定及び補正値算出回路 7 4に送られ、 ここでのプロ ック歪み及び補正値算出に使用される。
Y C分離回路 7 5では、 入力された復号画像を Y信号と C信号に 分離する。 Y信号の補正に必要な範囲の画素値を画素値メモリ 7 6 に蓄える。
パラメ一夕算出回路 7 7では、 画素値メモリ 7 6から所望の Y信 号を呼び出し、 パラメ一夕を算出する。 ブロック歪み判定及び補正 値算出回路 7 4では、 入力されたパラメ一夕と符号化難易度からプ ロック歪であるか否か、 ブロック歪ならばどのようなパターンのプ 口ック歪であるかの判定を行い、 補正値を算出して画素値メモリ 7
6に渡す。 画素値メモリ 7 6内では、 所定の Y信号に補正値を加算 して補正信号を得る。
図 2 4において、 ビッ トス ト リームのデコード後にディジタル信 号からアナログ信号に変換される場合がある。 この場合には、 図 2 6に示すように、 上記アナログ信号は、 ブロック境界判定回路 8 1 と、 これに続くブロックノイズ除去回路 8 2 とにより、 画像データ からプロック歪が除去された後にエンコーダにより 5 4にて符号化 される。
このように、 第 3の実施の形態は、 2次元 D C Tを用いた画像圧 縮方式で圧縮された動画像を一旦復号して画像に戻した後で再圧縮 する際に、 あらかじめ復号画像に発生している当該圧縮方式に特有 のプロックノイズをブロックノィズ除去フィル夕によって除去する ものである。
ブロックノイズを除去することにより、 動き予測の精度が向上し、 再圧縮時の符号化効率を向上させることが可能となる。
また、 あらかじめブロックノイズを除去することで、 再圧縮画像 を復号した画像のプロックノィズの発生を抑制することができる。 さらに、 前段階で用いられた圧縮方式が M C— D C Tを用いたハ イブリ ツ ド圧縮方式であり、 かつ、 M Cの際の動きベク トル情報を 再圧縮時に利用できる場合は、 この動きべク トル情報を利用した適 応プロックノィズ除去方式を用いることで、 ブロックノィズ除去の 効率を向上することができる。
上述のように、 二次元 D C Tを用いた動画像圧縮符号化による圧 縮画像を一旦復号してから再符号化する際に、 符号化効率を向上さ せ、 プロックノイズが発生するのを抑制して、 主観画質を向上させ ることができる。
以上の説明からも明らかなように、 本発明に係るプロック歪低減 方法及び装置並びに符号化装置及び方法の実施の形態によれば、 高 周波成分の欠落がなく解像度を保ったプロック歪低減を行いながら、 補 IFによる破綻を軽減できる。 また、 ハードウェア構成も簡易であ るので、 業務用のみならず、 D C T符号化等のブロック符号化を用 いた圧縮処理を行う種々の民生機器、 例えばビデオ C Dプレーヤ、 ディジ夕ルビデォディスクプレーヤ、 ディジ夕ルテレビジョン受像 機、 テレビ電話等にも搭載可能である。 勿論、 ソフ ト ウェア処理に より上述したようなアルゴリズムを実現することもでき、 いわゆる ィ ン夕一ネッ トゃマルチメディァでの動画のリアルタイム再生にお けるプロック歪低減、 プロック歪除去も容易に実現できる。 さらに、 本実施の形態によれば、 強/中/弱の 3モードを持っているので、 映像の状態に合わせたブロック歪低減が可能である。 また、 プロッ ク歪処理で用いるパラメ一夕も外部から調整できるため、 上記の 3 モードだけでなく微調整も可能である。
さらに、 本発明の実施の形態によれば、 エッジ抽出、 動き検出の 有効な情報を用いることによって、 プロヅク歪判定による誤判定を 軽減できる。
なお、 本発明は上述した実施の形態のみに限定されるものではな く、 例えば、 上記実施の形態においては水平 （H ) 方向の処理につ いて述べたが、 垂直 （V ) 方向についても同様に適用可能である。 また、 補正値の計算ゃフィル夕処理の具体例は上述の例に限定され ないことは勿論である。

Claims

請 求 の 範 囲
1 . 入力画像データのプロック符号化におけるプロック歪を低減 するためのブロック歪低減方法において、
上記入力画像デ一夕から符号化の難易度を示すパラメ一夕を検出 する符号化難易度検出工程と、
上記入力画像データからプロック歪判定に必要なパラメ一夕を演 算する演算工程と、
上記符号化の難易度を示すパラメ一夕検出の結果及び上記パラメ 一夕演算の結果に基づいてプロック歪を判定する判定工程と、 上記プロック歪を低減するための補正値を算出する補正値算出ェ 程と、
上記プロック歪の判定結果に応じた上記補正値による補正を上記 入力画像デ一夕に対して施して出力する工程とを有すること を特徴とするプロック歪低減方法。
2 . 上記符号化難易度検出工程では、 入力画像データの高周波成 分を抽出して高周波成分のエネルギー量算出処理を行うことで符号 化の難易度を示すパラメ一夕を検出すること
を特徴とする請求の範囲第 1項記載のプロック歪低減方法。
3 . 上記符号化難易度検出工程では、 上記入力画像データの動き を検出する動き検出処理を行うことで符号化の難易度を示すパラメ 一夕を検出すること
を特徴とする請求の範囲第 1項記載のプロック歪低減方法。
4 . 上記符号化難易度検出工程では、 上記入力画像データの動き を検出する動き検出処理を行う とともに、 入力画像データの高周波 成分を抽出する高周波成分のエネルギー量算出処理を行うことで符 号化の難易度を示すパラメ一夕を検出すること
を特徴とする請求の範囲第 1項記載のプロック歪低減方法。
5 . 上記入力画像データを得るために入力ビッ トス ト リームに復 号処理を施すデコード工程を有し、 上記デコード工程では、 上記入 力ビッ トス ト リームに復号処理を施すとともに、 上記入力ビッ トス ト リームに含まれる動きべク トル差分信号と I D C T係数とを検出 し、
上記符号化難易度検出工程では、 上記デコードエ程で検出された 動きべク トル差分信号と I D C T係数を符号化の難易度を示すパラ メ一夕に変換すること
を特徴とする請求の範囲第 1項記載のプロック歪低減方法。
6 . 上記判定工程では、 ブロック歪の複数段階の強さを判定し、 判定された強さに応じた補正量で補正を行わせること
を特徴とする請求の範囲第 1項記載のプロック歪低減方法。
7 . 各プロックにおける境界の相関を検出する相関検出工程を有 し、
上記判定工程では、 上記相関検出工程で検出された相関を用いて プロック歪の判定を行い、
上記補正値算出工程では、 上記相関検出工程で検出された相関を 用いて上記補正値を算出すること
を特徴とする請求の範囲第 1項記載のプロック歪低減方法。
8 . 上記高周波成分の抽出とは入力画像データのェッジ成分の検 出であり、 上記高周波成分のエネルギー量算出処理とはエッジ抽出 処理であること
を特徴とする請求の範囲第 2項記載のプロック歪低減方法。
9 . 上記補正値算出工程では、 上記符号化難易度検出工程で検出 された上記高周波成分のエネルギー量算出処理での高周波成分抽出 の結果に基づくパラメ一夕を用いて上記補正値を算出すること を特徴とする請求の範囲第 2項記載のプロック歪低減方法。
1 0 . 上記補正値算出工程では、 上記符号化難易度検出工程で検 出された上記動き検出処理での動き検出の結果に基づくパラメ一夕 を用いて上記補正値を算出すること
を特徴とする請求の範囲 3項記載のプロック歪低減方法。
1 1 . 上記補正値算出工程では、 上記符号化難易度検出工程で検 出された上記動き検出処理での動き検出の結果及び上記高周波成分 のエネルギー量算出処理での動き検出の結果に基づくパラメ一夕を 用いて上記補正値を算出すること
を特徴とする請求の範囲第 4項記載のプロック歪低減方法。
1 2 . 上記判定工程では、 上記デコード工程で検出した動きべク トル差分信号と I D C T係数に基づくパラメ一夕を用いてプロック 歪の判定を行い、
上記補正値算出工程ではデコードエ程で検出した動きべク トル信 号と I D C T係数に基づくパラメ一夕を用いて上記補正値を算出す ること
を特徴とする請求の範囲第 5項記載のプロック歪低減方法。
1 3 . 上記高周波成分の抽出とは入力画像データのエッジ成分の 検出であり、 上記高周波成分のエネルギー量算出処理とはェッジ抽 出処理であること を特徴とする請求の範囲第 9項記載のプロック歪低減方法。
1 4 . 画像デ一夕のプロック符号化におけるプロック歪を低減す るためのプロック歪低減装置において、
上記入力画像データから符号化の難易度を示すパラメ一夕を検出 する符号化難易度検出手段と、
上記入力画像データからブロック歪判定に必要なパラメ一夕を算 出するパラメ一夕算出手段と、
上記符号化の難易度を示すパラメータ検出の結果及び上記パラメ 一夕演算の結果に基づいてプロック歪を判定するプロック歪判定手 段と、
上記プロック歪を低減するための補正値を算出する補正値算出手 段と、
上記プロック歪の判定結果に応じた上記補正値による補正を上記 入力画像デ一夕に対して施して出力する手段とを有すること
を特徴とするブロック歪低減装置。
1 5 . 上記プロック歪判定手段からの判定結果に応じて、 上記補 正された信号と、 上記入力画像デ一夕とを切り換えて出力する切換 選択手段を有すること
を特徴とする請求の範囲第 1 4項記載のプロック歪低減装置。
1 6 . 上記符号化難易度検出手段では、 入力画像データの高周波 成分を抽出する高周波成分のエネルギー量算出処理を行うことで符 号化の難易度を示すパラメ一夕を検出すること
を特徴とする請求の範囲第 1 4項記載のプロック歪低減装置。
1 7 . 上記符号化難易度検出手段では、 上記入力画像デ一夕の動 きを検出する動き検出処理を行うことで符号化の難易度を示すパラ メ一夕を検出すること
を特徴とする請求の範囲第 1 4項記載のプロック歪低減装置。
1 8 . 上記符号化難易度検出手段は、 上記入力画像データの動き を検出する動き検出処理を行うとともに、 入力画像データの高周波 成分を抽出する高周波成分のエネルギー量算出処理を行うことで符 号化の難易度を示すパラメ一夕を検出すること
を特徴とする請求の範囲第 1 4項記載のプロック歪低減装置。
1 9 . 上記入力画像デ一夕を得るために上記入力ビッ トス ト リー ムにに復号処理を施すデコード手段を有し、
上記デコード手段では、 上記入力画像データに復^処理を施すと ともに、 上記入力画像データに含まれる動きべク トル差分信号と I D C T係数とを検出し、
七記符号化難易度検出手段では、 上記デコ一ド手段で検出された 動きべク トル差分信号と I D C T計数を符号化の難易度を示すパラ メ一夕に変換すること
を特徴とする請求の範囲第 1 4項記載のプロック歪低減装置。
2 0 . 各プロックにおける境界の相関を検出する相関検出手段を 有し、
上記プロック歪判定手段では、 上記相関検出手段で検出された相 関を用いてブロック歪の判定を行い、
上記補正値算出手段では、 上記相関検出手段で検出された相関を 用いて上記補正値を算出すること
を特徴とする請求の範囲第 1 4項記載のプロック歪低減装置。
2 1 . 上記高周波成分とは入力画像デ一夕のエッジ成分であり、 上記高周波成分のエネルギー量算出処理とはェッジ抽出処理である こと
を特徴とする請求の範囲第 1 6項記載のプロック歪低減装置。
2 2 . 上記補正値算出手段では、 上記高周波成分のエネルギー量 算出処理での高周波成分抽出の結果に基づくパラメ一夕を用いて上 記補正値を算出すること
を特徴とする請求の範囲第 1 6項記載のプロック歪低減装置。
2 3 . 上記補正値算出手段では、 上記動き検出処理での動き検出 の結果に基づくパラメ一夕を用いて上記補正値を算出すること を特徴とする請求の範囲第 1 7項記載のプロ ック歪低減装置。
2 4 . 上記補正値算出手段では、 上記高周波成分のエネルギー量 算出処理での高周波成分抽出結果及び上記動き検出処理での動き検 出の結果に基づくパラメ一夕を用いて上記補正値を算出すること を特徴とする請求の範囲第 1 8項記載のプロック歪低減装置。
2 5 . 上記ブロック歪判定手段では、 上記デコード手段で検出し た動きべク トル差分信号と I D C T係数に基づくパラメ一夕を用い てプロック歪の判定を行い、
上記補正値算出手段ではデコード手段で検出した動きべク トル信 号と I D C T係数に基づくパラメ一夕を用いて上記補正値を算出す ること
を特徴とする請求の範囲第 1 9項記載のプロック歪低減装置。
2 6 . 画像データのプロック符号化/復号により生じるブロック 歪を除去するためのブロック歪除去工程と、
上記プロック歪除去工程により得られた画像デ一夕をビッ トスト リームに符号化するエンコード工程と
を有することを特徴とする符号化方法。
2 7 . 上記プロック符号化は、 2次元離散コサイン符号化 （D C T ) であること
を特徴とする請求の範囲第 2 6項記載の符号化方法。
2 8 . 上記プロック歪除去工程は、 入力されるビッ トス ト リーム を画像データに復号するデコードエ程を含むこと
を特徴とする請求の範囲第 2 6項記載の符号化方法。
2 9 . 上記ブロック歪除去工程は、 ブロック歪をフィル夕により 除去すること
を特徴とする請求項 2 8記載の符号化方法。
3 0 . 上記入力されるビッ 卜ス 卜 リームはプロック符号化と共に 動き補償を用いて符号化されたものであり、
上記デコードエ程は、 上記入力されるビッ トス ト リームから上記 動き補償の動きべク トルを取り出し、
上記プロック歪除去工程は、 上記デコード工程からの動きべク ト ルを利用して適応プロック歪除去を行うこと
を特徴とする請求の範囲第 2 8項記載の符号化方法。
3 1 . 上記入力されるビッ トス トリームは、 M P E G ( Moving p ictures experts group ) 規格によるものであること
を特徴とする請求の範囲第 3 0項記載の符号化方法。
3 2 . 画像デ一夕のブロック符号化/復号により生じるブロック 歪を除去するためのプロック歪除去手段と、
上記プロック歪除去手段により得られた画像データをビッ トス 卜 リームに符号化するェンコ一ド手段と
を有することを特徴とする符号化装置。
3 3 . 上記ブロック符号化は、 2次元離散コサイン符号化 （D C T ) であること
を特徴とする請求の範囲第 3 2項記載の符号化装置。
3 4 . 上記ブロック歪除去手段は、 入力されるビッ トス ト リーム を画像データに復号するデコード手段を含むこと
を特徴とする請求の範囲第 3 2項記載の符号化装置。
3 5 . 上記ブロック歪除去手段は、 プロック歪をフィル夕により 除去すること
を特徴とする請求項 3 4記載の符号化装置。
3 6 . 上記入力されるビッ トス ト リームはプ口ック符号化と共に 動き補償を用いて符号化されたものであり、
上記デコード手段は、 上記入力されるビッ トス ト リームから上記 動き補償の動きべク トルを取り出し、
—ヒ記プロック歪除去手段は、 上記デコ一ド手段からの動きべク ト ルを利用して適応プロック歪除去を行うこと
を特徴とする請求の範囲第 3 4項記載の符号化装置。
3 7 . 上記入力されるビッ トス ト リームは、 M P E G ( Mov ing p ictures experts group ) 規格によるものであること
を特徴とする請求の範囲第 3 6項記載の符号化装置。
PCT/JP1998/002370 1997-05-28 1998-05-28 Procede et dispositif de reduction de la distorsion de blocs et procede et dispositif de codage Ceased WO1998054892A1 (fr)

Priority Applications (3)

Application Number Priority Date Filing Date Title
EP98921871A EP0917357A4 (en) 1997-05-28 1998-05-28 BLOCK DECELERATION METHOD AND DEVICE, AND CODING METHOD AND DEVICE
US09/230,465 US6434275B1 (en) 1997-05-28 1998-05-28 Block distortion reduction method and device and encoding method and device
JP50048699A JP4164877B2 (ja) 1997-05-28 1998-05-28 ブロック歪低減方法及び装置並びに符号化方法及び装置

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP13892197 1997-05-28
JP9/138921 1997-05-28
JP1444398 1998-01-27
JP10/14443 1998-01-27

Publications (1)

Publication Number Publication Date
WO1998054892A1 true WO1998054892A1 (fr) 1998-12-03

Family

ID=26350397

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP1998/002370 Ceased WO1998054892A1 (fr) 1997-05-28 1998-05-28 Procede et dispositif de reduction de la distorsion de blocs et procede et dispositif de codage

Country Status (6)

Country Link
US (1) US6434275B1 (ja)
EP (2) EP0917357A4 (ja)
JP (1) JP4164877B2 (ja)
KR (1) KR100529483B1 (ja)
CN (1) CN1136719C (ja)
WO (1) WO1998054892A1 (ja)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007288627A (ja) * 2006-04-19 2007-11-01 Nec Corp Ｍｐｅｇ復号処理回路及びそれに用いるｍｐｅｇフィルタリング表示方法
EP2099224A1 (en) 2008-03-03 2009-09-09 Sony Corporation Signal processing apparatus and method, and program
EP2107520A2 (en) 2008-04-01 2009-10-07 Sony Corporation Device, method and program for signal noise reduction
US7738726B2 (en) 2003-06-25 2010-06-15 Sony Corporation Block distortion reduction apparatus

Families Citing this family (33)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6795580B1 (en) * 1998-09-10 2004-09-21 Tektronix, Inc. Picture quality measurement using blockiness
US6385342B1 (en) 1998-11-13 2002-05-07 Xerox Corporation Blocking signature detection for identification of JPEG images
FI117534B (fi) * 2000-01-21 2006-11-15 Nokia Corp Menetelmä digitaalisten kuvien suodattamiseksi ja suodatin
JP2001218206A (ja) * 2000-02-02 2001-08-10 Sony Corp 画像符号化装置及び方法、媒体
US6636645B1 (en) * 2000-06-29 2003-10-21 Eastman Kodak Company Image processing method for reducing noise and blocking artifact in a digital image
KR100463764B1 (ko) * 2000-07-21 2004-12-29 마츠시타 덴끼 산교 가부시키가이샤 신호 전달 시스템
EP1366493A1 (en) * 2001-02-19 2003-12-03 Koninklijke Philips Electronics N.V. Method of embedding a secondary signal in the bitstream of a primary signal
WO2002093935A1 (en) * 2001-05-10 2002-11-21 Matsushita Electric Industrial Co., Ltd. Image processing apparatus
KR100525785B1 (ko) * 2001-06-15 2005-11-03 엘지전자 주식회사 이미지 화소 필터링 방법
GB2379115A (en) * 2001-08-21 2003-02-26 Sony Uk Ltd Introducing test signals into a data signal
EP1294195A1 (en) * 2001-09-14 2003-03-19 STMicroelectronics S.r.l. A process for the format conversion of MPEG bitstreams, a system and computer program product therefor
JP3862613B2 (ja) 2002-06-05 2006-12-27 キヤノン株式会社 画像処理装置及び画像処理方法並びにコンピュータプログラム
US7991054B2 (en) * 2002-07-19 2011-08-02 Sony Corporation Information signal processing device, information signal processing method, image signal processing device, image displaying device, device and method for producing correction data used in them, device and method for producing coefficient data, programs for executing these methods, and computer-readable medium for storing the program
JP4144374B2 (ja) * 2003-02-25 2008-09-03 ソニー株式会社 画像処理装置および方法、記録媒体、並びにプログラム
CN1795665B (zh) * 2003-05-27 2013-01-09 株式会社尼康 图像处理装置与图像处理程序
GB0314162D0 (en) * 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment
GB0314161D0 (en) * 2003-06-18 2003-07-23 British Telecomm Edge analysis in video quality assessment
US7424501B2 (en) * 2003-06-30 2008-09-09 Intel Corporation Nonlinear filtering and deblocking applications utilizing SIMD sign and absolute value operations
KR100672592B1 (ko) * 2005-01-14 2007-01-24 엘지전자 주식회사 디스플레이 장치의 영상 보상장치 및 보상방법
US7366239B1 (en) * 2005-01-26 2008-04-29 Big Band Networks Inc. Method and system for compressing groups of basic media data units
JP2007189657A (ja) * 2005-12-16 2007-07-26 Fuji Xerox Co Ltd 画像評価装置、画像評価方法及びプログラム
US7667776B2 (en) * 2006-02-06 2010-02-23 Vixs Systems, Inc. Video display device, video encoder, noise level estimation module and methods for use therewith
US8401311B2 (en) 2008-03-11 2013-03-19 Sony Corporation Image processing device, method, and program
WO2011004029A2 (en) 2009-07-09 2011-01-13 Tomtom International Bv Navigation devices
US9109909B2 (en) * 2009-07-09 2015-08-18 Tomtom International B.V. Navigation devices
JP4703759B2 (ja) * 2009-11-27 2011-06-15 株式会社東芝 画像処理装置および同装置における画像処理方法
WO2011131417A1 (en) 2010-04-21 2011-10-27 Tomtom International B.V. System and method of generating a route across an electronic map
WO2011131376A1 (en) 2010-04-23 2011-10-27 Tomtom International B.V. Navigation devices and methods carried out thereon
US9066112B2 (en) * 2012-08-02 2015-06-23 Xerox Corporation Method and printing system for designing code books for super resolution encoding
CN104021179B (zh) * 2014-06-05 2017-05-31 暨南大学 一种大数据集下相似性数据的快速识别算法
CN106095732B (zh) * 2016-06-08 2018-08-24 北京普杰生物技术有限公司 一种适用于实验数据的降噪处理方法及系统
WO2019137730A1 (en) * 2018-01-11 2019-07-18 Telefonaktiebolaget Lm Ericsson (Publ) Multiple boundary filtering
JP7093015B2 (ja) * 2019-04-24 2022-06-29 日本電信電話株式会社 パノラマ映像合成装置、パノラマ映像合成方法、及びパノラマ映像合成プログラム

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04342372A (ja) * 1991-05-20 1992-11-27 Seiko Epson Corp 画像データ圧縮装置
JPH05308623A (ja) * 1992-04-30 1993-11-19 Olympus Optical Co Ltd 画像信号復号化装置
JPH08237658A (ja) * 1995-02-24 1996-09-13 Kenwood Corp 画像処理装置

Family Cites Families (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5512956A (en) * 1994-02-04 1996-04-30 At&T Corp. Adaptive spatial-temporal postprocessing for low bit-rate coded image sequences
JP2673778B2 (ja) * 1994-02-22 1997-11-05 国際電信電話株式会社 動画像の復号化における雑音低減装置
JP3911035B2 (ja) * 1994-08-31 2007-05-09 ソニー株式会社 動画像符号化方法及び動画像符号化装置
US5552832A (en) * 1994-10-26 1996-09-03 Intel Corporation Run-length encoding sequence for video signals
JP3540855B2 (ja) * 1995-03-08 2004-07-07 シャープ株式会社 ブロック歪み補正器
EP0772365A3 (en) * 1995-11-02 1999-05-12 Matsushita Electric Industrial Co., Ltd. Method and device for filtering a picture signal, and encoding/decoding using the same
US6360015B1 (en) * 1999-04-06 2002-03-19 Philips Electronics North America Corp. RAM-based search engine for orthogonal-sum block match motion estimation system

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04342372A (ja) * 1991-05-20 1992-11-27 Seiko Epson Corp 画像データ圧縮装置
JPH05308623A (ja) * 1992-04-30 1993-11-19 Olympus Optical Co Ltd 画像信号復号化装置
JPH08237658A (ja) * 1995-02-24 1996-09-13 Kenwood Corp 画像処理装置

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
DERVIAUX ET AL.: "A Postprocessing Technique for Block Effect Elimination Using a Perceptual Distortion Measure", IEEE INTERNATIONAL CONFERENCE ON ACOUSTICS, SPEECH AND SIGNAL PROCESSING, vol. 4, April 1997 (1997-04-01), pages 3001 - 3004
See also references of EP0917357A4

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7738726B2 (en) 2003-06-25 2010-06-15 Sony Corporation Block distortion reduction apparatus
JP2007288627A (ja) * 2006-04-19 2007-11-01 Nec Corp Ｍｐｅｇ復号処理回路及びそれに用いるｍｐｅｇフィルタリング表示方法
EP2099224A1 (en) 2008-03-03 2009-09-09 Sony Corporation Signal processing apparatus and method, and program
US8238684B2 (en) 2008-03-03 2012-08-07 Sony Corporation Signal processing apparatus and method, and program
EP2107520A2 (en) 2008-04-01 2009-10-07 Sony Corporation Device, method and program for signal noise reduction
US8601042B2 (en) 2008-04-01 2013-12-03 Sony Corporation Signal processing device and method, and signal processing program

Also Published As

Publication number Publication date
CN1136719C (zh) 2004-01-28
CN1234939A (zh) 1999-11-10
KR20000029622A (ko) 2000-05-25
KR100529483B1 (ko) 2005-11-22
EP0917357A1 (en) 1999-05-19
US6434275B1 (en) 2002-08-13
JP4164877B2 (ja) 2008-10-15
EP2190205A2 (en) 2010-05-26
EP2190205A3 (en) 2010-10-06
EP0917357A4 (en) 2009-05-06

Similar Documents

Publication Publication Date Title
JP4164877B2 (ja) ブロック歪低減方法及び装置並びに符号化方法及び装置
JPWO1998054892A1 (ja) ブロック歪低減方法及び装置並びに符号化方法及び装置
US6466625B1 (en) Picture signal processing method and apparatus
CN103329536B (zh) 图像解码装置、图像编码装置及其方法
KR100823371B1 (ko) 화상 데이터 처리 장치 및 화상 데이터 처리 방법
CN102918843B (zh) 图像解码装置、图像编码装置以及用于图像解码和编码的方法和程序
EP2582138A1 (en) Image decoder apparatus, image encoder apparatus and method and program thereof
WO1997049250A1 (en) Device and method for encoding picture and device and method for decoding picture
WO2012063878A1 (ja) 画像処理装置と画像処理方法
EP1378127A2 (en) Detection and proper scaling of interlaced moving areas in mpeg-2 compressed video
JP3365784B2 (ja) 画像信号復号化装置
US8233548B2 (en) Noise reduction device and noise reduction method of compression coded image
JPH11205792A (ja) ブロック歪低減方法及び装置
JP4239231B2 (ja) ブロック歪低減装置及び方法
KR100907960B1 (ko) 텔레시네 검출을 사용하는 비디오 데이터 인코더
JP3599909B2 (ja) 動画像符号化装置
JP2002016923A (ja) 画像符号化装置および画像符号化方法
JP3896635B2 (ja) 画像データ変換装置及び方法、予測係数生成装置及び方法
JPH06233266A (ja) 映像符号化装置および映像復号化装置
JP2985752B2 (ja) 動画像復号化装置
JPH08191444A (ja) ビデオ信号復号化装置
JPH1198510A (ja) 画像復号化装置
JP2001359098A (ja) 画像信号処理装置及び画像信号処理方法
JP2007538451A (ja) 復号化ビデオにおいてアーチファクトを削減するアルゴリズム
JPH06141303A (ja) デコーダ

Legal Events

Date Code Title Description
WWE Wipo information: entry into national phase

Ref document number: 98801014.3

Country of ref document: CN

AK Designated states

Kind code of ref document: A1

Designated state(s): CN JP KR US

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): AT BE CH CY DE DK ES FI FR GB GR IE IT LU MC NL PT SE

WWE Wipo information: entry into national phase

Ref document number: 1019997000687

Country of ref document: KR

WWE Wipo information: entry into national phase

Ref document number: 1998921871

Country of ref document: EP

121 Ep: the epo has been informed by wipo that ep was designated in this application
WWP Wipo information: published in national office

Ref document number: 1998921871

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 09230465

Country of ref document: US

WWP Wipo information: published in national office

Ref document number: 1019997000687

Country of ref document: KR

WWG Wipo information: grant in national office

Ref document number: 1019997000687

Country of ref document: KR