WO2019189904A1 - イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム - Google Patents

イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム Download PDF

Info

Publication number
WO2019189904A1
WO2019189904A1 PCT/JP2019/014366 JP2019014366W WO2019189904A1 WO 2019189904 A1 WO2019189904 A1 WO 2019189904A1 JP 2019014366 W JP2019014366 W JP 2019014366W WO 2019189904 A1 WO2019189904 A1 WO 2019189904A1
Authority
WO
WIPO (PCT)
Prior art keywords
pixel
prediction
intra prediction
unit
filter
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2019/014366
Other languages
English (en)
French (fr)
Inventor
慎平 根本
俊輔 岩村
市ヶ谷　敦郎
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Japan Broadcasting Corp
Original Assignee
Nippon Hoso Kyokai NHK
Japan Broadcasting Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Hoso Kyokai NHK, Japan Broadcasting Corp filed Critical Nippon Hoso Kyokai NHK
Priority to EP19776140.6A priority Critical patent/EP3780603A4/en
Priority to KR1020207030322A priority patent/KR20200128577A/ko
Priority to CN201980028956.3A priority patent/CN112075080A/zh
Priority to JP2020509373A priority patent/JPWO2019189904A1/ja
Publication of WO2019189904A1 publication Critical patent/WO2019189904A1/ja
Priority to US17/038,281 priority patent/US20210014489A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/11—Selection of coding mode or of prediction mode among a plurality of spatial predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/593—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial prediction techniques

Definitions

  • the present invention relates to an intra prediction device, an image encoding device, an image decoding device, and a program.
  • Non-Patent Document 1 intra prediction using spatial correlation in a frame is used (for example, Non-Patent Document 1).
  • the encoding device side is optimized from 35 prediction modes of Planar prediction, DC prediction, and directionality prediction. The mode is selected and the information is sent to the decoding device side.
  • JEM intra-prediction performance evaluation software
  • JEM intra-prediction performance evaluation software
  • JEM intra-prediction performance evaluation software
  • a 4-tap interpolation filter is used in directional prediction, and one prediction pixel is generated from four prediction reference pixels.
  • the type of filter to be applied is determined according to the block size of the target block, and a predicted pixel is generated using a bicubic filter for a block size of a certain size or smaller, and a Gaussian filter for other blocks.
  • intra prediction originally uses a steep filter when generating a predicted pixel at a pixel position close to a reference pixel, and uses a gentle filter when generating a predicted pixel at a pixel position away from the reference pixel. Should.
  • an object of the present invention is to provide an intra prediction device, an image encoding device, an image decoding device, and a program capable of increasing the prediction accuracy of intra prediction.
  • the intra prediction apparatus performs intra prediction on each block obtained by dividing a frame-by-frame image constituting a moving image.
  • the intra prediction apparatus includes a filter determination unit that determines a filter to be used for generating a prediction pixel from a plurality of types of filters for each pixel position in one target block that is a target of the intra prediction, and the filter determination unit. And a prediction pixel generation unit that generates the prediction pixel from reference pixels around the one target block using the filter determined by the above.
  • the filter determination unit determines the filter corresponding to one pixel position in the one target block
  • the filter determination unit determines whether the reference pixel position closest to the one pixel position is between the one pixel position and the one pixel position.
  • the filter is determined according to the distance.
  • the intra prediction apparatus performs intra prediction on each block obtained by dividing a frame-by-frame image constituting a moving image.
  • the intra prediction apparatus includes a reference pixel number determination unit that determines the number of prediction reference pixels used for generation of a prediction pixel, and a reference pixel number determination unit among reference pixels around a block that is a target of the intra prediction.
  • a prediction pixel generation unit that generates the prediction pixel by applying a filter to the determined number of prediction reference pixels.
  • the reference pixel number determination unit determines the number of prediction reference pixels for each block to be subjected to the intra prediction or for each pixel position in the block to be subjected to the intra prediction.
  • the image encoding device includes the intra prediction device according to the first feature or the second feature.
  • the image decoding device includes the intra prediction device according to the first feature or the second feature.
  • the program according to the fifth feature causes the computer to function as an intra prediction device according to the first feature or the second feature.
  • an intra prediction device it is possible to provide an intra prediction device, an image encoding device, an image decoding device, and a program that can improve the prediction accuracy of intra prediction.
  • the image encoding device and the image decoding device according to the embodiment will be described with reference to the drawings.
  • the image encoding device and the image decoding device according to the embodiment encode and decode a moving image represented by MPEG.
  • MPEG moving image represented by MPEG.
  • FIG. 1 is a diagram illustrating a configuration of an image encoding device 1 according to the present embodiment.
  • the image encoding device 1 includes a block dividing unit 100, a subtracting unit 110, a transforming unit 121, a quantizing unit 122, an entropy coding unit 130, an inverse quantization unit 141, An inverse conversion unit 142, a synthesis unit 150, a memory 160, an intra prediction unit (intra prediction device) 170, an inter prediction unit 180, and a switching unit 190 are provided.
  • the block dividing unit 100 divides an input image in units of frames (or pictures) into block-like small areas, and outputs the blocks obtained by the division to the subtracting unit 110.
  • the block size is, for example, 32 ⁇ 32 pixels, 16 ⁇ 16 pixels, 8 ⁇ 8 pixels, or 4 ⁇ 4 pixels.
  • the shape of the block is not limited to a square, but may be a rectangle.
  • a block is a unit in which the image encoding apparatus 1 performs encoding and a unit in which the image decoding apparatus 2 performs decoding, and may be referred to as an encoding unit (CU).
  • the subtraction unit 110 calculates a prediction residual indicating a difference in units of pixels between the block input from the block dividing unit 100 and a predicted image (predicted block) corresponding to the block. Specifically, the subtraction unit 110 calculates a prediction residual by subtracting each pixel value of the predicted image from each pixel value of the block, and outputs the calculated prediction residual to the conversion unit 121.
  • the predicted image is input to the subtracting unit 110 from the switching unit 190 described later.
  • the transform unit 121 and the quantization unit 122 constitute a transform / quantization unit 120 that performs orthogonal transform processing and quantization processing in units of blocks.
  • the transform unit 121 performs orthogonal transform on the prediction residual input from the subtraction unit 110 to calculate a transform coefficient, and outputs the calculated transform coefficient to the quantization unit 122.
  • the orthogonal transform refers to, for example, discrete cosine transform (DCT: Discrete Cosine Transform), discrete sine transform (DST: Discrete Sine Transform), Karhunen Reeve transform (KLT: Karhunen? Loeve Transform), and the like.
  • the quantization unit 122 quantizes the transform coefficient input from the transform unit 121 using a quantization parameter (Qp) and a quantization matrix, and generates a quantized transform coefficient.
  • the quantization parameter (Qp) is a parameter that is commonly applied to each transform coefficient in the block, and is a parameter that determines the roughness of quantization.
  • the quantization matrix is a matrix having a quantization value at the time of quantizing each transform coefficient as an element.
  • the quantization unit 122 outputs the generated quantized transform coefficient information and the like to the entropy encoding unit 130 and the inverse quantization unit 141.
  • the entropy encoding unit 130 performs entropy encoding on the quantized transform coefficient input from the quantization unit 122, performs data compression, generates encoded data (bit stream), and converts the encoded data into an image code. Output to the outside of the converter 1.
  • Huffman code Context-based Adaptive Binary Arithmetic Coding
  • CABAC Context-based Adaptive Binary Arithmetic Coding
  • the entropy coding unit 130 receives information related to prediction from the intra prediction unit 170 and the inter prediction unit 180.
  • the entropy encoding unit 130 also performs entropy encoding of these pieces of information.
  • the inverse quantization unit 141 and the inverse transform unit 142 constitute an inverse quantization / inverse transform unit 140 that performs an inverse quantization process and an inverse orthogonal transform process in units of blocks.
  • the inverse quantization unit 141 performs an inverse quantization process corresponding to the quantization process performed by the quantization unit 122. Specifically, the inverse quantization unit 141 restores the transform coefficient by inversely quantizing the quantized transform coefficient input from the quantization unit 122 using the quantization parameter (Qp) and the quantization matrix. Then, the restored transform coefficient is output to the inverse transform unit 142.
  • Qp quantization parameter
  • the inverse transform unit 142 performs an inverse orthogonal transform process corresponding to the orthogonal transform process performed by the transform unit 121. For example, when the transform unit 121 performs discrete cosine transform, the inverse transform unit 142 performs inverse discrete cosine transform. The inverse transform unit 142 performs inverse orthogonal transform on the transform coefficient input from the inverse quantization unit 141 to restore the prediction residual, and outputs the restored prediction residual that is the restored prediction residual to the synthesis unit 150 To do.
  • the synthesizing unit 150 synthesizes the restored prediction residual input from the inverse transform unit 142 with the predicted image input from the switching unit 190 in units of pixels.
  • the synthesizing unit 150 adds each pixel value of the restored prediction residual and each pixel value of the predicted image to reconstruct (decode) the block, and outputs a reconstructed block, which is a reconstructed block, to the memory 160.
  • Such a reconstructed block may be referred to as a decoded block.
  • the memory 160 stores the reconstructed block input from the synthesis unit 150.
  • the memory 160 stores the reconstructed block in units of frames.
  • the intra prediction unit 170 refers to the decoded adjacent block adjacent to the prediction target block among the reconstructed blocks (decoded blocks) stored in the memory 160, and generates an intra predicted image. In addition, the intra prediction unit 170 selects an optimal intra prediction mode, and performs intra prediction using the selected intra prediction mode. A plurality of intra prediction modes corresponding to a plurality of prediction directions are defined in advance.
  • the prediction direction refers to a direction of an adjacent reference pixel based on the target pixel when the target pixel in the target block is predicted with reference to an adjacent pixel adjacent to the target block. That is, adjacent reference pixels to be used for prediction of pixels in the target block are determined by the intra prediction mode (prediction direction).
  • the intra prediction unit 170 outputs the intra prediction image to the switching unit 190 and outputs information on the selected intra prediction mode to the entropy encoding unit 130.
  • the inter prediction unit 180 performs inter prediction that predicts a target block using a reconstructed image (decoded image) in units of frames stored in the memory 160 as a reference image. Specifically, the inter prediction unit 180 calculates a motion vector by a technique such as block matching, and generates an inter prediction image based on the motion vector. The inter prediction unit 180 selects an optimal inter prediction method from inter prediction using a plurality of reference images (typically, bi-prediction) and inter prediction using one reference image (one-way prediction), Inter prediction is performed using the selected inter prediction method. The inter prediction unit 180 outputs the generated inter prediction image to the switching unit 190 and outputs information on the selected inter prediction method and motion vector to the entropy encoding unit 130.
  • a technique such as block matching
  • the switching unit 190 switches between the intra prediction image input from the intra prediction unit 170 and the inter prediction image input from the inter prediction unit 180, and outputs one of the prediction images to the subtraction unit 110 and the synthesis unit 150.
  • FIG. 2 is a diagram illustrating a configuration of the image decoding device 2 according to the present embodiment.
  • the image decoding device 2 includes an entropy code decoding unit 200, an inverse quantization unit 211, an inverse transform unit 212, a synthesis unit 220, a memory 230, an intra prediction unit 240, and an inter prediction.
  • Unit 250 and switching unit 260 are examples of the image decoding device 2 according to the present embodiment.
  • the entropy code decoding unit 200 decodes the encoded data generated by the encoding device 1 and outputs the quantized transform coefficient to the inverse quantization unit 211. Also, the entropy code decoding unit 200 decodes the encoded data, acquires information related to prediction (intra prediction and inter prediction), and outputs information related to prediction to the intra prediction unit 240 and the inter prediction unit 250. Specifically, the entropy code decoding unit 200 outputs information on the intra prediction mode to the intra prediction unit 240 and outputs information on the inter prediction method and the motion vector to the inter prediction unit 250.
  • the inverse quantization unit 211 and the inverse transform unit 212 constitute an inverse quantization / inverse transform unit 210 that performs an inverse quantization process and an inverse orthogonal transform process in units of blocks.
  • the inverse quantization unit 211 performs an inverse quantization process corresponding to the quantization process performed by the quantization unit 122 of the image encoding device 1.
  • the inverse quantization unit 211 restores and restores the transform coefficient by inversely quantizing the quantized transform coefficient input from the entropy code decoding unit 200 using the quantization parameter (Qp) and the quantization matrix.
  • the transform coefficient is output to the inverse transform unit 212.
  • the inverse transform unit 212 performs an inverse orthogonal transform process corresponding to the orthogonal transform process performed by the transform unit 121 of the image encoding device 1.
  • the inverse transform unit 212 performs inverse orthogonal transform on the transform coefficient input from the inverse quantization unit 211 to restore the prediction residual, and outputs the restored prediction residual (restored prediction residual) to the synthesis unit 220. To do.
  • the synthesizing unit 220 reconstructs (decodes) the original block by synthesizing the prediction residual input from the inverse transform unit 212 and the predicted image input from the switching unit 260 in units of pixels.
  • the block is output to the memory 230.
  • the memory 230 stores the reconstructed block input from the synthesis unit 220.
  • the memory 230 stores the reconstructed block in units of frames.
  • the memory 230 outputs a reconstructed image (decoded image) in units of frames to the outside of the image decoding device 2.
  • the intra prediction unit 240 refers to the reconstructed block stored in the memory 230 and generates an intra prediction image by performing intra prediction according to the intra prediction information (intra prediction mode) input from the entropy code decoding unit 200. Specifically, the intra prediction unit 240 generates an intra predicted image with reference to adjacent reference pixels determined according to the intra prediction mode among the reconstructed blocks (decoded blocks) stored in the memory 230. The intra prediction unit 240 outputs the intra predicted image to the switching unit 260.
  • intra prediction information intra prediction information
  • intra prediction unit 240 generates an intra predicted image with reference to adjacent reference pixels determined according to the intra prediction mode among the reconstructed blocks (decoded blocks) stored in the memory 230.
  • the intra prediction unit 240 outputs the intra predicted image to the switching unit 260.
  • the inter prediction unit 250 performs inter prediction that predicts a block using a reconstructed image (decoded image) in units of frames stored in the memory 160 as a reference image.
  • the inter prediction unit 250 generates an inter prediction image by performing inter prediction according to the inter prediction information (such as motion vector information) input from the entropy code decoding unit 200, and outputs the inter prediction image to the switching unit 260.
  • the inter prediction information such as motion vector information
  • the switching unit 260 switches between the intra prediction image input from the intra prediction unit 240 and the inter prediction image input from the inter prediction unit 250, and outputs one of the prediction images to the synthesis unit 220.
  • FIG. 3 is a diagram illustrating a configuration of the intra prediction unit 170 of the image encoding device 1 according to the present embodiment.
  • the intra prediction unit 240 of the image decoding device 2 has the same configuration as the intra prediction unit 170 of the image encoding device 1 and performs the same operation.
  • the intra prediction unit 170 performs intra prediction on each block obtained by dividing an original image in units of frames constituting a moving image.
  • a target block one block that is the target of intra prediction is referred to as a target block.
  • the intra prediction unit 170 includes a prediction mode selection unit 171, a filter determination unit 172A, and a prediction pixel generation unit 173.
  • the prediction mode selection unit 171 selects an intra prediction mode to be applied to the target block, and outputs the selected intra prediction mode to the filter determination unit 172A and the prediction pixel generation unit 173. Further, the information on the intra prediction mode selected by the prediction mode selection unit 171 is also output to the entropy encoding unit 130 and encoded by the entropy encoding unit 130.
  • the image decoding device 2 decodes the information of the intra prediction mode, and selects the same intra prediction mode as that of the image encoding device 1.
  • FIG. 4 is a diagram illustrating an example of an intra prediction mode that can be applied to a target block. In the example of FIG. 4, 67 intra prediction modes from 0 to 66 are shown.
  • the intra prediction mode “0” is Planar prediction
  • the intra prediction mode “1” is DC prediction
  • the intra prediction modes “2” to “66” are directional prediction.
  • the prediction mode selection unit 171 selects an optimal intra prediction mode based on, for example, RD (Rate Distortion) cost.
  • RD Red Distortion
  • directionality prediction the direction of the arrow indicates the prediction direction
  • the starting point of the arrow indicates the position of the prediction target pixel
  • the end point of the arrow indicates the position of the reference pixel used for prediction of the prediction target pixel.
  • a prediction value is determined by applying an interpolation filter to a plurality of reference pixels.
  • the filter determination unit 172A When the intra prediction mode selected by the prediction mode selection unit 171 is a predetermined directional prediction and the reference pixel is not an integer pixel position, the filter determination unit 172A performs the prediction pixel for each pixel position in the target block.
  • a filter (interpolation filter) to be used for generation of is determined from a plurality of types of filters. Specifically, the filter determination unit 172A determines that the filter is to be applied when there is no reference pixel at an integer position on a straight line extending from the pixel position of the prediction target pixel in the intra prediction direction.
  • the predetermined directionality prediction means directionality prediction that requires interpolation of reference pixels.
  • mode “18” vertical direction
  • mode “50” 45-degree oblique direction
  • modes “2”, “34”, “66” etc.
  • the filter determination unit 172A determines that the filter is not applied when there is a reference pixel at an integer position on a straight line extending in the intra prediction direction, and applies the filter otherwise. Judge that. Hereinafter, the description will be made assuming that the filter determination unit 172A determines to apply the filter.
  • the filter is a 4-tap interpolation filter.
  • the filter is used to generate one prediction pixel from four prediction reference pixels for the prediction target pixel.
  • the prediction reference pixel refers to a reference pixel (that is, a reference pixel to which a filter is applied) used for prediction of the target pixel among adjacent reference pixels on the left and upper sides of the target block.
  • the filter since the filter is a 4-tap interpolation filter, the number of prediction reference pixels is four.
  • multiple types of filters are filters with different filter characteristics.
  • the plurality of types of filters include, for example, a bicubic filter and a Gaussian filter.
  • the bicubic filter is a steep filter
  • the Gaussian filter is a gentle filter.
  • the filter determining unit 172A determines a filter corresponding to one pixel position in the target block, the position of the reference pixel closest to the one pixel position and the one pixel position are determined. The filter is determined according to the distance between them. In this way, the filter determination unit 172A determines a filter for each pixel position in the target block, so that the filter can be appropriately used in units of pixels in the target block.
  • a filter corresponding to one pixel position in order to determine the filter according to the distance between the position of the reference pixel closest to the one pixel position and the one pixel position, for example, A steep filter can be used when generating a predicted pixel at a pixel position close to the reference pixel, and a gentle filter can be used when generating a predicted pixel at a pixel position away from the reference pixel. Thereby, the prediction precision of intra prediction can be improved.
  • the prediction pixel generation unit 173 generates a prediction pixel from the prediction reference pixel using the filter determined by the filter determination unit 172A for each pixel position in the target block.
  • FIG. 5 is a diagram illustrating an example of a predicted pixel generation method using a filter. In FIG. 5, it is assumed that the block size of the target block is 4 ⁇ 4, and a predicted pixel is generated for the pixel position (coordinate position) in the second row and the third column.
  • the prediction pixel generation unit 173 generates a prediction pixel by applying a filter to four prediction reference pixels # 1 to # 4 among the upper reference pixels of the target block. When prediction pixels are generated for all pixel positions in the target block in this way, the prediction pixel generation unit 173 outputs a block including the generated prediction pixels as an intra prediction image.
  • the filter determination unit 172A includes a reference pixel determination unit 172a, a distance calculation unit 172b, a threshold setting unit 172c, and a comparison determination unit 172d.
  • the reference pixel determining unit 172a determines the closest reference pixel (that is, a reference pixel used for calculating the distance) for each pixel position in the target block. Specifically, the reference pixel determination unit 172a determines the reference pixel on the upper side of the target block and the left side as the reference pixel closest to the pixel position of the prediction target pixel according to the intra prediction mode selected by the prediction mode selection unit 171. Which reference pixel to use is determined. Although the prediction reference pixel used for intra prediction changes according to the intra prediction mode, the distance can be appropriately calculated by determining the reference pixel for obtaining the distance according to the intra prediction mode.
  • the reference pixel determining unit 172a determines the left reference pixel when the intra prediction mode is “2” to “34”, and determines the upper reference pixel when the intra prediction mode is “35” to “66”. .
  • the reference pixel determination unit 172a outputs the determined position (coordinates) of the reference pixel to the distance calculation unit 172b.
  • the distance calculation unit 172b calculates the distance between the position of the reference pixel determined by the reference pixel determination unit 172a and the position of the target pixel, and outputs the calculated distance to the comparison determination unit 172d.
  • the threshold setting unit 172c sets one or a plurality of thresholds to be compared with the distance according to the intra prediction mode selected by the prediction mode selection unit 171. Specifically, the threshold setting unit 172c holds a mapping table in which an intra prediction mode and a threshold are associated with each other, and sets a threshold corresponding to the intra prediction mode using the mapping table.
  • the prediction reference pixel used for intra prediction changes according to the intra prediction mode, and the distance between the prediction reference pixel and the target pixel also changes accordingly, but the filter is set by setting a threshold according to the intra prediction mode. Can be determined appropriately. In the present embodiment, a case where there is one threshold will be described, but a plurality of thresholds may be provided.
  • the threshold setting unit 172c outputs the threshold to be set to the comparison determination unit 172d.
  • the comparison determination unit 172d determines the filter corresponding to the target pixel by comparing the distance calculated by the distance calculation unit 172b with the threshold set by the threshold setting unit 172c, and the determined filter is used as the prediction pixel generation unit. To 173. For example, the comparison determination unit 172d determines the filter 1 for the target pixel whose distance is equal to or smaller than the threshold, and determines the filter 2 for the target pixel whose distance exceeds the threshold.
  • the filter 1 is a steeper filter than the filter 2.
  • the filter 1 may be a bicubic filter, and the filter 2 may be a Gaussian filter.
  • FIG. 6 is a diagram illustrating an example of the operation of the filter determination unit 172A.
  • the block size of the target block is 8 ⁇ 8.
  • the reference pixel determination unit 172a calculates the distance because the intra prediction mode selected by the prediction mode selection unit 171 is within the range of “35” to “66”. An upper reference pixel is determined as a reference pixel for this purpose. Further, the threshold setting unit 172c sets a threshold to be compared with the distance according to the intra prediction mode selected by the prediction mode selection unit 171. Here, the description will be made assuming that the threshold set by the threshold setting unit 172c is “4”.
  • the distance calculation unit 172b calculates the distance between each pixel position in the target block and the upper reference pixel determined by the reference pixel determination unit 172a. For example, the distance calculation unit 172b calculates the distance “1” for each pixel position in the first row in the target block, and calculates the distance “2” for each pixel position in the second row in the target block. For each pixel position in the third row in the target block, the distance is calculated as “3”. For each pixel position in the fourth row in the target block, the distance is calculated as “4”. For each pixel position in the fifth row, the distance is calculated as “5”, for each pixel position in the sixth row in the target block, the distance is calculated as “6”, and each pixel in the seventh row in the target block. For the position, the distance is calculated as “7”, and for each pixel position in the eighth row in the target block, the distance is calculated as “8”.
  • the comparison determination unit 172d determines a filter for each pixel position in the target block by comparing the distance calculated by the distance calculation unit 172b with the threshold set by the threshold setting unit 172c. Since the threshold set by the threshold setting unit 172c is “4”, the distance from the upper reference pixel is equal to or smaller than the threshold for each pixel position in the first to fourth rows in the target block. Therefore, the comparison determination unit 172d determines a filter 1 (for example, a bicubic filter) for each pixel position in the first to fourth rows in the target block. On the other hand, for each pixel position in the 5th to 8th rows in the target block, the distance from the upper reference pixel exceeds the threshold value. Therefore, the comparison determination unit 172d determines a filter 2 (for example, a Gaussian filter) for each pixel position in the fifth to eighth rows in the target block.
  • a filter 1 for example, a bicubic filter
  • FIG. 7 is a diagram illustrating an example of an operation flow of the intra prediction unit 170 of the image encoding device 1 according to the present embodiment.
  • step S101 the prediction mode selection unit 171 selects an intra prediction mode to be applied to the target block.
  • step S102 the reference pixel determining unit 172a determines a reference pixel to be used for calculating the distance for each pixel position in the target block, according to the intra prediction mode selected by the prediction mode selecting unit 171.
  • step S103 the distance calculation unit 172b calculates the distance between the position of the reference pixel determined by the reference pixel determination unit 172a and the position of the target pixel.
  • step S104 the threshold setting unit 172c sets a threshold to be compared with the distance according to the intra prediction mode selected by the prediction mode selection unit 171.
  • step S105 the comparison determination unit 172d compares the distance calculated by the distance calculation unit 172b with the threshold set by the threshold setting unit 172c.
  • step S106 the comparison determination unit 172d determines a filter corresponding to the target pixel according to the comparison result between the distance and the threshold.
  • step S107 the prediction pixel generation unit 173 generates a prediction pixel from the prediction reference pixel using the filter determined by the filter determination unit 172A.
  • the intra prediction unit 170 (prediction pixel generation unit 173) outputs an intra prediction image corresponding to the target block.
  • step S108 when the generation of all the prediction pixels in the target block has not been completed yet (step S108: NO), the processing is shifted to the next prediction target pixel in the target block (step S109), and the next prediction target pixel is determined.
  • the distance is calculated (step S103), the distance is compared with the threshold (step S105), the filter is determined (step S106), and the prediction pixel is generated (step S106).
  • the distance calculation unit 172b calculates the distance between the prediction target pixel and the reference pixel, the horizontal distance between the prediction target pixel and the left reference pixel, or the prediction It was assumed that the vertical distance between the target pixel and the upper reference pixel was calculated. In such a case, the reference pixel used for calculating the distance may not be a prediction reference pixel (that is, a reference pixel actually used for prediction).
  • a prediction reference pixel (that is, a reference pixel that is actually used for prediction) is used as a reference pixel that is used for calculating a distance.
  • the reference pixel determining unit 172a uses a reference pixel corresponding to an intersection of a reference pixel sequence including a plurality of prediction reference pixels and a line segment extended from the position of the prediction target pixel in the prediction direction of the intra prediction mode. , And determined as a reference pixel used for distance calculation. Then, the distance calculation unit 172b calculates the distance between the position of the reference pixel determined by the reference pixel determination unit 172a and the prediction target pixel.
  • the filter can be appropriately determined by calculating the distance from the reference pixel that is actually used for prediction.
  • FIG. 8 is a diagram illustrating an example of the operation of the filter determination unit 172A according to the present modification example.
  • the block size of the target block is 8 ⁇ 8.
  • the reference pixel determining unit 172a extends in the prediction direction of the intra prediction mode from the position of the reference pixel sequence including a plurality of prediction reference pixels (prediction reference pixels # 1 to # 4) and the prediction target pixel.
  • the reference pixel corresponding to the intersection with the line segment is determined as the reference pixel used for calculating the distance.
  • the reference pixel determining unit 172a determines the predicted reference pixel # 2 as a reference pixel used for calculating the distance. Also in this modification example, the threshold setting unit 172c sets a threshold to be compared with the distance according to the intra prediction mode. Here, it is assumed that the threshold set by the threshold setting unit 172c is “4”.
  • the reference pixel determining unit 172a determines the predicted reference pixel # 3 as a reference pixel used for calculating the distance. Also in this modification example, the threshold setting unit 172c sets a threshold to be compared with the distance according to the intra prediction mode. Here, it is assumed that the threshold set by the threshold setting unit 172c is “3”.
  • Second Embodiment> The second embodiment will be described mainly with respect to differences from the first embodiment.
  • the first embodiment is an embodiment for determining the type of filter for generating a prediction pixel on the assumption that the filter is a 4-tap interpolation filter.
  • the second embodiment is an embodiment for determining the number of filter taps (that is, the number of prediction reference pixels) while fixing the type of filter.
  • FIG. 9 is a diagram illustrating a configuration of the intra prediction unit 170 of the image encoding device 1 according to the present embodiment.
  • the intra prediction unit 240 of the image decoding device 2 has the same configuration as the intra prediction unit 170 of the image encoding device 1 and performs the same operation.
  • the intra prediction unit 170 includes a prediction mode selection unit 171, a reference pixel number determination unit 172 ⁇ / b> B, and a prediction pixel generation unit 173.
  • the prediction mode selection unit 171 is the same as in the first embodiment.
  • the reference pixel number determination unit 172B determines the number of prediction reference pixels (the number of filter taps) used to generate a prediction pixel. The reference pixel number determination unit 172B determines the number of prediction reference pixels for each pixel position in the target block to be subjected to intra prediction.
  • the prediction pixel generation unit 173 applies a filter to the number of prediction reference pixels determined by the reference pixel number determination unit 172B from the reference pixels around the block that is the target of intra prediction, thereby obtaining a prediction pixel. Generate.
  • the prediction accuracy of intra prediction can be improved by making it possible to change the number of prediction reference pixels used for generating a prediction pixel in units of blocks or in units of pixels. Moreover, even if there is only one type of filter, the filter characteristics can be changed depending on the number of predicted reference pixels.
  • the reference pixel number determination unit 172B determines the number of prediction reference pixels corresponding to one pixel position (prediction target pixel) in a block to be subjected to intra prediction
  • the one pixel position The number of predicted reference pixels is determined according to the distance between the position of the reference pixel closest to the one pixel position and the one pixel position.
  • the filter since the filter is determined for each pixel position in one block, the filter can be properly used in units of pixels in the target block. For example, when generating a predicted pixel at a pixel position close to the reference pixel, the number of predicted reference pixels is reduced, and when generating a predicted pixel at a pixel position away from the reference pixel, the number of predicted reference pixels is increased. Thus, an appropriate filter characteristic can be obtained.
  • the reference pixel number determination unit 172B includes a reference pixel determination unit 172a, a distance calculation unit 172b, a threshold setting unit 172c, and a comparison determination unit 172d.
  • Each of the reference pixel determining unit 172a, the distance calculating unit 172b, and the threshold setting unit 172c performs the same operation as that of the first embodiment or the modification example thereof.
  • the comparison determination unit 172d determines the number of prediction target pixels corresponding to the target pixel by comparing the distance calculated by the distance calculation unit 172b with the threshold set by the threshold setting unit 172c, and the determined prediction target pixel The number is output to the prediction pixel generation unit 173. For example, the comparison determination unit 172d determines the prediction target pixel number A for the target pixel whose distance is equal to or less than the threshold, and determines the prediction target pixel number B for the target pixel whose distance exceeds the threshold. The predicted pixel number A is smaller than the predicted pixel number B. For example, the prediction target pixel number A is “4”, and the prediction target pixel number A is “5” or “6”.
  • FIG. 10 is a diagram illustrating an example of an operation flow of the intra prediction unit 170 of the image encoding device 1 according to the present embodiment.
  • step S201 the prediction mode selection part 171 selects the intra prediction mode applied to an object block.
  • step S202 the reference pixel determining unit 172a determines a reference pixel to be used for calculating the distance for each pixel position in the target block according to the intra prediction mode selected by the prediction mode selecting unit 171.
  • step S203 the distance calculation unit 172b calculates the distance between the position of the reference pixel determined by the reference pixel determination unit 172a and the position of the target pixel.
  • step S204 the threshold value setting unit 172c sets a threshold value to be compared with the distance according to the intra prediction mode selected by the prediction mode selection unit 171.
  • step S205 the comparison determination unit 172d compares the distance calculated by the distance calculation unit 172b with the threshold set by the threshold setting unit 172c.
  • step S206 the comparison determination unit 172d determines the number of prediction reference pixels (the number of filter taps) corresponding to the target pixel according to the comparison result between the distance and the threshold.
  • step S207 the prediction pixel generation unit 173 generates a prediction pixel from the number of prediction reference pixels determined by the filter determination unit 172A.
  • the intra prediction unit 170 (prediction pixel generation unit 173) outputs an intra prediction image corresponding to the target block.
  • step S208 when the generation of all the prediction pixels in the target block has not been completed yet (step S208: NO), the process moves to the next prediction target pixel in the target block (step S209), and the next prediction target pixel is determined.
  • the distance is calculated (step S203), the distance is compared with the threshold (step S205), the filter is determined (step S206), and the prediction pixel is generated (step S206).
  • the reference pixel number determination unit 172B determines the number of prediction reference pixels according to the distance from the reference pixel for each pixel position in the target block to be subjected to intra prediction. .
  • the reference pixel number determination unit 172B determines the prediction reference according to the block size of the target block when determining the number of prediction reference pixels corresponding to the target block to be subjected to intra prediction. Determine the number of pixels. For example, appropriate filter characteristics can be obtained by reducing the number of predicted reference pixels when the block size is small and increasing the number of predicted reference pixels when the block size is large.
  • the block size may define the length of the target block in the vertical direction ⁇ the length in the horizontal direction, or may define one of the length in the vertical direction or the length in the horizontal direction.
  • either the length in the vertical direction or the length in the horizontal direction may be switched.
  • the reference pixel number determination unit 172B for example, when the intra prediction mode is “2” to “34”, The length in the direction is used as the block size.
  • the intra prediction mode is “35” to “66”
  • the length in the vertical direction is used as the block size.
  • FIG. 11 is a diagram illustrating an example of an operation flow of the intra prediction unit 170 of the image encoding device 1 according to this modification.
  • step S301 the prediction mode selection part 171 selects the intra prediction mode applied to an object block.
  • step S302 the reference pixel number determination unit 172B acquires the block size of the target block.
  • the reference pixel number determination unit 172B determines the number of prediction reference pixels (the number of filter taps) according to the block size of the target block. For example, the reference pixel number determination unit 172B compares the block size of the target block with a threshold, determines the prediction target pixel number A when the block size is equal to or smaller than the threshold, and predicts when the block size exceeds the threshold. The target pixel number B is determined.
  • step S304 the prediction pixel generation unit 173 generates a prediction pixel from the number of prediction reference pixels determined by the filter determination unit 172A.
  • the intra prediction unit 170 (prediction pixel generation unit 173) outputs an intra prediction image corresponding to the target block.
  • step S308 when the generation of all the prediction pixels in the target block has not been completed yet (step S308: NO), the process moves to the next prediction target pixel in the target block (step S309), and the next prediction target pixel is determined. A prediction pixel is generated (step S304).
  • a program that causes a computer to execute each process performed by the image encoding device 1 and a program that causes a computer to execute each process performed by the image decoding device 2 may be provided.
  • the program may be recorded on a computer readable medium. If a computer-readable medium is used, a program can be installed in the computer.
  • the computer-readable medium on which the program is recorded may be a non-transitory recording medium.
  • the non-transitory recording medium is not particularly limited, but may be a recording medium such as a CD-ROM or a DVD-ROM.
  • a circuit that executes each process performed by the image encoding device 1 may be integrated, and the image encoding device 1 may be configured as a semiconductor integrated circuit (chip set, SoC).
  • a circuit that executes each process performed by the image decoding device 2 may be integrated, and the image decoding device 2 may be configured as a semiconductor integrated circuit (chip set, SoC).

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

動画像を構成するフレーム単位の画像を分割して得られた各ブロックに対するイントラ予測を行うイントラ予測部（イントラ予測装置）１７０は、イントラ予測の対象とする１つの対象ブロック内の画素位置ごとに、予測画素の生成に用いるフィルタを複数種類のフィルタの中から決定するフィルタ決定部１７２Ａと、フィルタ決定部１７２Ａにより決定されたフィルタを用いて、１つの対象ブロック周辺の参照画素から予測画素を生成する予測画素生成部１７３と、を備える。フィルタ決定部１７２Ａは、１つの対象ブロック内の１つの画素位置に対応するフィルタを決定する際に、１つの画素位置に最も近い参照画素の位置と１つの画素位置との間の距離に応じて、フィルタを決定する。

Description

イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
　本発明は、イントラ予測装置、画像符号化装置、画像復号装置、及びプログラムに関する。
　近年、映像符号化技術では８Ｋ－ＳＨＶに代表されるような超高解像度映像の普及が進んでおり、膨大なデータ量の動画像を伝送するための手法としてＡＶＣ／Ｈ．２６４やＨＥＶＣ／Ｈ．２６５などの符号化方式が知られている。
　かかる符号化方式ではフレーム内の空間的な相関を利用したイントラ予測が利用されている（例えば、非特許文献１）。非特許文献１に記載のイントラ予測では、対象ブロックの周辺の復号済参照画素を利用して、Ｐｌａｎａｒ予測、ＤＣ予測、および方向性予測の計３５通りの予測モードから符号化装置側で最適なモードを選択し、その情報を復号装置側へ送る。
　また、ＩＳＯ／ＩＥＣ　ＳＣ２９　ＷＧ１１とＩＴＵ－Ｔ　ＳＧ１６　ＷＰ３　Ｑ６が合同で検討する次世代映像符号化方式の性能評価用ソフトウェア（ＪＥＭ）において、イントラ予測では、参照画素の内挿が必要な一部の方向性予測において４タップ内挿フィルタを用いており、４つの予測参照画素から１つの予測画素を生成している。その際に対象ブロックのブロックサイズに応じて適用するフィルタの種類を決定しており、ある大きさ以下のブロックサイズではバイキュービックフィルタ、それ以外ではガウシアンフィルタを用いて予測画素を生成している。
Ｒｅｃｏｍｍｅｎｄａｔｉｏｎ　ＩＴＵ－Ｔ　Ｈ．２６５，（１２／２０１６），　"Ｈｉｇｈ　ｅｆｆｉｃｉｅｎｃｙ　ｖｉｄｅｏ　ｃｏｄｉｎｇ"，　Ｉｎｔｅｒｎａｔｉｏｎａｌ　Ｔｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎ　Ｕｎｉｏｎ
　ところで、イントラ予測は、本来、参照画素に近い画素位置における予測画素を生成する場合には急峻なフィルタを用い、参照画素から離れた画素位置における予測画素を生成する場合にはなだらかなフィルタを用いるべきである。
　しかしながら、従来の方法では、１つの対象ブロックについて適用するフィルタは１種類のみである。このため、大きなサイズのブロック、又はブロック内の一部の画素が参照画素に対して離れているような細長いブロックなどにおいて、イントラ予測の予測精度を高めることができないという問題があった。
　そこで、本発明は、イントラ予測の予測精度を高めることが可能なイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供することを目的とする。
　第１の特徴に係るイントラ予測装置は、動画像を構成するフレーム単位の画像を分割して得られた各ブロックに対するイントラ予測を行う。当該イントラ予測装置は、前記イントラ予測の対象とする１つの対象ブロック内の画素位置ごとに、予測画素の生成に用いるフィルタを複数種類のフィルタの中から決定するフィルタ決定部と、前記フィルタ決定部により決定された前記フィルタを用いて、前記１つの対象ブロック周辺の参照画素から前記予測画素を生成する予測画素生成部と、を備える。前記フィルタ決定部は、前記１つの対象ブロック内の１つの画素位置に対応する前記フィルタを決定する際に、前記１つの画素位置に最も近い参照画素の位置と前記１つの画素位置との間の距離に応じて、前記フィルタを決定する。
　第２の特徴に係るイントラ予測装置は、動画像を構成するフレーム単位の画像を分割して得られた各ブロックに対するイントラ予測を行う。当該イントラ予測装置は、予測画素の生成に用いる予測参照画素の数を決定する参照画素数決定部と、前記イントラ予測の対象とするブロック周辺の参照画素の中から、前記参照画素数決定部により決定された数の予測参照画素に対してフィルタを適用することにより、前記予測画素を生成する予測画素生成部と、を備える。前記参照画素数決定部は、前記イントラ予測の対象とするブロックごとに、又は前記イントラ予測の対象とするブロック内の画素位置ごとに、前記予測参照画素の数を決定する。
　第３の特徴に係る画像符号化装置は、第１の特徴又は第２の特徴に係るイントラ予測装置を備える。
　第４の特徴に係る画像復号装置は、第１の特徴又は第２の特徴に係るイントラ予測装置を備える。
　第５の特徴に係るプログラムは、コンピュータを第１の特徴又は第２の特徴に係るイントラ予測装置として機能させる。
　本発明によれば、イントラ予測の予測精度を高めることが可能なイントラ予測装置、画像符号化装置、画像復号装置、及びプログラムを提供できる。
第１及び第２実施形態に係る画像符号化装置の構成を示す図である。 第１及び第２実施形態に係る画像復号装置の構成を示す図である。 第１実施形態に係るイントラ予測部の構成を示す図である。 対象ブロックに適用され得るイントラ予測モードの一例を示す図である。 フィルタを用いた予測画素の生成方法の一例を示す図である。 第１実施形態に係るフィルタ決定部の動作の一例を示す図である。 第１実施形態に係るイントラ予測部の動作フロー例を示す図である。 第１実施形態の変更例に係るフィルタ決定部の動作の一例を示す図である。 第２実施形態に係るイントラ予測部の構成を示す図である。 第２実施形態に係るイントラ予測部の動作フロー例を示す図である。 第２実施形態の変更例に係るイントラ予測部の動作フロー例を示す図である。
　図面を参照して、実施形態に係る画像符号化装置及び画像復号装置について説明する。実施形態に係る画像符号化装置及び画像復号装置は、ＭＰＥＧに代表される動画の符号化及び復号を行う。以下の図面の記載において、同一又は類似の部分には同一又は類似の符号を付している。
　＜１．第１実施形態＞
　（１．１．画像符号化装置の構成）
　図１は、本実施形態に係る画像符号化装置１の構成を示す図である。図１に示すように、画像符号化装置１は、ブロック分割部１００と、減算部１１０と、変換部１２１と、量子化部１２２と、エントロピー符号化部１３０と、逆量子化部１４１と、逆変換部１４２と、合成部１５０と、メモリ１６０と、イントラ予測部（イントラ予測装置）１７０と、インター予測部１８０と、切替部１９０とを備える。
　ブロック分割部１００は、フレーム（或いはピクチャ）単位の入力画像をブロック状の小領域に分割し、分割により得たブロックを減算部１１０に出力する。ブロックのサイズは、例えば３２×３２画素、１６×１６画素、８×８画素、又は４×４画素等である。ブロックの形状は正方形に限らず、長方形であってもよい。ブロックは、画像符号化装置１が符号化を行う単位及び画像復号装置２が復号を行う単位であり、符号化ユニット（ＣＵ）と称されることもある。
　減算部１１０は、ブロック分割部１００から入力されたブロックとこのブロックに対応する予測画像（予測ブロック）との間の画素単位での差分を示す予測残差を算出する。具体的には、減算部１１０は、ブロックの各画素値から予測画像の各画素値を減算することにより予測残差を算出し、算出した予測残差を変換部１２１に出力する。予測画像は、後述する切替部１９０から減算部１１０に入力される。
　変換部１２１及び量子化部１２２は、ブロック単位で直交変換処理及び量子化処理を行う変換・量子化部１２０を構成する。
　変換部１２１は、減算部１１０から入力された予測残差に対して直交変換を行って変換係数を算出し、算出した変換係数を量子化部１２２に出力する。直交変換とは、例えば、離散コサイン変換（ＤＣＴ：Ｄｉｓｃｒｅｔｅ　Ｃｏｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）や離散サイン変換（ＤＳＴ：Ｄｉｓｃｒｅｔｅ　Ｓｉｎｅ　Ｔｒａｎｓｆｏｒｍ）、カルーネンレーブ変換（ＫＬＴ：　Ｋａｒｈｕｎｅｎ？Ｌｏeｖｅ　Ｔｒａｎｓｆｏｒｍ）等をいう。
　量子化部１２２は、変換部１２１から入力された変換係数を量子化パラメータ（Ｑｐ）及び量子化行列を用いて量子化し、量子化変換係数を生成する。量子化パラメータ（Ｑｐ）は、ブロック内の各変換係数に対して共通して適用されるパラメータであって、量子化の粗さを定めるパラメータである。量子化行列は、各変換係数を量子化する際の量子化値を要素として有する行列である。量子化部１２２は、生成した量子化変換係数情報などをエントロピー符号化部１３０及び逆量子化部１４１に出力する。
　エントロピー符号化部１３０は、量子化部１２２から入力された量子化変換係数に対してエントロピー符号化を行い、データ圧縮を行って符号化データ（ビットストリーム）を生成し、符号化データを画像符号化装置１の外部に出力する。エントロピー符号化には、ハフマン符号やＣＡＢＡＣ（Ｃｏｎｔｅｘｔ－ｂａｓｅｄ　Ａｄａｐｔｉｖｅ　Ｂｉｎａｒｙ　Ａｒｉｔｈｍｅｔｉｃ　Ｃｏｄｉｎｇ；コンテキスト適応型２値算術符号）等を用いることができる。なお、エントロピー符号化部１３０には、イントラ予測部１７０及びインター予測部１８０から予測に関する情報が入力される。エントロピー符号化部１３０は、これらの情報のエントロピー符号化も行う。
　逆量子化部１４１及び逆変換部１４２は、ブロック単位で逆量子化処理及び逆直交変換処理を行う逆量子化・逆変換部１４０を構成する。
　逆量子化部１４１は、量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。具体的には、逆量子化部１４１は、量子化部１２２から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部１４２に出力する。
　逆変換部１４２は、変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。例えば、変換部１２１が離散コサイン変換を行った場合には、逆変換部１４２は逆離散コサイン変換を行う。逆変換部１４２は、逆量子化部１４１から入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差である復元予測残差を合成部１５０に出力する。
　合成部１５０は、逆変換部１４２から入力された復元予測残差を、切替部１９０から入力された予測画像と画素単位で合成する。合成部１５０は、復元予測残差の各画素値と予測画像の各画素値を加算してブロックを再構成（復号）し、再構成したブロックである再構成ブロックをメモリ１６０に出力する。かかる再構成ブロックは、復号済みブロックと称されることがある。
　メモリ１６０は、合成部１５０から入力された再構成ブロックを記憶する。メモリ１６０は、再構成ブロックをフレーム単位で記憶する。
　イントラ予測部１７０は、メモリ１６０に記憶された再構成ブロック（復号済みブロック）のうち、予測対象のブロックに隣接する復号済み隣接ブロックを参照してイントラ予測画像を生成する。また、イントラ予測部１７０は、最適なイントラ予測モードを選択し、選択したイントラ予測モードを用いてイントラ予測を行う。複数の予測方向に対応する複数のイントラ予測モードが予め規定されている。予測方向とは、対象ブロックに隣接する隣接画素を参照して対象ブロック中の対象画素を予測する際に、対象画素を基準とした隣接参照画素の方向をいう。すなわち、イントラ予測モード（予測方向）により、対象ブロック中の画素の予測に用いるべき隣接参照画素が定められる。イントラ予測部１７０は、イントラ予測画像を切替部１９０に出力するとともに、選択したイントラ予測モードの情報をエントロピー符号化部１３０に出力する。
　インター予測部１８０は、メモリ１６０に記憶されたフレーム単位の再構成画像（復号画像）を参照画像として用いて対象ブロックを予測するインター予測を行う。具体的には、インター予測部１８０は、ブロックマッチングなどの手法により動きベクトルを算出し、動きベクトルに基づいてインター予測画像を生成する。インター予測部１８０は、複数の参照画像を用いるインター予測（典型的には、双予測）や、１つの参照画像を用いるインター予測（片方向予測）の中から最適なインター予測方法を選択し、選択したインター予測方法を用いてインター予測を行う。インター予測部１８０は、生成したインター予測画像を切替部１９０に出力するとともに、選択したインター予測方法及び動きベクトルに関する情報をエントロピー符号化部１３０に出力する。
　切替部１９０は、イントラ予測部１７０から入力されるイントラ予測画像とインター予測部１８０から入力されるインター予測画像とを切り替えて、いずれかの予測画像を減算部１１０及び合成部１５０に出力する。
　（１．２．画像復号装置の構成）
　図２は、本実施形態に係る画像復号装置２の構成を示す図である。図２に示すように、画像復号装置２は、エントロピー符号復号部２００と、逆量子化部２１１と、逆変換部２１２と、合成部２２０と、メモリ２３０と、イントラ予測部２４０と、インター予測部２５０と、切替部２６０とを備える。
　エントロピー符号復号部２００は、符号化装置１により生成された符号化データを復号し、量子化変換係数を逆量子化部２１１に出力する。また、エントロピー符号復号部２００は、符号化データを復号し、予測（イントラ予測及びインター予測）に関する情報を取得し、予測に関する情報をイントラ予測部２４０及びインター予測部２５０に出力する。具体的には、エントロピー符号復号部２００は、イントラ予測モードの情報をイントラ予測部２４０に出力し、インター予測方法及び動きベクトルに関する情報をインター予測部２５０に出力する。
　逆量子化部２１１及び逆変換部２１２は、ブロック単位で逆量子化処理及び逆直交変換処理を行う逆量子化・逆変換部２１０を構成する。
　逆量子化部２１１は、画像符号化装置１の量子化部１２２が行う量子化処理に対応する逆量子化処理を行う。逆量子化部２１１は、エントロピー符号復号部２００から入力された量子化変換係数を、量子化パラメータ（Ｑｐ）及び量子化行列を用いて逆量子化することにより、変換係数を復元し、復元した変換係数を逆変換部２１２に出力する。
　逆変換部２１２は、画像符号化装置１の変換部１２１が行う直交変換処理に対応する逆直交変換処理を行う。逆変換部２１２は、逆量子化部２１１から入力された変換係数に対して逆直交変換を行って予測残差を復元し、復元した予測残差（復元予測残差）を合成部２２０に出力する。
　合成部２２０は、逆変換部２１２から入力された予測残差と、切替部２６０から入力された予測画像とを画素単位で合成することにより、元のブロックを再構成（復号）し、再構成ブロックをメモリ２３０に出力する。
　メモリ２３０は、合成部２２０から入力された再構成ブロックを記憶する。メモリ２３０は、再構成ブロックをフレーム単位で記憶する。メモリ２３０は、フレーム単位の再構成画像（復号画像）を画像復号装置２の外部に出力する。
　イントラ予測部２４０は、メモリ２３０に記憶された再構成ブロックを参照し、エントロピー符号復号部２００から入力されたイントラ予測情報（イントラ予測モード）に従ってイントラ予測を行うことによりイントラ予測画像を生成する。具体的には、イントラ予測部２４０は、メモリ２３０に記憶された再構成ブロック（復号済みブロック）のうち、イントラ予測モードに応じて定められる隣接参照画素を参照してイントラ予測画像を生成する。イントラ予測部２４０は、イントラ予測画像を切替部２６０に出力する。
　インター予測部２５０は、メモリ１６０に記憶されたフレーム単位の再構成画像（復号画像）を参照画像として用いてブロックを予測するインター予測を行う。インター予測部２５０は、エントロピー符号復号部２００から入力されたインター予測情報（動きベクトル情報等）に従ってインター予測を行うことによりインター予測画像を生成し、インター予測画像を切替部２６０に出力する。
　切替部２６０は、イントラ予測部２４０から入力されるイントラ予測画像とインター予測部２５０から入力されるインター予測画像とを切り替えて、いずれかの予測画像を合成部２２０に出力する。
　（１．３．イントラ予測部の構成）
　図３は、本実施形態に係る画像符号化装置１のイントラ予測部１７０の構成を示す図である。画像復号装置２のイントラ予測部２４０は、画像符号化装置１のイントラ予測部１７０と同様の構成を有し、かつ同様の動作を行う。
　イントラ予測部１７０は、動画像を構成するフレーム単位の原画像を分割して得られた各ブロックに対するイントラ予測を行う。以下において、イントラ予測の対象とする１つのブロックを対象ブロックと称する。
　図３に示すように、イントラ予測部１７０は、予測モード選択部１７１と、フィルタ決定部１７２Ａと、予測画素生成部１７３とを備える。
　予測モード選択部１７１は、対象ブロックに適用するイントラ予測モードを選択し、選択したイントラ予測モードをフィルタ決定部１７２Ａ及び予測画素生成部１７３に出力する。また、予測モード選択部１７１により選択されたイントラ予測モードの情報はエントロピー符号化部１３０にも出力され、エントロピー符号化部１３０において符号化される。画像復号装置２は、イントラ予測モードの情報を復号し、画像符号化装置１と同じイントラ予測モードを選択する。図４は、対象ブロックに適用され得るイントラ予測モードの一例を示す図である。図４の例において、０から６６までの６７通りのイントラ予測モードを示す。イントラ予測モード「０」はＰｌａｎａｒ予測であり、イントラ予測モード「１」はＤＣ予測であり、イントラ予測モード「２」～「６６」は方向性予測である。予測モード選択部１７１は、例えばＲＤ（Ｒａｔｅ　Ｄｉｓｔｏｒｔｉｏｎ）コストに基づいて最適なイントラ予測モードを選択する。方向性予測において、矢印の方向は予測方向を示し、矢印の起点は予測対象の画素の位置を示し、矢印の終点はこの予測対象画素の予測に用いる参照画素の位置を示す。
　方向性予測の矢印の終点がちょうど参照画素の座標を示している場合（整数画素位置）はその位置の参照画素値がそのまま予測値となるが、矢印の終点が２つの参照画素の座標の間を示す場合には、複数の参照画素に内挿フィルタをかけて予測値を決定する。
　フィルタ決定部１７２Ａは、予測モード選択部１７１により選択されたイントラ予測モードが所定の方向性予測であり、かつ参照画素が整数画素位置ではない場合に、対象ブロック内の画素位置ごとに、予測画素の生成に用いるフィルタ（内挿フィルタ）を複数種類のフィルタの中から決定する。具体的には、フィルタ決定部１７２Ａは、予測対象画素の画素位置からイントラ予測方向に延ばした直線上に整数位置の参照画素がない場合に、フィルタを適用すると判定する。
　なお、所定の方向性予測とは、参照画素の内挿が必要な方向性予測をいう。例えば、水平方向（モード「１８」）、垂直方向（モード「５０」）、４５度斜め方向（モード「２」、「３４」、「６６」）などの方向性予測については、整数位置の参照画素を参照可能であるため、かかるフィルタは適用されない。これらのモード以外のモードについては、フィルタ決定部１７２Ａは、イントラ予測方向に延ばした直線上に整数位置の参照画素がある場合にはフィルタを適用しないと判定し、そうでない場合にはフィルタを適用すると判定する。以下において、フィルタ決定部１７２Ａがフィルタを適用すると判定したと仮定して説明を進める。
　また、本実施形態において、フィルタとは４タップ内挿フィルタをいう。フィルタは、予測対象画素について、４つの予測参照画素から１つの予測画素を生成するために用いられる。予測参照画素とは、対象ブロックの左側及び上側の隣接参照画素のうち、対象画素の予測に用いる参照画素（すなわち、フィルタが適用される参照画素）をいう。本実施形態においてフィルタは４タップ内挿フィルタであるため、予測参照画素の数は４である。
　また、複数種類のフィルタとは、フィルタ特性が互いに異なるフィルタをいう。複数種類のフィルタは、例えばバイキュービックフィルタ及びガウシアンフィルタを含む。バイキュービックフィルタは急峻なフィルタであり、ガウシアンフィルタはなだらかなフィルタである。
　本実施形態において、フィルタ決定部１７２Ａは、対象ブロック内の１つの画素位置に対応するフィルタを決定する際に、当該１つの画素位置に最も近い参照画素の位置と、当該１つの画素位置との間の距離に応じて、フィルタを決定する。このように、フィルタ決定部１７２Ａは、対象ブロック内の画素位置ごとにフィルタを決定するため、対象ブロック内でフィルタを画素単位で適切に使い分けることができる。また、１つの画素位置に対応するフィルタを決定する際に、当該１つの画素位置に最も近い参照画素の位置と当該１つの画素位置との間の距離に応じてフィルタを決定するため、例えば、参照画素に近い画素位置における予測画素を生成する場合には急峻なフィルタを用い、参照画素から離れた画素位置における予測画素を生成する場合にはなだらかなフィルタを用いることができる。これにより、イントラ予測の予測精度を高めることができる。
　予測画素生成部１７３は、対象ブロック内の画素位置ごとに、フィルタ決定部１７２Ａにより決定されたフィルタを用いて予測参照画素から予測画素を生成する。図５は、フィルタを用いた予測画素の生成方法の一例を示す図である。図５において、対象ブロックのブロックサイズが４×４であり、２行目３列目の画素位置（座標位置）について予測画素を生成することを想定している。予測画素生成部１７３は、対象ブロックの上側の参照画素のうち４つの予測参照画素＃１～＃４にフィルタを適用することにより予測画素を生成する。このようにして対象ブロック内の全画素位置について予測画素を生成すると、予測画素生成部１７３は、生成した予測画素からなるブロックをイントラ予測画像として出力する。
　次に、本実施形態に係るフィルタ決定部１７２Ａの構成について説明する。図３に示すように、フィルタ決定部１７２Ａは、参照画素決定部１７２ａと、距離算出部１７２ｂと、閾値設定部１７２ｃと、比較決定部１７２ｄとを備える。
　参照画素決定部１７２ａは、対象ブロック内の画素位置ごとに、最も近い参照画素（すなわち、距離の算出に用いる参照画素）を決定する。具体的には、参照画素決定部１７２ａは、予測モード選択部１７１により選択されたイントラ予測モードに応じて、予測対象画素の画素位置に最も近い参照画素として、対象ブロックの上側の参照画素及び左側の参照画素の何れを用いるか決定する。イントラ予測に用いられる予測参照画素はイントラ予測モードに応じて変化するが、距離を求めるための参照画素をイントラ予測モードに応じて決定することにより、適切に距離を算出することができる。例えば、参照画素決定部１７２ａは、イントラ予測モードが「２」～「３４」の場合は左側参照画素を決定し、イントラ予測モードが「３５」～「６６」の場合は上側参照画素を決定する。参照画素決定部１７２ａは、決定した参照画素の位置（座標）を距離算出部１７２ｂに出力する。
　距離算出部１７２ｂは、参照画素決定部１７２ａにより決定された参照画素の位置と、対象画素の位置との間の距離を算出し、算出した距離を比較決定部１７２ｄに出力する。
　閾値設定部１７２ｃは、予測モード選択部１７１により選択されたイントラ予測モードに応じて、距離と比較すべき１又は複数の閾値を設定する。具体的には、閾値設定部１７２ｃは、イントラ予測モードと閾値とを対応付けたマッピングテーブルを保持しており、マッピングテーブルを用いて、イントラ予測モードに対応する閾値を設定する。イントラ予測に用いられる予測参照画素はイントラ予測モードに応じて変化し、それに応じて予測参照画素と対象画素との間の距離も変化するが、イントラ予測モードに応じて閾値を設定することでフィルタを適切に決定できる。本実施形態においては閾値が１つである場合について説明するが、閾値は複数であってもよい。閾値設定部１７２ｃは、設定する閾値を比較決定部１７２ｄに出力する。
　比較決定部１７２ｄは、距離算出部１７２ｂにより算出された距離を、閾値設定部１７２ｃにより設定された閾値と比較することにより、対象画素に対応するフィルタを決定し、決定したフィルタを予測画素生成部１７３に出力する。例えば、比較決定部１７２ｄは、距離が閾値以下である対象画素に対してフィルタ１を決定し、距離が閾値を超える対象画素に対してフィルタ２を決定する。フィルタ１は、フィルタ２に比べて急峻なフィルタである。フィルタ１はバイキュービックフィルタであってもよく、フィルタ２はガウシアンフィルタであってもよい。
　図６は、フィルタ決定部１７２Ａの動作の一例を示す図である。図６において、対象ブロックのブロックサイズは８×８である。
　図６に示すように、第１に、参照画素決定部１７２ａは、予測モード選択部１７１により選択されたイントラ予測モードが「３５」～「６６」の範囲内であることから、距離を算出するための参照画素として上側参照画素を決定する。また、閾値設定部１７２ｃは、予測モード選択部１７１により選択されたイントラ予測モードに応じて、距離と比較すべき閾値を設定する。ここでは、閾値設定部１７２ｃが設定した閾値が「４」であると仮定して説明を進める。
　第２に、距離算出部１７２ｂは、対象ブロック内の各画素位置について、参照画素決定部１７２ａにより決定された上側参照画素との間の距離を算出する。例えば、距離算出部１７２ｂは、対象ブロック内の１行目の各画素位置については距離を「１」と算出し、対象ブロック内の２行目の各画素位置については距離を「２」と算出し、対象ブロック内の３行目の各画素位置については距離を「３」と算出し、対象ブロック内の４行目の各画素位置については距離を「４」と算出し、対象ブロック内の５行目の各画素位置については距離を「５」と算出し、対象ブロック内の６行目の各画素位置については距離を「６」と算出し、対象ブロック内の７行目の各画素位置については距離を「７」と算出し、対象ブロック内の８行目の各画素位置については距離を「８」と算出する。
　第３に、比較決定部１７２ｄは、距離算出部１７２ｂにより算出された距離を、閾値設定部１７２ｃにより設定された閾値と比較することにより、対象ブロック内の各画素位置についてフィルタを決定する。閾値設定部１７２ｃが設定した閾値が「４」であるため、対象ブロック内の１～４行目の各画素位置については上側参照画素との距離が閾値以下である。よって、比較決定部１７２ｄは、対象ブロック内の１～４行目の各画素位置についてはフィルタ１（例えば、バイキュービックフィルタ）を決定する。一方で、対象ブロック内の５～８行目の各画素位置については上側参照画素との距離が閾値を超える。よって、比較決定部１７２ｄは、対象ブロック内の５～８行目の各画素位置についてはフィルタ２（例えば、ガウシアンフィルタ）を決定する。
　（１．４．イントラ予測部の動作フロー例）
　図７は、本実施形態に係る画像符号化装置１のイントラ予測部１７０の動作フロー例を示す図である。
　図７に示すように、ステップＳ１０１において、予測モード選択部１７１は、対象ブロックに適用するイントラ予測モードを選択する。
　ステップＳ１０２において、参照画素決定部１７２ａは、予測モード選択部１７１により選択されたイントラ予測モードに応じて、対象ブロック内の画素位置ごとに、距離の算出に用いる参照画素を決定する。
　ステップＳ１０３において、距離算出部１７２ｂは、参照画素決定部１７２ａにより決定された参照画素の位置と、対象画素の位置との間の距離を算出する。
　ステップＳ１０４において、閾値設定部１７２ｃは、予測モード選択部１７１により選択されたイントラ予測モードに応じて、距離と比較すべき閾値を設定する。
　ステップＳ１０５において、比較決定部１７２ｄは、距離算出部１７２ｂにより算出された距離を、閾値設定部１７２ｃにより設定された閾値と比較する。
　ステップＳ１０６において、比較決定部１７２ｄは、距離と閾値との比較結果に応じて、対象画素に対応するフィルタを決定する。
　ステップＳ１０７において、予測画素生成部１７３は、フィルタ決定部１７２Ａにより決定されたフィルタを用いて予測参照画素から予測画素を生成する。
　対象ブロック内の全予測画素の生成が終了した場合（ステップＳ１０８：ＹＥＳ）、イントラ予測部１７０（予測画素生成部１７３）は、対象ブロックに対応するイントラ予測画像を出力する。
　一方で、対象ブロック内の全予測画素の生成が未だ終了していない場合（ステップＳ１０８：ＮＯ）、対象ブロック内の次の予測対象画素に処理を移し（ステップＳ１０９）、次の予測対象画素について、距離の算出（ステップＳ１０３）、距離と閾値との比較（ステップＳ１０５）、フィルタの決定（ステップＳ１０６）、及び予測画素の生成（ステップＳ１０６）を行う。
　（１．５．第１実施形態の変更例）
　上述の第１実施形態においては、距離算出部１７２ｂが、予測対象画素と参照画素との間の距離を算出する際に、予測対象画素と左側参照画素との間の水平方向の距離、又は予測対象画素と上側参照画素との間の垂直方向の距離を算出することを想定していた。かかる場合、距離の算出に用いる参照画素は、予測参照画素（すなわち、実際に予測に用いる参照画素）でなくてもよい。
　これに対し、本変更例においては、距離の算出に用いる参照画素として予測参照画素（すなわち、実際に予測に用いる参照画素）を用いる。本変更例に係る参照画素決定部１７２ａは、複数の予測参照画素からなる参照画素列と、予測対象画素の位置からイントラ予測モードの予測方向へ伸ばした線分との交点に対応する参照画素を、距離の算出に用いる参照画素として決定する。そして、距離算出部１７２ｂは、参照画素決定部１７２ａにより決定された参照画素の位置と予測対象画素との間の距離を算出する。実際に予測に用いる参照画素との距離を算出することにより、フィルタを適切に決定できる。
　図８は、本変更例に係るフィルタ決定部１７２Ａの動作の一例を示す図である。図８において、対象ブロックのブロックサイズは８×８である。
　図８に示すように、参照画素決定部１７２ａは、複数の予測参照画素（予測参照画素＃１～＃４）からなる参照画素列と、予測対象画素の位置からイントラ予測モードの予測方向へ伸ばした線分との交点に対応する参照画素を、距離の算出に用いる参照画素として決定する。
　図８（ａ）の例では、参照画素決定部１７２ａは、予測参照画素＃２を、距離の算出に用いる参照画素として決定する。また、本変更例においても、閾値設定部１７２ｃは、イントラ予測モードに応じて、距離と比較すべき閾値を設定する。ここでは、閾値設定部１７２ｃが設定した閾値が「４」であるとしている。
　図８（ｂ）の例では、参照画素決定部１７２ａは、予測参照画素＃３を、距離の算出に用いる参照画素として決定する。また、本変更例においても、閾値設定部１７２ｃは、イントラ予測モードに応じて、距離と比較すべき閾値を設定する。ここでは、閾値設定部１７２ｃが設定した閾値が「３」であるとしている。
　＜２．第２実施形態＞
　第２実施形態について、第１実施形態との相違点を主として説明する。
　第１実施形態は、フィルタが４タップ内挿フィルタであることを前提として、予測画素を生成するためのフィルタの種類を決定するための実施形態であった。これに対し、第２実施形態は、フィルタの種類を固定としつつ、フィルタのタップ数（すなわち、予測参照画素の数）を決定するための実施形態である。
　（２．１．イントラ予測部の構成）
　図９は、本実施形態に係る画像符号化装置１のイントラ予測部１７０の構成を示す図である。画像復号装置２のイントラ予測部２４０は、画像符号化装置１のイントラ予測部１７０と同様の構成を有し、かつ同様の動作を行う。
　図９に示すように、本実施形態に係るイントラ予測部１７０は、予測モード選択部１７１と、参照画素数決定部１７２Ｂと、予測画素生成部１７３とを備える。予測モード選択部１７１については第１実施形態と同様である。
　参照画素数決定部１７２Ｂは、予測画素の生成に用いる予測参照画素の数（フィルタのタップ数）を決定する。参照画素数決定部１７２Ｂは、イントラ予測の対象とする対象ブロック内の画素位置ごとに、予測参照画素の数を決定する。
　予測画素生成部１７３は、イントラ予測の対象とするブロック周辺の参照画素の中から、参照画素数決定部１７２Ｂにより決定された数の予測参照画素に対してフィルタを適用することにより、予測画素を生成する。
　このように、予測画素の生成に用いる予測参照画素の数をブロック単位又は画素単位で変更可能にすることで、イントラ予測の予測精度を高めることができる。また、フィルタの種類が１種類であっても、予測参照画素の数によってフィルタ特性を変化させることができる。
　本実施形態において、参照画素数決定部１７２Ｂは、イントラ予測の対象とするブロック内の１つの画素位置（予測対象画素）に対応する予測参照画素の数を決定する際に、当該１つの画素位置に最も近い参照画素の位置と当該１つの画素位置との間の距離に応じて、予測参照画素の数を決定する。
　このように、１つのブロック内の画素位置ごとにフィルタを決定するため、対象ブロック内でフィルタを画素単位で適切に使い分けることができる。例えば、参照画素に近い画素位置における予測画素を生成する場合には予測参照画素の数を少なくし、参照画素から離れた画素位置における予測画素を生成する場合には予測参照画素の数を増やすことで、適切なフィルタ特性を得ることができる。
　次に、本実施形態に係る参照画素数決定部１７２Ｂの構成について説明する。図９に示すように、参照画素数決定部１７２Ｂは、参照画素決定部１７２ａと、距離算出部１７２ｂと、閾値設定部１７２ｃと、比較決定部１７２ｄとを備える。
　参照画素決定部１７２ａ、距離算出部１７２ｂ、及び閾値設定部１７２ｃのそれぞれは、第１実施形態又はその変更例と同様な動作を行う。
　比較決定部１７２ｄは、距離算出部１７２ｂにより算出された距離を、閾値設定部１７２ｃにより設定された閾値と比較することにより、対象画素に対応する予測対象画素数を決定し、決定した予測対象画素数を予測画素生成部１７３に出力する。例えば、比較決定部１７２ｄは、距離が閾値以下である対象画素に対して予測対象画素数Ａを決定し、距離が閾値を超える対象画素に対して予測対象画素数Ｂを決定する。予測画素数Ａは、予測画素数Ｂよりも少ない数である。例えば、予測対象画素数Ａは「４」であり、予測対象画素数Ａは「５」又は「６」である。
　（２．２．イントラ予測部の動作フロー）
　図１０は、本実施形態に係る画像符号化装置１のイントラ予測部１７０の動作フロー例を示す図である。
　図１０に示すように、ステップＳ２０１において、予測モード選択部１７１は、対象ブロックに適用するイントラ予測モードを選択する。
　ステップＳ２０２において、参照画素決定部１７２ａは、予測モード選択部１７１により選択されたイントラ予測モードに応じて、対象ブロック内の画素位置ごとに、距離の算出に用いる参照画素を決定する。
　ステップＳ２０３において、距離算出部１７２ｂは、参照画素決定部１７２ａにより決定された参照画素の位置と、対象画素の位置との間の距離を算出する。
　ステップＳ２０４において、閾値設定部１７２ｃは、予測モード選択部１７１により選択されたイントラ予測モードに応じて、距離と比較すべき閾値を設定する。
　ステップＳ２０５において、比較決定部１７２ｄは、距離算出部１７２ｂにより算出された距離を、閾値設定部１７２ｃにより設定された閾値と比較する。
　ステップＳ２０６において、比較決定部１７２ｄは、距離と閾値との比較結果に応じて、対象画素に対応する予測参照画素の数（フィルタのタップ数）を決定する。
　ステップＳ２０７において、予測画素生成部１７３は、フィルタ決定部１７２Ａにより決定された数の予測参照画素から予測画素を生成する。
　対象ブロック内の全予測画素の生成が終了した場合（ステップＳ２０８：ＹＥＳ）、イントラ予測部１７０（予測画素生成部１７３）は、対象ブロックに対応するイントラ予測画像を出力する。
　一方で、対象ブロック内の全予測画素の生成が未だ終了していない場合（ステップＳ２０８：ＮＯ）、対象ブロック内の次の予測対象画素に処理を移し（ステップＳ２０９）、次の予測対象画素について、距離の算出（ステップＳ２０３）、距離と閾値との比較（ステップＳ２０５）、フィルタの決定（ステップＳ２０６）、及び予測画素の生成（ステップＳ２０６）を行う。
　（２．３．第２実施形態の変更例）
　上述の第２実施形態においては、参照画素数決定部１７２Ｂが、イントラ予測の対象とする対象ブロック内の画素位置ごとに、参照画素との距離に応じて予測参照画素の数を決定していた。
　これに対し、本変更例においては、参照画素数決定部１７２Ｂは、イントラ予測の対象とする対象ブロックに対応する予測参照画素の数を決定する際に、対象ブロックのブロックサイズに応じて予測参照画素の数を決定する。例えば、ブロックサイズが小さい場合には予測参照画素の数を少なくし、ブロックサイズが大きい場合には予測参照画素の数を増やすことで、適切なフィルタ特性を得ることができる。
　なお、ブロックサイズとは、対象ブロックの縦方向の長さ×横方向の長さを定義してもよいし、縦方向の長さまたは横方向の長さのうち片方を定義してもよいし、イントラ予測方向によって縦方向の長さまたは横方向の長さのうちいずれを使うかを切り替えてもよい。イントラ予測方向によって縦方向の長さまたは横方向の長さのうちいずれを使うかを切り替える場合、参照画素数決定部１７２Ｂは、例えば、イントラ予測モードが「２」～「３４」のときは横方向の長さをブロックサイズとして用い、イントラ予測モードが「３５」～「６６」のときは縦方向の長さをブロックサイズとして用いる。
　図１１は、本変更例に係る画像符号化装置１のイントラ予測部１７０の動作フロー例を示す図である。
　図１１に示すように、ステップＳ３０１において、予測モード選択部１７１は、対象ブロックに適用するイントラ予測モードを選択する。
　ステップＳ３０２において、参照画素数決定部１７２Ｂは、対象ブロックのブロックサイズを取得する。
　ステップＳ３０３において、参照画素数決定部１７２Ｂは、対象ブロックのブロックサイズに応じて、予測参照画素の数（フィルタのタップ数）を決定する。例えば、参照画素数決定部１７２Ｂは、対象ブロックのブロックサイズを閾値と比較し、ブロックサイズが閾値以下である場合には予測対象画素数Ａを決定し、ブロックサイズが閾値を超える場合には予測対象画素数Ｂを決定する。
　ステップＳ３０４において、予測画素生成部１７３は、フィルタ決定部１７２Ａにより決定された数の予測参照画素から予測画素を生成する。
　対象ブロック内の全予測画素の生成が終了した場合（ステップＳ３０５：ＹＥＳ）、イントラ予測部１７０（予測画素生成部１７３）は、対象ブロックに対応するイントラ予測画像を出力する。
　一方で、対象ブロック内の全予測画素の生成が未だ終了していない場合（ステップＳ３０８：ＮＯ）、対象ブロック内の次の予測対象画素に処理を移し（ステップＳ３０９）、次の予測対象画素について予測画素の生成（ステップＳ３０４）を行う。
　＜３．その他の実施形態＞
　上述の第１実施形態及び第２実施形態において、転写について特に触れなかった。イントラ予測モードが「３４」以下の場合には対象ブロックの上側参照画素を左側に転写し、イントラ予測モードが「３４」よりも大きい場合には対象ブロックの左参照画素を上側に転写してもよい。かかる転写により参照画素を垂直方向又は水平方向に直線状に並べることができるため、フィルタ処理を画一的に行うことができる。かかる転写を行う場合に、参照画素決定部１７２ａは、上述の距離の算出に、転写後の参照画素を用いてもよい。
　画像符号化装置１が行う各処理をコンピュータに実行させるプログラム及び画像復号装置２が行う各処理をコンピュータに実行させるプログラムが提供されてもよい。プログラムは、コンピュータ読取り可能媒体に記録されていてもよい。コンピュータ読取り可能媒体を用いれば、コンピュータにプログラムをインストールすることが可能である。ここで、プログラムが記録されたコンピュータ読取り可能媒体は、非一過性の記録媒体であってもよい。非一過性の記録媒体は、特に限定されるものではないが、例えば、ＣＤ－ＲＯＭやＤＶＤ－ＲＯＭ等の記録媒体であってもよい。また、画像符号化装置１が行う各処理を実行する回路を集積化し、画像符号化装置１を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。同様に、画像復号装置２が行う各処理を実行する回路を集積化し、画像復号装置２を半導体集積回路（チップセット、ＳｏＣ）として構成してもよい。
　以上、図面を参照して実施形態について詳しく説明したが、具体的な構成は上述のものに限られることはなく、要旨を逸脱しない範囲内において様々な設計変更等をすることが可能である。
　なお、日本国特許出願第２０１８－６５７８０号（２０１８年３月２９日出願）の全内容が、参照により、本願明細書に組み込まれている。

Claims (10)

  1. 　動画像を構成するフレーム単位の画像を分割して得られた各ブロックに対するイントラ予測を行うイントラ予測装置であって、
    　前記イントラ予測の対象とする１つの対象ブロック内の画素位置ごとに、予測画素の生成に用いるフィルタを複数種類のフィルタの中から決定するフィルタ決定部と、
    　前記フィルタ決定部により決定された前記フィルタを用いて、前記１つの対象ブロック周辺の参照画素から前記予測画素を生成する予測画素生成部と、を備え、
    　前記フィルタ決定部は、前記１つの対象ブロック内の１つの画素位置に対応する前記フィルタを決定する際に、前記１つの画素位置に最も近い参照画素の位置と前記１つの画素位置との間の距離に応じて、前記フィルタを決定する、
    　イントラ予測装置。
  2. 　前記１つの対象ブロックに適用するイントラ予測モードを選択する予測モード選択部をさらに備え、
    　前記フィルタ決定部は、
    　前記１つの画素位置に最も近い参照画素を決定する参照画素決定部と、
    　前記参照画素決定部により決定された前記参照画素の位置と前記１つの画素位置との間の距離を算出する距離算出部と、を備え、
    　前記参照画素決定部は、前記予測モード選択部により選択された前記イントラ予測モードに応じて、前記１つの画素位置に最も近い参照画素として、前記１つの対象ブロックの上側の参照画素及び左側の参照画素の何れを用いるか決定する、
    　請求項１に記載のイントラ予測装置。
  3. 　前記フィルタ決定部は、
    　前記距離と比較すべき１又は複数の閾値を設定する閾値設定部と、
    　前記距離算出部により算出された前記距離を、前記閾値設定部により設定された前記１又は複数の閾値と比較することにより、前記１つの画素位置に対応する前記フィルタを決定する比較決定部と、をさらに備え、
    　前記閾値設定部は、前記予測モード選択部により選択された前記イントラ予測モードに応じて前記１又は複数の閾値を設定する、
    　請求項２に記載のイントラ予測装置。
  4. 　前記予測画素生成部は、前記１つの対象ブロック周辺の参照画素のうち、前記予測モード選択部により選択された前記イントラ予測モードに応じて定められる複数の予測参照画素に対して前記フィルタを適用することにより、前記予測画素を生成し、
    　前記参照画素決定部は、前記複数の予測参照画素からなる参照画素列と、前記１つの画素位置から前記イントラ予測モードの予測方向へ伸ばした線分との交点に対応する参照画素を決定し、
    　前記距離算出部は、前記参照画素決定部により決定された前記参照画素の位置と前記１つの画素位置との間の距離を算出する、
    　請求項２又は３に記載のイントラ予測装置。
  5. 　動画像を構成するフレーム単位の画像を分割して得られた各ブロックに対するイントラ予測を行うイントラ予測装置であって、
    　予測画素の生成に用いる予測参照画素の数を決定する参照画素数決定部と、
    　前記イントラ予測の対象とするブロック周辺の参照画素の中から、前記参照画素数決定部により決定された数の予測参照画素に対してフィルタを適用することにより、前記予測画素を生成する予測画素生成部と、を備え、
    　前記参照画素数決定部は、前記イントラ予測の対象とするブロックごとに、又は前記イントラ予測の対象とするブロック内の画素位置ごとに、前記予測参照画素の数を決定する、
    　イントラ予測装置。
  6. 　前記参照画素数決定部は、前記イントラ予測の対象とするブロック内の１つの画素位置に対応する前記予測参照画素の数を決定する際に、前記１つの画素位置に最も近い参照画素の位置と前記１つの画素位置との間の距離に応じて、前記予測参照画素の数を決定する、
    　請求項５に記載のイントラ予測装置。
  7. 　前記参照画素数決定部は、前記イントラ予測の対象とする１つのブロックに対応する前記予測参照画素の数を決定する際に、前記１つのブロックのブロックサイズに応じて前記予測参照画素の数を決定する、
    　請求項５に記載のイントラ予測装置。
  8. 　請求項１乃至７のいずれか１項に記載のイントラ予測装置を備える、画像符号化装置。
  9. 　請求項１乃至７のいずれか１項に記載のイントラ予測装置を備える、画像復号装置。
  10. 　コンピュータを請求項１乃至７のいずれか１項に記載のイントラ予測装置として機能させる、プログラム。
PCT/JP2019/014366 2018-03-30 2019-03-29 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム Ceased WO2019189904A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
EP19776140.6A EP3780603A4 (en) 2018-03-30 2019-03-29 INTRA-PREDICTION DEVICE, IMAGE CODING DEVICE, IMAGE DECODING DEVICE AND PROGRAM
KR1020207030322A KR20200128577A (ko) 2018-03-30 2019-03-29 인트라 예측 장치, 화상 부호화 장치, 화상 복호 장치 및 프로그램
CN201980028956.3A CN112075080A (zh) 2018-03-30 2019-03-29 帧内预测装置、图像编码装置、图像解码装置以及程序
JP2020509373A JPWO2019189904A1 (ja) 2018-03-30 2019-03-29 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
US17/038,281 US20210014489A1 (en) 2018-03-30 2020-09-30 Intra prediction device, image encoding device, image decoding device and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2018-066716 2018-03-30
JP2018066716 2018-03-30

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US17/038,281 Continuation US20210014489A1 (en) 2018-03-30 2020-09-30 Intra prediction device, image encoding device, image decoding device and program

Publications (1)

Publication Number Publication Date
WO2019189904A1 true WO2019189904A1 (ja) 2019-10-03

Family

ID=68058205

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2019/014366 Ceased WO2019189904A1 (ja) 2018-03-30 2019-03-29 イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム

Country Status (6)

Country Link
US (1) US20210014489A1 (ja)
EP (1) EP3780603A4 (ja)
JP (2) JPWO2019189904A1 (ja)
KR (1) KR20200128577A (ja)
CN (1) CN112075080A (ja)
WO (1) WO2019189904A1 (ja)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024133662A (ja) * 2018-04-01 2024-10-02 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 映像符号化／復号化方法及び装置
US12621431B2 (en) 2018-04-01 2026-05-05 B1 Institute Of Image Technology, Inc. Method and apparatus for encoding/decoding image

Families Citing this family (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113508422A (zh) * 2019-03-08 2021-10-15 松下电器（美国）知识产权公司 三维数据编码方法、三维数据解码方法、三维数据编码装置、以及三维数据解码装置
US20220060702A1 (en) * 2020-08-21 2022-02-24 Alibaba Group Holding Limited Systems and methods for intra prediction smoothing filter
CN113691810B (zh) * 2021-07-26 2022-10-04 浙江大华技术股份有限公司 帧内帧间联合预测方法、编解码方法及相关设备、存储介质
EP4179728A4 (en) 2021-06-23 2023-12-27 Zhejiang Dahua Technology Co., Ltd. SYSTEMS AND METHODS FOR IMAGE PREDICTION
CN118742922A (zh) * 2022-03-03 2024-10-01 松下电器（美国）知识产权公司 解码方法、编码方法、解码装置及编码装置

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012096150A1 (ja) * 2011-01-12 2012-07-19 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013090120A (ja) * 2011-10-18 2013-05-13 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
WO2017043786A1 (ko) * 2015-09-10 2017-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
WO2017142327A1 (ko) * 2016-02-16 2017-08-24 삼성전자 주식회사 인트라 예측오차의 감소를 위한 인트라 예측 방법 및 그 장치
JP2018065780A (ja) 2016-06-30 2018-04-26 花王株式会社 皮膚化粧料

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2006320064B2 (en) * 2005-11-30 2010-09-09 Kabushiki Kaisha Toshiba Image encoding/image decoding method and image encoding/image decoding apparatus
US9258573B2 (en) * 2010-12-07 2016-02-09 Panasonic Intellectual Property Corporation Of America Pixel adaptive intra smoothing
PL3879826T3 (pl) * 2017-05-31 2022-12-19 Lg Electronics Inc. Sposób i urządzenie do wykonywania dekodowania obrazu na podstawie predykcji przestrzennej w systemie kodowania obrazu

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2012096150A1 (ja) * 2011-01-12 2012-07-19 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP2013090120A (ja) * 2011-10-18 2013-05-13 Nippon Telegr & Teleph Corp <Ntt> 画像符号化方法，画像復号方法，画像符号化装置，画像復号装置およびそれらのプログラム
WO2017043786A1 (ko) * 2015-09-10 2017-03-16 엘지전자 주식회사 비디오 코딩 시스템에서 인트라 예측 방법 및 장치
WO2017142327A1 (ko) * 2016-02-16 2017-08-24 삼성전자 주식회사 인트라 예측오차의 감소를 위한 인트라 예측 방법 및 그 장치
JP2018065780A (ja) 2016-06-30 2018-04-26 花王株式会社 皮膚化粧料

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3780603A4

Cited By (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024133662A (ja) * 2018-04-01 2024-10-02 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 映像符号化／復号化方法及び装置
JP7815343B2 (ja) 2018-04-01 2026-02-17 ビー１、インスティテュート、オブ、イメージ、テクノロジー、インコーポレイテッド 映像符号化／復号化方法及び装置
US12574495B2 (en) 2018-04-01 2026-03-10 B1 Institute Of Image Technology, Inc. Method and apparatus for encoding/decoding image
US12574496B2 (en) 2018-04-01 2026-03-10 B1 Institute Of Image Technology, Inc. Method and apparatus for encoding/decoding image
US12574498B2 (en) 2018-04-01 2026-03-10 B1 Institute Of Image Technology, Inc. Method and apparatus for encoding/decoding image
US12574497B2 (en) 2018-04-01 2026-03-10 B1 Institute Of Image Technology, Inc. Method and apparatus for encoding/decoding image
US12581056B2 (en) 2018-04-01 2026-03-17 B1 Institute Of Image Technology, Inc. Method and apparatus for encoding/decoding image
US12598289B2 (en) 2018-04-01 2026-04-07 B1 Institute Of Image Technology, Inc. Method and apparatus for encoding/decoding image
US12621431B2 (en) 2018-04-01 2026-05-05 B1 Institute Of Image Technology, Inc. Method and apparatus for encoding/decoding image

Also Published As

Publication number Publication date
JP2022000953A (ja) 2022-01-04
JPWO2019189904A1 (ja) 2021-02-12
CN112075080A (zh) 2020-12-11
KR20200128577A (ko) 2020-11-13
US20210014489A1 (en) 2021-01-14
EP3780603A4 (en) 2022-07-06
EP3780603A1 (en) 2021-02-17

Similar Documents

Publication Publication Date Title
AU2015213341B2 (en) Video decoder, video encoder, video decoding method, and video encoding method
JP7649886B2 (ja) 画像符号化装置、画像復号装置、及び画像復号方法
WO2019189904A1 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP7733083B2 (ja) 予測ブロック生成装置、画像符号化装置、画像復号装置、及びプログラム
JP7812892B2 (ja) 予測装置、画像符号化装置、画像復号装置、及びプログラム
JP7699266B2 (ja) イントラ予測装置、画像復号装置、及びプログラム
JP7219030B2 (ja) 色差イントラ予測候補生成装置、画像符号化装置、画像復号装置、及びプログラム
JP7686106B2 (ja) 符号化装置、復号装置、及びプログラム
JP7590510B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
CN113056918B (zh) 图像编码装置、图像解码装置及程序
CN116866574A (zh) 帧内预测装置、图像解码装置及程序
JP2021129148A (ja) 予測装置、符号化装置、復号装置、及びプログラム
JP7531683B2 (ja) 符号化装置、復号装置、及びプログラム
JP7659103B2 (ja) インター予測装置、画像符号化装置、画像復号装置、及びプログラム
JP7444599B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム
JP2020053725A (ja) 予測画像補正装置、画像符号化装置、画像復号装置、及びプログラム
JP7361498B2 (ja) イントラ予測装置、画像符号化装置、画像復号装置、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19776140

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020509373

Country of ref document: JP

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 20207030322

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2019776140

Country of ref document: EP

WWR Wipo information: refused in national office

Ref document number: 1020207030322

Country of ref document: KR