WO2015115644A1 - 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法 - Google Patents

画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法 Download PDF

Info

Publication number
WO2015115644A1
WO2015115644A1 PCT/JP2015/052855 JP2015052855W WO2015115644A1 WO 2015115644 A1 WO2015115644 A1 WO 2015115644A1 JP 2015052855 W JP2015052855 W JP 2015052855W WO 2015115644 A1 WO2015115644 A1 WO 2015115644A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
unit
picture
encoding
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2015/052855
Other languages
English (en)
French (fr)
Inventor
彰 峯澤
関口　俊一
守屋　芳美
亮史 服部
一之 宮澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Mitsubishi Electric Corp
Original Assignee
Mitsubishi Electric Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Mitsubishi Electric Corp filed Critical Mitsubishi Electric Corp
Priority to US15/110,650 priority Critical patent/US10075725B2/en
Priority to JP2015560063A priority patent/JP6147368B2/ja
Priority to EP15743236.0A priority patent/EP3104614A4/en
Priority to KR1020167024148A priority patent/KR101785886B1/ko
Priority to CN201580006481.XA priority patent/CN105981389B/zh
Publication of WO2015115644A1 publication Critical patent/WO2015115644A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/107—Selection of coding mode or of prediction mode between spatial and temporal predictive coding, e.g. picture refresh
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/114—Adapting the group of pictures [GOP] structure, e.g. number of B-frames between two anchor frames
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/40—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using video transcoding, i.e. partial or full decoding of a coded input stream followed by re-encoding of the decoded output stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/43—Hardware specially adapted for motion estimation or compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H04N19/439—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation using cascaded computational arrangements for performing a single operation, e.g. filtering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/44—Decoders specially adapted therefor, e.g. video decoders which are asymmetric with respect to the encoder
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/58—Motion compensation with long-term prediction, i.e. the reference frame for a current frame not being the temporally closest one
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • the present invention relates to an image encoding device and an image encoding method for encoding an image with high efficiency, an image decoding device and an image decoding method for decoding an image encoded with high efficiency, and an encoded stream conversion device. Is.
  • an input color image is divided into maximum encoding blocks of a predetermined size, and the maximum encoding block is further finely encoded. Is divided into hierarchical blocks. Further, the encoded block is divided into finer prediction blocks, and prediction errors are generated by performing intra prediction and motion compensation prediction on the prediction block. Further, the prediction error is hierarchically divided into transform blocks in the coding block, and each transform coefficient is entropy coded to achieve a high compression rate.
  • the coding structure shown in FIG. A block having a high value is searched, and encoding using motion compensated prediction with the search target block as a prediction value is performed.
  • a picture that uses motion compensation prediction at this time is predicted from an inter picture
  • a picture that is a search (reference) destination for motion compensation prediction is a reference picture, and is predicted from only coded pixels in a picture to be coded without using motion compensation.
  • a picture is called an intra picture.
  • bi-directional prediction which is motion compensation that refers to both past and future pictures in the display order, is known to be able to realize highly accurate prediction.
  • FIG. 31 shows an example of setting a randomly accessible picture (Intra (Random Access Point (IRAP) picture described in Non-Patent Document 1). Inter-pictures are allowed to refer to pictures that are temporally earlier than intra-pictures, but inter-pictures that are later in decoding order (encoding order) and display order than IRAP pictures are temporally older than IRAP pictures across the IRAP pictures. The previous picture cannot be referred to.
  • IRAP Random Access Point
  • the reference destination of motion compensation prediction is limited. In this case, even when decoding is started from the middle of the encoded bitstream, if decoding is performed from the IRAP, a picture subsequent to the IRAP picture in the display order can always be correctly decoded, and reproduction in the middle of the encoded sequence can be realized. it can.
  • Non-Patent Document 1 defines IDR (Instantaneous Decoding Refresh) pictures, CRA (Clean Random Access) pictures, and BLA (Broken Link Access) pictures as IRAP pictures.
  • IDR pictures guarantee normal decoding of later pictures
  • CRA and BLA pictures guarantee normal decoding of pictures whose decoding order and display order are later. Yes.
  • the pictures after the IRAP picture are always in the decoding order after the IRAP picture so that the pictures after the IRAP picture can be reproduced in the display order at the time of random access from the IRAP picture. That is, in all IRAP pictures, it is common that normal decoding is possible for the pictures that are later in the display order.
  • Non-Patent Document 2 also has a similar random access function. However, in Non-Patent Document 2, only an IDR picture is defined as a random access picture.
  • the present invention has been made to solve the above-described problems, and is an image encoding device, an image decoding device, an encoded stream conversion device, an image code, and the like that can improve encoding efficiency while maintaining a random access interval.
  • An object is to obtain a conversion method and an image decoding method.
  • An image encoding apparatus includes a block dividing unit that divides an input image into blocks of encoding processing units, an encoding mode determining unit that determines an encoding mode for blocks divided by the block dividing unit, An image encoding device that performs an encoding process on a block divided by a block dividing unit according to an encoding mode determined by an encoding mode determining unit and outputs compressed data of the block, the block dividing unit A prediction image generation unit that generates a prediction image of the block divided by the block, a difference image generation unit that generates a difference image between the block divided by the block division unit and the prediction image generated by the prediction image generation unit, and a difference An image compression unit that compresses the difference image generated by the image generation unit and outputs compressed data of the difference image; A local decoded image generation unit that expands the differential image compressed by the compression unit and adds the expanded differential image and the predicted image generated by the predicted image generation unit to generate a local decoded image; and a local decoded
  • the encoding unit encodes the picture position information indicating the position of the reference picture and the identification information indicating that the randomly accessible inter picture is randomly accessible, and the encoded data of the picture position information and the identification information Is multiplexed into a bitstream.
  • the block division unit that divides the input image into blocks of the encoding processing unit
  • the encoding mode determination unit that determines the encoding mode for the block divided by the block division unit
  • the encoding mode determination unit An image coding apparatus that performs coding processing on a block divided by a block dividing unit according to a coding mode and outputs compressed data of the block, and is a predicted image of a block divided by the block dividing unit
  • a difference image generation unit that generates a difference image between a block divided by the block division unit and a prediction image generated by the prediction image generation unit, and a difference generated by the difference image generation unit
  • An image compression unit that compresses an image and outputs compressed data of the difference image, and a difference compressed by the image compression unit
  • a local decoded image generation unit that generates a local decoded image by expanding the image, adds the expanded difference image and the prediction image generated by the prediction image generation unit, and a local decoded image generated by the local decoded image generation unit
  • a random accessible intra picture with the first encoding order and the closest encoding order is set as the reference picture.
  • the motion compensation prediction is performed using the set reference picture for the prediction process, the encoding unit encodes identification information indicating that the randomly accessible inter picture is randomly accessible, and the encoded data of the identification information is encoded. It is multiplexed in a bit stream.
  • An image decoding apparatus is an image decoding apparatus that generates a decoded image by inputting a bit stream obtained by compressing and encoding an image in units of blocks, and includes compressed data and encoding modes related to each block from the bit stream
  • a decoding unit that decodes the image, a decoded image that references a decoded pixel according to the encoding mode decoded by the decoding unit, generates a predicted image for each block, and decompresses the compressed data decoded by the decoding unit
  • a difference image generation unit that generates a difference image
  • a decoded image generation unit that generates a decoded image by adding the difference image generated by the difference image generation unit and the prediction image generated by the prediction image generation unit
  • a filtering processing unit that performs filtering processing on the decoded image generated by the decoded image generating unit, Decoding the identification information indicating whether the intermediate picture is a randomly accessible inter picture, and decoding the picture position information indicating the position of the reference picture to be referred
  • an image decoding apparatus that generates a decoded image by inputting a bitstream obtained by compressing and encoding an image in units of blocks, and a decoding unit that decodes compressed data and an encoding mode related to each block from the bitstream;
  • the decoded pixel is referred to, a prediction image generation unit that generates a prediction image for each block, and a compressed image decoded by the decoding unit is expanded to generate a difference image Generated by a difference image generation unit, a decoded image generation unit that generates a decoded image by adding the difference image generated by the difference image generation unit and the prediction image generated by the prediction image generation unit, and a decoded image generation unit
  • a filtering processing unit that performs a filtering process on the decoded image.
  • the predicted image generation unit When decoding the identification information indicating whether it is an accessible inter picture and the predicted image generation unit decodes the randomly accessible inter picture identified by the identification information, the decoding order of the randomly accessible inter picture On the other hand, a randomly accessible intra picture having the first decoding order and the closest decoding order is set as a reference picture, and motion compensated prediction using the set reference picture for prediction processing is performed.
  • An encoded stream conversion apparatus is an encoded stream conversion apparatus that inputs a bit stream obtained by compressing and encoding an image in units of blocks and outputs a re-encoded bit stream, and decodes the bit stream.
  • An image decoding unit that generates a decoded image and identifies a randomly accessible intra picture, and a re-encoding target intra picture that is re-encoded from the identified random accessible intra picture to a randomly accessible inter picture
  • a re-encoding setting unit for setting the re-encoding target intra-picture, a re-encoding unit for re-encoding the re-encoding target intra-picture, and a re-encoding target intra-picture re-encoded by the bit stream and the re-encoding unit.
  • a bitstream synthesis unit that synthesizes and outputs a re-encoded bitstream
  • a re-encoding unit that encodes identification information indicating that a picture re-encoded to a randomly accessible inter-picture is randomly accessible, and re-encodes the encoded data of the identification information Are multiplexed.
  • the encoding mode determining unit determines the encoding mode for the blocks divided by the block dividing unit.
  • An image encoding method for performing an encoding process on a block divided by a block dividing unit according to the encoding mode and outputting compressed data of the block wherein the predicted image generating unit includes a block dividing unit A prediction image of the block divided by the step, the difference image generation unit generates a difference image between the block divided by the block division unit and the prediction image generated by the prediction image generation unit, the image compression unit, The difference image generated by the difference image generation unit is compressed, the compressed data of the difference image is output, and the local decoded image generation unit The difference image compressed by the unit is expanded, the decoded difference image is added to the predicted image generated by the predicted image generation unit to generate a local decoded image, and the filtering processing unit is generated by the local decoded image generation unit A filter
  • the predictive image generation unit encodes a random accessible inter picture
  • the encoding order of the randomly accessible inter picture is Therefore, an intra picture that can be accessed in random order with the encoding order first and the encoding order closest is set as the reference picture. Then, the motion compensated prediction is performed using the set reference picture for the prediction process, and the encoding unit encodes identification information indicating that the randomly accessible inter picture is randomly accessible, and encodes the identification information. Data is multiplexed into a bit stream.
  • An image decoding method is an image decoding method for generating a decoded image by inputting a bit stream obtained by compressing and encoding an image in units of blocks, wherein the decoding unit performs compressed data relating to each block from the bit stream.
  • the prediction image generation unit generates a prediction image for each block with reference to the decoded pixels according to the encoding mode decoded by the decoding unit, and the difference image generation unit decodes the encoding mode.
  • the compressed data decoded by the unit is expanded to generate a difference image
  • the decoded image generation unit adds the difference image generated by the difference image generation unit and the prediction image generated by the prediction image generation unit to decode An image is generated
  • the filtering processing unit performs filtering processing on the decoded image generated by the decoded image generating unit.
  • the reference picture is set from a plurality of randomly accessible intra pictures, and the setting is performed.
  • the motion compensation prediction is performed using the reference picture for the prediction process, and the encoding unit encodes the picture position information indicating the position of the reference picture and the identification information indicating that the randomly accessible inter picture is randomly accessible. Since the encoded data of the picture position information and the identification information is multiplexed into the bit stream, random access is possible even in the inter picture, and the encoding efficiency can be improved while maintaining the random access interval. There is an effect that can be done.
  • the predictive image generating unit encodes a randomly accessible inter picture
  • the encoding order of the randomly accessible inter picture is used.
  • a random accessible intra picture with the first encoding order and the closest encoding order is set as a reference picture, and motion compensated prediction is performed using the set reference picture for prediction processing. Since the identification information indicating that the randomly accessible inter picture is randomly accessible is encoded and the encoded data of the identification information is multiplexed into the bitstream, the randomly accessible inter picture refers to The information for identifying the intra picture is no longer necessary, and the code amount of the information to be encoded is reduced. There is an effect that can be.
  • the decoding unit decodes the identification information indicating which inter picture is a randomly accessible inter picture, and the random access inter picture
  • decoding picture position information indicating the position of a reference picture to be referred to when generating a predicted image and the predicted image generating unit decodes a randomly accessible inter picture identified by the identification information, a plurality of random Since the picture indicated by the picture position information among the accessible intra pictures is set as a reference picture and the motion compensated prediction using the set reference picture for prediction processing is performed, the inter picture that can be accessed randomly Correctly decode the encoded bitstream containing There is an effect that can be.
  • the re-encoding unit encodes identification information indicating that a picture re-encoded to a randomly accessible inter-picture is randomly accessible, Since the encoded data of the identification information is configured to be multiplexed on the re-encoded bit stream, an encoded bit stream having a smaller code amount than that of the encoded bit stream generated by the image encoding device or the like can be generated. effective.
  • (A) shows the distribution of the encoding block and prediction block after a division
  • (b) is explanatory drawing which shows the condition where encoding mode m ( Bn ) is allocated by hierarchy division
  • Each prediction block P i n the coded block B n is an explanatory diagram showing an example of a selectable intra prediction modes. It is explanatory drawing which shows an example of the pixel used when producing
  • FIG. It is explanatory drawing which shows the trade-off relationship of a random access interval and encoding efficiency. It is explanatory drawing which shows the random access implementation example by the nonpatent literatures 1 and 2, and the random access implementation example by Embodiment 1.
  • FIG. It is explanatory drawing which shows the random access implementation example by Embodiment 1 which used together the IRAP picture which is not a long-term reference picture. It is explanatory drawing which shows the implementation example of the random access by the inter picture in which random access is possible. It is explanatory drawing in the case of showing the position of the reference picture used at the time of random access by the number of movement bytes from the information which identifies the inter picture which can be accessed randomly.
  • FIG. 1 is a block diagram showing an image encoding apparatus according to Embodiment 1 of the present invention.
  • the feature of the present invention is that random access is also possible in an inter picture using mainly the motion compensated prediction unit 5, the motion compensated prediction frame memory 12, and the variable length coding unit 13 in the configuration of FIG.
  • the block division unit 1 and the slice division unit 14 constitute a block division unit described in the claims
  • the encoding control unit 2 constitutes an encoding mode determination unit
  • a changeover switch 3 an intra prediction unit 4
  • the motion compensation prediction unit 5 and the predicted image generation unit are configured.
  • the subtracting unit 6 constitutes a difference image generating unit
  • the transform / quantization unit 7 constitutes an image compression unit
  • the inverse quantization / inverse transform unit 8 and the addition unit 9 constitute a local decoded image generation unit.
  • the loop filter unit 11 constitutes a filtering processing unit
  • the variable length coding unit 13 constitutes an encoding unit.
  • the video signal to be processed by the image coding apparatus according to the first embodiment is a color video in an arbitrary color space such as a YUV signal composed of a luminance signal and two color difference signals, or an RGB signal output from a digital image sensor.
  • the video frame is an arbitrary video signal such as a monochrome image signal or an infrared image signal, in which a video frame is composed of a horizontal / vertical two-dimensional digital sample (pixel) sequence.
  • the gradation of each pixel may be 8 bits, or a gradation of 10 bits, 12 bits, or the like.
  • the input signal may be a still image signal instead of a video signal because the still image signal can be interpreted as a video signal composed of only one frame.
  • the input video signal is YUV4: 2 in which the two color difference components U and V are subsampled in half both vertically and horizontally with respect to the luminance component Y: 0 format
  • the two color difference components U and V are the luminance component Y
  • YUV 4: 4: 4 format signal having the same number of samples.
  • each signal is regarded as a YUV 4: 4: 4 format signal and YUV 4: Performs the same encoding as the 4: 4 format.
  • the correspondence of each signal (RGB) in RGB 4: 4: 4 format to each signal (YUV) in YUV 4: 4: 4 format is not limited (can be arbitrarily set).
  • each signal is regarded as a monochrome image signal and is independently encoded in monochrome (YUV 4: 0: 0) to generate a bit stream. May be.
  • picture The processing data unit corresponding to each frame of the video is referred to as “picture”.
  • “picture” is described as a signal of a video frame that has been sequentially scanned (progressive scan).
  • the “picture” may be a field image signal which is a unit constituting a video frame.
  • the slice dividing unit 14 when a video signal is input as an input image, the slice dividing unit 14 performs a process of dividing the input image into one or more partial images called “slices” according to the slice division information determined by the encoding control unit 2. carry out.
  • the slice division unit can be finely divided to a coding block unit described later.
  • the slice dividing unit 1 Each time the block dividing unit 1 inputs the slice divided by the slice dividing unit 14, the slice dividing unit 1 divides the slice into maximum coding blocks that are coding blocks of the maximum size determined by the coding control unit 2, and Until the upper limit number of hierarchies determined by the encoding control unit 2 is reached, a process of dividing the maximum encoded block hierarchically into each encoded block is performed. That is, the block dividing unit 1 divides the slice into each encoded block in accordance with the division determined by the encoding control unit 2, and performs a process of outputting the encoded block. Each coding block is divided into one or a plurality of prediction blocks which are prediction processing units.
  • the encoding control unit 2 determines the maximum size of the encoded block that is a processing unit when the encoding process is performed, and sets the upper limit number of layers when the encoded block of the maximum size is hierarchically divided. By determining, the process of determining the size of each encoded block is performed.
  • the encoding control unit 2 also includes one or more selectable encoding modes (one or more intra encoding modes having different prediction block sizes indicating prediction processing units, one or more inter codes having different prediction block sizes, and the like).
  • the coding mode to be applied to the coding block output from the block dividing unit 1 is selected from among the coding modes.
  • the selection method there is a method of selecting a coding mode having the highest coding efficiency for the coding block output from the block dividing unit 1 from one or more selectable coding modes.
  • the coding control unit 2 sets the intra prediction parameters used when performing the intra prediction processing on the coding block in the intra coding mode.
  • the coding mode having the highest coding efficiency is the inter coding mode, determined for each prediction block that is the prediction processing unit indicated by the intra coding mode, the inter prediction process for the coding block is performed in the inter coding mode.
  • the process which determines the inter prediction parameter used when implementing for every prediction block which is a prediction process unit which the said inter coding mode shows is implemented.
  • the encoding control unit 2 performs a process of determining a prediction difference encoding parameter to be given to the transform / quantization unit 7 and the inverse quantization / inverse transform unit 8.
  • the prediction difference coding parameter includes transform block partition information indicating transform block partition information that is a unit of orthogonal transform processing in the coded block, and a quantization parameter that specifies a quantization step size when transform coefficients are quantized. Etc. are included.
  • FIG. 19 is an explanatory diagram showing a conversion block size when performing compression processing (conversion processing and quantization processing) of a luminance signal and a color difference signal in a YUV 4: 2: 0 format signal.
  • the transform block size is determined by hierarchically dividing the encoded block into a quadtree. For example, whether or not to divide the transform block so that the evaluation value is minimized based on the amount of code when the transform block is divided and when the transform block is not divided, the evaluation scale that takes into account the coding error, etc. By determining this, it is possible to determine the optimal transform block division shape from the viewpoint of the trade-off between the code amount and the coding error.
  • the encoded block is hierarchically divided into one or a plurality of square transform blocks.
  • the encoding block is hierarchically divided into one or a plurality of square transform blocks in the same manner as the luminance signal.
  • the conversion block size of the color difference signal is half the vertical and horizontal sizes of the corresponding luminance signal conversion block.
  • the input signal format is a YUV 4: 2: 2 signal
  • quadtree-like hierarchical division similar to the luminance signal is performed.
  • the shape of the divided block is a rectangle in which the number of pixels in the vertical direction is twice the number of pixels in the horizontal direction
  • the divided block is further divided into two parts in the vertical direction, so that the YUV 4: 2: 0 signal
  • the color difference signal is composed of two conversion blocks having the same block size (half the vertical and horizontal sizes of the luminance signal conversion block).
  • the color difference signal conversion block is always divided in the same manner as the luminance signal conversion block to be the same size conversion block.
  • the division information of the conversion block of the luminance signal is output to the variable length encoding unit 13 as a conversion block division flag indicating whether or not to divide for each layer, for example.
  • the changeover switch 3 outputs the coded block output from the block dividing unit 1 to the intra prediction unit 4 and the coding control unit 2. If the coding mode determined by the above is the inter coding mode, a process of outputting the coding block output from the block dividing unit 1 to the motion compensation prediction unit 5 is performed.
  • the intra prediction unit 4 When the intra control mode is selected by the encoding control unit 2 as the encoding mode corresponding to the encoded block output from the changeover switch 3, the intra prediction unit 4 is stored locally in the intra prediction memory 10. With reference to the decoded image, an intra prediction process (intraframe prediction process) using the intra prediction parameter determined by the encoding control unit 2 is performed to generate an intra predicted image.
  • the intra prediction unit 4 constitutes an intra prediction unit.
  • the intra prediction unit 4 performs an intra prediction process (intraframe prediction process) using the intra prediction parameter of the luminance signal to generate a prediction image of the luminance signal.
  • the intra prediction parameter of the color difference signal indicates that the same prediction mode as the intra prediction mode for the luminance signal is used (the intra prediction parameter indicates the luminance color difference common intra prediction mode (DM mode)).
  • DM mode luminance color difference common intra prediction mode
  • the intra prediction parameter of the color difference signal indicates the vertical direction prediction mode or the horizontal direction prediction mode
  • the directionality prediction for the color difference signal is performed to generate a prediction image of the color difference signal.
  • the intra prediction parameter of the color difference signal indicates the luminance correlation use color difference signal prediction mode (LM mode)
  • LM mode luminance correlation use color difference signal prediction mode
  • a correlation parameter indicating the correlation between the luminance signal and the color difference signal is calculated using the signal, and a predicted image of the color difference signal is generated using the correlation parameter and the luminance signal corresponding to the block of the color difference signal to be predicted.
  • the input signal format is a YUV 4: 4: 4 signal
  • the DM mode or the LM mode processing may be performed and the other prediction modes may not be selected.
  • the edge position of the luminance signal and the color difference signal has a high correlation. Therefore, by prohibiting the prediction mode different from the luminance signal from being applied to the color difference signal, the intra prediction mode of the color difference signal is prohibited. Thus, it is possible to improve the coding efficiency.
  • the color difference signal has half the number of pixels in the horizontal direction compared to the luminance signal. Becomes a rectangular block. Therefore, as shown in FIG. 25, when the luminance signal and the color difference signal indicate the same direction prediction on the YUV 4: 4: 4 signal, the YUV 4: 4: 4 signal is converted into a YUV 4: 2: 2 signal.
  • the prediction direction of the color difference signal is different from the prediction direction of the luminance signal. Specifically, as shown in FIG.
  • the intra prediction mode used for the luminance signal is used.
  • the index is converted into an index of an intra prediction mode used for prediction of the color difference signal, and the prediction process of the color difference signal in the intra prediction mode corresponding to the converted index is performed.
  • an index conversion table may be prepared, and the index may be converted by referring to the conversion table.
  • a conversion formula is prepared in advance, and the index is converted according to the conversion formula. You may comprise. With this configuration, it is possible to perform appropriate prediction of the color difference signal according to the format of the YUV 4: 2: 2 signal only by converting the index without changing the directionality prediction process itself.
  • the motion compensation prediction unit 5 and the motion compensation prediction frame memory 12 A motion vector is searched by comparing locally decoded images of one frame or more stored in the image, and the motion vector and an inter prediction parameter such as a frame number to be determined determined by the encoding control unit 2 are used to encode the code.
  • a process for generating an inter-predicted image by performing an inter prediction process (motion-compensated prediction process) on a block is performed.
  • the subtraction unit 6 subtracts the intra prediction image generated by the intra prediction unit 4 or the inter prediction image generated by the motion compensated prediction unit 5 from the encoded block output from the block division unit 1 and performs the subtraction.
  • the process which outputs the prediction difference signal which shows the difference image which is a result to the conversion and quantization part 7 is implemented.
  • the transform / quantization unit 7 refers to the transform block division information included in the prediction difference coding parameter determined by the coding control unit 2 and performs orthogonal transform processing on the prediction difference signal output from the subtraction unit 6 (for example, DCT (Discrete Cosine Transform), DST (Discrete Sine Transform), orthogonal transform processing such as KL transform, which is previously designed for a specific learning sequence, is performed for each transform block, and transform coefficients are calculated. Then, referring to the quantization parameter included in the prediction differential encoding parameter, the transform coefficient of the transform block unit is quantized, and the compressed data, which is the transform coefficient after quantization, is inversely quantized / inverse transform unit 8 and variable A process of outputting to the long encoding unit 13 is performed.
  • DCT Discrete Cosine Transform
  • DST Discrete Sine Transform
  • FIG. 10 is an explanatory diagram illustrating an example of a 4 ⁇ 4 DCT quantization matrix.
  • the numbers in the figure indicate the scaling value of the quantization step size of each transform coefficient. For example, in order to suppress the encoding bit rate, as shown in FIG. 10, by scaling the quantization step size to a larger value for the higher frequency transform coefficient, the higher frequency generated in a complex image region or the like. It is possible to perform coding without dropping information on low-frequency coefficients that greatly affect subjective quality while suppressing the amount of codes by suppressing conversion coefficients. Thus, when it is desired to control the quantization step size for each transform coefficient, a quantization matrix may be used.
  • the quantization matrix can use an independent matrix for each color signal and coding mode (intra coding or inter coding) with each orthogonal transform size. It is possible to select whether to use a quantization matrix that is commonly prepared in advance by the decoding apparatus or an already encoded quantization matrix or to use a new quantization matrix. Accordingly, the transform / quantization unit 7 sets flag information indicating whether or not to use a new quantization matrix for each orthogonal transform size for each color signal and coding mode, in a quantization matrix parameter to be encoded. .
  • each scaling value of the quantization matrix as shown in FIG. 10 is set as a quantization matrix parameter to be encoded.
  • a new quantization matrix is not used, as an initial value, a quantization matrix prepared in advance by the image encoding device and the image decoding device, or a quantization matrix that has already been encoded is used.
  • an index for specifying a matrix to be used is set as a quantization matrix parameter to be encoded.
  • the inverse quantization / inverse transform unit 8 refers to the quantization parameter and transform block division information included in the prediction difference coding parameter determined by the coding control unit 2, and transforms and transforms the transform block / quantization unit 7 in units of transform blocks.
  • a local decoded prediction difference corresponding to the prediction difference signal output from the subtracting unit 6 is obtained by inversely quantizing the output compressed data and performing an inverse orthogonal transform process on the transform coefficient that is the compressed data after the inverse quantization.
  • a process of calculating a signal is performed.
  • the transform / quantization unit 7 uses the quantization matrix to perform the quantization process, the corresponding inverse quantization can be performed by referring to the quantization matrix even during the inverse quantization process. Perform the process.
  • the addition unit 9 includes the local decoded prediction difference signal calculated by the inverse quantization / inverse conversion unit 8, the intra prediction image generated by the intra prediction unit 4, or the inter prediction image generated by the motion compensation prediction unit 5. Are added to calculate a locally decoded image corresponding to the encoded block output from the block dividing unit 1.
  • the intra prediction memory 10 is a recording medium that stores the locally decoded image calculated by the adding unit 9.
  • the loop filter unit 11 performs a predetermined filtering process on the local decoded image calculated by the adding unit 9 and performs a process of outputting the local decoded image after the filter process. Specifically, filter (deblocking filter) processing that reduces distortion occurring at the boundaries of transform blocks and prediction blocks, processing for adaptively adding an offset (pixel adaptive offset) for each pixel, Wiener filter, etc. Performs adaptive filter processing for adaptively switching linear filters and performing filter processing.
  • the loop filter unit 11 determines whether or not to perform each of the deblocking filter process, the pixel adaptive offset process, and the adaptive filter process, and performs variable-length coding using the valid flag of each process as header information. To the unit 13. When a plurality of the above filter processes are used, each filter process is performed in order. FIG. 11 shows a configuration example of the loop filter unit 11 when a plurality of filter processes are used. Generally, the more types of filter processing that are used, the better the image quality, but the higher the processing load. That is, image quality and processing load are in a trade-off relationship. In addition, the image quality improvement effect of each filter process varies depending on the characteristics of the image to be filtered.
  • the filter processing to be used may be determined according to the processing load allowed by the image encoding device and the characteristics of the encoding target image. For example, when it is desired to reduce processing impossibility as compared with the configuration of FIG. 11, it may be configured by only deblocking filter processing and pixel adaptive offset processing.
  • the deblocking filter process various parameters used for selecting the filter strength applied to the block boundary can be changed from the initial values.
  • the parameter is output to the variable length coding unit 13 as header information.
  • the pixel adaptive offset process first, an image is divided into a plurality of blocks, and when the offset process is not performed for each block, it is defined as one of the class classification methods, and a plurality of class classifications prepared in advance are used. One classification method is selected from the methods. Next, each pixel in the block is classified by the selected class classification method, and an offset value for compensating the coding distortion is calculated for each class. Finally, the image quality of the locally decoded image is improved by performing a process of adding the offset value to the luminance value of the locally decoded image.
  • block division information, an index indicating the class classification method of each block, and offset information for specifying an offset value of each class in block units are output to the variable length coding unit 13 as header information.
  • the pixel adaptive offset processing for example, it may be always divided into fixed-size block units such as a maximum coding block, and a class classification method may be selected for each block to perform adaptive offset processing for each class.
  • the block division information becomes unnecessary, the code amount is reduced by the amount of code required for the block division information, and the coding efficiency can be improved.
  • the filter designed for each class is output to the variable length encoding unit 13 as header information.
  • the class classification method there are a simple method for spatially dividing an image at equal intervals, and a method for classifying an image according to local characteristics (dispersion, etc.) of each block.
  • the number of classes used in the adaptive filter processing may be set in advance as a value common to the image encoding device and the image decoding device, or may be a parameter to be encoded. Compared to the former, the latter can set the number of classes to be used freely, so the image quality improvement effect will be improved, but on the other hand, the amount of code will be increased to encode the number of classes. To do.
  • the video signal When performing the pixel adaptive offset process and the adaptive filter process, as shown in FIG. 11, the video signal needs to be referred to by the loop filter unit 11, so that the video signal is input to the loop filter unit 11. In addition, it is necessary to change the image encoding apparatus of FIG.
  • the motion compensated prediction frame memory 12 is a recording medium that stores a locally decoded image after the filter processing of the loop filter unit 11.
  • the variable length coding unit 13 outputs the compressed data output from the transform / quantization unit 7 and the output signal of the coding control unit 2 (block division information in the largest coding block, coding mode, prediction difference coding parameter, Intra prediction parameters or inter prediction parameters) and motion vectors output from the motion compensation prediction unit 5 (when the encoding mode is the inter encoding mode) are variable length encoded to generate encoded data. Further, as illustrated in FIG. 13, the variable length encoding unit 13 encodes a sequence level header and a picture level header as header information of the encoded bit stream, and generates an encoded bit stream together with the picture data.
  • picture data is composed of one or more slice data
  • each slice data is a combination of a slice level header and the encoded data in the slice.
  • the sequence level header includes the image size, the color signal format, the bit depth of the signal value of the luminance signal and the color difference signal, and each filter process (adaptive filter process, pixel adaptive offset process, deblocking filter process) in the loop filter unit 11 in sequence units.
  • filter process adaptive filter process, pixel adaptive offset process, deblocking filter process
  • header information that is common to each sequence unit such as valid flag information of) and valid flag information of a quantization matrix, is collected.
  • the picture level header is a collection of header information set in units of pictures, such as an index of a sequence level header to be referenced, the number of reference pictures at the time of motion compensation, an entropy coding probability table initialization flag, and a quantization matrix parameter. .
  • the slice level header includes position information indicating where the slice is located in the picture, an index indicating which picture level header is referred to, a slice coding type (intra coding, inter coding, etc.), and a loop filter. 8 is a summary of parameters in units of slices such as flag information indicating whether or not each filter process (adaptive filter process, pixel adaptive offset process, deblocking filter process) in the unit 11 is performed.
  • each header information and picture data is identified by a NAL unit.
  • a sequence parameter set (corresponding to the above sequence level header), a picture parameter header (corresponding to the above picture level header), and slice data are each defined as a unique NAL unit type, together with identification information (index) of the NAL unit type Encoded.
  • the picture data is defined as an access unit and indicates a unit of data access including encoded data of one picture.
  • the NAL unit type of slice data in the corresponding access unit is encoded as an IRAP picture.
  • This IRAP picture is encoded as an intra picture that is encoded only by intra prediction so that it can be normally decoded even if decoding is started from the picture.
  • IDR pictures, CRA pictures, and BLA pictures are defined as IRAP pictures.
  • Non-Patent Document 2 except that only IDR pictures are defined as randomly accessible pictures.
  • the description will be made on the assumption that the IRAP picture of Non-Patent Document 1 is used.
  • Non-Patent Document 2 a similar process can be realized by replacing the IRAP picture with an IDR picture.
  • this embodiment defines an inter picture that can be randomly accessed.
  • FIG. 33 shows a conventional random access implementation example (FIG. 33 (a)) according to Non-Patent Documents 1 and 2 described in FIG. 32 and a random access implementation example (FIG. 33 (b)) according to the present embodiment.
  • FIG. 33A IRAP pictures that are intra pictures are inserted every other picture.
  • FIG. 33 (b) the number of inter pictures is larger than in FIG. 33 (a).
  • the “inter picture” shown in white is displayed earlier than the randomly accessible inter picture whose display order is the previous (display time is in the past). The picture of is not referenced.
  • the randomly accessible inter picture is an inter picture that refers only to a long-term reference picture.
  • the long-term reference picture is a buffer management of a normal reference picture defined in Non-Patent Documents 1 and 2 (a short-term reference picture defined in Non-Patent Documents 1 and 2).
  • a reference picture stored in a reference picture buffer prepared for long-term storage is shown. That is, the long-term reference picture is stored in the long-term storage buffer in the motion compensated prediction frame memory 12.
  • a picture that is referenced by a randomly accessible inter picture is referred to as a “reference picture used during random access”. As shown in FIG.
  • the reference picture used at random access is a picture that can also refer to a picture other than the randomly accessible inter picture (for example, the inter picture in FIG. 33B).
  • reference pictures used at random access are limited to intra pictures that can be normally decoded by the picture alone.
  • the reference pictures used during random access may be set at a fixed picture interval, or a picture suitable for each scene may be selected.
  • the background image may be set as a reference picture used at random access.
  • which intra picture is set as a reference picture to be used during random access is determined according to a rule determined in advance in the encoding apparatus, a determination method in the course of encoding, a determination method outside the encoding apparatus, etc. Various methods are conceivable depending on the application.
  • various setting methods can be considered for setting an inter picture that can be randomly accessed, depending on the application. For example, it is set in advance based on the evaluation value indicating the correlation with the reference picture used at random access. That is, an inter picture having a large correlation with the reference picture used during random access is set as an inter picture that can be randomly accessed. As another example, there is a method of setting at a constant picture interval.
  • the inter-picture set as a randomly accessible picture generates a prediction image by performing motion compensation prediction with reference to one or more long-term reference pictures in the motion compensation prediction unit 5.
  • the variable length encoding unit 13 encodes information regarding an inter picture that can be randomly accessed. That is, the variable-length encoding unit 13 encodes supplementary information (identification information) indicating that it is a randomly accessible inter-picture as Supplemental Enhancement Information (SEI) in an access unit of a randomly accessible inter-picture.
  • SEI Supplemental Enhancement Information
  • This SEI includes picture position information indicating the picture number of a long-term reference picture that can be independently decoded (reference picture used at random access) that is referred to by the inter picture of the access unit. Therefore, at the time of random access on the decoding side, random access is also possible for the inter picture of the access unit having the SEI in addition to the IRAP picture. In this case, after decoding the long-term reference picture indicated by the SEI, the inter picture that refers only to the long-term reference picture is decoded. That is, in the image decoding device of FIG. 3 described later, when the variable length decoding unit 31 constituting the decoding unit decodes the SEI from the encoded data multiplexed in the bitstream, the image decoding device is included in the SEI.
  • a decoded image of an intra picture that is a long-term reference picture with a picture number indicated by the picture position information indicated is decoded, and the decoded image of the intra picture is stored in the motion compensated prediction frame memory 39, and then the motion compensation unit 35
  • the motion compensation unit 35 By referring to the decoded picture of the intra picture stored in the motion compensated prediction frame memory 39 and performing the motion compensated prediction of the randomly accessible inter picture indicated by the SEI, it is possible to randomly access the SEI indicated by the SEI. Intermediate decoding (random access) from the inter picture can be realized.
  • the long-term reference picture that is a reference picture used at random access is an IRAP picture, but an intra picture that is not an IRAP picture may be used as a long-term reference picture. Furthermore, it is not necessary for all IRAP pictures to be long-term reference pictures, and IRAP pictures that are not long-term reference pictures may be used together as in the example of FIG.
  • the number of long-term reference pictures referred to by randomly accessible inter pictures is determined in advance as a common value between the image encoding device and the decoding device.
  • the number of picture numbers of long-term reference pictures to be encoded as supplementary information is equal to the predetermined number of long-term reference pictures. Alternatively, the long-term reference picture number may be encoded as supplementary information.
  • the number of long-term reference pictures to be referred to can be adaptively changed according to the situation, and the encoding efficiency of randomly accessible inter pictures can be improved.
  • not only intra pictures that use only the picture for prediction but also inter pictures that can be used for motion compensation can be used as random access points, thereby realizing highly efficient coding compared to Non-Patent Documents 1 and 2. it can.
  • a block division unit 1 an encoding control unit 2, a changeover switch 3, an intra prediction unit 4, a motion compensation prediction unit 5, a subtraction unit 6, a transform / quantization unit, which are components of the image encoding device 7, each of the inverse quantization / inverse transform unit 8, the adder 9, the intra prediction memory 10, the loop filter unit 11, the motion compensation prediction frame memory 12, the variable length coding unit 13, and the slice division unit 14 Hardware (for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, or the like) is assumed.
  • Hardware for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, or the like
  • FIG. 2 is a flowchart showing the processing contents (image coding method) of the image coding apparatus according to Embodiment 1 of the present invention.
  • FIG. 3 is a block diagram showing an image decoding apparatus according to Embodiment 1 of the present invention.
  • the image decoding apparatus is also characterized in that it can be randomly accessed from the inter picture.
  • the variable length decoding unit 31 constitutes a decoding unit
  • the inverse quantization / inverse transformation unit 32 constitutes a difference image generation unit
  • the changeover switch 33, the intra prediction unit 34, and the motion compensation unit 35 constitute a prediction image generation unit. Is configured.
  • the adding unit 36 constitutes a decoded image generation unit
  • the loop filter unit 38 constitutes a filtering processing unit.
  • FIG. 3 when the variable length decoding unit 31 receives the encoded bit stream generated by the image encoding device of FIG.
  • the header information such as a sequence level header, a picture level header, and a slice level header is extracted from the bit stream.
  • variable-length decoding is performed on the block division information indicating the division status of each encoded block divided hierarchically from the encoded bitstream.
  • the header information includes information indicating that each of the YUV 4: 4: 4 format signal and the RGB 4: 4: 4 format signal is regarded as a monochrome image signal and is independently encoded in monochrome (YUV 4: 0: 0). Included, the encoded bit stream of each color signal can be independently decoded.
  • decoding is started in the display order by starting from the picture of the access unit having the SEI indicating that the IRAP picture or the randomly accessible inter picture. Pictures subsequent to the picture can be correctly decoded. Specifically, SEI indicating that it is a randomly accessible inter picture is decoded, and first, the picture number of the long-term reference picture included in this SEI, that is, the picture number of the long-term reference picture referred to by the picture of the access unit Referring to, the picture with the picture number indicated is decoded.
  • the motion compensation unit 35 refers to the long-term reference picture decoded and stored in the motion compensation prediction frame memory 39 (motion compensation prediction memory), and the access unit including the SEI
  • the inter-picture motion compensation prediction is performed, and the inter-picture is decoded.
  • a picture whose display order is later than the inter picture is decoded.
  • the number of long-term reference pictures referred to by randomly accessible inter-pictures is determined in advance as a common value in the image coding apparatus and decoding apparatus, and the picture numbers of the long-term reference pictures corresponding to the determined number of long-term reference pictures Is decrypted.
  • the image decoding apparatus decodes the number of long-term reference pictures to be referenced, and the long-term reference is the same as the number of decoded long-term reference pictures
  • a decoding apparatus for decoding the picture number of a picture is configured. Generated by an image encoding device that improves the coding efficiency of randomly accessible inter-pictures by adaptively changing the number of reference pictures by configuring to decode the number of long-term reference pictures encoded in this way Stream can be decoded correctly.
  • variable length decoding unit 31 performs variable length decoding of the quantization matrix parameter, and specifies the quantization matrix.
  • the quantization matrix parameter is set as an initial value, a quantization matrix prepared in advance in the image encoding device and the image decoding device, or When indicating that the quantization matrix has already been decoded (not a new quantization matrix), the quantization matrix is identified with reference to the index information identifying which quantization matrix of the matrix, When the quantization matrix parameter indicates that a new quantization matrix is used, the quantization matrix is specified as a quantization matrix that uses the quantization matrix included in the quantization matrix parameter.
  • variable length decoding unit 31 refers to each header information to identify the slice division state, identifies the maximum coding block included in the slice data of each slice, refers to the block division information, and determines the maximum A coding block that is a unit for performing a decoding process by hierarchically dividing the coding block is specified, and compressed data, a coding mode, and an intra prediction parameter related to each coding block (the coding mode is an intra coding mode). ), A variable length decoding process for the inter prediction parameter (when the encoding mode is the inter encoding mode), the motion vector (when the encoding mode is the inter encoding mode), and the prediction differential encoding parameter. carry out.
  • the inverse quantization / inverse transform unit 32 refers to the quantization parameter and transform block division information included in the prediction difference encoding parameter variable length decoded by the variable length decoding unit 31, and the variable length decoding unit 31 performs variable length decoding. 1 is inversely quantized to the transform block unit, and inverse orthogonal transform processing is performed on the transform coefficient that is the compressed data after inverse quantization, and is output from the inverse quantization / inverse transform unit 8 in FIG. A process of calculating the same decoded prediction difference signal as the local decoding prediction difference signal is performed.
  • the division state of the transform block in the coding block is specified from the transform block division information.
  • the transform block size is determined by hierarchically dividing the encoded block into quadtrees as shown in FIG.
  • the encoded block is hierarchically divided into one or a plurality of square transform blocks.
  • the encoding block is hierarchically divided into one or a plurality of square transform blocks in the same manner as the luminance signal.
  • the conversion block size of the color difference signal is half the vertical and horizontal sizes of the corresponding luminance signal conversion block.
  • the input signal format is a YUV 4: 2: 2 signal
  • quadtree-like hierarchical division similar to the luminance signal is performed.
  • the shape of the divided block is a rectangle in which the number of pixels in the vertical direction is twice the number of pixels in the horizontal direction
  • the divided block is further divided into two parts in the vertical direction, so that the YUV 4: 2: 0 signal
  • the color difference signal is composed of two conversion blocks having the same block size (half the vertical and horizontal sizes of the luminance signal conversion block).
  • the color difference signal conversion block is always divided in the same manner as the luminance signal conversion block so as to be the same size conversion block.
  • each header information variable-length decoded by the variable-length decoding unit 31 indicates that inverse quantization processing is to be performed using the quantization matrix in the slice
  • inverse quantization is performed using the quantization matrix.
  • Process Specifically, inverse quantization processing is performed using a quantization matrix specified from each header information.
  • the changeover switch 33 outputs the intra-prediction parameter variable-length decoded by the variable-length decoding unit 31 to the intra-prediction unit 34 if the coding mode variable-length decoded by the variable-length decoding unit 31 is the intra-coding mode. If the encoding mode variable-length decoded by the variable-length decoding unit 31 is an inter-coding mode, a process of outputting the inter prediction parameters and motion vectors variable-length decoded by the variable-length decoding unit 31 to the motion compensation unit 35 carry out.
  • the intra prediction unit 34 is stored in the intra prediction memory 37 when the coding mode related to the coding block specified from the block division information subjected to variable length decoding by the variable length decoding unit 31 is the intra coding mode. With reference to the decoded image, an intra prediction process (intraframe prediction process) using the intra prediction parameter output from the changeover switch 33 is performed to generate an intra predicted image.
  • the intra prediction unit 34 constitutes an intra prediction unit.
  • the intra prediction unit 34 performs an intra prediction process (intra-frame prediction process) using the intra prediction parameter for the luminance signal, and generates a prediction image of the luminance signal.
  • the intra prediction parameter of the color difference signal indicates that the same prediction mode as the intra prediction mode for the luminance signal is used (the intra prediction parameter indicates the luminance color difference common intra prediction mode (DM mode)).
  • DM mode luminance color difference common intra prediction mode
  • the intra prediction parameter of the color difference signal indicates the vertical direction prediction mode or the horizontal direction prediction mode
  • the directionality prediction for the color difference signal is performed to generate a prediction image of the color difference signal.
  • the intra prediction parameter of the color difference signal indicates the luminance correlation use color difference signal prediction mode (LM mode)
  • LM mode luminance correlation use color difference signal prediction mode
  • a correlation parameter indicating the correlation between the luminance signal and the color difference signal is calculated using the signal, and a predicted image of the color difference signal is generated using the correlation parameter and the luminance signal corresponding to the block of the color difference signal to be predicted.
  • the image coding apparatus is configured to perform the DM mode or LM mode processing and not select other prediction modes.
  • the image decoding apparatus has the same configuration so that the encoded bitstream generated from the image encoding apparatus can be decoded.
  • the edge position of the luminance signal and the color difference signal has a high correlation. Therefore, by prohibiting the prediction mode different from the luminance signal from being applied to the color difference signal, the intra prediction mode of the color difference signal is prohibited. Thus, it is possible to improve the coding efficiency.
  • the color difference signal has half the number of pixels in the horizontal direction compared to the luminance signal. Becomes a rectangular block. Therefore, as shown in FIG. 25, when a YUV4: 4: 4 signal is converted into a YUV4: 2: 2 signal, in order to predict the luminance signal and the color difference signal in the same direction, YUV4: 2 : On two signals, in the case of directional prediction other than the vertical prediction and the horizontal prediction, the prediction direction of the color difference signal is different from the prediction direction of the luminance signal. Specifically, as shown in FIG.
  • the intra prediction mode used for the luminance signal is used.
  • the index is converted into an index of an intra prediction mode used for prediction of the color difference signal, and the prediction process of the color difference signal in the intra prediction mode corresponding to the converted index is performed.
  • an index conversion table may be prepared, and the index may be converted by referring to the conversion table.
  • a conversion formula is prepared in advance, and the index is converted according to the conversion formula. You may comprise. With this configuration, it is possible to perform appropriate prediction of the color difference signal according to the format of the YUV 4: 2: 2 signal only by converting the index without changing the directionality prediction process itself.
  • the motion compensation unit 35 is stored in the motion compensation prediction frame memory 39 when the coding mode related to the coding block specified from the block division information variable-length decoded by the variable-length decoding unit 31 is the inter-coding mode.
  • the inter prediction process motion compensation prediction process using the motion vector output from the changeover switch 33 and the inter prediction parameter is performed while referring to the decoded image, and the process of generating the inter prediction image is performed.
  • the addition unit 36 adds the decoded prediction difference signal calculated by the inverse quantization / inverse conversion unit 32 and the intra prediction image generated by the intra prediction unit 34 or the inter prediction image generated by the motion compensation unit 35. Then, a process of calculating the same decoded image as the local decoded image output from the adding unit 9 in FIG. 1 is performed.
  • the intra prediction memory 37 is a recording medium that stores the decoded image calculated by the adding unit 36 as a reference image used in the intra prediction process.
  • the loop filter unit 38 performs a predetermined filter process on the decoded image calculated by the adding unit 36 and performs a process of outputting the decoded image after the filter process. Specifically, filter (deblocking filter) processing that reduces distortion occurring at the boundaries of transform blocks and prediction blocks, processing for adaptively adding an offset (pixel adaptive offset) for each pixel, Wiener filter, etc. Performs adaptive filter processing for adaptively switching linear filters and performing filter processing.
  • the loop filter unit 38 performs each of the above deblocking filter processing, pixel adaptive offset processing, and adaptive filter processing with reference to each header information variable-length decoded by the variable-length decoding unit 31 in the corresponding slice. Specify whether or not.
  • the loop filter unit 38 is configured as shown in FIG. 11 if the loop filter unit 11 of the image encoding device is configured as shown in FIG. 11, a loop filter unit 38 is configured as shown in FIG. The Naturally, if the loop filter unit 11 of the image encoding device is configured by deblocking filter processing and pixel adaptive offset processing, the loop filter unit 38 is also configured by deblocking filter processing and pixel adaptive offset processing.
  • deblocking filter processing with reference to the header information that has been subjected to variable length decoding by the variable length decoding unit 31, there is information for changing various parameters used for selecting the filter strength applied to the block boundary from the initial value. Based on the change information, deblocking filter processing is performed. When there is no change information, it is performed according to a predetermined method.
  • the decoded image is divided based on the block division information of the pixel adaptive offset processing variable-length decoded by the variable-length decoding unit 31, and the variable-length decoding unit 31 performs variable-length decoding on the block basis. If the index indicating the block classification method is not an index indicating that “offset processing is not performed”, each pixel in the block is classified according to the class classification method indicated by the index. To do.
  • the same class classification method candidate as the pixel classification method candidate of the pixel adaptive offset process of the loop filter unit 11 is prepared in advance as a class classification method candidate. Then, a process of adding the offset to the luminance value of the decoded image is performed with reference to the offset information specifying the offset value of each class in block units.
  • the block division information is not encoded, and the image is always divided into fixed-size block units (for example, the maximum encoded block unit).
  • the loop filter unit 38 also has a pixel adaptive offset in units of blocks having the same fixed size as the loop filter unit 11. Perform the process.
  • the motion compensation prediction frame memory 39 is a recording medium that stores the decoded image after the filter processing of the loop filter unit 38 as a reference image used in the inter prediction processing (motion compensation prediction processing).
  • a variable length decoding unit 31 an inverse quantization / inverse conversion unit 32, a changeover switch 33, an intra prediction unit 34, a motion compensation unit 35, an addition unit 36, and an intra prediction component that are components of the image decoding device.
  • each of the memory 37, the loop filter unit 38, and the motion compensation prediction frame memory 39 is configured by dedicated hardware (for example, a semiconductor integrated circuit on which a CPU is mounted, a one-chip microcomputer, or the like).
  • FIG. 4 is a flowchart showing the processing contents (image decoding method) of the image decoding apparatus according to Embodiment 1 of the present invention.
  • each frame image of a video is used as an input image, intra prediction from encoded neighboring pixels or motion compensation prediction between adjacent frames is performed, and an obtained prediction difference signal is obtained.
  • An image encoding device that performs compression processing by orthogonal transform / quantization and then performs variable length encoding to generate an encoded bitstream, and an image that decodes the encoded bitstream output from the image encoding device A decoding apparatus will be described.
  • the image encoding apparatus in FIG. 1 performs intra-frame and inter-frame adaptive encoding by dividing a video signal into blocks of various sizes in response to local changes in the spatial and temporal directions of the video signal. It is characterized by.
  • a video signal has a characteristic that the complexity of the signal changes locally in space and time.
  • a small image such as a picture with a uniform signal characteristic in a relatively wide image area such as the sky or a wall, or a picture containing a person or fine texture, on a video frame.
  • a pattern having a complicated texture pattern in the region may be mixed.
  • Even when viewed temporally, the change in the pattern of the sky and the wall locally in the time direction is small, but because the outline of the moving person or object moves rigidly or non-rigidly in time, the temporal change Is big.
  • a prediction difference signal with small signal power and entropy is generated by temporal and spatial prediction to reduce the overall code amount.
  • the parameters used for the prediction are set as large as possible in the image signal region. If it can be applied uniformly, the code amount of the parameter can be reduced.
  • the same prediction parameter is applied to a large image region with respect to an image signal pattern having a large temporal and spatial change, the number of prediction differential signals increases because prediction errors increase. . Therefore, in a region where the temporal and spatial changes are large, the block size for performing the prediction process by applying the same prediction parameter is reduced, the amount of parameter data used for prediction is increased, and the power and entropy of the prediction difference signal are increased. It is desirable to reduce
  • the first embodiment in order to perform coding adapted to the general characteristics of such a video signal, first, prediction processing or the like is started from a predetermined maximum block size, and the video signal region is divided hierarchically. In addition, the prediction process and the encoding process of the prediction difference are adapted for each divided area.
  • the encoding control unit 2 determines the slice division state of a picture to be encoded (current picture), and also determines the size of the maximum encoding block used for encoding the picture and the hierarchy for dividing the maximum encoding block into layers. The upper limit of the number is determined (step ST1 in FIG. 2).
  • the same size may be determined for all the pictures according to the resolution of the video signal of the input image, or the local motion of the video signal of the input image
  • the size difference may be quantified as a parameter, and a small size may be determined for a picture with high motion, while a large size may be determined for a picture with little motion.
  • the upper limit of the number of division layers can be determined by, for example, determining the same number of layers for all pictures according to the resolution of the video signal of the input image, or when the motion of the video signal of the input image is severe There is a method in which the number of hierarchies is increased so that finer movements can be detected, and when there are few movements, the number of hierarchies is set to be suppressed.
  • the size of the maximum coding block and the upper limit of the number of layers into which the maximum coding block is divided may be encoded in a sequence level header or the like, or the image decoding apparatus side may determine the same without encoding. Processing may be performed.
  • the former increases the code amount of the header information, but it is not necessary to perform the determination process on the image decoding device side, so that the processing load on the image decoding device can be suppressed, and an optimum value is set on the image coding device side. You can search and send. On the contrary, since the determination process is performed on the image decoding apparatus side, the processing load on the image decoding apparatus increases, but the code amount of the header information does not increase.
  • the minimum block size of the coding block is used instead of the upper limit of the number of division hierarchies. May be encoded.
  • the size of the block when the maximum encoded block is divided up to the upper limit of the number of division layers is the minimum block size of the encoded block
  • the size of the maximum encoded block and the size of the encoded block are determined on the image decoding device side.
  • the upper limit of the number of divided hierarchies can be specified from the minimum block size.
  • the encoding control unit 2 selects an encoding mode corresponding to each encoding block divided hierarchically from one or more available encoding modes (step ST2). That is, the encoding control unit 2 divides the image area of the maximum encoding block size into encoded blocks having the encoding block size hierarchically until reaching the upper limit of the number of division layers defined above. A coding mode for each coding block is determined. There are one or more intra coding modes (collectively referred to as “INTRA”) and one or more inter coding modes (collectively referred to as “INTER”). The coding control unit 2 selects a coding mode corresponding to each coding block from all coding modes available for the picture or a subset thereof.
  • ITRA intra coding modes
  • INTER inter coding modes
  • each coding block that is hierarchically divided by the block division unit 1 to be described later is further divided into one or a plurality of prediction blocks, which are units for performing prediction processing, and the division state of the prediction block is also coded mode.
  • the coding mode is an index for identifying what kind of prediction block division the intra or inter coding mode is. Since the encoding mode selection method by the encoding control unit 2 is a known technique, detailed description thereof is omitted. For example, an encoding process for an encoding block is performed using any available encoding mode. There is a method in which coding efficiency is verified by performing and a coding mode having the best coding efficiency is selected from among a plurality of available coding modes.
  • the encoding control unit 2 determines a quantization parameter and a transform block division state used when the difference image is compressed for each encoding block, and is used when a prediction process is performed.
  • a prediction parameter (intra prediction parameter or inter prediction parameter) is determined. However, when the encoded block is further divided into prediction block units for performing prediction processing, a prediction parameter (intra prediction parameter or inter prediction parameter) is selected for each prediction block.
  • FIG. 19 is an explanatory diagram showing the conversion block size when the compression processing (conversion processing, quantization processing) of the luminance signal and the color difference signal in the 4: 2: 0 format signal is performed.
  • the transform block size is determined by hierarchically dividing the encoded block into a quadtree. For example, whether or not to divide the transform block so that the evaluation value is minimized based on the amount of code when the transform block is divided and when the transform block is not divided, the evaluation scale that takes into account the coding error, etc. By determining this, it is possible to determine the optimal transform block division shape from the viewpoint of the trade-off between the code amount and the coding error.
  • the encoded block is hierarchically divided into one or a plurality of square transform blocks.
  • the encoding block is hierarchically divided into one or a plurality of square transform blocks in the same manner as the luminance signal.
  • the conversion block size of the color difference signal is half the vertical and horizontal sizes of the corresponding luminance signal conversion block.
  • the input signal format is a YUV 4: 2: 2 signal
  • quadtree-like hierarchical division similar to the luminance signal is performed.
  • the shape of the divided block is a rectangle in which the number of pixels in the vertical direction is twice the number of pixels in the horizontal direction
  • the divided block is further divided into two parts in the vertical direction, so that the YUV 4: 2: 0 signal
  • the color difference signal is composed of two conversion blocks having the same block size (half the vertical and horizontal sizes of the luminance signal conversion block).
  • the color difference signal conversion block is always divided in the same manner as the luminance signal conversion block to be the same size conversion block. Configure as follows.
  • the encoding control unit 2 performs predictive differential encoding including transform block partition information indicating transform block partition information in a block to be encoded, a quantization parameter that defines a quantization step size when transform coefficients are quantized, and the like.
  • the parameter is output to the transform / quantization unit 7, the inverse quantization / inverse transform unit 8, and the variable length coding unit 13.
  • the encoding control unit 2 outputs intra prediction parameters to the intra prediction unit 4 as necessary.
  • the encoding control unit 2 outputs inter prediction parameters to the motion compensation prediction unit 5 as necessary.
  • the slice dividing unit 14 divides the input image into slices that are one or more partial images according to the slice division information determined by the encoding control unit 2. Each time the slice dividing unit 1 inputs each slice from the slice dividing unit 14, the slice dividing unit 1 divides the slice into the maximum coding block size determined by the coding control unit 2, and further encodes the divided maximum coding block.
  • the coding block is hierarchically divided into coding blocks determined by the coding control unit 2, and the coding blocks are output.
  • FIG. 5 is an explanatory diagram showing an example in which the maximum coding block is hierarchically divided into a plurality of coding blocks.
  • the maximum coding block is a coding block whose luminance component described as “0th layer” has a size of (L 0 , M 0 ).
  • the encoding block is obtained by performing hierarchical division to a predetermined depth separately defined by a quadtree structure.
  • the coding block is an image area of size (L n , M n ).
  • the coding block of the n hierarchy expressed in B n denote the encoding modes selectable by the coding block B n with m (B n).
  • the encoding mode m (B n ) may be configured to use an individual mode for each color component, or common to all color components. It may be configured to use a mode.
  • description will be made assuming that it indicates a coding mode for a luminance component of a coding block of a YUV signal and 4: 2: 0 format.
  • the encoded block B n is divided by the block dividing unit 1 into one or a plurality of prediction blocks representing a prediction processing unit.
  • a prediction block belonging to the coding block B n is denoted as P i n (i is a prediction block number in the n-th layer).
  • FIG. 5 shows an example of P 0 0 and P 1 0 .
  • How the prediction block is divided in the coding block Bn is included as information in the coding mode m ( Bn ). All the prediction blocks P i n are subjected to prediction processing according to the encoding mode m (B n ), and it is possible to select individual prediction parameters (intra prediction parameters or inter prediction parameters) for each prediction block P i n. it can.
  • the encoding control unit 2 generates a block division state as illustrated in FIG. 6 for the maximum encoding block, and identifies the encoding block.
  • a rectangle surrounded by a dotted line in FIG. 6A represents each coding block, and a block painted with diagonal lines in each coding block represents a division state of each prediction block.
  • FIG. 6B shows, in a quadtree graph, a situation in which the encoding mode m (B n ) is assigned by hierarchical division in the example of FIG. 6A. Nodes surrounded by squares in FIG. 6B are nodes (encoding blocks) to which the encoding mode m (B n ) is assigned.
  • Information of the quadtree graph is output from the encoding control unit 2 to the variable length encoding unit 13 together with the encoding mode m (B n ), and is multiplexed into the bit stream.
  • the changeover switch 3 is output from the block dividing unit 1 when the encoding mode m (B n ) determined by the encoding control unit 2 is an intra encoding mode (when m (B n ) ⁇ INTRA).
  • the encoded block B n is output to the intra prediction unit 4.
  • the encoding mode m (B n ) determined by the encoding control unit 2 is the inter encoding mode (when m (B n ) ⁇ INTER)
  • the encoded block output from the block dividing unit 1 B n is output to the motion compensation prediction unit 5.
  • the coding mode m (B n ) determined by the coding control unit 2 is the intra coding mode (when m (B n ) ⁇ INTRA), and the coding block B is changed from the changeover switch 3 to the coding block B.
  • n step ST3, using the intra prediction parameters determined by the encoding control unit 2 while referring to the local decoded image stored in the intra prediction memory 10, the encoding block B n and implementing intra prediction process for each of the prediction block P i n in, it generates an intra prediction image P INTRAi n (step ST4).
  • the process of generating the intra predicted image is the prediction used for the prediction process. It must always be performed in units of transform blocks so that pixels adjacent to the target block are already encoded. Therefore, in a coding block in which the coding mode is the intra coding mode, the block size of the selectable transform block is limited to the size of the prediction block or smaller and the transform block is smaller than the prediction block (in the prediction block). In the case where there are a plurality of transform blocks, the intra prediction process using the intra prediction parameters defined in the prediction block is performed for each transform block to generate an intra predicted image.
  • intra prediction parameters used for generating the intra prediction image P INTRAi n is a variable from the encoding control unit 2
  • the data is output to the long encoding unit 13 and multiplexed into the bit stream. Details of processing contents of the intra prediction unit 4 will be described later.
  • the motion-compensated prediction unit 5 has the coding mode m (B n ) determined by the coding control unit 2 in the inter coding mode (when m (B n ) ⁇ INTER), and the coding block is switched from the changeover switch 3 to the coding block.
  • the motion vector Upon receiving the B n (step ST3), the motion vector by comparing the locally decoded image after the filtering process stored in the prediction block P i n and the motion compensated prediction frame memory 12 of the encoding block B n Using the motion vector and the inter prediction parameter determined by the encoding control unit 2, the inter prediction process for each prediction block P i n in the encoding block B n is performed, and the inter prediction image P generating a INTERi n (step ST5).
  • the inter prediction parameters used for generating the inter prediction image P INTERi n the variable from the encoding control unit 2
  • the data is output to the long encoding unit 13 and multiplexed into the bit stream.
  • the motion vector searched by the motion compensation prediction unit 5 is also output to the variable length encoding unit 13 and multiplexed into the bit stream.
  • Subtraction unit 6 upon receiving the encoded block B n from the block dividing unit 1 from its prediction block P i n the coded block B n, the intra prediction image P INTRAi n generated by the intra prediction unit 4 or, , by subtracting one of the inter prediction image P INTERi n generated by the motion compensation prediction unit 5, and outputs the prediction difference signal e i n representing a difference image is the subtraction result to the transform and quantization unit 7 (Step ST6).
  • the transform / quantization unit 7 When the transform / quantization unit 7 receives the prediction difference signal e i n from the subtraction unit 6, the transform / quantization unit 7 refers to the transform block division information included in the prediction difference coding parameter determined by the coding control unit 2, and performs the prediction.
  • orthogonal transform processing with respect to the difference signal e i n e.g., DCT (discrete cosine transform) or DST (discrete sine transform), the orthogonal transform for KL conversion and the base design have been made in advance to the particular learning sequence
  • DCT discrete cosine transform
  • DST discrete sine transform
  • the transform / quantization unit 7 refers to the quantization parameter included in the prediction differential encoding parameter, quantizes the transform coefficient of the transform block unit, and reverses the compressed data that is the quantized transform coefficient.
  • the data is output to the quantization / inverse transform unit 8 and the variable length coding unit 13 (step ST7).
  • the quantization process may be performed using a quantization matrix that scales the quantization step size calculated from the quantization parameter for each transform coefficient.
  • the quantization matrix an independent matrix can be used for each color signal and coding mode (intra coding or inter coding) at each orthogonal transform size.
  • an image coding device and an image are used.
  • the transform / quantization unit 7 sets flag information indicating whether or not to use a new quantization matrix for each orthogonal transform size for each color signal and coding mode, in a quantization matrix parameter to be encoded. .
  • each scaling value of the quantization matrix as shown in FIG. 10 is set as a quantization matrix parameter to be encoded.
  • a quantization matrix prepared in advance by the image encoding device and the image decoding device, or a quantization matrix that has already been encoded is used.
  • an index for specifying a matrix to be used is set as a quantization matrix parameter to be encoded.
  • the transform / quantization unit 7 outputs the set quantization matrix parameter to the variable length coding unit 13.
  • the inverse quantization / inverse transform unit 8 When receiving the compressed data from the transform / quantization unit 7, the inverse quantization / inverse transform unit 8 refers to the quantization parameter and transform block division information included in the prediction difference coding parameter determined by the coding control unit 2. Then, the compressed data is inversely quantized for each transform block.
  • the transform / quantization unit 7 uses a quantization matrix for the quantization process, the corresponding inverse quantization process is performed with reference to the quantization matrix even during the inverse quantization process.
  • the inverse quantization / inverse transform unit 8 performs inverse orthogonal transform processing (for example, inverse DCT, inverse DST, inverse KL transform, etc.) on transform coefficients that are compressed data after inverse quantization for each transform block. calculates a local decoded prediction difference signal corresponding to the prediction difference signal e i n output from the subtraction unit 6 and outputs the result to adding section 9 (step ST8).
  • inverse orthogonal transform processing for example, inverse
  • the adding unit 9 Upon receiving the local decoded prediction difference signal from the inverse quantization / inverse transform unit 8, the adding unit 9 receives the local decoded prediction difference signal and the intra predicted image P INTRAi n generated by the intra prediction unit 4 or motion compensation.
  • a local decoded image is calculated by adding one of the inter predicted images P INTERIn n generated by the prediction unit 5 (step ST9).
  • the adding unit 9 outputs the locally decoded image to the loop filter unit 11 and stores the locally decoded image in the intra prediction memory 10. This locally decoded image becomes an encoded image signal used in the subsequent intra prediction processing.
  • Step ST10 When the loop filter unit 11 receives the local decoded image from the addition unit 9, the loop filter unit 11 performs a predetermined filter process on the local decoded image, and stores the filtered local decoded image in the motion compensated prediction frame memory 12.
  • filter deblocking filter
  • Step ST10 filter (deblocking filter) processing that reduces distortion occurring at the boundaries of transform blocks and prediction blocks, processing for adaptively adding an offset (pixel adaptive offset) for each pixel, Wiener filter, etc. Performs adaptive filter processing for adaptively switching linear filters and performing filter processing.
  • the loop filter unit 11 determines whether or not to perform processing for each of the above deblocking filter processing, pixel adaptive offset processing, and adaptive filter processing, and sets a valid flag of each processing as a part of the sequence level header and It outputs to the variable length encoding part 13 as a part of slice level header.
  • each filter process is performed in order.
  • FIG. 11 shows a configuration example of the loop filter unit 11 when a plurality of filter processes are used.
  • the more types of filter processing that are used the better the image quality, but the higher the processing load. That is, image quality and processing load are in a trade-off relationship.
  • the image quality improvement effect of each filter process varies depending on the characteristics of the image to be filtered. Therefore, the filter processing to be used may be determined according to the processing load allowed by the image encoding device and the characteristics of the encoding target image.
  • the parameter is output to the variable length coding unit 13 as header information.
  • an image is divided into a plurality of blocks, and when the offset process is not performed for each block, it is defined as one of the class classification methods, and a plurality of class classifications prepared in advance are provided.
  • One classification method is selected from the methods.
  • each pixel in the block is classified by the selected class classification method, and an offset value for compensating for the coding distortion is calculated for each class.
  • the image quality of the locally decoded image is improved by performing a process of adding the offset value to the luminance value of the locally decoded image.
  • a classifying method a method of classifying by the magnitude of the luminance value of the locally decoded image (referred to as a BO method), or a classification according to the situation around each pixel (whether it is an edge portion or the like) for each edge direction.
  • EO technique a technique of classifying by the magnitude of the luminance value of the locally decoded image
  • EO technique a technique of classifying by the magnitude of the luminance value
  • the pixel adaptive offset processing outputs block division information, an index indicating a block class classification method, and block unit offset information to the variable length encoding unit 13 as header information.
  • the adaptive offset processing may be performed for each class by always dividing the block into fixed-size blocks such as a maximum coding block and selecting a class classification method for each block. In this case, the block division information becomes unnecessary, the code amount is reduced by the amount of code required for the block division information, and the coding efficiency can be improved.
  • a filter that compensates for superimposed distortion is designed for each region (local decoded image) belonging to each class. Then, the local decoded image is filtered. Then, the filter designed for each class is output to the variable length encoding unit 13 as header information.
  • a class classification method there are a simple method for spatially dividing an image at equal intervals, and a method for classifying an image according to local characteristics (dispersion, etc.) of the image in units of blocks.
  • the number of classes used in the adaptive filter process may be set in advance to a common value in the image encoding device and the image decoding device, or may be one of the parameters to be encoded. Compared to the former, the latter can set the number of classes to be used freely, so the image quality improvement effect will be improved, but on the other hand, the amount of code will be increased to encode the number of classes. To do.
  • steps ST3 to ST9 are repeated until the processes for all the coding blocks Bn divided hierarchically are completed, and when the processes for all the coding blocks Bn are completed, the process proceeds to the process of step ST13. (Steps ST11 and ST12).
  • the variable length encoding unit 13 uses the compressed data output from the transform / quantization unit 7 and the block division information (FIG. 6B) in the maximum encoding block output from the encoding control unit 2 as an example.
  • the parameters (when the coding mode is the inter coding mode) and the motion vector output from the motion compensated prediction unit 5 (when the coding mode is the inter coding mode) are variable-length coded, and their codes Encoded data indicating the conversion result is generated (step ST13).
  • the transform block is further divided into blocks of 4 ⁇ 4 pixel units (encoding sub-blocks) called Coefficient Group (CG), and CG Coding of coefficients is performed for each unit.
  • FIG. 15 shows the coding order (scan order) of the coefficients in a 16 ⁇ 16 pixel transform block. In this way, 16 CGs in units of 4 ⁇ 4 pixels are encoded in order from the lower right CG, and each CG encodes 16 coefficients in the CG in order from the lower right coefficient.
  • flag information indicating whether or not a significant (non-zero) coefficient exists in 16 coefficients in the CG is encoded, and then a significant (non-zero) coefficient exists in the CG. Only in this case, whether each coefficient in the CG is a significant (non-zero) coefficient is encoded in the above order, and finally, the coefficient value information is encoded in order for the significant (non-zero) coefficient. This is performed in the above order in units of CG. In this case, the encoding efficiency by entropy encoding can be increased by using a biased scan order so that significant (non-zero) coefficients are generated as continuously as possible.
  • the coefficient after orthogonal transformation represents the lower coefficient of the lower frequency component as it is closer to the upper left, starting with the DC component located at the upper left, generally, the closer to the upper left, the more significant as the example is shown in FIG. Since many (non-zero) coefficients are generated, as shown in FIG. 15, encoding can be performed efficiently by encoding sequentially from the lower right.
  • a 16 ⁇ 16 pixel conversion block has been described.
  • a code in CG (encoding sub-block) unit is used in a block size other than 16 ⁇ 16 pixels, such as an 8 ⁇ 8 pixel conversion block or a 32 ⁇ 32 pixel conversion block. It shall be implemented.
  • variable length encoding unit 13 encodes a sequence level header and a picture level header as header information of the encoded bit stream, and generates an encoded bit stream together with the picture data.
  • picture data is composed of one or more slice data, and each slice data is a combination of a slice level header and the encoded data in the slice.
  • the sequence level header includes the image size, the color signal format, the bit depth of the signal value of the luminance signal and the color difference signal, and each filter process (adaptive filter process, pixel adaptive offset process, deblocking filter process) in the loop filter unit 11 in sequence units. ) Effective flag information, quantization matrix effective flag information, and a flag indicating whether or not to perform field encoding.
  • the picture level header is a collection of header information set in units of pictures such as an index of a sequence level header to be referenced, the number of reference pictures at the time of motion compensation, an entropy encoding probability table initialization flag, and the like.
  • the slice level header includes position information indicating where the slice is located in the picture, an index indicating which picture level header is referred to, a slice coding type (intra coding, inter coding, etc.), and a loop filter. 8 is a summary of parameters in units of slices such as flag information indicating whether or not to perform each filter process (adaptive filter process, pixel adaptive offset process, deblocking filter process) in the unit 11.
  • Intra prediction unit 4 as described above, with reference to the intra prediction parameters of the prediction block P i n, to implement intra prediction processing for the prediction block P i n, but to generate an intra prediction image P INTRAi n , will be described here intra process for generating an intra prediction image predicted block P i n in the luminance signal.
  • Figure 7 is an explanatory diagram showing an example of the prediction block P i n-selectable intra prediction modes for intra-coded blocks B n, and the index value of the intra prediction mode, the prediction direction vector indicated by the intra-prediction mode Show.
  • the index value of the intra prediction mode indicates the intra prediction parameter.
  • the encoded pixels (2 ⁇ l i n +1) and the left encoded pixels (2 ⁇ m i n ) on the predicted image generation block are used as pixels for prediction.
  • the number of pixels used for prediction may be more or less than the pixels shown in FIG. Further, in FIG. 8, pixels for one row or one column in the vicinity of the predicted image generation block are used for prediction, but two or two or more pixels may be used for prediction.
  • the index value of the intra prediction mode for prediction block P i n that the predicted image generation block belongs is 0 (plane (Planar) prediction) includes a coded pixels adjacent to the top of the predicted image generation block, the predicted image generation Using the encoded pixels adjacent to the left of the block, a predicted image is generated using a value interpolated according to the distance between these pixels and the prediction target pixel in the predicted image generation block as a predicted value.
  • the index value of the intra prediction mode for the prediction block P i n to which the prediction image generation block belongs is 1 (average (DC) prediction)
  • encoded pixels adjacent to the prediction image generation block and the prediction image A predicted image is generated using the average value of the encoded pixels adjacent to the left of the generated block as the predicted value of the pixels in the predicted image generating block.
  • the region A, B, C in FIG. 17 located at the upper end and the left end of the predicted image generation block is subjected to filter processing for smoothing the block boundary to obtain a final predicted image.
  • the filter processing is performed using the following filter coefficients in the reference pixel arrangement of the filter of FIG.
  • the pixel, S ′ (p 0 ) is the predicted value after the filtering process in the filtering target pixel p 0
  • the block size of the predicted image generation block that performs the filtering process may be limited.
  • the prediction value when the prediction value is changed by filtering only at the block edge, since the ratio of the area where the prediction value changes due to the filter processing is small in a block having a large block size, the prediction residual caused by the change in the prediction value is generated.
  • the change of the difference signal is expressed by a very high frequency component, and the encoding efficiency tends to be deteriorated because the high frequency component is encoded. Also, by giving priority to encoding efficiency and not encoding this high frequency component, the change in the prediction residual signal at the block end cannot be restored, and the block boundary tends to be distorted. .
  • the ratio of the area where the prediction value changes due to the filter processing is large. Therefore, the residual signal can be appropriately encoded, and the quality of the decoded image can be improved by increasing the continuity of the block boundary by this filter processing. Therefore, for example, in a predicted image generation block having a block size of 32 ⁇ 32 pixels or more, the above-described filter processing is not applied, and the above-described filter processing is applied only to blocks smaller than 32 ⁇ 32 pixels, thereby obtaining a conventional average value. It is possible to suppress an increase in the calculation amount while improving the prediction performance rather than the prediction.
  • the prediction calculates the prediction value of the pixel of the predicted image generation block according to the following formula (2) Generate an image.
  • the coordinates (x, y) are relative coordinates (see FIG. 9) with the upper left pixel in the predicted image generation block as the origin, and S ′ (x, y) is the predicted value at the coordinates (x, y), S (x, y) is the luminance value (decoded luminance value) of the encoded pixel at the coordinates (x, y).
  • the calculated predicted value exceeds the range of values that the luminance value can take, the value is rounded so that the predicted value falls within the range.
  • the expression in the first line of Expression (2) is MPEG-4 AVC / H.
  • the amount of change S ( ⁇ 1, y) ⁇ S ( ⁇ 1, ⁇ 1) in the vertical direction of adjacent encoded pixels with respect to S (x, ⁇ 1), which is the predicted value of vertical direction prediction in H.264 ) Is added to the value obtained by halving, and the result of filtering so that the block boundary is smoothed is used as the predicted value.
  • the expression in the second row of Expression (2) is , MPEG-4 AVC / H. The same prediction formula as the vertical direction prediction in H.264 is shown.
  • the prediction calculates the prediction value of the pixel of the predicted image generation block according to the following formula (3) Generate an image.
  • the coordinates (x, y) are relative coordinates (see FIG. 9) with the upper left pixel in the predicted image generation block as the origin, and S ′ (x, y) is the predicted value at the coordinates (x, y), S (x, y) is the luminance value (decoded luminance value) of the encoded pixel at the coordinates (x, y).
  • the calculated predicted value exceeds the range of values that the luminance value can take, the value is rounded so that the predicted value falls within the range.
  • the expression in the first line of Expression (3) is MPEG-4 AVC / H.
  • the amount of change S (x, ⁇ 1) ⁇ S ( ⁇ 1, ⁇ 1) in the horizontal direction of the adjacent encoded pixel with respect to S ( ⁇ 1, y) which is the predicted value of the horizontal direction prediction in H.264 ) Is added to the value obtained by halving, and the result of filtering so that the block boundary is smoothed is used as the predicted value.
  • the expression in the second row of Expression (3) is , MPEG-4 AVC / H. The same prediction formula as the horizontal prediction in H.264 is shown.
  • the block size of the predicted image generation block that performs the vertical direction prediction of Expression (2) and the horizontal direction prediction of Expression (3) may be limited.
  • the block edge filter of the prediction image generation block described above is used in a block having a large block size. Since the ratio of the area where the predicted value changes due to processing is small, the change in the prediction residual signal caused by the change in the predicted value is represented by a very high frequency component. Therefore, the encoding efficiency tends to deteriorate. Also, by giving priority to encoding efficiency and not encoding this high frequency component, the change in the prediction residual signal at the block end cannot be restored, and the block boundary tends to be distorted.
  • the change in the prediction residual signal caused by the change in the prediction value is large when the block size is large.
  • the residual signal can be appropriately encoded without being represented by such high frequency components, and the quality of the decoded image can be improved by the increase in the continuity of the block boundary by this filter processing. Therefore, for example, in a prediction image generation block having a block size of 32 ⁇ 32 pixels or more, the expressions in the second row of Expression (2) and Expression (3) are always used regardless of the coordinates of the prediction target pixel (prediction).
  • the prediction direction vector ⁇ p ( Based on (dx, dy), a predicted value of a pixel in the predicted image generation block is generated. As shown in FIG. 9, when the upper left pixel of the predicted image generation block is the origin and the relative coordinates in the predicted image generation block are set to (x, y), the position of the reference pixel used for prediction is adjacent to the following L This is the intersection of pixels. However, k is a negative real number.
  • the integer pixel When the reference pixel is at the integer pixel position, the integer pixel is set as the prediction value of the prediction target pixel. When the reference pixel is not at the integer pixel position, an interpolation pixel generated from the integer pixel adjacent to the reference pixel is selected. Estimated value. In the example of FIG. 8, since the reference pixel is not located at the integer pixel position, a value interpolated from two pixels adjacent to the reference pixel is set as the predicted value. Note that an interpolation pixel may be generated not only from two adjacent pixels but also from two or more adjacent pixels, and used as a predicted value.
  • the processing described above to generate a predicted pixel for all the pixels of the luminance signals of the prediction block P i n in the predicted image generation block, and outputs an intra prediction image P INTRAi n.
  • the intra prediction parameters used for generating the intra prediction image P INTRAi n is output to the variable length coding unit 13 for multiplexing the bitstream.
  • the intra prediction unit 4 predicts the reference pixels when generating the predicted image of the predicted image generation block. Even when the encoded pixels adjacent to the image generation block are configured to be the smoothed pixels, it is possible to perform the same filtering process on the predicted image as in the above example. By doing in this way, the noise of the reference pixel by the filter process to a reference pixel is removed, and prediction accuracy can be improved by performing prediction using this.
  • the filtering process on the reference pixel may be performed only in the prediction other than the average value prediction, the vertical direction prediction, and the horizontal direction prediction for performing the filtering process on the predicted image. By doing in this way, it is only necessary to perform at most one filter process for each prediction mode, and an increase in the amount of calculation can be suppressed.
  • the predicted image generation process of the luminance signal has been described, but the predicted image for the color difference component is generated as follows.
  • the color difference signal of the prediction block P i n conduct intra prediction processing based on the intra prediction parameter of the color difference signal (intra prediction mode), the variable length coding unit intra prediction parameter used to generate the intra-prediction image 13 is output.
  • FIG. 22 is an explanatory diagram showing an example of correspondence between intra prediction parameters (index values) of color difference signals and color difference intra prediction modes.
  • the intra prediction parameter of the chrominance signal indicates that the same prediction mode as the intra prediction mode for the luminance signal is used (when the intra prediction parameter indicates the luminance / chrominance common intra prediction mode (DM mode))
  • the luminance signal The same intra-frame prediction is performed to generate a prediction image of the color difference signal.
  • the intra prediction parameter of the color difference signal indicates the vertical direction prediction mode or the horizontal direction prediction mode
  • the directionality prediction for the color difference signal is performed to generate a prediction image of the color difference signal.
  • the intra prediction parameter of the color difference signal indicates the luminance correlation use color difference signal prediction mode (LM mode)
  • LM mode luminance correlation use color difference signal prediction mode
  • a correlation parameter indicating the correlation between the luminance signal and the color difference signal is calculated using the signal, and a predicted image of the color difference signal is generated using the correlation parameter and the luminance signal corresponding to the block of the color difference signal to be predicted.
  • the DM mode or the LM mode processing may be performed and the other prediction modes may not be selected.
  • the edge position of the luminance signal and the color difference signal has a high correlation. Therefore, by prohibiting the prediction mode different from the luminance signal from being applied to the color difference signal, the intra prediction mode of the color difference signal is prohibited. Thus, it is possible to improve the coding efficiency.
  • a directionality prediction mode different from the luminance signal may be selected for the color difference signal.
  • the color difference signal has half the number of pixels in the horizontal direction compared to the luminance signal. Becomes a rectangular block. Therefore, as shown in FIG. 25, when a YUV4: 4: 4 signal is converted into a YUV4: 2: 2 signal, in order to predict the luminance signal and the color difference signal in the same direction, YUV4: 2 : On two signals, in the case of directional prediction other than the vertical prediction and the horizontal prediction, the prediction direction of the color difference signal is different from the prediction direction of the luminance signal. Specifically, as shown in FIG.
  • FIG. 28 shows an example of conversion of the intra prediction mode index in the intra prediction mode of FIG. In the conversion table of FIG. 28, when the angle of the prediction direction is ⁇ (see FIG. 27), when the direction prediction in the intra prediction mode is an angle that becomes tan ⁇ shown in FIG.
  • the conversion process may be realized by preparing an index conversion table and converting the index by referring to the conversion table, or by preparing a conversion formula and according to the conversion formula. You may comprise so that an index may be converted. With this configuration, it is possible to perform appropriate prediction of the color difference signal according to the format of the YUV 4: 2: 2 signal only by converting the index without changing the directionality prediction process itself.
  • the LM mode may not be performed on the color difference signal.
  • FIG. 23 shows a correspondence example between the intra prediction parameter (index value) of the color difference signal and the color difference intra prediction mode at this time.
  • the MPEG-4 AVC / H It is good also as the prediction method similar to H.264. By not performing the filtering process in this way, it is possible to reduce the prediction process.
  • variable length decoding unit 31 When the encoded bit stream generated by the image encoding device in FIG. 1 is input, the variable length decoding unit 31 performs a variable length decoding process on the bit stream (step ST21 in FIG. 4), and more than one frame.
  • the header information (sequence level header) in units of sequences composed of pictures, the header information (picture level header) in units of pictures, the filter parameters and quantization matrix parameters used in the loop filter unit 38 are decoded.
  • variable length decoding unit 31 performs variable length decoding of the quantization matrix parameter to identify the quantization matrix. Specifically, for each color signal or encoding mode of each orthogonal transform size, a quantization matrix that is prepared in advance by the image encoding device and the image decoding device as the initial value of the quantization matrix parameter, or When indicating that the quantization matrix is already decoded (not a new quantization matrix), refer to the index information for specifying which quantization matrix among the matrices included in the quantization matrix parameter.
  • slice unit header information such as slice division information is decoded from slice data constituting picture unit data, and encoded data of each slice is decoded.
  • variable length decoding unit 31 determines the maximum encoding block size and the upper limit of the number of divided layers determined by the encoding control unit 2 of the image encoding device in FIG. 1 in the same procedure as the image encoding device ( Step ST22). For example, when the maximum encoding block size and the upper limit of the number of division layers are determined according to the resolution of the video signal, the maximum encoding block is processed in the same procedure as the image encoding device based on the decoded frame size information. Determine the size. When the maximum encoding block size and the upper limit of the number of divided layers are multiplexed on a sequence level header or the like on the image encoding device side, values decoded from the header are used.
  • the upper limit of the number of division layers is determined by decoding this. That is, the upper limit of the number of division layers is obtained when the maximum encoded block is divided to the minimum block size.
  • the variable length decoding unit 31 decodes the division state of the maximum encoded block as shown in FIG. 6 for each determined maximum encoded block. Based on the decoded division state, coding blocks are identified hierarchically (step ST23).
  • variable length decoding unit 31 decodes the encoding mode assigned to the encoding block. Based on the information included in the decoded coding mode, the coded block is further divided into one or more prediction blocks which are prediction processing units, and the prediction parameters assigned to the prediction block units are decoded (step ST24). .
  • the variable length decoding unit 31 is included in the encoding block, and each of one or more prediction blocks serving as a prediction processing unit Intra prediction parameters are decoded.
  • the coding mode assigned to the coding block is the inter coding mode
  • the inter prediction parameter and the motion vector are included in the coding block and each of one or more prediction blocks serving as a prediction processing unit. Is decoded (step ST24).
  • variable length decoding unit 31 decodes the compressed data (transformed / transformed transform coefficients) for each transform block based on the transform block division information included in the prediction difference coding parameter (step ST24). At that time, similarly to the encoding process of the compressed data in the variable length encoding unit 13 of the image encoding device of FIG. Therefore, as shown in FIG. 15, 16 CGs in units of 4 ⁇ 4 pixels are decoded in order from the lower right CG, and each CG decodes 16 coefficients in the CG in order from the lower right coefficient. Will do.
  • flag information indicating whether or not a significant (non-zero) coefficient exists in 16 coefficients in the CG is decoded, and then the decoded flag information is significant (non-zero) in the CG. Only when it indicates that a coefficient exists, whether each coefficient in the CG is a significant (non-zero) coefficient is decoded in the above order, and finally, coefficient value information for the coefficient indicating the significant (non-zero) coefficient Are sequentially decoded. This is performed in the above order in units of CG.
  • variable-length decoded by the variable-length decoding unit 31 is an intra-encoding mode (when m (B n ) ⁇ INTRA)
  • the changeover switch 33 is changed by the variable-length decoding unit 31.
  • the intra-prediction parameter for each prediction block subjected to variable length decoding is output to the intra-prediction unit 34.
  • variable length decoded coding mode m (B n) is if the inter coding mode by the variable length decoding unit 31, variable length decoding by the variable length decoding unit 31
  • the predicted inter prediction parameters and motion vectors in units of prediction blocks are output to the motion compensation unit 35.
  • the intra prediction unit 34 selects the changeover switch 33. 1 is received, and the intra prediction parameter is obtained by referring to the decoded image stored in the intra prediction memory 37 in the same procedure as the intra prediction unit 4 in FIG. intra prediction processing for each of the prediction block P i n in the reference encoded block B n to implement, generates an intra prediction image P INTRAi n (step ST26).
  • the intra prediction unit 34 performs an intra prediction process (intraframe prediction process) using the intra prediction parameter for the luminance signal to generate a prediction image of the luminance signal.
  • an intra prediction process based on the intra prediction parameter of the color difference signal is performed to generate a predicted image of the color difference signal.
  • FIG. 22 is an explanatory diagram showing an example of correspondence between intra prediction parameters (index values) of color difference signals and color difference intra prediction modes.
  • the intra prediction parameter of the chrominance signal indicates that the same prediction mode as the intra prediction mode for the luminance signal is used (when the intra prediction parameter indicates the luminance / chrominance common intra prediction mode (DM mode))
  • the luminance signal The same intra-frame prediction is performed to generate a prediction image of the color difference signal.
  • the intra prediction parameter of the color difference signal indicates the vertical direction prediction mode or the horizontal direction prediction mode
  • the directionality prediction for the color difference signal is performed to generate a prediction image of the color difference signal.
  • the intra prediction parameter of the color difference signal indicates the luminance correlation use color difference signal prediction mode (LM mode)
  • LM mode luminance correlation use color difference signal prediction mode
  • a correlation parameter indicating the correlation between the luminance signal and the color difference signal is calculated using the signal, and a predicted image of the color difference signal is generated using the correlation parameter and the luminance signal corresponding to the block of the color difference signal to be predicted.
  • the image coding apparatus is configured to perform the DM mode or LM mode processing and not select other prediction modes.
  • the image decoding apparatus has the same configuration so that the encoded bitstream generated from the image encoding apparatus can be decoded.
  • the edge position of the luminance signal and the color difference signal has a high correlation. Therefore, by prohibiting the prediction mode different from the luminance signal from being applied to the color difference signal, the intra prediction mode of the color difference signal is prohibited. Thus, it is possible to improve the coding efficiency.
  • the color difference signal has half the number of pixels in the horizontal direction compared to the luminance signal. Becomes a rectangular block. Therefore, as shown in FIG. 25, when a YUV4: 4: 4 signal is converted into a YUV4: 2: 2 signal, in order to predict the luminance signal and the color difference signal in the same direction, YUV4: 2 : On two signals, in the case of directional prediction other than the vertical prediction and the horizontal prediction, the prediction direction of the color difference signal is different from the prediction direction of the luminance signal. Specifically, as shown in FIG.
  • FIG. 28 shows an example of conversion of the intra prediction mode index in the intra prediction mode of FIG. In the conversion table of FIG. 28, when the angle of the prediction direction is ⁇ (see FIG. 27), when the direction prediction in the intra prediction mode is an angle that becomes tan ⁇ shown in FIG.
  • the conversion process may be realized by preparing an index conversion table and converting the index by referring to the conversion table, or by preparing a conversion formula and according to the conversion formula. You may comprise so that an index may be converted. With this configuration, it is possible to perform appropriate prediction of the color difference signal according to the format of the YUV 4: 2: 2 signal only by converting the index without changing the directionality prediction process itself.
  • the image decoding device is also configured so that the encoded bitstream generated from the image encoding device can be decoded.
  • the configuration is as follows.
  • FIG. 23 shows a correspondence example between the intra prediction parameter (index value) of the color difference signal and the color difference intra prediction mode at this time.
  • the MPEG-4 AVC / H When an image encoding apparatus is configured as a prediction method similar to H.264, the image decoding apparatus has the same configuration so that an encoded bit stream generated from the image encoding apparatus can be decoded. By not performing the filtering process in this way, it is possible to reduce the prediction process.
  • the motion compensation unit 35 performs the changeover switch 33.
  • the motion vector and the inter prediction parameter for each prediction block output from the above are received, and the motion vector and the inter prediction parameter are used while referring to the decoded image after filtering stored in the motion compensated prediction frame memory 39.
  • by carrying out inter-prediction process generates an inter prediction image P INTERi n for each of the prediction block P i n the coded block B n (step ST27).
  • the inverse quantization / inverse conversion unit 32 When receiving the compressed data and the prediction difference encoding parameter from the variable length decoding unit 31, the inverse quantization / inverse conversion unit 32 performs the prediction difference encoding in the same procedure as the inverse quantization / inverse conversion unit 8 of FIG. With reference to the quantization parameter and transform block division information included in the parameter, the compressed data is inversely quantized in transform block units. At this time, when referring to each header information variable-length decoded by the variable-length decoding unit 31, each header information indicates that the inverse quantization process is performed using the quantization matrix in the slice. Inverse quantization processing is performed using a quantization matrix.
  • variable-length decoding unit 31 a quantization matrix used for each color signal and coding mode (intra coding or inter coding) with each orthogonal transform size Is identified. Further, the inverse quantization / inverse transform unit 32 performs an inverse orthogonal transform process on transform coefficients that are compressed data after inverse quantization for each transform block, and outputs from the inverse quantization / inverse transform unit 8 in FIG. The same decoded prediction difference signal as the local decoding prediction difference signal thus obtained is calculated (step ST28).
  • Addition unit 36 decodes the prediction difference signal calculated by the inverse quantization and inverse transform unit 32, an intra prediction image P INTRAi n generated by the intra prediction unit 34 or, inter prediction generated by the motion compensation unit 35 by adding one of the image P INTERi n calculates a decoded image, and outputs the decoded image to the loop filter unit 38, and stores the decoded image to the intra prediction memory 37 (step ST29).
  • This decoded image becomes a decoded image signal used in the subsequent intra prediction processing.
  • the loop filter unit 38 performs a predetermined filtering process on the decoded image output from the adding unit 36,
  • the decoded image after the filter process is stored in the motion compensated prediction frame memory 39 (step ST31).
  • filter deblocking filter
  • processing for adaptively adding an offset (pixel adaptive offset) for each pixel, Wiener filter, etc. Performs adaptive filter processing for adaptively switching linear filters and performing filter processing.
  • the loop filter unit 38 processes each of the above-described deblocking filter processing, pixel adaptive offset processing, and adaptive filter processing with reference to each header information variable-length decoded by the variable-length decoding unit 31 and processing in the corresponding slice. Specify whether or not to perform. At this time, when two or more filter processes are performed, for example, when the loop filter unit 11 of the image encoding device is configured as shown in FIG. 11, the loop filter unit 38 as shown in FIG. Composed.
  • the deblocking filter processing when there is information for referring to the header information that has been variable-length decoded by the variable-length decoding unit 31 and changing various parameters used for selecting the filter strength applied to the block boundary from the initial value. Performs a deblocking filter process based on the change information. When there is no change information, it is performed according to a predetermined method.
  • the block is divided based on the block division information of the pixel adaptive offset processing variable-length decoded by the variable-length decoding unit 31, and the block unit of variable-length decoded by the variable-length decoding unit 31 is divided into the blocks.
  • an index indicating a class classification method is referred to and the index is not an index indicating that “offset processing is not performed”
  • each pixel in the block is classified into blocks in accordance with the class classification method indicated by the index.
  • the same class classification method candidate as the pixel classification method candidate of the pixel adaptive offset process of the loop filter unit 11 is prepared in advance as a class classification method candidate.
  • the loop filter unit 38 refers to the offset information that has been variable-length decoded by the variable-length decoding unit 31 that identifies the offset value of each class in block units, and performs processing to add the offset to the luminance value of the decoded image .
  • the filter process is performed based on the class classification information. I do.
  • the decoded image after the filter processing by the loop filter unit 38 becomes a reference image for motion compensation prediction and also becomes a reproduced image.
  • an inter picture that refers only to a long-term reference picture is set as a random access point, and information for identifying the picture number of the long-term reference picture is encoded as supplementary information.
  • the long-term reference picture determined from the supplementary information is decoded first, and then a picture indicating a random access point that refers only to the long-term reference picture is decoded, thereby enabling random access even in the inter picture. Since the encoded bitstream is generated, the intra-picture (IRAP picture) capable of random access is changed to the inter picture with supplementary information to improve the encoding efficiency while maintaining the random access interval. There is an effect.
  • the long-term reference picture found from the supplementary information is decoded first, and then the picture indicating the random access point that refers only to the long-term reference picture is also decoded in the inter picture.
  • Embodiment 2 FIG.
  • SEI is used as supplementary information indicating a randomly accessible inter picture including picture position information indicating a picture number of a reference picture used in random access that is referenced by a randomly accessible inter picture.
  • the meaning of the Recovery Point SEI Message defined in Non-Patent Document 1 and Non-Patent Document 2 is defined as follows without defining a new SEI. Change to interpret.
  • a picture to which Recovery Point SEI Message is assigned is an inter picture that can be randomly accessed, and the Recovery point SEI Message syntax recovery_poc_cnt (in Non-Patent Document 2, recovery_frame_cnt) is the recovery point that is the recovery start position. Instead of the position of the picture, it is interpreted as information indicating the position of the reference picture used at random access. With such a configuration, it is possible to perform the same processing as that of the image coding apparatus of the first embodiment without defining a new SEI, and the same effect can be obtained. However, the number of reference pictures used during random access that can be referred to by randomly accessible interpictures is limited to one.
  • the image decoding apparatus interprets a picture to which Recovery Point SEI Message is assigned as an inter-picture that can be accessed at random, and further uses the syntax recovery_poc_cnt of recovery Point SEI Message (recovery_frame_ in Non-Patent Document 2). This is interpreted as information indicating the position of the reference picture used during random access, not the position of the picture serving as the recovery point.
  • Embodiment 3 the reference picture used in random access that is referred to by a randomly accessible inter picture is limited to the immediately preceding IRAP picture, and the decoded image of the immediately preceding IRAP picture is stored in the motion compensated prediction frame memory 12.
  • the motion compensated prediction unit 5 refers to the decoded image of the immediately preceding IRAP picture stored in the motion compensated prediction frame memory 12, performs motion compensated prediction of the inter picture, and the variable length coding unit 13 SEI indicating that the inter picture is a randomly accessible picture is encoded, and the encoded data of the SEI is multiplexed into the encoded bit stream.
  • the encoding order precedes the encoding order (decoding order) of the randomly accessible inter picture among the one or more IRAP pictures. It means an IRAP picture with the closest (decoding order) (closest encoding order).
  • the picture position information included in the SEI indicating the randomly accessible inter picture described in the first embodiment that is, the picture position information indicating the picture number of the reference picture used during random access can be omitted.
  • the same processing as that of the image coding apparatus of the first embodiment can be performed without the information for identifying the picture number of the reference picture used at the time of random access, that is, without accompanying information constituting this SEI, The effect of reducing the amount of code required for the present SEI can be obtained.
  • the image decoding apparatus refers to this SEI to refer to the immediately preceding IRAP picture. Is identified as a reference picture used at the time of random access referred to above. Therefore, with such a configuration, when decoding is started from a picture to which the present SEI is assigned, the immediately preceding IRAP picture is decoded and the decoded image of the IRAP picture is stored in the motion compensated prediction frame memory 39.
  • the motion compensation unit 35 refers to the decoded image of the immediately preceding IRAP picture stored in the motion compensated prediction frame memory 39 and performs motion compensated prediction of the randomly accessible inter picture indicated by the SEI. Then, the inter picture is decoded. After that, by decoding a picture that is later in display order than the randomly accessible inter picture indicated by this SEI, it is possible to normally reproduce from the randomly accessible picture indicated by this SEI. Therefore, it is possible to correctly decode from the middle of the bitstream generated by the image coding apparatus according to the present embodiment.
  • Embodiment 4 In the image coding apparatus of the first embodiment, the case has been described where information indicating that it is a randomly accessible inter picture is set in the SEI. However, the present invention is not limited to this as long as it can be set in the upper header.
  • a special NAL unit type indicating a randomly accessible inter picture may be defined, and the NAL may be configured to have the same information as the SEI. That is, in this case, instead of identifying a randomly accessible inter picture by giving SEI, a NAL unit type indicating a randomly accessible inter picture is newly defined, and a NAL indicating this NAL unit type is defined.
  • An inter picture that can be randomly accessed is encoded as a unit.
  • the decoding device In order to correctly decode an encoded stream generated by an image encoding device that defines a special NAL unit type indicating a randomly accessible inter picture, the decoding device also has a special feature similar to the image encoding device. Define the NAL unit type and decode accordingly. In this case, decoding is performed from a picture having a special NAL unit type, so that halfway decoding from a randomly accessible inter picture is realized. That is, first, the reference picture used at the time of random access indicated by the information possessed by the special NAL unit type is decoded, then the randomly accessible inter picture having this NAL unit type is decoded, and then displayed from the randomly accessible inter picture. By decoding subsequent pictures in order, it is possible to normally reproduce from a randomly accessible inter picture having this NAL unit type.
  • the present embodiment is characterized in that information indicating that it is a randomly accessible inter picture is set in an upper header, and the upper header may be configured in any manner as long as random access is possible. Is clear. Therefore, for example, as a combination with the third embodiment, the random access reference picture used for random access is limited to the immediately preceding IRAP picture, and information for identifying the picture number of the random access reference picture is used. It can be omitted.
  • Embodiment 5 the image coding apparatus that generates an encoded stream that realizes random access using inter pictures and the image decoding apparatus that can correctly decode the generated encoded stream have been described.
  • random encoding by an inter picture is performed only by partially converting an encoded stream that realizes random access using only an intra picture (an IRAP picture of Non-Patent Document 1 or an IDR picture of Non-Patent Document 2).
  • An encoded stream conversion apparatus that generates an encoded stream that realizes access and an image decoding apparatus that can correctly decode the generated encoded stream will be described.
  • FIG. 39 is a block diagram showing an encoded stream converting apparatus according to Embodiment 5 of the present invention.
  • the re-encoding control unit 42 and the input video signal control unit 44 constitute a re-encoding setting unit
  • the decoding unit 43 constitutes an image decoding unit
  • the bit stream synthesis unit 45 constitutes a bit stream synthesis unit.
  • the encoded stream conversion apparatus according to the present embodiment randomly accesses one or more arbitrary pictures from the IRAP pictures (IDR pictures in the case of Non-Patent Document 2) of the encoded stream (bit stream) to be converted.
  • a re-encoding unit 41 for re-encoding as a possible inter picture is included. By re-encoding an intra picture to an inter picture in this way, it is possible to generate an encoded stream with a code amount reduced from that of the original encoded stream.
  • a picture to be converted (target to be re-encoded) is once decoded.
  • the decoded video signal is re-encoded as an inter picture using an encoding device similar to that shown in FIG.
  • the re-encoding control unit 42 is an intra picture (Randomly accessible from an encoded stream generated by a conventional image encoding device such as Non-Patent Document 3 or Non-Patent Document 2.
  • the information specifying the IRAP picture in Non-Patent Document 1 and the IDR picture in Non-Patent Document 2 is decoded using the decoding unit 43.
  • the re-encoding control unit 42 selects an arbitrary picture as a re-encoding target picture from among a plurality of randomly accessible intra-pictures identified from the information identifying the decoded randomly accessible intra-picture.
  • the decoding unit 43 decodes at least one picture (a re-encoded reference picture) that is encoded before a re-encoding picture among a plurality of randomly accessible intra pictures. Then, control is performed so as to store the motion compensation prediction frame memory 12 of the re-encoding unit 41.
  • the re-encoding unit 41 refers to the decoded at least one re-encoded reference picture and performs motion compensation prediction on the re-encoding target picture in the motion compensation prediction unit 5. By performing this, an inter predicted image is generated, and encoded data of the inter picture is generated using the inter predicted image.
  • the decoding unit 43 indicates a decoding device corresponding to the conventional encoding device that generated the encoded stream (the decoding unit 43 can correctly decode the encoded stream).
  • the re-encoding unit 41 has the same configuration as that of the image encoding device (FIG. 1) according to the first embodiment.
  • the encoded stream conversion apparatus includes a portion of the stream corresponding to the encoded data of the intra-picture to be re-encoded in the encoded stream, which includes the encoded data of the inter picture generated by the re-encoding unit 41.
  • a bit stream synthesis unit 45 that generates a re-encoded stream (re-encoded stream) by replacing with a bit stream is provided.
  • the motion-compensated prediction frame memory 12 of the re-encoding unit 41 stores a picture referenced by a picture to be converted as a long-term reference picture. This long-term reference picture is limited to an IRAP picture (an IDR picture when the encoded stream is generated by the encoding apparatus of Non-Patent Document 2).
  • the original encoded stream is encoded after the specific picture in the encoding order and before the picture to be converted.
  • the bit stream synthesizing unit 45 needs to change the encoded stream so that the part corresponding to the encoded data of the picture is stored as the long-term reference picture.
  • the inter prediction image output from the motion compensation prediction unit 5 is converted into compressed data via the subtraction unit 6 and the conversion / quantization unit 7 and output to the variable length encoding unit 13 in the same manner as a normal inter picture. Is done.
  • the re-encoding unit 41 that re-encodes the intra picture to be converted as the inter picture includes the buffer that temporarily stores the specific intra picture, the motion compensation prediction unit 5, the subtraction unit 6, and the conversion A quantization unit 7 is included. Note that the inter prediction image and the compressed data must be generated so that the decoded image generated at this time is the same as the decoded image generated by the intra picture before re-encoding.
  • the re-encoding control unit 42 decodes the intra-picture to be converted decoded by the decoding unit 43. Control is performed so that the image is input to the slice division unit 14 as a video signal. Then, referring to the decoded image generated by the intra picture to be converted, for example, lossless encoding so that the decoded image generated by the intra picture to be converted and the decoded image after re-encoding are the same.
  • the re-encoding control unit 42 controls the encoding control unit 2 so as to control the processing of the motion compensation prediction unit 5, the subtraction unit 6, and the transform / quantization unit 7.
  • the buffer status when encoding a picture to be encoded next to an IRAP picture or IDR picture before re-encoding is determined by this re-encoding process. It is necessary not to change. Therefore, the buffer (motion-compensated prediction frame memory 12) is controlled by the buffer management unit included in the encoding control unit 2 so as not to affect the decoding process of pictures to be decoded after the re-encoded picture.
  • supplemental information indicating that the picture is a randomly accessible inter picture is multiplexed.
  • SEI information includes information for identifying a picture number of a reference picture used at random access referenced by a re-encoded picture.
  • the process of encoding the SEI information and multiplexing it into the bitstream is performed by the variable length encoding unit 13 as in the first embodiment.
  • the encoded stream conversion device may be configured such that the bit stream synthesis unit 45 generates and encodes the supplementary information and multiplexes the supplemental information with the re-encoded stream.
  • Non-Patent Document 4 Non-Patent Document 2, etc. Re-encoding can be realized by the same encoding process as that of the conventional image encoding apparatus.
  • the reference picture used at the time of random access may be limited to the immediately preceding IRAP picture (in the case of non-patent document 2, an IDR picture).
  • information for identifying the picture number of the reference picture used at random access can be omitted as SEI.
  • SEI information information indicating that the inter-picture can be randomly accessed may be encoded in the same manner as in the second and fourth embodiments.
  • the image decoding apparatus for decoding the re-encoded encoded stream depends on how the information indicating that it is a randomly accessible inter-picture is encoded.
  • the bitstream can be correctly decoded by the corresponding image decoding device in the first to fourth embodiments.
  • a method of re-encoding only a randomly accessible intra picture such as an IRAP picture (IDR picture) has been described.
  • one of the following randomly accessible intra pictures is selected from a randomly accessible intra picture.
  • All the pictures up to the previous picture to be decoded (generally called Group Of Pictures (GOP), which indicates a group of pictures that can be independently decoded) may be re-encoded together.
  • the randomly accessible intra picture to be re-encoded is an inter picture that can be randomly accessed in the same manner as described above, and information indicating this (any one of the information described in the first to fourth embodiments) )
  • the remaining pictures to be re-encoded may be re-encoded.
  • the image decoding of the present embodiment It can be correctly decoded by the device. Therefore, when the re-encoding control unit 42 re-encodes each re-encoding target picture with respect to the input video signal control unit 44, the original image (video signal) of the re-encoding target picture is slice-divided. Control to input to the unit 14. By doing in this way, it is not necessary to control each re-encoded picture so that the decoded images before and after re-encoding are the same, and the re-encoding process can be simplified.
  • a reference picture used at random access (a picture to be referred to when re-encoding a randomly accessible intra picture to be re-encoded) is used as an immediately preceding IRAP picture (in the case of Non-Patent Document 2).
  • IDR picture not from a picture that is a randomly accessible inter picture, but from a picture that is a random accessible inter picture from the immediately preceding IRAP picture (closest in decoding order) It is also possible to re-encode up to a picture that is decoded before the intra-picture that can be randomly accessed.
  • a plurality of re-encoded pictures may include a plurality of randomly accessible inter pictures that refer to the immediately preceding IRAP.
  • the encoded stream conversion device is configured to store the reference picture used at the time and to refer to the reference picture used at the time of random access stored in the special buffer when encoding the randomly accessible inter picture. You may do it.
  • the image decoding apparatus is also configured to decode the interaccess that can be randomly accessed with reference to the special buffer. For encoded stream conversion processing and decoding processing other than the above-described operation, the same processing as that of the present embodiment described so far is performed. In the case of this configuration, there is an advantage that it is not necessary to change the encoded data of a picture after encoding the reference picture used at random access and before encoding an inter picture that can be accessed randomly.
  • re-encoding may be performed by reusing the encoding parameters before re-encoding at the time of re-encoding. Specifically, for a picture whose picture type (slice type) does not change before and after re-encoding, a part of encoding parameters before re-encoding is used. For example, re-encoding is performed using the block division information before re-encoding, the encoding mode of each block, and encoding parameters such as prediction parameters as they are. In this way, the encoding parameter selection process becomes unnecessary, and the processing load of the re-encoding process can be reduced.
  • the encoded stream conversion apparatus in the fifth embodiment it is possible to partially re-encode an intra picture of an encoded stream having only an intra picture as a random access point into an inter picture that can be randomly accessed. Therefore, it is possible to generate an encoded stream with a code amount reduced from that of the original encoded stream.
  • an encoded bit stream obtained by partially re-encoding an intra picture of an encoded stream having only an intra picture as a random access point into an inter picture that can be randomly accessed is correctly generated. The effect which can be decoded is produced.
  • an inter picture that is randomly inaccessible (“inter picture” shown in white in FIG. 33B) whose display order is later than the inter picture that can be randomly accessed (the display time is in the future) is random. Random access using an inter picture that can be accessed at random is realized by not referring to a picture whose display order is earlier than the accessible inter picture (the display time is past).
  • an inter-picture that is inaccessible to random access that is later in the decoding order than an inter-picture that can be accessed randomly is referred to a picture in which the decoding order precedes an inter-picture that can be accessed randomly.
  • random access by inter-access that can be randomly accessed is realized. In this case, this corresponds to replacing the IDR pictures in Non-Patent Document 1 and Non-Patent Document 2 with randomly accessible inter pictures.
  • the image decoding apparatus that decodes the encoded stream generated by the image encoding apparatus according to the present embodiment can be randomly accessed in the same manner as in the first embodiment, and is provided with an SEI that identifies a randomly accessible inter picture.
  • the picture pointed to by the information identifying the picture number of the reference picture used at random access included in the SEI for identifying the randomly accessible inter picture is first decoded, and then the SEI is given. It is possible to normally reproduce from a randomly accessible inter-picture by decoding a picture that has been SEI, and then decoding a picture subsequent to the picture to which the SEI has been assigned in display order.
  • the present embodiment only changes the reference picture restriction of the first embodiment, and is combined with the other embodiments in the same manner as the image encoding device and the image decoding device of the first embodiment. Obviously you can.
  • Embodiment 7 FIG.
  • SEI is used as information for identifying a randomly accessible inter picture including information for identifying a picture number of a reference picture used at random access that is referenced by a randomly accessible inter picture.
  • the image coding apparatus according to the present embodiment uses Recovery Point SEI Message defined in Non-Patent Document 1 and Non-Patent Document 2 as information for identifying a randomly accessible inter picture.
  • the interpretation of Recovery Point SEI Message is used in a different manner.
  • the recovery point PEI message syntax recovery_poc_cnt (recovery_frame_cnt in Non-Patent Document 2) is used.
  • Non-Patent Document 2 As defined in Document 1 and Non-Patent Document 2, it is interpreted as the position of a picture that becomes a recovery point that is a decoding start position, and only when the picture that becomes the recovery point is an inter picture, Information for identifying the picture number of the reference picture used at random access is encoded as the syntax of Recovery Point SEI Message.
  • the image decoding apparatus decodes Recovery Point SEI Message, confirms the picture type of the recovery point indicated by the syntax recovery_poc_cnt (in Non-Patent Document 2, recovery_frame_cnt), and the picture that is the recovery point is Only when it is an inter picture, the information for identifying the picture number of the reference picture used at random access is decoded to identify the reference picture used at random access.
  • the reference picture used at random access may be limited to the immediately preceding IRAP picture (in the case of Non-Patent Document 2, an IDR picture).
  • information (syntax) for identifying the picture number of the reference picture used at random access can be omitted. Therefore, it is possible to realize halfway decoding from an inter-picture that can be randomly accessed only by information (syntax) defined by Recovery Point SEI Message described in Non-Patent Document 1 and Non-Patent Document 2.
  • the information for identifying the randomly accessible inter picture is recovered as defined in Non-Patent Document 1 and Non-Patent Document 2, similarly to the present image encoding apparatus.
  • Message can be used.
  • decoding can be performed by the image decoding apparatus according to the present embodiment.
  • Embodiment 8 FIG.
  • the position of the reference picture used at random access is encoded as a picture number.
  • the position of the reference picture used at random access is indicated by the number of moving bytes from the information for identifying the randomly accessible inter picture.
  • the position of the reference picture used during random access may be indicated by the number of moving bytes from the beginning of the encoded bitstream as shown in FIG.
  • the decoding start position of the reference picture used at random access is not the relative position of the encoded bitstream (the number of moving bytes from the information identifying the randomly accessible inter picture), but the absolute position Can know as.
  • the starting point of the number of moving bytes is unified between the image encoding device and the image decoding device, it is apparent that a point different from those in FIGS. 36 and 37 may be set.
  • the identification information of the inter-picture that can be randomly accessed and the information that identifies the position of the reference picture that is used at the time of random access, which are indicated by SEI in the first embodiment, are encoded video and audio encoded bitstreams. It is added as information in the media file format to be collected.
  • the media file format is, for example, ISO / IEC 23008-1, ISO / IEC 13818-1 / ITU-TH. 222.0, ISO / IEC 14496-14: 2003, etc.
  • GOP media data a unit of grouped coded bitstreams (hereinafter referred to as GOP media data) that can decode a plurality of pictures starting from an IRAP picture (IDR picture in Non-Patent Document 2).
  • Descriptor information is used. For example, time information (corresponding to a time code) of randomly accessible inter pictures is added as identification information of randomly accessible inter pictures to descriptor information of GOP media data including randomly accessible inter pictures. Time information of the reference picture used during random access is added as information for identifying the position of the temporal use reference picture.
  • descriptor information of a unit (hereinafter referred to as picture media data) in which encoded bitstreams in units of pictures are collected is used. For example, flag information indicating whether or not a random-accessible inter picture is added as random-accessible inter-picture identification information is added to the random-accessible inter-picture picture media data descriptor information. Time information of a reference picture used during random access is added as information for identifying the position of the reference picture.
  • Examples of descriptor information of GOP media data include ISO / IEC 23008-1 MPU metadata and ISO / IEC 14496-14: 2003 moov box.
  • Examples of the picture media data descriptor information include ISO / IEC 23008-1 Movie fragment metadata and ISO / IEC 14496-14: 2003 moof box.
  • the reference picture used at random access referenced by the randomly accessible inter picture is limited to the immediately preceding IRAP picture, and the position of the reference picture used at random access is identified. It is also possible to adopt a configuration in which information is omitted. By doing so, it is possible to reduce the amount of code required for information for identifying the position of the reference picture used during random access.
  • the reference picture used at random access that is referred to by the randomly accessible inter picture is the long-term reference picture stored in the long-term storage buffer.
  • the reference picture used at random access is It is an intra picture that is not a long-term reference picture.
  • the reference picture used in random access is stored in the short-term storage buffer as a short-term reference picture that is the same as a reference picture in encoding / decoding of other pictures.
  • encoding / decoding of each picture after storing it in the short-term storage buffer so that the reference picture used in random access exists in the short-term storage buffer when encoding / decoding the randomly accessible inter picture.
  • Non-Patent Document 1 and Non-Patent Document 1 and Non-Patent Document 1 are used so that a reference picture used at random access is stored in a short-term storage buffer when encoding / decoding an inter-picture capable of random access.
  • the management information of the short-term reference picture specified in Document 2 is encoded.
  • the image decoding apparatus decodes the management information from the encoded stream and manages the buffer according to the information, so that the reference picture used at random access is stored for a short time when encoding / decoding a randomly accessible inter picture. It remains stored in the buffer and can be referenced. Therefore, normal reproduction from an inter-picture that can be randomly accessed is possible for the encoded stream generated by the image encoding apparatus of the present embodiment.
  • a randomly accessible inter picture is a picture that refers only to a picture set as a reference picture to be used during random access, and is a long-term storage buffer or a short-term storage of Non-Patent Document 1 or Non-Patent Document 2. This is realized by storing the reference picture used at random access in the buffer. That is, according to Non-Patent Document 1 or Non-Patent Document 2, the encoding side encodes the reference picture management information of the long-term storage buffer and the short-term storage buffer, and the decoding side decodes and references the reference picture management information. There is a need. In the present embodiment, the reference picture management information need not be encoded in a randomly accessible inter picture by combining the third and fourth embodiments.
  • a picture that is referred to by a randomly accessible inter picture is limited to the immediately preceding IRAP picture, and a special picture indicating that it is a random accessible inter picture as in the fourth embodiment.
  • NAL unit types If the encoding target picture is an inter picture that can be randomly accessed, the encoding side deletes the IRAP picture other than the immediately preceding IRAP picture in the long-term storage buffer and the short-term storage buffer, It is encoded as a picture having a different NAL unit type. Then, after encoding a randomly accessible inter picture, the inter picture is stored in a long-term storage buffer or a short-term storage buffer so that it can be referred to by a picture to be encoded thereafter.
  • the decoding side interprets the picture to be encoded as an inter picture that can be randomly accessed. Then, after deleting all but the immediately preceding IRAP picture in the long-term storage buffer and the short-term storage buffer, the inter-picture that is randomly accessible is decoded with reference to the immediately preceding IRAP picture. After decoding a randomly accessible inter picture, the inter picture is stored in a long-term storage buffer or a short-term storage buffer so that it can be referred to by a picture to be decoded thereafter. In this way, even when decoding is started from a randomly accessible inter picture (a picture having the special NAL unit type), it can be correctly reproduced.
  • Embodiment 12 the reference picture used at random access referenced by the randomly accessible inter picture is an intra picture.
  • random access is possible starting with the IRAP picture as shown in FIG. Refer to the inter pictures in order.
  • information for identifying the position of the reference picture used during random access information for identifying a randomly accessible inter picture included in each randomly accessible inter picture is encoded.
  • the encoded IRAP picture and the randomly accessible inter picture are included.
  • the reference picture of the long-term storage buffer or the short-term storage buffer is managed so that the immediately preceding picture (the closest picture in the encoding order (decoding order)) can be referred to.
  • the decoding apparatus decodes information for identifying a randomly accessible inter picture to identify a randomly accessible inter picture, and then, for example, one of the randomly accessible inter pictures (picture A)
  • the immediately preceding IRAP picture and the randomly accessible inter picture existing between the IRAP picture and picture A are decoded in the order of decoding, and the inter picture is stored in the long-term storage buffer or short-term storage Store in the save buffer.
  • the randomly accessible inter picture existing between the IRAP picture and the picture A can be specified from the information for identifying the decoded random accessible inter picture.
  • the picture A can be decoded by referring to the immediately preceding decoded random accessible inter picture (the closest random accessible inter picture in decoding order), reproduction from the randomly accessible inter picture can be performed. Can be done normally. With such a configuration, it is possible to encode a randomly accessible inter picture with reference to a temporally closer picture than an IRAP picture, so that encoding efficiency can be improved.
  • each randomly accessible inter picture is encoded after the immediately preceding IRAP picture (the IRAP picture closest in the encoding order (decoding order)) and after the immediately preceding IRAP picture.
  • a picture to be referred to is selected from (decoded) randomly accessible inter-pictures and encoded.
  • information for specifying a picture referred to by each randomly accessible inter picture is further encoded.
  • the immediately preceding IRAP picture and subsequent random accessible inter pictures can be referred to.
  • the decoding apparatus decodes information for identifying a randomly accessible inter picture, specifies a randomly accessible inter picture, and then, for example, selects one random accessible inter picture ( When playing back halfway from picture A) in FIG. 38, a randomly accessible inter picture existing between the immediately preceding IRAP picture and picture A is decoded in order of decoding, and the inter picture is stored in a long-term storage buffer or a short-term buffer. Store in the save buffer.
  • information specifying a picture referred to by each randomly accessible inter picture is decoded, and the reference picture of the inter picture is specified by referring to this information.
  • picture A can be finally decoded, and reproduction from a randomly accessible inter picture can be performed normally.
  • a random accessible inter picture can be selected and encoded from a plurality of reference pictures by selecting a picture that most improves the encoding efficiency, so that the encoding efficiency can be increased.
  • the image encoding device and the image decoding device are configured to refer to the immediately preceding IRAP picture and the subsequent random accessible inter picture.
  • the immediately preceding IRAP picture and the immediately preceding random access are configured. You may make it select from either of the possible inter pictures (inter picture which can be random-accessed nearest in encoding order (decoding order)). In this way, as information specifying the picture to be referred to, it can be realized by using flag information indicating whether the immediately preceding IRAP picture or the immediately preceding random accessible inter picture is selected. The amount of codes can be further reduced.
  • the long-term storage buffer or the short-term storage buffer is also managed so that only the immediately preceding IRAP picture and the immediately preceding random accessible inter picture can be referred to when encoding each randomly accessible inter picture. Since it is good, the number of pictures to be stored can be reduced.
  • the inter picture is described as a P picture using unidirectional motion compensated prediction with one reference picture in FIGS. 31 to 35 and FIG. 38, but this inter picture is shown in FIG. B) using bi-prediction that refers to a plurality of past pictures in the display order and a plurality of future pictures in the display order without the temporal restrictions in the bi-directional motion compensation prediction and it is obvious.
  • the inter-pictures are set as randomly accessible pictures using SEI for the embodiments other than the fourth embodiment. Therefore, even when the encoded bitstream generated by the image encoding device of each embodiment is decoded by an image decoding device compliant with Non-Patent Document 1 and Non-Patent Document 2, a randomly accessible inter picture cannot be identified. Therefore, intermediate decoding from the inter picture cannot be performed, and intermediate decoding from the randomly accessible intra picture defined in Non-Patent Document 1 and Non-Patent Document 2 or from the beginning of the encoded bitstream can be performed. If it is decoding, it can decode correctly.
  • the reference picture used at random access is stored for a long-term storage buffer or for short-term storage. Since the buffer is managed by the reference picture management information so that it can be referred to when a picture set as a random accessible inter picture is decoded and stored in the buffer, the random picture can be accessed without the SEI. This is because the reference picture used at random access is already stored in the long-term storage buffer or the short-term storage buffer and can be referred to when the picture set as is decoded.
  • the first intra picture is set as a reference picture to be used at random access.
  • each picture assigned to be encoded as an intra picture should be encoded as an inter picture that refers to a reference picture used at random access. If the coding efficiency is high, the picture is coded not as an intra picture but as an inter picture that refers to a reference picture used at random access (an inter picture that can be randomly accessed) and coded as an intra picture. When the conversion efficiency is high, the picture is encoded as an intra picture that can be randomly accessed, and set as a new reference picture used during random access.
  • the above is coded as a randomly accessible inter picture referring to a reference picture used at random access or a picture assigned to be coded as an intra picture as a randomly accessible intra picture.
  • a correlation value between pictures based on feature values is calculated, and a picture assigned to be encoded as an intra picture according to the correlation value is encoded as an intra picture that can be randomly accessed, or a reference picture used at random access is selected.
  • the correlation value the following inter-picture correlation index I is given. It is determined whether or not to make an inter picture that can be randomly accessed based on I shown in the following equation (5).
  • E (S) is the average of the pixel values S in the picture
  • V (S) is the variance of the pixel values S in the picture
  • S TX I s the pixel value of the color component X of the picture to be encoded (the picture assigned to be encoded as the intra picture to be encoded)
  • S RX is the pixel value of the color component X of the reference picture used at random access, respectively Show. If the index I is smaller than a preset threshold, it is determined that the correlation between pictures is high, and the picture to be coded is coded as an inter picture that can be randomly accessed.
  • the index I is greater than or equal to the threshold, it is determined that the correlation between pictures is low, and the encoding target picture is encoded as an intra picture that can be randomly accessed.
  • the above threshold value it is determined whether or not to make an inter-picture that can be randomly accessed based on the inter-picture correlation index, so that a picture that becomes a random access point (as the above-mentioned intra picture) It is possible to adaptively control a coding method (intra coding or inter coding) of a picture assigned to be coded, and the coding efficiency of the entire bit stream can be improved.
  • the above formula (5) shows an example of the YUV signal, but other color signals such as an RGB signal may of course be used.
  • any combination of the embodiments, or any modification of any component in each embodiment, or omission of any component in each embodiment is possible.
  • the encoded stream generated by the image encoding device of each embodiment or the re-encoded stream generated by the encoded stream conversion device can be stored as a file in a storage device such as a server.
  • a storage device such as a server.
  • the image encoding device, the image encoding method, and the encoded stream conversion device according to the present invention are suitable for a device that needs to maintain a random access interval when encoding an image with high efficiency.
  • the image decoding apparatus and the image decoding method according to the present invention correctly decodes an encoded bitstream including an inter picture that can be accessed randomly even when encoding efficiency is increased while maintaining a random access interval. Suitable for things that need to be done.
  • 1 block division unit 2 encoding control unit (encoding mode determination unit), 3 changeover switch (prediction image generation unit), 4 intra prediction unit (prediction image generation unit), 5 motion compensation prediction unit (prediction image generation unit) , 6 subtraction unit (difference image generation unit), 7 transformation / quantization unit (image compression unit), 8 inverse quantization / inverse transformation unit (local decoded image generation unit), 9 addition unit (local decoded image generation unit), 10 Intra prediction memory, 11 Loop filter unit (filtering processing unit), 12 Motion compensated prediction frame memory, 13 Variable length encoding unit (encoding unit), 14 Slice division unit (block division unit), 31 Variable length decoding unit (Decoding unit), 32 inverse quantization / inverse transform unit (difference image generation unit), 33 changeover switch (prediction image generation unit), 34 intra prediction unit (prediction image generation unit), 35 motion compensation Unit (predicted image generation unit), 36 addition unit (decoded image generation unit), 37 intra prediction memory, 38 loop filter unit (filtering processing unit), 39 motion compensated prediction frame memory,

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computing Systems (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　予測画像生成部が、ランダムアクセス可能なインターピクチャを符号化する場合は、複数のランダムアクセス可能なイントラピクチャの中から参照ピクチャを設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施し、可変長符号化部１３が、その参照ピクチャの位置を示すピクチャ位置情報とランダムアクセス可能なインターピクチャがランダムアクセス可能であることを示す識別情報を符号化し、そのピクチャ位置情報及び識別情報の符号化データをビットストリームに多重化する。

Description

画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
　この発明は、画像を高効率で符号化する画像符号化装置及び画像符号化方法と、高効率で符号化されている画像を復号する画像復号装置及び画像復号方法、及び符号化ストリーム変換装置に関するものである。
　例えば、以下の非特許文献１に記載されている従来の画像符号化装置では、入力されたカラー画像を所定の大きさの最大符号化ブロックに分割し、さらに、最大符号化ブロックをより細かい符号化ブロックに階層分割する。
　また、その符号化ブロックをさらに細かい予測ブロックに分割し、その予測ブロックに対する画面内予測や動き補償予測を実施することで予測誤差を生成する。
　また、その予測誤差を符号化ブロック内で階層的に変換ブロックに分割し、それぞれの変換係数をエントロピー符号化することで高い圧縮率を達成している。
　従来の画像符号化装置では、時間的相関を利用した高効率な符号化を実現するため、例えば図３０（ａ）に示す符号化構造によって、既に符号化済みのピクチャから符号化対象ブロックと相関の高いブロックを探索し、その探索先のブロックを予測値とする動き補償予測を利用した符号化を行っている。一般に、このときの動き補償予測を用いるピクチャをインターピクチャ、動き補償予測の探索（参照）先のピクチャを参照ピクチャ、動き補償を用いずに符号化対象ピクチャ内の符号化済み画素のみから予測するピクチャをイントラピクチャと呼ぶ。特に図３０（ｂ）に示すように表示順で過去と未来の両方のピクチャを参照する動き補償である双方向予測は高精度な予測が実現できることで知られている。ただし、これらの例のように動き補償によってピクチャ間に参照関係を持たせることにより各ピクチャの復号に依存性が生じてしまい、符号化ビットストリーム（符号化ストリーム）の途中に存在するピクチャから復号することができず、映像の途中再生ができなくなってしまう。
　したがって、図３０等の動き補償予測を利用した符号化構造を利用する場合、符号化ビットストリームの途中から復号しても正しく再生できるようにするために、途中復号開始地点を示すランダムアクセスポイントを用意することがある。例えば図３１に、ランダムアクセス可能なピクチャ（非特許文献１記載のＩｎｔｒａ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｐｏｉｎｔ（ＩＲＡＰ）ピクチャ）を設定する場合の例を示す。インターピクチャはイントラピクチャより時間的に前のピクチャの参照は許されるが、ＩＲＡＰピクチャより復号順（符号化順）も表示順も後になるインターピクチャは、そのＩＲＡＰピクチャを跨いでＩＲＡＰピクチャより時間的に前のピクチャを参照することはできない。すなわち、ＩＲＡＰピクチャより復号順も表示順も後になるピクチャは、動き補償予測の参照先が制限される。この場合、符号化ビットストリームの途中から復号を開始する際もＩＲＡＰから復号すれば常にＩＲＡＰピクチャより表示順で後のピクチャは正しく復号することができ、符号化シーケンスの途中再生を実現することができる。
　非特許文献１ではＩＲＡＰピクチャとして、ＩＤＲ（Ｉｎｓｔａｎｔａｎｅｏｕｓ　Ｄｅｃｏｄｉｎｇ　Ｒｅｆｒｅｓｈ）ピクチャ、ＣＲＡ（Ｃｌｅａｎ　Ｒａｎｄｏｍ　Ａｃｃｅｓｓ）ピクチャ、ＢＬＡ（Ｂｒｏｋｅｎ　Ｌｉｎｋ　Ａｃｃｅｓｓ）ピクチャが定義されている。ＩＲＡＰピクチャからのランダムアクセス時、ＩＤＲピクチャの場合は復号順が後のピクチャの正常復号を保証し、ＣＲＡピクチャ及びＢＬＡピクチャの場合は復号順も表示順も後になるピクチャの正常復号を保証している。さらに、ＩＲＡＰピクチャからのランダムアクセス時に表示順でＩＲＡＰピクチャ以降のピクチャが再生可能となるように、ＩＲＡＰピクチャより表示順が後のピクチャは必ずＩＲＡＰピクチャより復号順が後となる。すなわち、いずれのＩＲＡＰピクチャにおいても表示順で後となるピクチャについては正常復号が可能であることは共通している。
　また、非特許文献２においても同様のランダムアクセス機能を有している。ただし、非特許文献２ではランダムアクセス用のピクチャとしてＩＤＲピクチャのみが定義されている。
ＩＳＯ／ＩＥＣ　２３００８－２／ＩＴＵ－Ｔ　Ｈ．２６５ ＩＳＯ／ＩＥＣ　１４４９６－１０／ＩＴＵ－Ｔ　Ｈ．２６４
　従来の画像符号化装置は以上のように構成されているので、符号化ビットストリームの途中からでも特定のピクチャから復号を開始することで表示順においてそのピクチャ以降のピクチャを正しく復号できるランダムアクセスを実現することができる。しかし、図３２に示すように、ランダムアクセス間隔（ＩＲＡＰピクチャ間隔）が短い場合、動き補償予測に使用可能なインターピクチャの割合が減り、符号化効率が低下する。一方、符号化効率を高めるためにインターピクチャの割合を増やすと、その分ランダムアクセス間隔が長くなる。このように、符号化効率とランダムアクセス間隔の間にはトレードオフの関係があり、ランダムアクセス間隔を短くしたまま予測効率を高めることが難しいという課題があった。
　この発明は上記のような課題を解決するためになされたもので、ランダムアクセス間隔を維持したまま符号化効率を高めることができる画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法及び画像復号方法を得ることを目的とする。
　この発明に係る画像符号化装置は、入力画像を符号化処理単位のブロックに分割するブロック分割部と、ブロック分割部により分割されるブロックに対する符号化モードを決定する符号化モード決定部と、符号化モード決定部により決定された符号化モードにしたがって、ブロック分割部により分割されたブロックに対する符号化処理を実施して、そのブロックの圧縮データを出力する画像符号化装置であって、ブロック分割部により分割されたブロックの予測画像を生成する予測画像生成部と、ブロック分割部により分割されたブロックと予測画像生成部により生成された予測画像との差分画像を生成する差分画像生成部と、差分画像生成部により生成された差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮部と、画像圧縮部により圧縮された差分画像を伸張し、伸張後の差分画像と予測画像生成部により生成された予測画像を加算して局所復号画像を生成する局所復号画像生成部と、局所復号画像生成部により生成された局所復号画像に対するフィルタリング処理を実施するフィルタリング処理部と、画像圧縮部から出力された圧縮データ及び符号化モード決定部により決定された符号化モードを符号化して、その圧縮データ及び符号化モードの符号化データが多重化されているビットストリームを生成する符号化部とを備え、予測画像生成部が、ランダムアクセス可能なインターピクチャを符号化する場合は、複数のランダムアクセス可能なイントラピクチャの中から参照ピクチャを設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施し、符号化部が、その参照ピクチャの位置を示すピクチャ位置情報とランダムアクセス可能なインターピクチャがランダムアクセス可能であることを示す識別情報を符号化し、そのピクチャ位置情報及び識別情報の符号化データをビットストリームに多重化するようにしたものである。
　また、入力画像を符号化処理単位のブロックに分割するブロック分割部と、ブロック分割部により分割されるブロックに対する符号化モードを決定する符号化モード決定部と、符号化モード決定部により決定された符号化モードにしたがって、ブロック分割部により分割されたブロックに対する符号化処理を実施して、そのブロックの圧縮データを出力する画像符号化装置であって、ブロック分割部により分割されたブロックの予測画像を生成する予測画像生成部と、ブロック分割部により分割されたブロックと予測画像生成部により生成された予測画像との差分画像を生成する差分画像生成部と、差分画像生成部により生成された差分画像を圧縮し、その差分画像の圧縮データを出力する画像圧縮部と、画像圧縮部により圧縮された差分画像を伸張し、伸張後の差分画像と予測画像生成部により生成された予測画像を加算して局所復号画像を生成する局所復号画像生成部と、局所復号画像生成部により生成された局所復号画像に対するフィルタリング処理を実施するフィルタリング処理部と、画像圧縮部から出力された圧縮データ及び符号化モード決定部により決定された符号化モードを符号化して、その圧縮データ及び符号化モードの符号化データが多重化されているビットストリームを生成する符号化部とを備え、予測画像生成部が、ランダムアクセス可能なインターピクチャを符号化する場合は、ランダムアクセス可能なインターピクチャの符号化順に対して、符号化順が先かつ符号化順が最も近いランダムアクセス可能なイントラピクチャを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施し、符号化部が、ランダムアクセス可能なインターピクチャがランダムアクセス可能であることを示す識別情報を符号化し、その識別情報の符号化データをビットストリームに多重化するようにしたものである。
　この発明に係る画像復号装置は、画像をブロック単位に圧縮符号化したビットストリームを入力して復号画像を生成する画像復号装置であって、ビットストリームから各々のブロックに係る圧縮データ及び符号化モードを復号する復号部と、復号部により復号された符号化モードにしたがって復号済み画素を参照し、各々のブロックに対する予測画像を生成する予測画像生成部と、復号部により復号された圧縮データを伸長して差分画像を生成する差分画像生成部と、差分画像生成部により生成された差分画像と予測画像生成部により生成された予測画像とを加算して復号画像を生成する復号画像生成部と、復号画像生成部により生成された復号画像に対するフィルタリング処理を実施するフィルタリング処理部とを備え、復号部が、どのインターピクチャがランダムアクセス可能なインターピクチャであるかを示す識別情報を復号するとともに、ランダムアクセス可能なインターピクチャの予測画像を生成する際に参照する参照ピクチャの位置を示すピクチャ位置情報を復号し、予測画像生成部が、その識別情報によって識別されたランダムアクセス可能なインターピクチャを復号する場合は、複数のランダムアクセス可能なイントラピクチャの中からピクチャ位置情報が示すピクチャを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施するようにしたものである。
　また、画像をブロック単位に圧縮符号化したビットストリームを入力して復号画像を生成する画像復号装置であって、ビットストリームから各々のブロックに係る圧縮データ及び符号化モードを復号する復号部と、復号部により復号された符号化モードにしたがって復号済み画素を参照し、各々のブロックに対する予測画像を生成する予測画像生成部と、復号部により復号された圧縮データを伸長して差分画像を生成する差分画像生成部と、差分画像生成部により生成された差分画像と予測画像生成部により生成された予測画像とを加算して復号画像を生成する復号画像生成部と、復号画像生成部により生成された復号画像に対するフィルタリング処理を実施するフィルタリング処理部とを備え、復号部が、どのインターピクチャがランダムアクセス可能なインターピクチャであるかを示す識別情報を復号し、予測画像生成部が、その識別情報によって識別されたランダムアクセス可能なインターピクチャを復号する場合は、ランダムアクセス可能なインターピクチャの復号順に対して、復号順が先かつ復号順が最も近いランダムアクセス可能なイントラピクチャを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施するようにしたものである。
　この発明に係る符号化ストリーム変換装置は、画像をブロック単位に圧縮符号化したビットストリームを入力して再符号化したビットストリームを出力する符号化ストリーム変換装置であって、ビットストリームを復号して復号画像を生成するとともに、ランダムアクセス可能なイントラピクチャを特定する画像復号部と、その特定したランダムアクセス可能なイントラピクチャの中からランダムアクセス可能なインターピクチャに再符号化する再符号化対象イントラピクチャを設定する再符号化設定部と、その再符号化対象イントラピクチャを再符号化する再符号化部と、そのビットストリームと再符号化部により再符号化された再符号化対象イントラピクチャとを合成して再符号化ビットストリームを出力するビットストリーム合成部とを備え、再符号化部が、ランダムアクセス可能なインターピクチャに再符号化されたピクチャがランダムアクセス可能であることを示す識別情報を符号化し、その識別情報の符号化データを再符号化ビットストリームに多重化するようにしたものである。
　この発明に係る画像符号化方法は、ブロック分割部が、入力画像を符号化処理単位のブロックに分割し、符号化モード決定部が、ブロック分割部により分割されるブロックに対する符号化モードを決定すると、その符号化モードにしたがって、ブロック分割部により分割されたブロックに対する符号化処理を実施して、そのブロックの圧縮データを出力する画像符号化方法であって、予測画像生成部が、ブロック分割部により分割されたブロックの予測画像を生成し、差分画像生成部が、ブロック分割部により分割されたブロックと予測画像生成部により生成された予測画像との差分画像を生成し、画像圧縮部が、差分画像生成部により生成された差分画像を圧縮して、その差分画像の圧縮データを出力し、局所復号画像生成部が、画像圧縮部により圧縮された差分画像を伸張し、伸張後の差分画像と予測画像生成部により生成された予測画像を加算して局所復号画像を生成し、フィルタリング処理部が、局所復号画像生成部により生成された局所復号画像に対するフィルタリング処理を実施し、符号化部が、画像圧縮部から出力された圧縮データ及び符号化モード決定部により決定された符号化モードを符号化して、その圧縮データ及び符号化モードの符号化データが多重化されているビットストリームを生成するものであり、予測画像生成部が、ランダムアクセス可能なインターピクチャを符号化する場合は、ランダムアクセス可能なインターピクチャの符号化順に対して、符号化順が先かつ符号化順が最も近いランダムアクセス可能なイントラピクチャを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施し、符号化部が、ランダムアクセス可能なインターピクチャがランダムアクセス可能であることを示す識別情報を符号化し、その識別情報の符号化データをビットストリームに多重化するようにしたものである。
　この発明に係る画像復号方法は、画像をブロック単位に圧縮符号化したビットストリームを入力して復号画像を生成する画像復号方法であって、復号部が、ビットストリームから各々のブロックに係る圧縮データ及び符号化モードを復号し、予測画像生成部が、復号部により復号された符号化モードにしたがって復号済み画素を参照して、各々のブロックに対する予測画像を生成し、差分画像生成部が、復号部により復号された圧縮データを伸長して差分画像を生成し、復号画像生成部が、差分画像生成部により生成された差分画像と予測画像生成部により生成された予測画像とを加算して復号画像を生成し、フィルタリング処理部が、復号画像生成部により生成された復号画像に対するフィルタリング処理を実施するものであり、復号部が、どのインターピクチャがランダムアクセス可能なインターピクチャであるかを示す識別情報を復号し、予測画像生成部が、その識別情報によって識別されたランダムアクセス可能なインターピクチャを復号する場合は、ランダムアクセス可能なインターピクチャの復号順に対して、復号順が先かつ復号順が最も近いランダムアクセス可能なイントラピクチャを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施するようにしたものである。
　この発明に係る画像符号化装置によれば、予測画像生成部が、ランダムアクセス可能なインターピクチャを符号化する場合は、複数のランダムアクセス可能なイントラピクチャの中から参照ピクチャを設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施し、符号化部が、その参照ピクチャの位置を示すピクチャ位置情報とランダムアクセス可能なインターピクチャがランダムアクセス可能であることを示す識別情報を符号化し、そのピクチャ位置情報及び識別情報の符号化データをビットストリームに多重化するように構成したので、インターピクチャにおいてもランダムアクセスが可能となり、ランダムアクセス間隔を維持したまま符号化効率を高めることができる効果がある。
　また、この発明に係る他の画像符号化装置および画像符号化方法によれば、予測画像生成部が、ランダムアクセス可能なインターピクチャを符号化する場合は、ランダムアクセス可能なインターピクチャの符号化順に対して、符号化順が先かつ符号化順が最も近いランダムアクセス可能なイントラピクチャを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施し、符号化部が、ランダムアクセス可能なインターピクチャがランダムアクセス可能であることを示す識別情報を符号化し、その識別情報の符号化データをビットストリームに多重化するように構成したので、ランダムアクセス可能なインターピクチャが参照するイントラピクチャを識別する情報が不要となり、符号化する情報の符号量を削減することができる効果がある。
　また、この発明に係る画像復号装置および画像復号方法によれば、復号部が、どのインターピクチャがランダムアクセス可能なインターピクチャであるかを示す識別情報を復号するとともに、ランダムアクセス可能なインターピクチャの予測画像を生成する際に参照する参照ピクチャの位置を示すピクチャ位置情報を復号し、予測画像生成部が、その識別情報によって識別されたランダムアクセス可能なインターピクチャを復号する場合は、複数のランダムアクセス可能なイントラピクチャの中からピクチャ位置情報が示すピクチャを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施するように構成したので、ランダムアクセスが可能なインターピクチャを含む符号化ビットストリームを正しく復号することができる効果がある。
　また、この発明に係る符号化ストリーム変換装置によれば、再符号化部が、ランダムアクセス可能なインターピクチャに再符号化されたピクチャがランダムアクセス可能であることを示す識別情報を符号化し、その識別情報の符号化データを再符号化ビットストリームに多重化するように構成したので、画像符号化装置等によって生成された符号化ビットストリームより符号量が少ない符号化ビットストリームを生成することができる効果がある。
この発明の実施の形態１による画像符号化装置を示す構成図である。 この発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。 この発明の実施の形態１による画像復号装置を示す構成図である。 この発明の実施の形態１による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。 最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。 （ａ）は分割後の符号化ブロック及び予測ブロックの分布を示し、（ｂ）は階層分割によって符号化モードｍ（Ｂｎ）が割り当てられる状況を示す説明図である。 符号化ブロックＢｎ内の各予測ブロックＰｉ ｎが選択可能なイントラ予測モードの一例を示す説明図である。 ｌｉ ｎ＝ｍｉ ｎ＝４の場合の予測画像生成ブロック内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。 予測画像生成ブロック内の左上画素を原点とする相対座標を示す説明図である。 量子化マトリクスの一例を示す説明図である。 この発明の実施の形態１による画像符号化装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。 この発明の実施の形態１による画像復号装置のループフィルタ部で複数のループフィルタ処理を用いる場合の構成例を示す説明図である。 符号化ビットストリームの一例を示す説明図である。 画素適応オフセット処理のクラス分類手法のインデックスを示す説明図である。 １６×１６画素のサイズの直交変換における変換係数の符号化順を示す説明図である。 １６×１６画素のサイズの直交変換における変換係数の分布の一例を示す説明図である。 平均値予測時のフィルタ処理におけるフィルタの切り替え領域を示す説明図である。 平均値予測時のフィルタ処理の参照画素配置を示す説明図である。 ＹＵＶ４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 ＹＵＶ４：２：２フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 ＹＵＶ４：４：４フォーマットの信号における輝度信号及び色差信号の圧縮処理を実施する際の変換ブロックサイズを示す説明図である。 色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。 ＬＭモードを用いない場合の色差信号のイントラ予測パラメータと色差イントラ予測モードの対応例を示す説明図である。 ＹＵＶ４：４：４フォーマットとＹＵＶ４：２：２フォーマットの関係を示す説明図である。 ＹＵＶ４：４：４フォーマットの信号において輝度信号と色差信号で同一の方向性予測を用いることと等価となるＹＵＶ４：２：２フォーマットでの方向性予測の例を示す説明図である。 ＹＵＶ４：２：２フォーマットの信号での方向性予測の予測方向ベクトルを示す説明図である。 方向性予測と角度の関係を示す説明図である。 ＹＵＶ４：２：２フォーマットの信号において輝度信号のイントラ予測モードインデックスと色差信号のイントラ予測モードインデックスの関係を示す説明図である。 イントラ予測モードインデックスとｔａｎθの関係を示す説明図である。 動き補償予測を利用した符号化の一例を示す説明図である。 ＩＲＡＰピクチャを用いたランダムアクセス可能な符号化の一例を示す説明図である。 ランダムアクセス間隔と符号化効率のトレードオフ関係を示す説明図である。 非特許文献１及び２によるランダムアクセス実現例と実施の形態１によるランダムアクセス実現例を示す説明図である。 長期参照ピクチャでないＩＲＡＰピクチャを併用した実施の形態１によるランダムアクセス実現例を示す説明図である。 ランダムアクセス可能なインターピクチャによるランダムアクセスの実現例を示す説明図である。 ランダムアクセス時使用参照ピクチャの位置をランダムアクセス可能なインターピクチャを識別する情報からの移動バイト数で示す場合の説明図である。 ランダムアクセス時使用参照ピクチャの位置を符号化ビットストリームの先頭からの移動バイト数で示す場合の説明図である。 ＩＲＡＰピクチャを先頭にランダムアクセス可能なインターピクチャを順々に参照するランダムアクセスの実現例を示す説明図である。 この発明の実施の形態５による符号化ストリーム変換装置を示す構成図である。
実施の形態１．
　図１はこの発明の実施の形態１における画像符号化装置を示す構成図である。なお、この発明の特徴は、図１の構成中、主に動き補償予測部５、動き補償予測フレームメモリ１２、及び可変長符号化部１３を用いて、インターピクチャにおいてもランダムアクセスを可能とする点にある。ここで、ブロック分割部１及びスライス分割部１４は、請求項に記載のブロック分割部を構成し、符号化制御部２は符号化モード決定部を構成し、切換スイッチ３、イントラ予測部４、動き補償予測部５及び予測画像生成部を構成している。
　また、減算部６は差分画像生成部を構成し、変換・量子化部７は画像圧縮部を構成し、逆量子化・逆変換部８及び加算部９は局所復号画像生成部を構成している。
　さらに、ループフィルタ部１１はフィルタリング処理部を構成し、可変長符号化部１３は符号化部を構成している。
　この実施の形態１の画像符号化装置が処理対象とする映像信号は、輝度信号と２つの色差信号からなるＹＵＶ信号や、ディジタル撮像素子から出力されるＲＧＢ信号等の任意の色空間のカラー映像信号のほか、モノクロ画像信号や赤外線画像信号など、映像フレームが水平・垂直２次元のディジタルサンプル（画素）列から構成される任意の映像信号である。
　各画素の階調は８ビットでもよいし、１０ビット、１２ビットなどの階調であってもよい。
　また、入力信号は映像信号ではなく静止画像信号でもよいことは、静止画像信号を１フレームのみで構成される映像信号と解釈できることから当然である。
　以下の説明においては、便宜上、特に断らない限り、入力される映像信号が、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、縦横ともに２分の１にサブサンプルされたＹＵＶ４：２：０フォーマット、２つの色差成分Ｕ，Ｖが輝度成分Ｙに対して、横方向に２分の１にサブサンプルされたＹＵＶ４：２：２フォーマット、あるいは、　２つの色差成分Ｕ，Ｖが輝度成分Ｙと同じサンプル数であるＹＵＶ４：４：４フォーマットの信号であるものとする。また、赤色（Ｒ）、緑色（Ｇ）、青色（Ｂ）の三原色の信号からなるＲＧＢ４：４：４フォーマットの信号については、それぞれの信号をＹＵＶ４：４：４フォーマットの信号とみなしてＹＵＶ４：４：４フォーマットと同一の符号化を行う。ただし、ＲＧＢ４：４：４フォーマットの各信号（ＲＧＢ）のＹＵＶ４：４：４フォーマットの各信号（ＹＵＶ）への対応付けについては限定しない（任意に設定できる）。また、ＹＵＶ４：４：４フォーマット信号やＲＧＢ４：４：４フォーマット信号の場合、各信号をモノクローム画像信号とみなしてそれぞれ独立にモノクローム（ＹＵＶ４：０：０）符号化してビットストリームを生成するようにしてもよい。このようにすることで各信号並列に符号化処理することができる。
　なお、映像の各フレームに対応する処理データ単位を「ピクチャ」と称し、この実施の形態１では、「ピクチャ」は順次走査（プログレッシブスキャン）された映像フレームの信号として説明を行う。ただし、映像信号がインタレース信号である場合、「ピクチャ」は映像フレームを構成する単位であるフィールド画像信号であってもよい。
　図１において、スライス分割部１４は入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定されたスライス分割情報にしたがって１以上の“スライス”という部分画像に分割する処理を実施する。スライスの分割単位は、後述する符号化ブロック単位まで細かくすることができる。
　ブロック分割部１はスライス分割部１４により分割されたスライスを入力する毎に、そのスライスを符号化制御部２により決定された最大サイズの符号化ブロックである最大符号化ブロックに分割するとともに、符号化制御部２により決定された上限の階層数に至るまで、その最大符号化ブロックを階層的に各符号化ブロックへ分割する処理を実施する。
　即ち、ブロック分割部１はスライスを符号化制御部２により決定された分割に応じて各符号化ブロックに分割して、その符号化ブロックを出力する処理を実施する。また、各符号化ブロックは予測処理単位となる１つないし複数の予測ブロックに分割される。
　符号化制御部２は符号化処理が実施される際の処理単位となる符号化ブロックの最大サイズを決定するとともに、最大サイズの符号化ブロックが階層的に分割される際の上限の階層数を決定することで、各々の符号化ブロックのサイズを決定する処理を実施する。
　また、符号化制御部２は選択可能な１以上の符号化モード（予測処理単位を示す予測ブロックのサイズなどが異なる１以上のイントラ符号化モード、予測ブロックのサイズなどが異なる１以上のインター符号化モード）の中から、ブロック分割部１から出力される符号化ブロックに適用する符号化モードを選択する処理を実施する。選択手法の例としては、選択可能な１以上の符号化モードの中から、ブロック分割部１から出力される符号化ブロックに対する符号化効率が最も高い符号化モードを選択する手法がある。
　また、符号化制御部２は符号化効率が最も高い符号化モードがイントラ符号化モードである場合、そのイントラ符号化モードで符号化ブロックに対するイントラ予測処理を実施する際に用いるイントラ予測パラメータを上記イントラ符号化モードが示す予測処理単位である予測ブロック毎に決定し、符号化効率が最も高い符号化モードがインター符号化モードである場合、そのインター符号化モードで符号化ブロックに対するインター予測処理を実施する際に用いるインター予測パラメータを上記インター符号化モードが示す予測処理単位である予測ブロック毎に決定する処理を実施する。
　さらに、符号化制御部２は変換・量子化部７及び逆量子化・逆変換部８に与える予測差分符号化パラメータを決定する処理を実施する。予測差分符号化パラメータには、符号化ブロックにおける直交変換処理単位となる変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどが含まれる。
　ここで、図１９はＹＵＶ４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理（変換処理、量子化処理）を実施する際の変換ブロックサイズを示す説明図である。
　変換ブロックサイズは、図１９に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
　例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
　輝度信号については、例えば、図１９に示すように、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
　色差信号については、図１９に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
　この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
　図２０に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号と同様の四分木状の階層分割を行う。また、分割したブロックの形状が、垂直方向の画素数が水平方向の画素数の２倍になる長方形となるため、さらに、分割したブロックを上下に二分することで、ＹＵＶ４：２：０信号での色差信号と同じブロックサイズ（輝度信号の変換ブロックの縦横ともに半分のサイズ）の変換ブロック２つで構成するようにする。
　また、図２１に示すように、入力信号フォーマットがＹＵＶ４：４：４信号である場合、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
　輝度信号の変換ブロックの分割情報は、例えば、階層毎に分割するか否かを示す変換ブロック分割フラグとして可変長符号化部１３に出力する。
　切換スイッチ３は符号化制御部２により決定された符号化モードがイントラ符号化モードであれば、ブロック分割部１から出力された符号化ブロックをイントラ予測部４に出力し、符号化制御部２により決定された符号化モードがインター符号化モードであれば、ブロック分割部１から出力された符号化ブロックを動き補償予測部５に出力する処理を実施する。
　イントラ予測部４は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりイントラ符号化モードが選択された場合、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。なお、イントラ予測部４はイントラ予測手段を構成している。
　即ち、イントラ予測部４は、輝度信号については、輝度信号のイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施して、輝度信号の予測画像を生成する。
　一方、色差信号については、色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード（ＬＭモード）を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
　なお、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記ＤＭモード又は上記ＬＭモードの処理を実施し、その他の予測モードは選択しないように構成してもよい。
　ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
　また、入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２４に示すように、輝度信号が正方ブロックであれば、色差信号は輝度信号と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２５に示すように、ＹＵＶ４：４：４信号上で輝度信号と色差信号が同一方向の予測を示している場合、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換することで、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差信号の予測方向が輝度信号の予測方向と異なることとなる。
　具体的には、図２６に示すように、輝度信号の予測方向ベクトルをｖＬ＝（ｄｘＬ，ｄｙＬ）とした場合、色差信号の予測方向ベクトルは、ｖＣ＝（ｄｘＬ／２，ｄｙＬ）となる。即ち、図２７に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθＬ、色差信号の予測方向の角度をθＣとして、ｔａｎθＣ＝２ｔａｎθＬの関係となる予測方向で予測する必要がある。
　したがって、輝度信号と色差信号で同一方向の予測を行う上記ＤＭモードを正しく実施できるようにするために、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号に使用したイントラ予測モードのインデックスを色差信号の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差信号の予測処理を実施する。具体的には、インデックスの変換テーブルを用意し、その変換テーブルを参照することで、インデックスを変換するように構成してもよいし、予め変換式を用意して、その変換式に従ってインデックスを変換するように構成してもよい。
　このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみで、ＹＵＶ４：２：２信号のフォーマットに応じた色差信号の適切な予測を実施することができる。
　動き補償予測部５は切換スイッチ３から出力された符号化ブロックに対応する符号化モードとして、符号化制御部２によりインター符号化モードが選択された場合、符号化ブロックと動き補償予測フレームメモリ１２に格納されている１フレーム以上の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定された参照するフレーム番号などのインター予測パラメータを用いて、その符号化ブロックに対するインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
　減算部６はブロック分割部１より出力された符号化ブロックから、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像を減算して、その減算結果である差分画像を示す予測差分信号を変換・量子化部７に出力する処理を実施する。
　変換・量子化部７は符号化制御部２により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、減算部６から出力された予測差分信号に対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を変換ブロック単位に実施して変換係数を算出するとともに、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する処理を実施する。
　変換・量子化部７は変換係数を量子化する際、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて、変換係数の量子化処理を実施するようにしてもよい。
　ここで、図１０は４×４ＤＣＴの量子化マトリクスの一例を示す説明図である。
　図中の数字は、各変換係数の量子化ステップサイズのスケーリング値を示している。
　例えば、符号化ビットレートを抑制するために、図１０に示すように、高域の変換係数程、量子化ステップサイズを大きな値にスケーリングすることで、複雑な画像領域等で発生する高域の変換係数を抑制して符号量を抑えつつ、主観品質に大きく影響する低域の係数の情報を落とさずに符号化することができる。
　このように、変換係数毎の量子化ステップサイズを制御したい場合には量子化マトリクスを用いればよい。
　また、量子化マトリクスは、各直交変換サイズで色信号や符号化モード（イントラ符号化かインター符号化か）毎に独立したマトリクスを使用することができ、初期値として予め画像符号化装置及び画像復号装置で予め共通に用意されている量子化マトリクスや既に符号化された量子化マトリクスの中から選択するか、新しい量子化マトリクスを用いるかをそれぞれ選択することができる。
　したがって、変換・量子化部７は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。
　さらに、新しい量子化マトリクスを用いる場合には、図１０に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。
　一方、新しい量子化マトリクスを用いない場合には、初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、画像符号化装置及び画像復号装置で予め共通に用意されている量子化マトリクスのみ選択可能となる。
　逆量子化・逆変換部８は符号化制御部２により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位に変換・量子化部７から出力された圧縮データを逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、減算部６から出力された予測差分信号に相当する局所復号予測差分信号を算出する処理を実施する。なお、変換・量子化部７が量子化マトリクスを用いて、量子化処理を実施している場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応する逆量子化処理を実施する。
　加算部９は逆量子化・逆変換部８により算出された局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像、または、動き補償予測部５により生成されたインター予測画像とを加算して、ブロック分割部１から出力された符号化ブロックに相当する局所復号画像を算出する処理を実施する。
　イントラ予測用メモリ１０は加算部９により算出された局所復号画像を格納する記録媒体である。
　ループフィルタ部１１は加算部９により算出された局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を出力する処理を実施する。
　具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
　ただし、ループフィルタ部１１は、上記のデブロッキングフィルタ処理、画素適応オフセット処理及び適応フィルタ処理のそれぞれについて、処理を行うか否かを決定し、各処理の有効フラグをヘッダ情報として可変長符号化部１３に出力する。なお、上記のフィルタ処理を複数使用する際は、各フィルタ処理を順番に実施する。図１１は複数のフィルタ処理を用いる場合のループフィルタ部１１の構成例を示している。
　一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。例えば、図１１の構成よりも処理不可を削減したい場合、デブロッキングフィルタ処理と画素適応オフセット処理のみで構成するといったことが考えられる。
　ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータをヘッダ情報として可変長符号化部１３に出力する。
　画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意されている複数のクラス分類手法の中から、１つのクラス分類手法を選択する。
　次に、選択したクラス分類手法によって、ブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
　最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
　したがって、画素適応オフセット処理では、ブロック分割情報、各ブロックのクラス分類手法を示すインデックス、ブロック単位の各クラスのオフセット値を特定するオフセット情報をヘッダ情報として可変長符号化部１３に出力する。
　なお、画素適応オフセット処理において、例えば、最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。
　適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域（局所復号画像）毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
　そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部１３に出力する。
　クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性（分散など）に応じて分類する手法がある。
　また、適応フィルタ処理で使用するクラス数は、予め画像符号化装置及び画像復号装置に共通の値として設定してもよいし、符号化すべきパラメータとしてもよい。
　前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
　なお、画素適応オフセット処理及び適応フィルタ処理を行う場合には、図１１に示すように、映像信号をループフィルタ部１１で参照する必要があるため、映像信号がループフィルタ部１１に入力されるように、図１の画像符号化装置を変更する必要がある。
　動き補償予測フレームメモリ１２はループフィルタ部１１のフィルタ処理後の局所復号画像を格納する記録媒体である。
　可変長符号化部１３は変換・量子化部７から出力された圧縮データと、符号化制御部２の出力信号（最大符号化ブロック内のブロック分割情報、符号化モード、予測差分符号化パラメータ、イントラ予測パラメータ又はインター予測パラメータ）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化して符号化データを生成する。
　また、可変長符号化部１３は、図１３に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、ピクチャデータと共に符号化ビットストリームを生成する。
　ただし、ピクチャデータは１以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。
　シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度信号や色差信号の信号値のビット深度、シーケンス単位でのループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）の有効フラグ情報、量子化マトリクスの有効フラグ情報など、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
　ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ、量子化マトリクスパラメータなど、ピクチャ単位で設定するヘッダ情報をまとめたものである。
　スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ（イントラ符号化、インター符号化など）、ループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）を行うか否かを示すフラグ情報などのスライス単位のパラメータをまとめたものである。
　ここで、非特許文献１及び非特許文献２では、各ヘッダ情報とピクチャデータはＮＡＬユニットによって識別される。具体的には、シーケンスパラメータセット（上記シーケンスレベルヘッダに相当）、ピクチャパラメータヘッダ（上記ピクチャレベルヘッダに相当）、スライスデータはそれぞれ固有のＮＡＬユニットタイプとして定義され、ＮＡＬユニットタイプの識別情報（インデックス）と共に符号化される。また、上記ピクチャデータはアクセスユニットとして定義され、一つのピクチャの符号化データを含むデータアクセスの単位を示している。
　非特許文献１では、ランダムアクセスするピクチャについて、対応するアクセスユニット内のスライスデータのＮＡＬユニットタイプをＩＲＡＰピクチャとして符号化する。このＩＲＡＰピクチャは当該ピクチャから復号を開始しても正常に復号できるよう、イントラ予測のみで符号化されるイントラピクチャとして符号化される。なお、上述の通り、ＩＲＡＰピクチャとしては、ＩＤＲピクチャ、ＣＲＡピクチャ、ＢＬＡピクチャが定義されている。
　非特許文献２も同様であるが、ランダムアクセス可能なピクチャとしてＩＤＲピクチャのみ定義されている点が異なる。以下、非特許文献１のＩＲＡＰピクチャを前提に説明するが、非特許文献２においてもＩＲＡＰピクチャをＩＤＲピクチャに置き換えることで同様の処理が実現できる。
　図３２に示すように、ランダムアクセス間隔を短くするためには多くのピクチャをＩＲＡＰピクチャとして符号化する必要があり、動き補償予測によって高効率な符号化が可能なインターピクチャが少なくなり符号化効率が低くなる（図３２（ａ））。反対にインターピクチャを多くするとランダムアクセス間隔は長くなってしまう（図３２（ｂ））。このようなトレードオフ問題の解消のため、本実施の形態では、ランダムアクセス可能なインターピクチャを定義する。
　図３３に、図３２で説明した非特許文献１及び２による従来のランダムアクセス実現例（図３３（ａ））と本実施の形態によるランダムアクセス実現例（図３３（ｂ））を示す。図３３（ａ）ではイントラピクチャであるＩＲＡＰピクチャが１ピクチャ置きに挿入されている。一方、図３３（ｂ）では図３３（ａ）よりインターピクチャの数が多くなっている。なお、図３３（ｂ）では、白色で示す「インターピクチャ」（ランダムアクセス不可能なインターピクチャ）はそれぞれ表示順が前（表示時刻が過去）となるランダムアクセス可能なインターピクチャより表示順が前のピクチャを参照していない。このように、ランダムアクセス不可能なインターピクチャが、それぞれ表示順が前となるランダムアクセス可能なインターピクチャを跨いで更に前のピクチャを参照しないことで、ランダムアクセス可能なインターピクチャによるランダムアクセスを実現している。これは、非特許文献１のＣＲＡピクチャをランダムアクセス可能なインターピクチャに置き換えることに相当する。
　図３３（ｂ）の通り、本実施の形態では、ランダムアクセス可能なインターピクチャは長期参照（ｌｏｎｇ－ｔｅｒｍ　ｒｅｆｅｒｅｎｃｅ）ピクチャのみを参照するインターピクチャとする。ここで、長期参照ピクチャとは非特許文献１及び２に定義されている通常の参照ピクチャ（非特許文献１及び２に定義されている短期参照（ｓｈｏｒｔ－ｔｅｒｍ　ｒｅｆｅｒｅｎｃｅ）ピクチャ）のバッファ管理とは別に長期保存用に用意されている参照ピクチャバッファに格納されている参照ピクチャを示している。すなわち、長期参照ピクチャは、動き補償予測フレームメモリ１２中の長期保存用バッファに保存される。以下、ランダムアクセス可能なインターピクチャが参照するピクチャを「ランダムアクセス時使用参照ピクチャ」と呼ぶ。ランダムアクセス時使用参照ピクチャは図３３（ｂ）に示すようにランダムアクセス可能なインターピクチャ以外のピクチャ（例えば図３３（ｂ）のインターピクチャ）も参照可能なピクチャである。この実施の形態においては、ランダムアクセス時使用参照ピクチャは、当該ピクチャ単独で正常復号可能なイントラピクチャに限定する。また、ランダムアクセス時使用参照ピクチャは、一定のピクチャ間隔で設定しても良いし、シーン毎に相応しいピクチャを選択しても良い。さらに、背景画像をランダムアクセス時使用参照ピクチャとして設定しても良い。また、どのイントラピクチャをランダムアクセス時使用参照ピクチャとして設定するかは、符号化装置において予め決められたルールに従って決定する方法、符号化の過程で決定する方法、符号化装置外で決定する方法等、用途に応じて様々な方法が考えられる。
　また、ランダムアクセス可能なインターピクチャの設定についても、用途に応じて様々な設定方法が考えられる。例えば、上記ランダムアクセス時使用参照ピクチャとの間の相関を示す評価値の大きさに基づき予め設定する。つまり、上記ランダムアクセス時使用参照ピクチャとの間の相関の大きいインターピクチャをランダムアクセス可能なインターピクチャとする。その他の例としては、一定ピクチャ間隔で設定する方法もある。
　ランダムアクセス可能なピクチャとして設定されたインターピクチャは、動き補償予測部５において、１以上の長期参照ピクチャを参照して動き補償予測を行うことによって予測画像を生成する。
　復号側で、ビットストリームの途中に存在するランダムアクセス可能なインターピクチャから正しく復号できるように、ランダムアクセス可能なインターピクチャに関する情報をビットストリームに多重化する必要がある。したがって、実施の形態１は、可変長符号化部１３においてランダムアクセス可能なインターピクチャに関する情報を符号化する。
　即ち、可変長符号化部１３は、ランダムアクセス可能なインターピクチャのアクセスユニット内に、Ｓｕｐｐｌｅｍｅｎｔａｌ　Ｅｎｈａｎｃｅｍｅｎｔ　Ｉｎｆｏｒｍａｔｉｏｎ（ＳＥＩ）として、ランダムアクセス可能なインターピクチャであることを示す補足情報（識別情報）を符号化し、その補足情報の符号化データをビットストリームに多重化する。このＳＥＩには、当該アクセスユニットのインターピクチャが参照する、単独復号可能な長期参照ピクチャ（ランダムアクセス時使用参照ピクチャ）のピクチャ番号を示すピクチャ位置情報が含まれる。したがって、復号側ではランダムアクセスする際、ＩＲＡＰピクチャの他に、上記ＳＥＩを持つアクセスユニットのインターピクチャについてもランダムアクセスが可能となる。この場合、上記ＳＥＩが示す長期参照ピクチャを復号後にその長期参照ピクチャのみを参照する当該インターピクチャを復号する。
　即ち、後述する図３の画像復号装置において、復号部を構成する可変長復号部３１が、ビットストリームに多重化されている符号化データからＳＥＩを復号すると、画像復号装置は、そのＳＥＩに含まれているピクチャ位置情報が示すピクチャ番号の長期参照ピクチャであるイントラピクチャの復号画像をはじめに復号して、そのイントラピクチャの復号画像を動き補償予測フレームメモリ３９に格納したのち、動き補償部３５が、動き補償予測フレームメモリ３９に格納されているイントラピクチャの復号画像を参照して、そのＳＥＩが示すランダムアクセス可能なインターピクチャの動き補償予測を実施することで、そのＳＥＩが示すランダムアクセス可能なインターピクチャからの途中復号（ランダムアクセス）が実現できる。
　図３３（ｂ）において、ランダムアクセス時使用参照ピクチャである長期参照ピクチャはＩＲＡＰピクチャであるが、ＩＲＡＰピクチャでないイントラピクチャを長期参照ピクチャとしてもよい。さらに、全てのＩＲＡＰピクチャを長期参照ピクチャとする必要はなく、図３４の例のように長期参照ピクチャでないＩＲＡＰピクチャを併用してもよい。また、ランダムアクセス可能なインターピクチャが参照する長期参照ピクチャ数は予め画像符号化装置及び復号装置で共通の値として決定しておく。補足情報として符号化する長期参照ピクチャのピクチャ番号の個数はこの予め決定された長期参照ピクチャ数だけ存在する。あるいは、上記長期参照ピクチャ数も補足情報として符号化するようにしても良い。このようにすることで、参照する長期参照ピクチャ数を状況に応じて適応的に変更でき、ランダムアクセス可能なインターピクチャの符号化効率を改善することができる。
　このように、ピクチャ内のみを予測に利用するイントラピクチャだけでなく、動き補償用できるインターピクチャをランダムアクセスポイントとして利用できることで、非特許文献１及び２と比較して高効率な符号化が実現できる。
　図１の例では、画像符号化装置の構成要素であるブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、イントラ予測用メモリ１０、ループフィルタ部１１、動き補償予測フレームメモリ１２、可変長符号化部１３及びスライス分割部１４のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、画像符号化装置がコンピュータで構成される場合、ブロック分割部１、符号化制御部２、切換スイッチ３、イントラ予測部４、動き補償予測部５、減算部６、変換・量子化部７、逆量子化・逆変換部８、加算部９、ループフィルタ部１１、可変長符号化部１３及びスライス分割部１４の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図２はこの発明の実施の形態１による画像符号化装置の処理内容（画像符号化方法）を示すフローチャートである。
　図３はこの発明の実施の形態１による画像復号装置を示す構成図である。画像復号装置においても、インターピクチャからランダムアクセス可能な点が特徴である。
　ここで、可変長復号部３１は復号部を構成し、逆量子化・逆変換部３２は差分画像生成部を構成し、切換スイッチ３３、イントラ予測部３４及び動き補償部３５は予測画像生成部を構成している。
　また、加算部３６は復号画像生成部を構成し、ループフィルタ部３８はフィルタリング処理部を構成している。
　図３において、可変長復号部３１は図１の画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームからシーケンスレベルヘッダ、ピクチャレベルヘッダ、スライスレベルヘッダなどの各ヘッダ情報を復号するとともに、その符号化ビットストリームから、階層的に分割されている各々の符号化ブロックの分割状況を示すブロック分割情報を可変長復号する。このとき、ＹＵＶ４：４：４フォーマット信号やＲＧＢ４：４：４フォーマット信号の各信号をモノクローム画像信号とみなしてそれぞれ独立にモノクローム（ＹＵＶ４：０：０）符号化していることを示す情報がヘッダ情報に含まれる場合、各色信号の符号化ビットストリームに対してそれぞれ独立に復号処理することができる。
　ここで、符号化ビットストリームの途中から復号するランダムアクセスを行う場合、ＩＲＡＰピクチャ又はランダムアクセス可能なインターピクチャであることを示すＳＥＩを持つアクセスユニットのピクチャから復号を開始することで、表示順で当該ピクチャ以降のピクチャを正しく復号することができる。具体的には、ランダムアクセス可能なインターピクチャであることを示すＳＥＩを復号し、まず、このＳＥＩに含まれる長期参照ピクチャのピクチャ番号、すなわち当該アクセスユニットのピクチャが参照する長期参照ピクチャのピクチャ番号を参照して、その指し示すピクチャ番号のピクチャを復号する。その後、動き補償部３５（動き補償予測部）において、復号されて動き補償予測フレームメモリ３９（動き補償予測メモリ）に保存された長期参照ピクチャを参照して、上記ＳＥＩが含まれていたアクセスユニットのインターピクチャの動き補償予測を実施し、このインターピクチャを復号する。そして、このインターピクチャより表示順が後となるピクチャを復号する。このようにすることで上記ＳＥＩが含まれていたアクセスユニットのピクチャ以降のピクチャを正しく復号することができる。
　また、ランダムアクセス可能なインターピクチャが参照する長期参照ピクチャ数は予め画像符号化装置及び復号装置で共通の値として決定しておき、その定めた上記長期参照ピクチャ数だけの長期参照ピクチャのピクチャ番号を復号する。あるいは、上記長期参照ピクチャ数も補足情報として符号化するように画像符号化装置を構成する場合、画像復号装置は参照する長期参照ピクチャ数を復号し、その復号した長期参照ピクチャ数だけの長期参照ピクチャのピクチャ番号を復号する復号装置を構成する。このように符号化された長期参照ピクチャ数を復号するように構成することで、適応的に参照ピクチャ数を変更してランダムアクセス可能なインターピクチャの符号化効率を改善した画像符号化装置で生成したストリームを正しく復号することができる。
　以下、画像復号装置のその他の構成について説明する。以下の構成は、符号化ビットストリームの途中から復号するランダムアクセス時も、符号化ビットストリームの初めから復号する場合も同様である。
　上記ヘッダ情報に含まれる量子化マトリクスの有効フラグ情報が“有効”を示す場合、可変長復号部３１は量子化マトリクスパラメータを可変長復号し、量子化マトリクスを特定する。具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として、画像符号化装置及び画像復号装置で予め共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである（新しい量子化マトリクスでない）ことを示す場合は、上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
　また、可変長復号部３１は、各ヘッダ情報を参照して、スライス分割状態を特定するとともに、各スライスのスライスデータに含まれる最大符号化ブロックを特定し、ブロック分割情報を参照して、最大符号化ブロックを階層的に分割して復号処理を行う単位である符号化ブロックを特定し、各々の符号化ブロックに係る圧縮データ、符号化モード、イントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）、インター予測パラメータ（符号化モードがインター符号化モードである場合）、動きベクトル（符号化モードがインター符号化モードである場合）及び予測差分符号化パラメータを可変長復号する処理を実施する。
　逆量子化・逆変換部３２は可変長復号部３１により可変長復号された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、可変長復号部３１により可変長復号された圧縮データを変換ブロック単位に逆量子化するとともに、逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する処理を実施する。
　ここで、上記変換ブロック分割情報から、符号化ブロックにおける変換ブロックの分割状態を特定する。例えば、ＹＵＶ４：２：０フォーマットの信号の場合、変換ブロックサイズは、図１９に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
　輝度信号については、例えば、図１９に示すように、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
　色差信号については、図１９に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
　図２０に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号と同様の四分木状の階層分割を行う。また、分割したブロックの形状が、垂直方向の画素数が水平方向の画素数の２倍になる長方形となるため、さらに、分割したブロックを上下に二分することで、ＹＵＶ４：２：０信号での色差信号と同じブロックサイズ（輝度信号の変換ブロックの縦横ともに半分のサイズ）の変換ブロック２つで構成するようにする。
　図２１に示すように、入力信号フォーマットがＹＵＶ４：４：４信号である場合、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
　また、可変長復号部３１により可変長復号された各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合、量子化マトリクスを用いて逆量子化処理を行う。
　具体的には、各ヘッダ情報から特定される量子化マトリクスを用いて逆量子化処理を行う。
　切換スイッチ３３は可変長復号部３１により可変長復号された符号化モードがイントラ符号化モードであれば、可変長復号部３１により可変長復号されたイントラ予測パラメータをイントラ予測部３４に出力し、可変長復号部３１により可変長復号された符号化モードがインター符号化モードであれば、可変長復号部３１により可変長復号されたインター予測パラメータ及び動きベクトルを動き補償部３５に出力する処理を実施する。
　イントラ予測部３４は可変長復号部３１により可変長復号されたブロック分割情報から特定される符号化ブロックに係る符号化モードがイントラ符号化モードである場合、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、切換スイッチ３３から出力されたイントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施してイントラ予測画像を生成する処理を実施する。なお、イントラ予測部３４はイントラ予測手段を構成している。
　即ち、イントラ予測部３４は、輝度信号については、輝度信号に対する上記イントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施して、輝度信号の予測画像を生成する。
　一方、色差信号については、色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、垂直方向予測モード又は水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード（ＬＭモード）を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
　なお、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記ＤＭモード又は上記ＬＭモードの処理を実施し、その他の予測モードは選択しないように画像符号化装置が構成されている場合、その画像符号化装置から生成される符号化ビットストリームが復号できるように画像復号装置も同様の構成とする。
　ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
　また、入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２４に示すように、輝度信号が正方ブロックであれば、色差信号は輝度信号と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２５に示すように、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換した際に、輝度信号と色差信号で同一方向の予測となるようにするためには、ＹＵＶ４：２：２信号上では、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差信号の予測方向が輝度信号の予測方向と異なることとなる。
　具体的には、図２６に示すように、輝度信号の予測方向ベクトルをｖＬ＝（ｄｘＬ，ｄｙＬ）とした場合、色差信号の予測方向ベクトルは、ｖＣ＝（ｄｘＬ／２，ｄｙＬ）となる。即ち、図２７に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθＬ、色差信号の予測方向の角度をθＣとして、ｔａｎθＣ＝２ｔａｎθＬの関係となる予測方向で予測する必要がある。
　したがって、輝度信号と色差信号で同一方向の予測を行う上記ＤＭモードを正しく実施できるようにするために、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号に使用したイントラ予測モードのインデックスを色差信号の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差信号の予測処理を実施する。具体的には、インデックスの変換テーブルを用意し、その変換テーブルを参照することで、インデックスを変換するように構成してもよいし、予め変換式を用意して、その変換式に従ってインデックスを変換するように構成してもよい。
　このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみで、ＹＵＶ４：２：２信号のフォーマットに応じた色差信号の適切な予測を実施することができる。
　動き補償部３５は可変長復号部３１により可変長復号されたブロック分割情報から特定される符号化ブロックに係る符号化モードがインター符号化モードである場合、動き補償予測フレームメモリ３９に格納されている復号画像を参照しながら、切換スイッチ３３から出力された動きベクトルとインター予測パラメータを用いたインター予測処理（動き補償予測処理）を実施してインター予測画像を生成する処理を実施する。
　加算部３６は逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像、または、動き補償部３５により生成されたインター予測画像とを加算して、図１の加算部９から出力された局所復号画像と同一の復号画像を算出する処理を実施する。
　イントラ予測用メモリ３７は加算部３６により算出された復号画像をイントラ予測処理で用いる参照画像として格納する記録媒体である。
　ループフィルタ部３８は加算部３６により算出された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を出力する処理を実施する。
　具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
　ただし、ループフィルタ部３８は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、当該スライスで行うか否かを特定する。
　このとき、２つ以上のフィルタ処理を行う場合において、例えば、画像符号化装置のループフィルタ部１１が図１１のように構成されていれば、図１２に示すようにループフィルタ部３８が構成される。当然、画像符号化装置のループフィルタ部１１がデブロッキングフィルタ処理と画素適応オフセット処理から構成されていれば、ループフィルタ部３８もデブロッキングフィルタ処理と画素適応オフセット処理で構成される。
　ここで、デブロッキングフィルタ処理では、可変長復号部３１により可変長復号されたヘッダ情報を参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。
　画素適応オフセット処理では、可変長復号部３１により可変長復号された画素適応オフセット処理のブロック分割情報に基づいて復号画像を分割し、そのブロック単位に、可変長復号部３１により可変長復号されたブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素を上記インデックスが示すクラス分類手法に従ってクラス分類する。
　なお、クラス分類手法の候補として、ループフィルタ部１１の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
　そして、ブロック単位の各クラスのオフセット値を特定するオフセット情報を参照して、復号画像の輝度値にオフセットを加算する処理を行う。
　ただし、画像符号化装置のループフィルタ部１１の画素適応オフセット処理において、ブロック分割情報は符号化せずに、常に画像を固定サイズのブロック単位（例えば、最大符号化ブロック単位）に分割し、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行うように構成されている場合、ループフィルタ部３８においても、ループフィルタ部１１と同一の固定サイズのブロック単位に画素適応オフセット処理を実施する。
　適応フィルタ処理では、可変長復号部３１により可変長復号されたクラス毎のフィルタを用いて、図１の画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
　動き補償予測フレームメモリ３９はループフィルタ部３８のフィルタ処理後の復号画像をインター予測処理（動き補償予測処理）で用いる参照画像として格納する記録媒体である。
　図３の例では、画像復号装置の構成要素である可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６、イントラ予測用メモリ３７、ループフィルタ部３８及び動き補償予測フレームメモリ３９のそれぞれが専用のハードウェア（例えば、ＣＰＵを実装している半導体集積回路や、ワンチップマイコンなど）で構成されているものを想定しているが、画像復号装置がコンピュータで構成される場合、可変長復号部３１、逆量子化・逆変換部３２、切換スイッチ３３、イントラ予測部３４、動き補償部３５、加算部３６及びループフィルタ部３８の処理内容を記述しているプログラムをコンピュータのメモリに格納し、当該コンピュータのＣＰＵが当該メモリに格納されているプログラムを実行するようにしてもよい。
　図４はこの発明の実施の形態１による画像復号装置の処理内容（画像復号方法）を示すフローチャートである。
　次に動作について説明する。
　この実施の形態１では、映像の各フレーム画像を入力画像として、符号化済みの近傍画素からのイントラ予測又は近接フレーム間での動き補償予測を実施して、得られた予測差分信号に対して直交変換・量子化による圧縮処理を施し、その後、可変長符号化を行って符号化ビットストリームを生成する画像符号化装置と、その画像符号化装置から出力される符号化ビットストリームを復号する画像復号装置について説明する。
　図１の画像符号化装置は、映像信号の空間・時間方向の局所的な変化に適応して、映像信号を多様なサイズのブロックに分割して、フレーム内・フレーム間適応符号化を行うことを特徴としている。
　一般的に、映像信号は、空間・時間的に信号の複雑さが局所的に変化する特性を有している。空間的に見ると、ある映像フレーム上では、例えば、空や壁などのような比較的広い画像領域中で均一な信号特性を有する絵柄もあれば、人物や細かいテクスチャを含む絵画など、小さい画像領域内で複雑なテクスチャパターンを有する絵柄も混在することがある。
　時間的に見ても、空や壁は局所的に時間方向の絵柄の変化は小さいが、動く人物や物体は、その輪郭が時間的に剛体・非剛体の運動をするため、時間的な変化が大きい。
　符号化処理は、時間・空間的な予測によって、信号電力やエントロピーの小さい予測差分信号を生成して、全体の符号量を削減する処理を行うが、予測に用いるパラメータをできるだけ大きな画像信号領域に均一に適用できれば、当該パラメータの符号量を小さくすることができる。
　一方、時間的・空間的に変化の大きい画像信号パターンに対して、同一の予測パラメータを大きな画像領域に適用すると、予測の誤りが増えてしまうため、予測差分信号の符号量が増加してしまう。
　したがって、時間的・空間的に変化が大きい領域では、同一の予測パラメータを適用して予測処理を行うブロックサイズを小さくして、予測に用いるパラメータのデータ量を増やし、予測差分信号の電力・エントロピーを低減する方が望ましい。
　この実施の形態１では、このような映像信号の一般的な性質に適応した符号化を行うため、最初に所定の最大ブロックサイズから予測処理等を開始し、階層的に映像信号の領域を分割し、分割した領域毎に予測処理や、その予測差分の符号化処理を適応化させる構成をとるようにしている。
　最初に、図１の画像符号化装置の処理内容を説明する。
　まず、符号化制御部２は、符号化対象となるピクチャ（カレントピクチャ）のスライス分割状態を決めると共に、ピクチャの符号化に用いる最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限を決定する（図２のステップＳＴ１）。
　最大符号化ブロックのサイズの決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一のサイズを定めてもよいし、入力画像の映像信号の局所的な動きの複雑さの違いをパラメータとして定量化して、動きの激しいピクチャには、小さいサイズを定める一方、動きが少ないピクチャには、大きいサイズを定めるようにしてもよい。
　分割階層数の上限の決め方としては、例えば、入力画像の映像信号の解像度に応じて、全てのピクチャに対して同一の階層数を定める方法や、入力画像の映像信号の動きが激しい場合には、階層数を深くして、より細かい動きが検出できるように設定し、動きが少ない場合には、階層数を抑えるように設定する方法などがある。
　なお、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限は、シーケンスレベルヘッダなどに符号化してもよいし、符号化せずに画像復号装置側も同一の決定処理を行うようにしてもよい。
　前者はヘッダ情報の符号量が増加するが、画像復号装置側で上記決定処理を行わずに済むため、画像復号装置の処理負荷を抑えることができる上、画像符号化装置側で最適な値を探索して送ることができる。
　後者は反対に、画像復号装置側で上記決定処理を行うため、画像復号装置の処理負荷が増加するが、ヘッダ情報の符号量は増加しない。
　また、上記最大符号化ブロックのサイズと、最大符号化ブロックを階層分割する階層数の上限をシーケンスレベルヘッダなどに符号化する場合、分割階層数の上限の代わりに、符号化ブロックの最小ブロックサイズを符号化するようにしてもよい。即ち、最大符号化ブロックを分割階層数の上限まで分割したときのブロックのサイズが、符号化ブロックの最小ブロックサイズであるため、画像復号装置側において、最大符号化ブロックのサイズと符号化ブロックの最小ブロックサイズから分割階層数の上限を特定することができる。
　また、符号化制御部２は、利用可能な１以上の符号化モードの中から、階層的に分割される各々の符号化ブロックに対応する符号化モードを選択する（ステップＳＴ２）。
　即ち、符号化制御部２は、最大符号化ブロックサイズの画像領域毎に、先に定めた分割階層数の上限に至るまで、階層的に符号化ブロックサイズを有する符号化ブロックに分割して、各々の符号化ブロックに対する符号化モードを決定する。
　符号化モードには、１つないし複数のイントラ符号化モード（総称して「ＩＮＴＲＡ」と称する）と、１つないし複数のインター符号化モード（総称して、「ＩＮＴＥＲ」と称する）とがあり、符号化制御部２は、当該ピクチャで利用可能な全ての符号化モード、または、そのサブセットの中から、各々の符号化ブロックに対応する符号化モードを選択する。
　ただし、後述するブロック分割部１により階層的に分割される各々の符号化ブロックは、さらに予測処理を行う単位である１つないし複数の予測ブロックに分割され、予測ブロックの分割状態も符号化モードの中に情報として含まれる。即ち、符号化モードは、どのような予測ブロック分割を持つイントラまたはインター符号化モードかを識別するインデックスである。
　符号化制御部２による符号化モードの選択方法は、公知の技術であるため詳細な説明を省略するが、例えば、利用可能な任意の符号化モードを用いて、符号化ブロックに対する符号化処理を実施して符号化効率を検証し、利用可能な複数の符号化モードの中で、最も符号化効率がよい符号化モードを選択する方法などがある。
　また、符号化制御部２は、各々の符号化ブロック毎に、差分画像が圧縮される際に用いられる量子化パラメータ及び変換ブロック分割状態を決定するとともに、予測処理が実施される際に用いられる予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を決定する。
　ただし、符号化ブロックがさらに予測処理を行う予測ブロック単位に分割される場合は、予測ブロック毎に予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択する。
　ここで、図１９は４：２：０フォーマットの信号における輝度信号及び色差信号の圧縮処理（変換処理、量子化処理）を実施する際の変換ブロックサイズを示す説明図である。
　変換ブロックサイズは、図１９に示すように、符号化ブロックを四分木状に階層分割することによって決定される。
　例えば、変換ブロックを分割する場合と変換ブロックを分割しない場合での符号量や、符号化誤差を加味した評価尺度などに基づいて、評価値が最小になるように変換ブロックを分割するか否かを決定することで、符号量と符号化誤差のトレードオフの観点から最適な変換ブロックの分割形状を決定することができる。
　輝度信号については、例えば、図１９に示すように、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。
　色差信号については、図１９に示すように、入力信号フォーマットがＹＵＶ４：２：０信号である場合、輝度信号と同様に、符号化ブロックが１つまたは複数の正方形の変換ブロックに階層的に分割されるように構成する。この場合、色差信号の変換ブロックサイズは、対応する輝度信号の変換ブロックの縦横ともに半分のサイズとなる。
　図２０に示すように、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号と同様の四分木状の階層分割を行う。また、分割したブロックの形状が、垂直方向の画素数が水平方向の画素数の２倍になる長方形となるため、さらに、分割したブロックを上下に二分することで、ＹＵＶ４：２：０信号での色差信号と同じブロックサイズ（輝度信号の変換ブロックの縦横ともに半分のサイズ）の変換ブロック２つで構成するようにする。
　また、図２１に示すように、入力信号フォーマットがＹＵＶ４：４：４信号である場合、色差信号の変換ブロックは、常に輝度信号の変換ブロックと同様の分割を行い、同じサイズの変換ブロックとなるように構成する。
　符号化制御部２は、符号化ブロックにおける変換ブロックの分割情報を示す変換ブロック分割情報や、変換係数の量子化を行う際の量子化ステップサイズを規定する量子化パラメータなどを含む予測差分符号化パラメータを変換・量子化部７、逆量子化・逆変換部８及び可変長符号化部１３に出力する。
　また、符号化制御部２は、イントラ予測パラメータを必要に応じてイントラ予測部４に出力する。
　また、符号化制御部２は、インター予測パラメータを必要に応じて動き補償予測部５に出力する。
　スライス分割部１４は、入力画像として映像信号を入力すると、その入力画像を符号化制御部２により決定されたスライス分割情報にしたがって１以上の部分画像であるスライスに分割する。
　ブロック分割部１は、スライス分割部１４から各スライスを入力する毎に、そのスライスを符号化制御部２により決定された最大符号化ブロックサイズに分割し、さらに、分割した最大符号化ブロックを符号化制御部２により決定された符号化ブロックへ階層的に分割して、その符号化ブロックを出力する。
　ここで、図５は最大符号化ブロックが階層的に複数の符号化ブロックに分割される例を示す説明図である。
　図５において、最大符号化ブロックは、「第０階層」と記されている輝度成分が（Ｌ０，Ｍ０）のサイズを有する符号化ブロックである。
　最大符号化ブロックを出発点として、４分木構造で別途定める所定の深さまで、階層的に分割を行うことによって符号化ブロックを得るようにしている。
　深さｎにおいては、符号化ブロックはサイズ（Ｌｎ，Ｍｎ）の画像領域である。
　ただし、ＬｎとＭｎは、同じであってもよいし、異なっていてもよいが、図５では、Ｌｎ＝Ｍｎのケースを示している。
　以降、符号化制御部２により決定される符号化ブロックサイズは、符号化ブロックの輝度成分におけるサイズ（Ｌｎ，Ｍｎ）と定義する。
　４分木分割を行うため、常に、（Ｌｎ＋１，Ｍｎ＋１）＝（Ｌｎ／２，Ｍｎ／２）が成立する。
　なお、ＲＧＢ信号など、全ての色成分が同一サンプル数を有するカラー映像信号（４：４：４フォーマット）では、全ての色成分のサイズが（Ｌｎ，Ｍｎ）になるが、４：２：０フォーマットを扱う場合、対応する色差成分の符号化ブロックサイズは（Ｌｎ／２，Ｍｎ／２）になる。
　以降、第ｎ階層の符号化ブロックをＢｎで表し、符号化ブロックＢｎで選択可能な符号化モードをｍ（Ｂｎ）で表すものとする。
　複数の色成分からなるカラー映像信号の場合、符号化モードｍ（Ｂｎ）は、色成分毎に、それぞれ個別のモードを用いるように構成されてもよいし、全ての色成分に対し共通のモードを用いるように構成されてもよい。以降、特に断らない限り、ＹＵＶ信号、４：２：０フォーマットの符号化ブロックの輝度成分に対する符号化モードを指すものとして説明を行う。
　符号化ブロックＢｎは、図５に示すように、ブロック分割部１によって、予測処理単位を表す１つないし複数の予測ブロックに分割される。
　以降、符号化ブロックＢｎに属する予測ブロックをＰｉ ｎ（ｉは、第ｎ階層における予測ブロック番号）と表記する。図５にはＰ０ ０とＰ１ ０の例を示している。
　符号化ブロックＢｎ内の予測ブロックの分割が、どのようになされているかは、符号化モードｍ（Ｂｎ）の中に情報として含まれる。
　予測ブロックＰｉ ｎは、全て符号化モードｍ（Ｂｎ）に従って予測処理が行われるが、予測ブロックＰｉ ｎ毎に、個別の予測パラメータ（イントラ予測パラメータ又はインター予測パラメータ）を選択することができる。
　符号化制御部２は、最大符号化ブロックに対して、例えば、図６に示すようなブロック分割状態を生成して、符号化ブロックを特定する。
　図６（ａ）の点線で囲まれた矩形が各符号化ブロックを表し、各符号化ブロック内にある斜線で塗られたブロックが各予測ブロックの分割状態を表している。
　図６（ｂ）は、図６（ａ）の例について、階層分割によって符号化モードｍ（Ｂｎ）が割り当てられる状況を４分木グラフで示したものである。図６（ｂ）の□で囲まれているノードは、符号化モードｍ（Ｂｎ）が割り当てられたノード（符号化ブロック）である。
　この４分木グラフの情報は符号化モードｍ（Ｂｎ）と共に符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
　切換スイッチ３は、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がイントラ符号化モードである場合（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、ブロック分割部１から出力された符号化ブロックＢｎをイントラ予測部４に出力する。
　一方、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がインター符号化モードである場合（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、ブロック分割部１から出力された符号化ブロックＢｎを動き補償予測部５に出力する。
　イントラ予測部４は、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がイントラ符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、切換スイッチ３から符号化ブロックＢｎを受けると（ステップＳＴ３）、イントラ予測用メモリ１０に格納されている局所復号画像を参照しながら、符号化制御部２により決定されたイントラ予測パラメータを用いて、その符号化ブロックＢｎ内の各予測ブロックＰｉ ｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉ ｎを生成する（ステップＳＴ４）。
　ただし、詳細は後述するが、イントラ予測画像を生成する処理を行う際に、予測対象ブロックに隣接する符号化済みの画素を用いることから、イントラ予測画像を生成する処理は、予測処理に用いる予測対象ブロックに隣接する画素が既に符号化済みとなるように常に変換ブロック単位に行われなくてはならない。
　したがって、符号化モードがイントラ符号化モードである符号化ブロックでは、選択可能な変換ブロックのブロックサイズは、予測ブロックのサイズ以下に制限され、さらに、変換ブロックが予測ブロックより小さい場合（予測ブロック内に複数の変換ブロックが存在する場合）には、変換ブロック単位に、当該予測ブロックで定められたイントラ予測パラメータを用いたイントラ予測処理を実施してイントラ予測画像を生成する処理を実施する。
　なお、画像復号装置がイントラ予測画像ＰＩＮＴＲＡｉ ｎと全く同じイントラ予測画像を生成する必要があるため、イントラ予測画像ＰＩＮＴＲＡｉ ｎの生成に用いられたイントラ予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
　イントラ予測部４の処理内容の詳細は後述する。
　動き補償予測部５は、符号化制御部２により決定された符号化モードｍ（Ｂｎ）がインター符号化モードであり（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、切換スイッチ３から符号化ブロックＢｎを受けると（ステップＳＴ３）、その符号化ブロックＢｎ内の各予測ブロックＰｉ ｎと動き補償予測フレームメモリ１２に格納されているフィルタ処理後の局所復号画像を比較して動きベクトルを探索し、その動きベクトルと符号化制御部２により決定されたインター予測パラメータを用いて、その符号化ブロックＢｎ内の各予測ブロックＰｉ ｎに対するインター予測処理を実施して、インター予測画像ＰＩＮＴＥＲｉ ｎを生成する（ステップＳＴ５）。
　なお、画像復号装置がインター予測画像ＰＩＮＴＥＲｉ ｎと全く同じインター予測画像を生成する必要があるため、インター予測画像ＰＩＮＴＥＲｉ ｎの生成に用いられたインター予測パラメータは、符号化制御部２から可変長符号化部１３に出力されて、ビットストリームに多重化される。
　また、動き補償予測部５により探索された動きベクトルも可変長符号化部１３に出力されて、ビットストリームに多重化される。
　減算部６は、ブロック分割部１から符号化ブロックＢｎを受けると、その符号化ブロックＢｎ内の予測ブロックＰｉ ｎから、イントラ予測部４により生成されたイントラ予測画像ＰＩＮＴＲＡｉ ｎ、または、動き補償予測部５により生成されたインター予測画像ＰＩＮＴＥＲｉ ｎのいずれか一方を減算して、その減算結果である差分画像を示す予測差分信号ｅｉ ｎを変換・量子化部７に出力する（ステップＳＴ６）。
　変換・量子化部７は、減算部６から予測差分信号ｅｉ ｎを受けると、符号化制御部２により決定された予測差分符号化パラメータに含まれる変換ブロック分割情報を参照して、その予測差分信号ｅｉ ｎに対する直交変換処理（例えば、ＤＣＴ（離散コサイン変換）やＤＳＴ（離散サイン変換）、予め特定の学習系列に対して基底設計がなされているＫＬ変換等の直交変換処理）を変換ブロック単位に実施して、変換係数を算出する。
　また、変換・量子化部７は、その予測差分符号化パラメータに含まれる量子化パラメータを参照して、その変換ブロック単位の変換係数を量子化し、量子化後の変換係数である圧縮データを逆量子化・逆変換部８及び可変長符号化部１３に出力する（ステップＳＴ７）。このとき、上記量子化パラメータから算出される量子化ステップサイズを変換係数毎にスケーリングする量子化マトリクスを用いて量子化処理を実施するようにしてもよい。
　量子化マトリクスは、各直交変換サイズで色信号や符号化モード（イントラ符号化かインター符号化か）毎に独立しているマトリクスを使用することができ、初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクスや既に符号化された量子化マトリクスの中から選択するか、新しい量子化マトリクスを用いるかをそれぞれ選択することができる。
　したがって、変換・量子化部７は、各直交変換サイズに対して色信号や符号化モード毎に、新しい量子化マトリクスを用いるか否かを示すフラグ情報を符号化すべき量子化マトリクスパラメータに設定する。
　さらに、新しい量子化マトリクスを用いる場合には、図１０に示すような量子化マトリクスの各スケーリング値を符号化すべき量子化マトリクスパラメータに設定する。
　一方、新しい量子化マトリクスを用いない場合には、初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に符号化された量子化マトリクスの中から、使用するマトリクスを特定するインデックスを符号化すべき量子化マトリクスパラメータに設定する。ただし、参照可能な既に符号化された量子化マトリクスが存在しない場合、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクスのみ選択可能となる。
　そして、変換・量子化部７は、設定した量子化マトリクスパラメータを可変長符号化部１３に出力する。
　逆量子化・逆変換部８は、変換・量子化部７から圧縮データを受けると、符号化制御部２により決定された予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位にその圧縮データを逆量子化する。
　変換・量子化部７が量子化処理に量子化マトリクスを用いている場合には、逆量子化処理時においても、その量子化マトリクスを参照して、対応した逆量子化処理を実施する。
　また、逆量子化・逆変換部８は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理（例えば、逆ＤＣＴ、逆ＤＳＴ、逆ＫＬ変換など）を実施して、減算部６から出力された予測差分信号ｅｉ ｎに相当する局所復号予測差分信号を算出して加算部９に出力する（ステップＳＴ８）。
　加算部９は、逆量子化・逆変換部８から局所復号予測差分信号を受けると、その局所復号予測差分信号と、イントラ予測部４により生成されたイントラ予測画像ＰＩＮＴＲＡｉ ｎ、または、動き補償予測部５により生成されたインター予測画像ＰＩＮＴＥＲｉ ｎのいずれか一方を加算することで、局所復号画像を算出する（ステップＳＴ９）。
　なお、加算部９は、その局所復号画像をループフィルタ部１１に出力するとともに、その局所復号画像をイントラ予測用メモリ１０に格納する。
　この局所復号画像が、以降のイントラ予測処理の際に用いられる符号化済みの画像信号になる。
　ループフィルタ部１１は、加算部９から局所復号画像を受けると、その局所復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の局所復号画像を動き補償予測フレームメモリ１２に格納する（ステップＳＴ１０）。
　具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
　ただし、ループフィルタ部１１は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、処理を行うか否かを決定し、各処理の有効フラグをシーケンスレベルヘッダの一部及びスライスレベルヘッダの一部として可変長符号化部１３に出力する。なお、上記のフィルタ処理を複数使用する際は、各フィルタ処理を順番に実施する。図１１は複数のフィルタ処理を用いる場合のループフィルタ部１１の構成例を示している。
　一般に使用するフィルタ処理の種類が多いほど、画像品質は向上するが、一方で処理負荷は高くなる。即ち、画像品質と処理負荷はトレードオフの関係にある。また、各フィルタ処理の画像品質改善効果はフィルタ処理対象画像の特性によって異なる。したがって、画像符号化装置が許容する処理負荷や符号化処理対象画像の特性にしたがって使用するフィルタ処理を決めればよい。
　ここで、デブロッキングフィルタ処理では、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更することができる。変更する場合には、そのパラメータをヘッダ情報として可変長符号化部１３に出力する。
　画素適応オフセット処理では、最初に、画像を複数のブロックに分割し、そのブロック単位に、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、予め用意している複数のクラス分類手法の中から、１つのクラス分類手法を選択する。
　次に、選択したクラス分類手法によってブロック内の各画素をクラス分類し、クラス毎に符号化歪みを補償するオフセット値を算出する。
　最後に、局所復号画像の輝度値に対して、そのオフセット値を加算する処理を行うことで局所復号画像の画像品質を改善する。
　クラス分類手法としては、局所復号画像の輝度値の大きさで分類する手法（ＢＯ手法と呼ぶ）や、エッジの方向毎に各画素の周囲の状況（エッジ部か否か等）に応じて分類する手法（ＥＯ手法と呼ぶ）がある。
　これらの手法は、予め画像符号化装置及び画像復号装置で共通に用意されており、例えば図１４に示すように、オフセット処理を行わない場合もクラス分類手法の一つとして定義して、これらの手法のうち、どの手法でクラス分類を行うかを示すインデックスを上記ブロック単位に選択する。
　したがって、画素適応オフセット処理は、ブロックの分割情報、ブロック単位のクラス分類手法を示すインデックス、ブロック単位のオフセット情報をヘッダ情報として可変長符号化部１３に出力する。
　なお、画素適応オフセット処理において、例えば最大符号化ブロックといった固定サイズのブロック単位に常に分割して、そのブロック毎にクラス分類手法を選択して、クラス毎の適応オフセット処理を行ってもよい。この場合、上記ブロック分割情報が不要となり、ブロック分割情報に要する符号量分だけ符号量が削減され、符号化効率を高めることができる。
　また、適応フィルタ処理では、局所復号画像を所定の手法でクラス分類し、各クラスに属する領域（局所復号画像）毎に、重畳されている歪みを補償するフィルタを設計し、そのフィルタを用いて、当該局所復号画像のフィルタ処理を実施する。
　そして、クラス毎に設計したフィルタをヘッダ情報として可変長符号化部１３に出力する。
　ここで、クラス分類手法としては、画像を空間的に等間隔に区切る簡易な手法や、ブロック単位に画像の局所的な特性（分散など）に応じて分類する手法がある。また、適応フィルタ処理で使用するクラス数は、予め画像符号化装置及び画像復号装置で共通の値に設定してもよいし、符号化すべきパラメータの一つとしてもよい。
　前者と比較して後者の方が、使用するクラス数を自由に設定することができるため、画像品質改善効果が上がるが、一方でクラス数を符号化するために、その分の符号量が増加する。
　ステップＳＴ３～ＳＴ９の処理は、階層的に分割された全ての符号化ブロックＢｎに対する処理が完了するまで繰り返し実施され、全ての符号化ブロックＢｎに対する処理が完了すると、ステップＳＴ１３の処理に移行する（ステップＳＴ１１，ＳＴ１２）。
　可変長符号化部１３は、変換・量子化部７から出力された圧縮データと、符号化制御部２から出力された最大符号化ブロック内のブロック分割情報（図６（ｂ）を例とする４分木情報）、符号化モードｍ（Ｂｎ）及び予測差分符号化パラメータと、符号化制御部２から出力されたイントラ予測パラメータ（符号化モードがイントラ符号化モードである場合）又はインター予測パラメータ（符号化モードがインター符号化モードである場合）と、動き補償予測部５から出力された動きベクトル（符号化モードがインター符号化モードである場合）とを可変長符号化し、それらの符号化結果を示す符号化データを生成する（ステップＳＴ１３）。
　その際、量子化された直交変換係数である圧縮データの符号化手法として、変換ブロックをさらにＣｏｅｆｆｉｃｉｅｎｔ Ｇｒｏｕｐ（ＣＧ）と呼ばれる４×４画素単位のブロック（符号化サブブロック）に分割して、ＣＧ単位に係数の符号化処理を実施する。
　図１５は１６×１６画素の変換ブロックにおける係数の符号化順（スキャン順）を示している。
　このように、４×４画素単位の１６個のＣＧを右下のＣＧから順に符号化処理し、さらに、各ＣＧはＣＧ内の１６個の係数を右下の係数から順に符号化する。
　具体的には、まず、ＣＧ内の１６個の係数の中に有意（非零）係数が存在するか否かのフラグ情報を符号化し、次に、ＣＧ内に有意（非零）係数が存在する場合のみ、ＣＧ内の各係数が有意（非零）係数であるかを上記順に符号化し、最後に有意（非零）係数に対して、その係数値情報を順に符号化する。これをＣＧ単位に上記順に行う。
　その際、有意（非零）係数がなるべく連続で発生するように偏るスキャン順とした方がエントロピー符号化による符号化効率を高めることができる。
　直交変換後の係数は、左上に位置する直流成分をはじめとして、左上に近い程、低い周波数成分の低い係数を表すことから、図１６に示す例のように、一般的に左上に近いほど有意（非零）係数が多く発生するために、図１５に示すように、右下から順に符号化することで効率的に符号化することができる。
　なお、上記では１６×１６画素の変換ブロックについて説明したが、８×８画素や３２×３２画素の変換ブロック等、１６×１６画素以外のブロックサイズにおいてもＣＧ（符号化サブブロック）単位の符号化処理を実施するものとする。
　また、可変長符号化部１３は、図１３に例示するように、符号化ビットストリームのヘッダ情報として、シーケンスレベルヘッダ、ピクチャレベルヘッダを符号化し、ピクチャデータと共に符号化ビットストリームを生成する。
　ただし、ピクチャデータは１以上のスライスデータから構成され、各スライスデータはスライスレベルヘッダと当該スライス内にある上記符号化データをまとめたものである。
　シーケンスレベルヘッダは、画像サイズ、色信号フォーマット、輝度信号や色差信号の信号値のビット深度、シーケンス単位でのループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）の有効フラグ情報、量子化マトリクスの有効フラグ情報、フィールド符号化か否かを示すフラグなど、一般的にシーケンス単位に共通となるヘッダ情報をまとめたものである。
　ピクチャレベルヘッダは、参照するシーケンスレベルヘッダのインデックスや動き補償時の参照ピクチャ数、エントロピー符号化の確率テーブル初期化フラグ等のピクチャ単位で設定するヘッダ情報をまとめたものである。
　スライスレベルヘッダは、当該スライスがピクチャのどの位置にあるかを示す位置情報、どのピクチャレベルヘッダを参照するかを示すインデックス、スライスの符号化タイプ（イントラ符号化、インター符号化など）、ループフィルタ部１１における各フィルタ処理（適応フィルタ処理、画素適応オフセット処理、デブロッキングフィルタ処理）を行うか否かを示すフラグ情報などといったスライス単位のパラメータをまとめたものである。
　次に、イントラ予測部４の処理内容を詳細に説明する。
　イントラ予測部４は、上述したように、予測ブロックＰｉ ｎのイントラ予測パラメータを参照して、その予測ブロックＰｉ ｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉ ｎを生成するが、ここでは、輝度信号における予測ブロックＰｉ ｎのイントラ予測画像を生成するイントラ処理について説明する。
　図７は符号化ブロックＢｎ内の各予測ブロックＰｉ ｎが選択可能なイントラ予測モードの一例を示す説明図であり、イントラ予測モードのインデックス値と、そのイントラ予測モードが示す予測方向ベクトルを示している。上記イントラ予測モードのインデックス値がイントラ予測パラメータを示している。
　なお、イントラ予測モード数は、処理対象となるブロックのサイズに応じて異なるように構成してもよい。
　大きいサイズのブロックでは、イントラ予測の効率が低下するため、選択できるイントラ予測方向数を少なくし、小さいサイズのブロックでは、選択できるイントラ予測方向数を多くするように構成することで演算量を抑制することができる。
　まず、イントラ予測画像を生成する処理は、処理対象のブロックに隣接する符号化済みの画素を用いることから、上述した通り、変換ブロック単位に行われなくてはならない。
　ここで、イントラ予測画像を生成する変換ブロックを予測画像生成ブロックと呼ぶこととする。したがって、イントラ予測部４は、予測画像生成ブロック単位に下記に述べるイントラ予測画像生成処理を実施して、予測ブロックＰｉ ｎのイントラ予測画像を生成する。
　予測画像生成ブロックのサイズをｌｉ ｎ×ｍｉ ｎ画素とする。
　図８はｌｉ ｎ＝ｍｉ ｎ＝４の場合の予測画像生成ブロック内の画素の予測値を生成する際に用いる画素の一例を示す説明図である。
　図８では、予測画像生成ブロックの上の符号化済みの画素（２×ｌｉ ｎ＋１）個と、左の符号化済みの画素（２×ｍｉ ｎ）個を予測に用いる画素としているが、予測に用いる画素は、図８に示す画素より多くても少なくてもよい。
　また、図８では、予測画像生成ブロックの近傍の１行又は１列分の画素を予測に用いているが、２行又は２列、あるいは、それ以上の画素を予測に用いてもよい。
　予測画像生成ブロックが属する予測ブロックＰｉ ｎに対するイントラ予測モードのインデックス値が０（平面（Ｐｌａｎａｒ）予測）の場合には、予測画像生成ブロックの上に隣接する符号化済み画素と、予測画像生成ブロックの左に隣接する符号化済み画素を用いて、これら画素と予測画像生成ブロック内の予測対象画素との距離に応じて内挿した値を予測値として予測画像を生成する。
　予測画像生成ブロックが属する予測ブロックＰｉ ｎに対するイントラ予測モードのインデックス値が１（平均値（ＤＣ）予測）の場合には、予測画像生成ブロックの上に隣接する符号化済み画素と、予測画像生成ブロックの左に隣接する符号化済み画素の平均値を予測画像生成ブロック内の画素の予測値として予測画像を生成する。
　さらに、予測画像生成ブロックの上端及び左端に位置する図１７の領域Ａ，Ｂ，Ｃに対して、ブロック境界を平滑化するフィルタ処理を行って最終的な予測画像とする。例えば、下記の式（１）にしたがって、図１８のフィルタの参照画素配置で、下記のフィルタ係数を用いてフィルタ処理を実施する。

Figure JPOXMLDOC01-appb-I000001
・領域Ａ（パーティションＰｉ ｎの左上の画素）
　　　ａ０＝１／２，ａ１＝１／４，ａ２＝１／４
・領域Ｂ（領域Ａ以外のパーティションＰｉ ｎの上端の画素）
　　　ａ０＝３／４，ａ２＝１／４，（ａ１＝０）
・領域Ｃ（領域Ａ以外のパーティションＰｉ ｎの左端の画素）
　　　ａ０＝３／４，ａ１＝１／４，（ａ２＝０）
　ただし、式（１）において、ａｎ（ｎ＝０，１，２）は参照画素にかかるフィルタ係数、ｐｎ（ｎ＝０，１，２）はフィルタ処理対象画素ｐ０を含むフィルタの参照画素、Ｓ’（ｐ０）はフィルタ処理対象画素ｐ０におけるフィルタ処理後の予測値、Ｓ（ｐｎ）（ｎ＝０，１，２）はフィルタ処理対象画素ｐ０を含む参照画素のフィルタ処理前の予測値を表している。
　さらに、上記フィルタ処理を行う予測画像生成ブロックのブロックサイズは限定してもよい。
　一般にブロック端のみフィルタ処理を行って予測値を変化させる場合、大きなブロックサイズのブロックでは、フィルタ処理により予測値が変化する領域の占める割合が小さいために、この予測値の変化によって生じた予測残差信号の変化を非常に高い周波数成分で表されることになり、この高周波数成分を符号化するために符号化効率の悪化を生じさせてしまう傾向がある。また、符号化効率を優先して、この高周波数成分を符号化しないようにすることで、ブロック端の予測残差信号の変化を復元できずに、ブロック境界に歪みが生じてしまう傾向がある。
　一方、小さなブロックサイズのブロックでは、フィルタ処理により予測値が変化する領域の占める割合が大きいために、この予測値の変化によって生じた予測残差信号の変化が大きなブロックサイズのブロックの時のような高い周波数成分で表されることはなく、適切に残差信号を符号化することができ、本フィルタ処理によって、ブロック境界の連続性を高めた分、復号画像の品質を高めることができる。
　したがって、例えば、３２×３２画素以上のブロックサイズの予測画像生成ブロックでは、上記フィルタ処理を適用せずに、３２×３２画素より小さいブロックのみに上記フィルタ処理を適用することで、従来の平均値予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
　予測画像生成ブロックの属する予測ブロックＰｉ ｎに対するイントラ予測モードのインデックス値が２６（垂直方向予測）の場合、下記の式（２）から予測画像生成ブロック内の画素の予測値を算出して予測画像を生成する。

Figure JPOXMLDOC01-appb-I000002
　ただし、座標（ｘ，ｙ）は予測画像生成ブロック内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。また、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
　なお、式（２）の１行目の式は、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４における垂直方向予測の予測値であるＳ（ｘ，－１）に対し、隣接する符号化済み画素の垂直方向の輝度値の変化量Ｓ（－１，ｙ）－Ｓ（－１，－１）を１／２にした値を加算することで、ブロック境界が平滑化されるようにフィルタ処理したものを予測値とすることを意味しており、式（２）の２行目の式は、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４における垂直方向予測と同じ予測式を示している。
　予測画像生成ブロックが属する予測ブロックＰｉ ｎに対するイントラ予測モードのインデックス値が１０（水平方向予測）の場合、下記の式（３）から予測画像生成ブロック内の画素の予測値を算出して予測画像を生成する。

Figure JPOXMLDOC01-appb-I000003
　ただし、座標（ｘ，ｙ）は予測画像生成ブロック内の左上画素を原点とする相対座標（図９を参照）であり、Ｓ’（ｘ，ｙ）は座標（ｘ，ｙ）における予測値、Ｓ（ｘ，ｙ）は座標（ｘ，ｙ）における符号化済み画素の輝度値（復号された輝度値）である。また、算出した予測値が輝度値の取り得る値の範囲を超えている場合、予測値がその範囲内に収まるように値を丸めるようにする。
　なお、式（３）の１行目の式は、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４における水平方向予測の予測値であるＳ（－１，ｙ）に対し、隣接する符号化済み画素の水平方向の輝度値の変化量Ｓ（ｘ，－１）－Ｓ（－１，－１）を１／２にした値を加算することで、ブロック境界が平滑化されるようにフィルタ処理したものを予測値とすることを意味しており、式（３）の２行目の式は、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４における水平方向予測と同じ予測式を示している。
　ただし、式（２）の垂直方向予測、式（３）の水平方向予測を行う予測画像生成ブロックのブロックサイズを限定してもよい。
　一般にブロック端のみ予測方向の輝度値の変化量に比例する値を加算するフィルタ処理を行うことで予測値を変化させる場合、大きなブロックサイズのブロックでは、上述した予測画像生成ブロックのブロック端のフィルタ処理により予測値が変化する領域の占める割合が小さいために、この予測値の変化によって生じた予測残差信号の変化を非常に高い周波数成分で表されることになり、この高周波数成分を符号化するために符号化効率の悪化を生じさせてしまう傾向がある。また、符号化効率を優先して、この高周波数成分を符号化しないようにすることで、ブロック端の予測残差信号の変化を復元できずにブロック境界に歪みが生じてしまう傾向がある。
　一方、小さなブロックサイズのブロックでは、上記フィルタ処理により予測値が変化する領域の占める割合が大きいために、この予測値の変化によって生じた予測残差信号の変化が大きなブロックサイズのブロックの時のような高い周波数成分で表されることはなく、適切に残差信号を符号化することができ、本フィルタ処理によってブロック境界の連続性を高めた分、復号画像の品質を高めることができる。
　したがって、例えば、３２×３２画素以上のブロックサイズの予測画像生成ブロックでは、予測対象画素の座標によらず、式（２）及び式（３）の２行目の式を常に用いるようにし（予測画像生成ブロックのブロック端のフィルタ処理を行わないことにする）、３２×３２画素より小さいブロックのみに、上記フィルタ処理を行う式（２）及び式（３）を適用することで、従来の垂直方向予測、水平方向予測よりも予測性能を向上させながら、演算量の増加を抑えることができる。
　イントラ予測モードのインデックス値が０（平面予測）、１（平均値予測）、２６（垂直方向予測）、１０（水平方向予測）以外の場合には、インデックス値が示す予測方向ベクトルυｐ＝（ｄｘ，ｄｙ）に基づいて、予測画像生成ブロック内の画素の予測値を生成する。
　図９に示すように、予測画像生成ブロックの左上画素を原点として、予測画像生成ブロック内の相対座標を（ｘ，ｙ）と設定すると、予測に用いる参照画素の位置は、下記のＬと隣接画素の交点になる。

Figure JPOXMLDOC01-appb-I000004
ただし、ｋは負の実数である。
　参照画素が整数画素位置にある場合には、その整数画素を予測対象画素の予測値とし、参照画素が整数画素位置にない場合には、参照画素に隣接する整数画素から生成される補間画素を予測値とする。
　図８の例では、参照画素は整数画素位置にないので、参照画素に隣接する２画素から内挿したものを予測値とする。なお、隣接する２画素のみではなく、隣接する２画素以上の画素から補間画素を生成して予測値としてもよい。
　補間処理に用いる画素を多くすることで補間画素の補間精度を向上させる効果がある一方、補間処理に要する演算の複雑度が増加することから、演算負荷が大きくても高い符号化性能を要求する画像符号化装置の場合には、より多くの画素から補間画素を生成するようにした方がよい。
　以上に述べた処理によって、予測画像生成ブロック単位に予測ブロックＰｉ ｎ内の輝度信号の全ての画素に対する予測画素を生成して、イントラ予測画像ＰＩＮＴＲＡｉ ｎを出力する。
　なお、イントラ予測画像ＰＩＮＴＲＡｉ ｎの生成に用いられたイントラ予測パラメータ（イントラ予測モード）は、ビットストリームに多重化するために可変長符号化部１３に出力される。
　なお、先に説明したＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４における８×８画素のブロックのイントラ予測時に参照画素に対して施される平滑化処理と同様に、イントラ予測部４において、予測画像生成ブロックの予測画像を生成する際の参照画素を、予測画像生成ブロックに隣接する符号化済み画素を平滑化処理した画素とするように構成した場合であっても、上述の例と同様の予測画像に対するフィルタ処理を行うことができる。このようにすることで参照画素へのフィルタ処理による参照画素のノイズが除去され、これを用いて予測を行うことで予測の精度高めることができる。
　あるいは、上記参照画素へのフィルタ処理は予測画像へのフィルタ処理を行う平均値予測、垂直方向予測、水平方向予測以外の予測の際のみ実施するようにしてもよい。このようにすることで、各予測モードに対して最大で１つのフィルタ処理しか行わずに済み、演算量の増加を抑えることができる。
　上記では、輝度信号の予測画像生成処理について説明したが、色差成分に対する予測画像は次のように生成する。
　予測ブロックＰｉ ｎの色差信号に対して、色差信号のイントラ予測パラメータ（イントラ予測モード）に基づくイントラ予測処理を実施し、イントラ予測画像の生成に用いられたイントラ予測パラメータを可変長符号化部１３に出力する。
　図２２は色差信号のイントラ予測パラメータ（インデックス値）と色差イントラ予測モードの対応例を示す説明図である。
　色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、垂直方向予測モードまたは水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード（ＬＭモード）を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
　なお、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記ＤＭモード又は上記ＬＭモードの処理を実施し、その他の予測モードは選択しないように構成してもよい。ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
　当然、ＹＵＶ４：４：４信号の場合においても、色差信号に対して、輝度信号とは異なる方向性予測モードを選択できるように構成してもよい。
　また、入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２４に示すように、輝度信号が正方ブロックであれば、色差信号は輝度信号と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２５に示すように、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換した際に、輝度信号と色差信号で同一方向の予測となるようにするためには、ＹＵＶ４：２：２信号上では、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差信号の予測方向が輝度信号の予測方向と異なることとなる。
　具体的には、図２６に示すように、輝度信号の予測方向ベクトルをｖＬ＝（ｄｘＬ，ｄｙＬ）とした場合、色差信号の予測方向ベクトルは、ｖＣ＝（ｄｘＬ／２，ｄｙＬ）となる。即ち、図２７に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθＬ、色差信号の予測方向の角度をθＣとして、ｔａｎθＣ＝２ｔａｎθＬの関係となる予測方向で予測する必要がある。
　したがって、輝度信号と色差信号で同一方向の予測を行う上記ＤＭモードを正しく実施できるようにするために、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号に使用したイントラ予測モードのインデックスを色差信号の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差信号の予測処理を実施する。
　図２８は図７のイントラ予測モードにおけるイントラ予測モードインデックスの変換例を示している。
　図２８の変換テーブルは、予測方向の角度がθであるとき（図２７を参照）、イントラ予測モードの方向性予測が図２９に示すｔａｎθとなる角度である場合、ｔａｎθＣ＝２ｔａｎθＬの関係に最も近い角度θＣに変換するテーブルの例である。
　変換処理の実現は、上記のように、インデックスの変換テーブルを用意し、その変換テーブルを参照することでインデックスを変換するように構成してもよいし、変換式を用意し、その変換式に従ってインデックスを変換するように構成してもよい。
　このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみでＹＵＶ４：２：２信号のフォーマットに応じた色差信号の適切な予測を実施することができる。
　また、色差信号に対して上記ＬＭモードを行わないように構成してもよい。このときの色差信号のイントラ予測パラメータ（インデックス値）と色差イントラ予測モードの対応例として、図２３が挙げられる。
　このようにＬＭモードも用いないようにすることで、予測対象画素の輝度信号と色差信号の依存性がなくなるため、輝度信号と色差信号の予測処理の並列化が可能となり、高速な演算処理を実現することができる。
　さらに、色差信号では、色差信号の垂直方向予測及び水平方向予測については、ブロック境界のフィルタ処理を行わずに、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４と同様の予測手法としてもよい。このようにフィルタ処理を行わないことで、予測処理の低演算化を図ることができる。
　次に、図３の画像復号装置の処理内容を具体的に説明する。
　可変長復号部３１は、図１の画像符号化装置により生成された符号化ビットストリームを入力すると、そのビットストリームに対する可変長復号処理を実施して（図４のステップＳＴ２１）、１フレーム以上のピクチャから構成されるシーケンス単位のヘッダ情報（シーケンスレベルヘッダ）及びピクチャ単位のヘッダ情報（ピクチャレベルヘッダ）、ループフィルタ部３８で使用するフィルタパラメータや量子化マトリクスパラメータを復号する。
　このとき、上記ヘッダ情報に含まれる量子化マトリクスの有効フラグ情報が“有効”を示す場合、可変長復号部３１は量子化マトリクスパラメータを可変長復号し、量子化マトリクスを特定する。
　具体的には、各直交変換サイズの色信号や符号化モード毎に、量子化マトリクスパラメータが初期値として、画像符号化装置及び画像復号装置で、予め共通に用意されている量子化マトリクス、または、既に復号された量子化マトリクスである（新しい量子化マトリクスでない）ことを示す場合は、量子化マトリクスパラメータに含まれる上記マトリクスの内のどの量子化マトリクスであるかを特定するインデックス情報を参照して量子化マトリクスを特定し、量子化マトリクスパラメータが新しい量子化マトリクスを用いることを示す場合は、量子化マトリクスパラメータに含まれる量子化マトリクスを使用する量子化マトリクスとして特定する。
　そして、ピクチャ単位のデータを構成するスライスデータから、スライス分割情報等のスライス単位のヘッダ情報（スライスレベルヘッダ）を復号し、各スライスの符号化データを復号する。
　また、可変長復号部３１は、図１の画像符号化装置の符号化制御部２により決定された最大符号化ブロックサイズ及び分割階層数の上限を画像符号化装置と同様の手順で決定する（ステップＳＴ２２）。
　例えば、最大符号化ブロックサイズや分割階層数の上限が映像信号の解像度に応じて決められた場合には、復号したフレームサイズ情報に基づいて、画像符号化装置と同様の手順で最大符号化ブロックサイズを決定する。
　最大符号化ブロックサイズ及び分割階層数の上限が、画像符号化装置側でシーケンスレベルヘッダなどに多重化されている場合には、上記ヘッダから復号した値を用いるようにする。ただし、分割階層数の上限の代わりに、符号化ブロックの最小ブロックサイズが符号化されている場合、これを復号することで分割階層数の上限を決定する。即ち、最大符号化ブロックを上記最小ブロックサイズまで分割した場合が分割階層数の上限となる。
　可変長復号部３１は、決定された最大符号化ブロック単位に、図６で示されるような最大符号化ブロックの分割状態を復号する。復号された分割状態に基づき、階層的に符号化ブロックを特定する（ステップＳＴ２３）。
　次に、可変長復号部３１は、符号化ブロックに割り当てられている符号化モードを復号する。復号した符号化モードに含まれる情報に基づき、符号化ブロックをさらに１つないし複数の予測処理単位である予測ブロックに分割し、予測ブロック単位に割り当てられている予測パラメータを復号する（ステップＳＴ２４）。
　即ち、可変長復号部３１は、符号化ブロックに割り当てられている符号化モードがイントラ符号化モードである場合、符号化ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にイントラ予測パラメータを復号する。
　一方、符号化ブロックに割り当てられている符号化モードがインター符号化モードである場合、符号化ブロックに含まれており、予測処理単位となる１つ以上の予測ブロック毎にインター予測パラメータ及び動きベクトルを復号する（ステップＳＴ２４）。
　さらに、可変長復号部３１は、予測差分符号化パラメータに含まれる変換ブロック分割情報に基づき、変換ブロック毎に圧縮データ（変換・量子化後の変換係数）を復号する（ステップＳＴ２４）。
　その際、図１の画像符号化装置の可変長符号化部１３での圧縮データの符号化処理と同様に、ＣＧ単位の係数の復号処理を実施する。
　したがって、図１５に示すように、４×４画素単位の１６個のＣＧを右下のＣＧから順に復号処理し、さらに、各ＣＧはＣＧ内の１６個の係数を右下の係数から順に復号していくことになる。
　具体的には、まず、ＣＧ内の１６個の係数の中に有意（非零）係数が存在するか否かのフラグ情報を復号し、次に復号したフラグ情報がＣＧ内に有意（非零）係数が存在することを示す場合のみＣＧ内の各係数が有意（非零）係数であるかを上記順に復号し、最後に有意（非零）係数を示す係数に対して、その係数値情報を順に復号する。これをＣＧ単位に上記順に行う。
　切換スイッチ３３は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がイントラ符号化モードであれば（ｍ（Ｂｎ）∈ＩＮＴＲＡの場合）、可変長復号部３１により可変長復号された予測ブロック単位のイントラ予測パラメータをイントラ予測部３４に出力する。
　一方、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がインター符号化モードであれば（ｍ（Ｂｎ）∈ＩＮＴＥＲの場合）、可変長復号部３１により可変長復号された予測ブロック単位のインター予測パラメータ及び動きベクトルを動き補償部３５に出力する。
　イントラ予測部３４は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がイントラ符号化モード（ｍ（Ｂｎ）∈ＩＮＴＲＡ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位のイントラ予測パラメータを受け取って、図１のイントラ予測部４と同様の手順で、イントラ予測用メモリ３７に格納されている復号画像を参照しながら、上記イントラ予測パラメータを用いた符号化ブロックＢｎ内の各予測ブロックＰｉ ｎに対するイントラ予測処理を実施して、イントラ予測画像ＰＩＮＴＲＡｉ ｎを生成する（ステップＳＴ２６）。
　また、イントラ予測部３４は、輝度信号については、輝度信号に対する上記イントラ予測パラメータを用いたイントラ予測処理（フレーム内予測処理）を実施して、輝度信号の予測画像を生成する。
　一方、色差信号については、色差信号のイントラ予測パラメータに基づくイントラ予測処理を実施して、色差信号の予測画像を生成する。
　図２２は色差信号のイントラ予測パラメータ（インデックス値）と色差イントラ予測モードの対応例を示す説明図である。
　色差信号のイントラ予測パラメータが、輝度信号に対するイントラ予測モードと同じ予測モードを用いる旨を示している場合（イントラ予測パラメータが輝度色差共通イントラ予測モード（ＤＭモード）を示している場合）、輝度信号と同じフレーム内予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、垂直方向予測モードまたは水平方向予測モードを示している場合、色差信号に対する方向性予測を実施して、色差信号の予測画像を生成する。
　また、色差信号のイントラ予測パラメータが、輝度相関利用色差信号予測モード（ＬＭモード）を示している場合、予測画像の生成対象ブロックの上及び左に隣接している複数の画素の輝度信号及び色差信号を用いて、輝度信号と色差信号の相関を示す相関パラメータを算出し、その相関パラメータと予測処理対象の色差信号のブロックに対応する輝度信号を用いて、色差信号の予測画像を生成する。
　なお、入力信号フォーマットがＹＵＶ４：４：４信号である場合には、上記ＤＭモード又は上記ＬＭモードの処理を実施し、その他の予測モードは選択しないように画像符号化装置が構成されている場合、その画像符号化装置から生成される符号化ビットストリームが復号できるように画像復号装置も同様の構成とする。
　ＹＵＶ４：４：４信号では、輝度信号と色差信号のエッジ位置に高い相関関係があるため、輝度信号と異なる予測モードを色差信号に適用することを禁止することにより、その色差信号のイントラ予測モードの情報量を削減して、符号化効率を高めることができる。
　また、入力信号フォーマットがＹＵＶ４：２：２信号である場合、図２４に示すように、輝度信号が正方ブロックであれば、色差信号は輝度信号と比較して水平方向の画素数が１／２となる長方形のブロックとなる。したがって、図２５に示すように、ＹＵＶ４：４：４信号をＹＵＶ４：２：２信号に変換した際に、輝度信号と色差信号で同一方向の予測となるようにするためには、ＹＵＶ４：２：２信号上では、垂直方向予測と水平方向予測以外の方向性予測の場合には、色差信号の予測方向が輝度信号の予測方向と異なることとなる。
　具体的には、図２６に示すように、輝度信号の予測方向ベクトルをｖＬ＝（ｄｘＬ，ｄｙＬ）とした場合、色差信号の予測方向ベクトルは、ｖＣ＝（ｄｘＬ／２，ｄｙＬ）となる。即ち、図２７に示すように、予測方向の角度をθとした場合、輝度信号の予測方向の角度をθＬ、色差信号の予測方向の角度をθＣとして、ｔａｎθＣ＝２ｔａｎθＬの関係となる予測方向で予測する必要がある。
　したがって、輝度信号と色差信号で同一方向の予測を行う上記ＤＭモードを正しく実施できるようにするために、入力信号フォーマットがＹＵＶ４：２：２信号である場合、輝度信号に使用したイントラ予測モードのインデックスを色差信号の予測に用いるイントラ予測モードのインデックスに変換し、変換後のインデックスに対応するイントラ予測モードによる色差信号の予測処理を実施する。
　図２８は図７のイントラ予測モードにおけるイントラ予測モードインデックスの変換例を示している。
　図２８の変換テーブルは、予測方向の角度がθであるとき（図２７を参照）、イントラ予測モードの方向性予測が図２９に示すｔａｎθとなる角度である場合、ｔａｎθＣ＝２ｔａｎθＬの関係に最も近い角度θＣに変換するテーブルの例である。
　変換処理の実現は、上記のように、インデックスの変換テーブルを用意し、その変換テーブルを参照することでインデックスを変換するように構成してもよいし、変換式を用意し、その変換式に従ってインデックスを変換するように構成してもよい。
　このように構成することで、方向性予測処理自体を変更することなく、インデックスの変換のみでＹＵＶ４：２：２信号のフォーマットに応じた色差信号の適切な予測を実施することができる。
　また、色差信号に対して、上記ＬＭモードを行わないように画像符号化装置が構成されている場合、その画像符号化装置から生成される符号化ビットストリームが復号できるように画像復号装置も同様の構成とする。
　このときの色差信号のイントラ予測パラメータ（インデックス値）と色差イントラ予測モードの対応例として、図２３が挙げられる。
　このようにＬＭモードも用いないようにすることで、予測対象画素の輝度信号と色差信号の依存性がなくなるため、輝度信号と色差信号の予測処理の並列化が可能になり、高速な演算処理を実現することができる。
　さらに、色差信号では、色差信号の垂直方向予測及び水平方向予測については、ブロック境界のフィルタ処理を行わずに、ＭＰＥＧ－４　ＡＶＣ／Ｈ．２６４と同様の予測手法として画像符号化装置が構成されている場合、その画像符号化装置から生成される符号化ビットストリームが復号できるように画像復号装置も同様の構成とする。
　このようにフィルタ処理を行わないことで、予測処理の低演算化を図ることができる。
　動き補償部３５は、可変長復号部３１により可変長復号された符号化モードｍ（Ｂｎ）がインター符号化モード（ｍ（Ｂｎ）∈ＩＮＴＥＲ）である場合（ステップＳＴ２５）、切換スイッチ３３から出力された予測ブロック単位の動きベクトルとインター予測パラメータを受け取って、動き補償予測フレームメモリ３９に格納されているフィルタ処理後の復号画像を参照しながら、その動きベクトルとインター予測パラメータを用いた符号化ブロックＢｎ内の各予測ブロックＰｉ ｎに対するインター予測処理を実施してインター予測画像ＰＩＮＴＥＲｉ ｎを生成する（ステップＳＴ２７）。
　逆量子化・逆変換部３２は、可変長復号部３１から圧縮データ及び予測差分符号化パラメータを受けると、図１の逆量子化・逆変換部８と同様の手順で、その予測差分符号化パラメータに含まれる量子化パラメータ及び変換ブロック分割情報を参照して、変換ブロック単位にその圧縮データを逆量子化する。
　このとき、可変長復号部３１により可変長復号された各ヘッダ情報を参照し、各ヘッダ情報が、当該スライスで量子化マトリクスを用いて、逆量子化処理を実施することを示している場合は、量子化マトリクスを用いて逆量子化処理を行う。
　この際、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、各直交変換サイズで色信号や符号化モード（イントラ符号化かインター符号化か）毎に使用する量子化マトリクスを特定する。
　また、逆量子化・逆変換部３２は、変換ブロック単位に逆量子化後の圧縮データである変換係数に対する逆直交変換処理を実施して、図１の逆量子化・逆変換部８から出力された局所復号予測差分信号と同一の復号予測差分信号を算出する（ステップＳＴ２８）。
　加算部３６は、逆量子化・逆変換部３２により算出された復号予測差分信号と、イントラ予測部３４により生成されたイントラ予測画像ＰＩＮＴＲＡｉ ｎ、または、動き補償部３５により生成されたインター予測画像ＰＩＮＴＥＲｉ ｎのいずれか一方を加算して復号画像を算出し、その復号画像をループフィルタ部３８に出力するとともに、その復号画像をイントラ予測用メモリ３７に格納する（ステップＳＴ２９）。
　この復号画像が、以降のイントラ予測処理の際に用いられる復号済みの画像信号になる。
　ループフィルタ部３８は、全ての符号化ブロックＢｎに対するステップＳＴ２３～ＳＴ２９の処理が完了すると（ステップＳＴ３０）、加算部３６から出力された復号画像に対して、所定のフィルタ処理を実施して、フィルタ処理後の復号画像を動き補償予測フレームメモリ３９に格納する（ステップＳＴ３１）。
　具体的には、変換ブロックの境界や予測ブロックの境界に発生する歪みを低減するフィルタ（デブロッキングフィルタ）処理、画素単位に適応的にオフセットを加算する（画素適応オフセット）処理、ウィーナフィルタ等の線形フィルタを適応的に切り替えてフィルタ処理する適応フィルタ処理などを行う。
　ただし、ループフィルタ部３８は、上記のデブロッキングフィルタ処理、画素適応オフセット処理、適応フィルタ処理のそれぞれについて、可変長復号部３１により可変長復号された各ヘッダ情報を参照して、当該スライスで処理を行うか否かを特定する。
　このとき、２つ以上のフィルタ処理を行う場合に、例えば、画像符号化装置のループフィルタ部１１が図１１のように構成されている場合には、図１２に示すようにループフィルタ部３８が構成される。
　ここで、デブロッキングフィルタ処理では、可変長復号部３１により可変長復号されたヘッダ情報を参照し、ブロック境界にかけるフィルタ強度の選択に用いる各種パラメータを初期値から変更する情報が存在する場合には、その変更情報に基づいて、デブロッキングフィルタ処理を実施する。変更情報がない場合は、予め定められた手法に従って行う。
　画素適応オフセット処理では、可変長復号部３１により可変長復号された画素適応オフセット処理のブロック分割情報に基づいて分割し、そのブロック単位に、可変長復号部３１により可変長復号されたブロック単位のクラス分類手法を示すインデックスを参照して、そのインデックスが“オフセット処理を行わない”ことを示すインデックスでない場合、ブロック単位にブロック内の各画素を上記インデックスが示すクラス分類手法に従ってクラス分類する。
　なお、クラス分類手法の候補として、ループフィルタ部１１の画素適応オフセット処理のクラス分類手法の候補と同一のものが予め用意されている。
　そして、ループフィルタ部３８は、ブロック単位の各クラスのオフセット値を特定する可変長復号部３１により可変長復号されたオフセット情報を参照して、復号画像の輝度値にオフセットを加算する処理を行う。
　適応フィルタ処理では、可変長復号部３１により可変長復号されたクラス毎のフィルタを用いて、図１の画像符号化装置と同一の手法でクラス分類した後に、そのクラス分類情報に基づいてフィルタ処理を行う。
　このループフィルタ部３８によるフィルタ処理後の復号画像が、動き補償予測用の参照画像となり、また、再生画像となる。
　以上で明らかなように、この実施の形態１によれば、ランダムアクセスポイントに長期参照ピクチャのみを参照するインターピクチャを設定し、その長期参照ピクチャのピクチャ番号を識別する情報を補足情報として符号化することによって、上記補足情報から判明する長期参照ピクチャを先に復号し、その後に上記長期参照ピクチャのみを参照するランダムアクセスポイントを示すピクチャを復号することでインターピクチャにおいてもランダムアクセスが可能となる符号化ビットストリームを生成するように構成したので、ランダムアクセスが可能なイントラピクチャ（ＩＲＡＰピクチャ）を上記補足情報付きのインターピクチャに変更することによりランダムアクセス間隔を維持したまま符号化効率を改善する効果を奏する。
　また、この実施の形態１によれば、補足情報から判明する長期参照ピクチャを先に復号し、その後に上記長期参照ピクチャのみを参照するランダムアクセスポイントを示すピクチャを復号することでインターピクチャにおいてもランダムアクセスが可能となる符号化ビットストリームを正しく復号することができる効果を奏する。
実施の形態２．
　上記実施の形態１の画像符号化装置においては、ランダムアクセス可能なインターピクチャが参照するランダムアクセス時使用参照ピクチャのピクチャ番号を示すピクチャ位置情報を含むランダムアクセス可能なインターピクチャを示す補足情報としてＳＥＩを新たに定義したが、本実施の形態の画像符号化装置では、新たなＳＥＩを定義せずに、非特許文献１及び非特許文献２に定義されるＲｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅの意味を下記の通り解釈するように変更する。すなわち、Ｒｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅが付与されているピクチャをランダムアクセス可能なインターピクチャとし、さらにＲｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅのシンタックスｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔ（非特許文献２では、ｒｅｃｏｖｅｒｙ＿ｆｒａｍｅ＿ｃｎｔ）を、復号開始位置であるリカバリポイントとなるピクチャの位置ではなく、ランダムアクセス時使用参照ピクチャの位置を示す情報として解釈するようにする。このような構成とすれば、新たなＳＥＩを定義することなく、上記実施の形態１の画像符号化装置と同じ処理が可能となり、同様の効果を得ることができる。ただし、ランダムアクセス可能なインターピクチャが参照できるランダムアクセス時使用参照ピクチャ数は１つに限定される。
　本実施の形態の画像復号装置はＲｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅが付与されているピクチャをランダムアクセス可能なインターピクチャと解釈し、さらに、Ｒｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅのシンタックスｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔ（非特許文献２では、ｒｅｃｏｖｅｒｙ＿ｆｒａｍｅ＿ｃｎｔ）を、リカバリポイントとなるピクチャの位置ではなく、ランダムアクセス時使用参照ピクチャの位置を示す情報として解釈する。このような構成とすれば、Ｒｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅが付与されているピクチャから復号を開始する場合は、まずｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔ（非特許文献２では、ｒｅｃｏｖｅｒｙ＿ｆｒａｍｅ＿ｃｎｔ）が指すピクチャを復号し、次にＲｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅが付与されているピクチャを復号し、その後Ｒｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅが付与されているピクチャより表示順で後のピクチャを復号することでＲｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅが付与されているピクチャから正常に再生可能となる。したがって、本実施の形態の画像符号化装置で生成される符号化ビットストリームに対して、ランダムアクセス可能なインターピクチャを識別し、そのランダムアクセス可能なインターピクチャから復号を開始した場合も正しく復号することができるため、上記実施の形態１の画像復号装置と同様の効果を得ることができる。
実施の形態３．
　本実施の形態では、ランダムアクセス可能なインターピクチャの参照するランダムアクセス時使用参照ピクチャを後述する直前のＩＲＡＰピクチャに限定して、直前のＩＲＡＰピクチャの復号画像を動き補償予測フレームメモリ１２に格納し、動き補償予測部５が、動き補償予測フレームメモリ１２に格納されている直前のＩＲＡＰピクチャの復号画像を参照して、そのインターピクチャの動き補償予測を実施し、可変長符号化部１３が、そのインターピクチャがランダムアクセス可能なピクチャである旨を示すＳＥＩを符号化し、そのＳＥＩの符号化データを符号化ビットストリームに多重化するようにする。
　ここで、直前のＩＲＡＰピクチャは、１つ以上のＩＲＡＰピクチャの中で、ランダムアクセス可能なインターピクチャの符号化順（復号順）に対して、符号化順（復号順）が先かつ符号化順（復号順）が最も近い（符号化順がより近い）ＩＲＡＰピクチャを意味する。
　この場合、上記実施の形態１で説明したランダムアクセス可能なインターピクチャを示すＳＥＩに含めているピクチャ位置情報、即ち、ランダムアクセス時使用参照ピクチャのピクチャ番号を示すピクチャ位置情報を省略することができる。このような構成とすれば、上記実施の形態１の画像符号化装置と同じ処理がランダムアクセス時使用参照ピクチャのピクチャ番号を識別する情報、すなわち、本ＳＥＩを構成する付随情報なしに可能となり、本ＳＥＩに要する符号量を削減する効果を得ることができる。
　ランダムアクセス可能なインターピクチャの参照するランダムアクセス時使用参照ピクチャを直前のＩＲＡＰピクチャに限定するように画像符号化装置を構成した場合、画像復号装置では、本ＳＥＩを参照することで直前のＩＲＡＰピクチャを上記参照するランダムアクセス時使用参照ピクチャであると識別する。
　したがって、このような構成とすれば、本ＳＥＩが付与されているピクチャから復号を開始する場合は、直前のＩＲＡＰピクチャを復号して、そのＩＲＡＰピクチャの復号画像を動き補償予測フレームメモリ３９に格納したのち、動き補償部３５が、動き補償予測フレームメモリ３９に格納されている直前のＩＲＡＰピクチャの復号画像を参照して、そのＳＥＩが示すランダムアクセス可能なインターピクチャの動き補償予測を実施することで、そのインターピクチャを復号する。その後、本ＳＥＩが示すランダムアクセス可能なインターピクチャより表示順で後のピクチャを復号することで、このＳＥＩが示すランダムアクセス可能なピクチャから正常に再生することが可能となる。したがって、本実施の形態の画像符号化装置で生成したビットストリームの途中から正しく復号することができる。
実施の形態４．
　上記実施の形態１の画像符号化装置においては、ランダムアクセス可能なインターピクチャであることを示す情報をＳＥＩに設定する場合について説明したが、上位ヘッダで設定できれば、これに限られない。例えば、ランダムアクセス可能なインターピクチャということを示す特別なＮＡＬユニットタイプを定義し、そのＮＡＬの中に上記ＳＥＩと同様の情報を持つように構成しても良い。
　すなわち、この場合、ＳＥＩを付与することでランダムアクセス可能なインターピクチャを識別するようにするのではなく、ランダムアクセス可能なインターピクチャを示すＮＡＬユニットタイプを新たに定義して、本ＮＡＬユニットタイプを示すＮＡＬユニットとしてランダムアクセス可能なインターピクチャを符号化する。
　ランダムアクセス可能なインターピクチャということを示す特別なＮＡＬユニットタイプを定義する画像符号化装置で生成された符号化ストリームを正しく復号するためには、復号装置においても、画像符号化装置と同様に特別なＮＡＬユニットタイプを定義し、これに従って復号する。この場合、上記特別なＮＡＬユニットタイプを持つピクチャから復号することでランダムアクセス可能なインターピクチャからの途中復号を実現している。即ち、まず上記特別なＮＡＬユニットタイプが持つ情報が指すランダムアクセス時使用参照ピクチャを復号し、次に本ＮＡＬユニットタイプを持つランダムアクセス可能なインターピクチャを復号し、その後本ランダムアクセス可能なインターピクチャより表示順で後のピクチャを復号することで本ＮＡＬユニットタイプを持つランダムアクセス可能なインターピクチャから正常に再生可能となる。したがって、このような構成としても、上記実施の形態１の画像復号装置と同様に、ビットストリームの途中から正しく復号することができ、同様の効果を得ることができる。
　また、本実施の形態はランダムアクセス可能なインターピクチャであることを示す情報を上位ヘッダで設定することを特徴としており、その上位ヘッダはランダムアクセスが可能ならばどのように構成しても良いことは明らかである。したがって、例えば実施の形態３との組み合わせとして、ランダムアクセス可能なインターピクチャの参照するランダムアクセス時使用参照ピクチャは直前のＩＲＡＰピクチャに限定し、ランダムアクセス時使用参照ピクチャのピクチャ番号を識別する情報を省略することも可能である。
実施の形態５．
　実施の形態１～４では、インターピクチャによるランダムアクセスを実現する符号化ストリームを生成する画像符号化装置と、生成した符号化ストリームを正しく復号できる画像復号装置について説明した。本実施の形態では、イントラピクチャ（非特許文献１のＩＲＡＰピクチャまたは非特許文献２のＩＤＲピクチャ）のみによるランダムアクセスを実現している符号化ストリームを部分的に変換するだけで、インターピクチャによるランダムアクセスを実現する符号化ストリームを生成する符号化ストリーム変換装置と、生成した符号化ストリームを正しく復号できる画像復号装置について説明する。
　図３９はこの発明の実施の形態５による符号化ストリーム変換装置を示す構成図である。
　ここで、再符号化制御部４２及び入力映像信号制御部４４は再符号化設定部を構成し、復号部４３は画像復号部を構成し、ビットストリーム合成部４５はビットストリーム合成部を構成している。
　本実施の形態における符号化ストリーム変換装置は、変換対象となる符号化ストリーム（ビットストリーム）のＩＲＡＰピクチャ（非特許文献２の場合、ＩＤＲピクチャ）の中から、１以上の任意のピクチャをランダムアクセス可能なインターピクチャとして再符号化する再符号化部４１を有する。
　このようにイントラピクチャをインターピクチャに再符号化することにより、元の符号化ストリームより符号量が削減された符号化ストリームを生成することができる。
　具体的には、変換対象（再符号化対象）となるピクチャを一旦、復号する。そして、復号された映像信号を図１と同様の符号化装置を用いてインターピクチャとして再符号化する。
　すなわち、符号化ストリーム変換装置は、まず再符号化制御部４２が、非特許文献３や非特許文献２等の従来の画像符号化装置によって生成された符号化ストリームからランダムアクセス可能なイントラピクチャ（非特許文献１ではＩＲＡＰピクチャ、非特許文献２ではＩＤＲピクチャ）を特定する情報を、復号部４３を用いて復号する。次に、再符号化制御部４２は、復号したランダムアクセス可能なイントラピクチャを特定する情報から特定される複数のランダムアクセス可能なイントラピクチャの中から、任意のピクチャを再符号化対象のピクチャに設定すると共に、複数のランダムアクセス可能なイントラピクチャの中で、再符号化対象のピクチャよりも先に符号化されている少なくとも１つのピクチャ（再符号化参照ピクチャ）を復号部４３にて復号して再符号化部４１の動き補償予測フレームメモリ１２に格納するように制御する。そして再符号化制御部４２にしたがって再符号化部４１は、上記復号した少なくとも１つの再符号化参照ピクチャを参照して、再符号化対象のピクチャの動き補償予測を動き補償予測部５にて実施することでインター予測画像を生成し、そのインター予測画像を用いて、インターピクチャの符号化データを生成する。このとき、復号部４３は上記符号化ストリームを生成した従来の符号化装置に対応する復号装置を示す（復号部４３は上記符号化ストリームを正しく復号できる）。さらに、再符号化部４１は実施の形態１の画像符号化装置（図１）と同じ構成となる。
　また、符号化ストリーム変換装置は、上記符号化ストリームの中の再符号化対象のイントラピクチャの符号化データに当たる部分のストリームを、再符号化部４１により生成されたインターピクチャの符号化データからなるビットストリームに置き換えることで再符号化後のストリーム（再符号化ストリーム）を生成するビットストリーム合成部４５を有する。
　なお、再符号化部４１の動き補償予測フレームメモリ１２では、変換対象となるピクチャが参照するピクチャを長期参照ピクチャとして保存する。この長期参照ピクチャはＩＲＡＰピクチャ（上記符号化ストリームが非特許文献２の符号化装置で生成されている場合、ＩＤＲピクチャ）に限定するものとする。このように、長期参照ピクチャとして特定のピクチャを保存するようにした場合、元の符号化ストリームに対して、符号化順で上記特定のピクチャより後かつ変換対象となるピクチャの前に符号化するピクチャの符号化データに該当する部分を、上記特定のピクチャが長期参照ピクチャとして保存されているようにビットストリーム合成部４５が符号化ストリームを変更する必要がある。
　動き補償予測部５から出力されるインター予測画像は、通常のインターピクチャと同様に、減算部６、変換・量子化部７を介して、圧縮データに変換され、可変長符号化部１３に出力される。このように、変換対象となるイントラピクチャをインターピクチャとして再符号化する再符号化部４１には、特定のイントラピクチャを一時的に保存するバッファ、動き補償予測部５、減算部６、及び変換・量子化部７が含まれる。なお、このとき生成される復号画像が再符号化前のイントラピクチャが生成する復号画像と同一となるように、インター予測画像及び圧縮データを生成しなくてはならない。したがって再符号化制御部４２は、入力映像信号制御部４４に対して、上記変換対象となるイントラピクチャを再符号化する際は、復号部４３によって復号された上記変換対象となるイントラピクチャの復号画像を映像信号としてスライス分割部１４に入力するように制御する。そして、上記変換対象となるイントラピクチャが生成する復号画像を参照して、上記変換対象となるイントラピクチャが生成する復号画像と再符号化後の復号画像が同一となるように、例えばロスレス符号化を行うように、動き補償予測部５、減算部６、変換・量子化部７の処理を制御するように符号化制御部２を再符号化制御部４２が制御することで可能となる。
　再符号化されたインターピクチャの参照ピクチャバッファ管理に関する処理については、再符号化前のＩＲＡＰピクチャまたはＩＤＲピクチャの次に符号化されるピクチャを符号化する際のバッファ状況が本再符号化処理によって変わらないようにする必要がある。そこで、符号化制御部２に含まれるバッファ管理部によりバッファ（動き補償予測フレームメモリ１２）を制御し、再符号化されたピクチャ以降に復号するピクチャの復号処理に影響を与えないようにする。
　再符号化されたピクチャ、すなわちイントラピクチャを変換することにより得られたインターピクチャのアクセスユニット内には、ランダムアクセス可能なインターピクチャであることを示す補足情報（ＳＥＩ情報）が多重化される。このＳＥＩ情報には、再符号化されたピクチャが参照したランダムアクセス時使用参照ピクチャのピクチャ番号を識別する情報が含まれる。ＳＥＩ情報を符号化してビットストリームに多重化する処理は、上記実施の形態１と同様、可変長符号化部１３により行われる。
　あるいは、ビットストリーム合成部４５にて上記補足情報を生成、符号化し、再符号化ストリームに多重化するように符号化ストリーム変換装置を構成してもよい。この場合、再符号化部４１は、上記補足情報の生成・符号化を行う必要がないため、再符号化前の符号化ストリームを生成した符号化装置（非特許文献４や非特許文献２等の従来の画像符号化装置）と同一の符号化処理で再符号化を実現できる。
　実施の形態３と同様に上記ランダムアクセス時使用参照ピクチャは直前のＩＲＡＰピクチャ（非特許文献２の場合、ＩＤＲピクチャ）に限定することとしてもよい。この場合、ＳＥＩとして、上記ランダムアクセス時使用参照ピクチャのピクチャ番号を識別する情報を省略することができる。
　あるいは、ＳＥＩ情報としてではなく、実施の形態２や実施の形態４と同様の形態でランダムアクセス可能なインターピクチャであることを示す情報を符号化するようにしても良い。
　再符号化された符号化ストリームを復号する本実施の形態５の画像復号装置は、ランダムアクセス可能なインターピクチャであることを示す情報をどのように符号化するように構成したかによって、実施の形態１から実施の形態４の内の対応する画像復号装置で正しくビットストリームを復号することができる。
　また、これまでの説明ではＩＲＡＰピクチャ（ＩＤＲピクチャ）等のランダムアクセス可能なイントラピクチャのみを再符号化する方法について述べたが、ランダムアクセス可能なイントラピクチャから次のランダムアクセス可能なイントラピクチャの１つ前に復号されるピクチャまでのピクチャ全て（一般にＧｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅｓ（ＧＯＰ）と呼ばれる単位であり、単独復号できるピクチャ群を示す）をまとめて再符号化するようにしても良い。このときの再符号化するランダムアクセス可能なイントラピクチャは上記の説明と同様にランダムアクセス可能なインターピクチャとして、そのことを示す情報（実施の形態１から実施の形態４に記載のいずれかの情報）と共に再符号化し、残りの再符号化対象のピクチャはどのように再符号化しても良い。この場合、上記の再符号化手法とは異なり、ランダムアクセス可能なインターピクチャが生成する復号画像は再符号化前のイントラピクチャが生成する復号画像と異なっていても、本実施の形態の画像復号装置で正しく復号することができる。したがって、再符号化制御部４２は、入力映像信号制御部４４に対して、各再符号化対象ピクチャを再符号化する際は、上記再符号化対象ピクチャの原画像（映像信号）をスライス分割部１４に入力するように制御する。
このようにすることで、各各再符号化対象ピクチャに対して、再符号化前後の復号画像が同一となるように制御する必要がなく、再符号化処理を簡易化できる。
また、実施の形態３と同様にランダムアクセス時使用参照ピクチャ（再符号化対象のランダムアクセス可能なイントラピクチャを再符号化する際に参照するピクチャ）を直前のＩＲＡＰピクチャ（非特許文献２の場合、ＩＤＲピクチャ）に限定する場合、ランダムアクセス可能なインターピクチャとするピクチャからではなく、直前のＩＲＡＰピクチャから、ランダムアクセス可能なインターピクチャとするピクチャの次の（復号順で後となる最も近い）ランダムアクセス可能なイントラピクチャの１つ前に復号されるピクチャまで再符号化するようにしてもよい。このようにすることで、直前のＩＲＡＰピクチャから再符号化前の符号化ストリームが生成する復号画像に依存しない自由な再符号化が実施可能となる。なお、再符号化された複数のピクチャの中に直前のＩＲＡＰを参照する複数のランダムアクセス可能なインターピクチャが含まれていてもよい。
　上記説明ではランダムアクセス時使用参照ピクチャを長期参照ピクチャとして保存するように再符号化する例について説明したが、ランダムアクセス可能なインターピクチャが参照する特別なバッファを用意して本バッファに上記ランダムアクセス時使用参照ピクチャを格納し、ランダムアクセス可能なインターピクチャを符号化する際に上記特別なバッファに格納されるランダムアクセス時使用参照ピクチャを参照して符号化するように符号化ストリーム変換装置を構成しても良い。この場合、画像復号装置も上記特別なバッファを用意してこれを参照してランダムアクセス可能なインターピクチャを復号するように構成する。上記の動作以外の符号化ストリーム変換処理及び復号処理については、これまでに説明した本実施の形態の処理と同じ処理を実施する。
　本構成の場合、上記ランダムアクセス時使用参照ピクチャを符号化した後かつランダムアクセス可能なインターピクチャを符号化する前までのピクチャの符号化データを変更する必要がない利点がある。
　また、本実施の形態において、再符号化時に再符号化前の符号化パラメータを流用して再符号化を実施しても良い。具体的には、再符号化の前後でピクチャタイプ（スライスタイプ）が変わらないピクチャは再符号化前の符号化パラメータを一部流用する。例えば、再符号化前のブロック分割情報、各ブロックの符号化モード、予測パラメータなどの符号化パラメータをそのまま用いて再符号化する。このようにすることで符号化パラメータの選択処理が不要となり、再符号化処理の処理負荷を低減できる。
　この実施の形態５における符号化ストリーム変換装置によれば、イントラピクチャのみをランダムアクセスポイントとする符号化ストリームのイントラピクチャをランダムアクセス可能なインターピクチャに一部再符号化することができる。そのため、元の符号化ストリームより符号量が削減された符号化ストリームを生成することができる。
　また、この実施の形態５における画像復号装置によれば、イントラピクチャのみをランダムアクセスポイントとする符号化ストリームのイントラピクチャをランダムアクセス可能なインターピクチャに一部再符号化した符号化ビットストリームを正しく復号することができる効果を奏する。
実施の形態６．
　上記実施の形態１では、ランダムアクセス可能なインターピクチャより表示順が後（表示時刻が未来）となるランダムアクセス不可能なインターピクチャ（図３３（ｂ）の白色で示す「インターピクチャ」）はランダムアクセス可能なインターピクチャより表示順が前（表示時刻が過去）となるピクチャは参照しないようにすることで、ランダムアクセス可能なインターピクチャによるランダムアクセスを実現した。本実施例では、図３５に示す例のようにランダムアクセス可能なインターピクチャより復号順が後となるランダムアクセス不可能なインターピクチャはランダムアクセス可能なインターピクチャより復号順が先となるピクチャは参照しないようにすることで、ランダムアクセス可能なインターピクチャによるランダムアクセスを実現する。この場合、非特許文献１、非特許文献２のＩＤＲピクチャをランダムアクセス可能なインターピクチャに置き換えることに相当する。
　したがって、本実施の形態の画像符号化装置で生成した符号化ストリームを復号する画像復号装置は実施の形態１と同様に、ランダムアクセス可能なインターピクチャを識別するＳＥＩが付与されているランダムアクセス可能なインターピクチャより復号を開始する場合、まずランダムアクセス可能なインターピクチャを識別するＳＥＩに含まれるランダムアクセス時使用参照ピクチャのピクチャ番号を識別する情報が指すピクチャを復号し、次に上記ＳＥＩが付与されているピクチャを復号し、その後、上記ＳＥＩが付与されているピクチャより表示順で後のピクチャを復号することでランダムアクセス可能なインターピクチャから正常に再生可能となる。
　また、本実施の形態は、実施の形態１の参照ピクチャの制限を変更するのみであり、実施の形態１の画像符号化装置及び画像復号装置と同様の方法で他の実施の形態と組み合わせることができることは明らかである。
実施の形態７．
　上記実施の形態１の画像符号化装置においては、ランダムアクセス可能なインターピクチャが参照するランダムアクセス時使用参照ピクチャのピクチャ番号を識別する情報を含むランダムアクセス可能なインターピクチャを識別する情報としてＳＥＩを新たに定義したが、本実施の形態の画像符号化装置では、ランダムアクセス可能なインターピクチャを識別する情報として、非特許文献１及び非特許文献２に定義されるＲｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅを用いる。また、上記実施の形態２においてはＲｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅの解釈を変えて用いたが、本実施の形態においては、Ｒｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅのシンタックスｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔ（非特許文献２では、ｒｅｃｏｖｅｒｙ＿ｆｒａｍｅ＿ｃｎｔ）を、非特許文献１及び非特許文献２に定義されるとおり、復号開始位置であるリカバリポイントとなるピクチャの位置と解釈した上で、そのリカバリポイントとなるピクチャがインターピクチャである場合のみ上記実施の形態１のランダムアクセス時使用参照ピクチャのピクチャ番号を識別する情報をＲｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅのシンタックスとして符号化するようにする。
　本実施の形態の画像復号装置はＲｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅを復号して、シンタックスｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔ（非特許文献２では、ｒｅｃｏｖｅｒｙ＿ｆｒａｍｅ＿ｃｎｔ）が示すリカバリポイントとなるピクチャのピクチャタイプを確認し、リカバリポイントとなるピクチャがインターピクチャである場合のみランダムアクセス時使用参照ピクチャのピクチャ番号を識別する情報を復号して、ランダムアクセス時使用参照ピクチャを特定する。このような構成とすれば、本ＳＥＩが付与されているピクチャから復号を開始する場合は、まずランダムアクセス時使用参照ピクチャのピクチャ番号を識別する情報が示すピクチャを復号し、次にｒｅｃｏｖｅｒｙ＿ｐｏｃ＿ｃｎｔが示すランダムアクセス可能なインターピクチャを復号し、その後本ランダムアクセス可能なインターピクチャより表示順で後のピクチャを復号することで本ランダムアクセス可能なインターピクチャから正常に再生可能となる。したがって、上記実施の形態１の画像復号装置と同様の効果を得ることができる。
　本実施の形態では、リカバリポイントとなるピクチャがイントラピクチャである場合は非特許文献１及び非特許文献２からの変更はなく、非特許文献１及び非特許文献２準拠の画像復号装置を用いてリカバリポイントとなるイントラピクチャからの途中復号を正常に行える。
　実施の形態３と同様に上記ランダムアクセス時使用参照ピクチャは直前のＩＲＡＰピクチャ（非特許文献２の場合、ＩＤＲピクチャ）に限定することとしてもよい。この場合、ランダムアクセス時使用参照ピクチャのピクチャ番号を識別する情報（シンタックス）を省略することができる。したがって、非特許文献１及び非特許文献２に記載のＲｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅで定義される情報（シンタックス）のみでランダムアクセス可能なインターピクチャからの途中復号を実現できる。
　また、実施の形態５の符号化ストリーム変換装置に対しても、本画像符号化装置と同様にランダムアクセス可能なインターピクチャを識別する情報を非特許文献１及び非特許文献２に定義されるＲｅｃｏｖｅｒｙ Ｐｏｉｎｔ ＳＥＩ Ｍｅｓｓａｇｅを用いるようにすることができる。このようにした場合、本実施の形態の画像復号装置にて復号可能となる。
実施の形態８．
　上記実施の形態１、２、４～７では、ランダムアクセス時使用参照ピクチャの位置をピクチャ番号として符号化していたが、本実施の形態では、上記実施の形態１、２、４～７に対して、図３６に示すようにランダムアクセス時使用参照ピクチャの位置を、ランダムアクセス可能なインターピクチャを識別する情報からの移動バイト数で示すようにする。このようにすることで、上記ランダムアクセス時使用参照ピクチャを特定するために符号化された各ピクチャデータからピクチャ番号を復号してランダムアクセス時使用参照ピクチャのピクチャ番号と照合する処理を行うことなしにランダムアクセス時使用参照ピクチャの復号開始位置を知ることができ、復号処理の処理負荷を低減することができる。また、ランダムアクセス時使用参照ピクチャの位置を、図３７のように符号化ビットストリームの先頭からの移動バイト数で示すようにしてもよい。このようにすることで、ランダムアクセス時使用参照ピクチャの復号開始位置を符号化ビットストリームの相対的位置（ランダムアクセス可能なインターピクチャを識別する情報からの移動バイト数）ではなく、絶対的な位置として知ることができる。また、移動バイト数の開始点は画像符号化装置と画像復号装置との間で統一していれば、図３６、図３７と異なる点を設定しても良いことは明らかである。
実施の形態９．
　本実施の形態では、実施の形態１においてＳＥＩで示した、ランダムアクセス可能なインターピクチャの識別情報と、ランダムアクセス時使用参照ピクチャの位置を識別する情報を、映像や音声の符号化ビットストリームをまとめるメディアファイルフォーマット内の情報として付与するようにする。メディアファイルフォーマットは、例えばＩＳＯ／ＩＥＣ　２３００８－１、ＩＳＯ／ＩＥＣ　１３８１８－１／ＩＴＵ－Ｔ　Ｈ．２２２．０、ＩＳＯ／ＩＥＣ　１４４９６－１４：２００３等に規定されている。このようにすることでメディアファイルの中から上記実施の形態１～７で説明した画像符号化装置によって生成された符号化ビットストリームを抜き出す前にランダムアクセス可能なインターピクチャとそのランダムアクセス可能なインターピクチャの復号に必要なランダムアクセス時使用参照ピクチャを識別することができ、高速なランダムアクセスを実現することができる。
　具体的には、ＩＲＡＰピクチャ（非特許文献２ではＩＤＲピクチャ）から始まる複数のピクチャを単独復号できるＧｒｏｕｐ　Ｏｆ　Ｐｉｃｔｕｒｅｓ（ＧＯＰ）単位の符号化ビットストリームをまとめた単位（以下、ＧＯＰメディアデータと呼ぶ）の記述子情報を用いる。例えば、ランダムアクセス可能なインターピクチャを含むＧＯＰメディアデータの記述子情報に、ランダムアクセス可能なインターピクチャの識別情報としてランダムアクセス可能なインターピクチャの時刻情報（タイムコードに相当）を追加し、ランダムアクセス時使用参照ピクチャの位置を識別する情報としてそのランダムアクセス時使用参照ピクチャの時刻情報を追加する。
　または、ピクチャ単位の符号化ビットストリームをまとめた単位（以下、ピクチャメディアデータと呼ぶ）の記述子情報（Ｍｏｖｉｅ ｆｒａｇｍｅｎｔ　ｍｅｔａｄａｔａ）を用いる。例えば、ランダムアクセス可能なインターピクチャのピクチャメディアデータの記述子情報に、ランダムアクセス可能なインターピクチャの識別情報としてランダムアクセス可能なインターピクチャであるか否かのフラグ情報を追加し、ランダムアクセス時使用参照ピクチャの位置を識別する情報としてそのランダムアクセス時使用参照ピクチャの時刻情報を追加する。
　ＧＯＰメディアデータの記述子情報の例としては、ＩＳＯ／ＩＥＣ　２３００８－１のＭＰＵ　ｍｅｔａｄａｔａやＩＳＯ／ＩＥＣ　１４４９６－１４：２００３のｍｏｏｖボックスが挙げられる。ピクチャメディアデータの記述子情報としては、ＩＳＯ／ＩＥＣ　２３００８－１のＭｏｖｉｅ ｆｒａｇｍｅｎｔ　ｍｅｔａｄａｔａやＩＳＯ／ＩＥＣ　１４４９６－１４：２００３のｍｏｏｆボックスが挙げられる。
　また、本実施の形態では実施の形態３と同様に、ランダムアクセス可能なインターピクチャの参照するランダムアクセス時使用参照ピクチャは直前のＩＲＡＰピクチャに限定し、ランダムアクセス時使用参照ピクチャの位置を識別する情報を省略する構成とすることも可能である。このようにすることで、ランダムアクセス時使用参照ピクチャの位置を識別する情報に要する符号量を削減することができる。
実施の形態１０．
　実施の形態１～９ではランダムアクセス可能なインターピクチャが参照するランダムアクセス時使用参照ピクチャを長期保存用バッファに保存される長期参照ピクチャとしたが、本実施の形態ではランダムアクセス時使用参照ピクチャを長期参照ピクチャでないイントラピクチャとする。この場合、ランダムアクセス時使用参照ピクチャはその他のピクチャの符号化・復号における参照ピクチャと同じ短期参照（ｓｈｏｒｔ－ｔｅｒｍ　ｒｅｆｅｒｅｎｃｅ）ピクチャとして短期保存用バッファに格納する。しかし、ランダムアクセス可能なインターピクチャの符号化・復号の際にランダムアクセス時使用参照ピクチャが短期保存用バッファに存在するようにするために、短期保存用バッファ格納後の各ピクチャの符号化・復号の際に上記ランダムアクセス時使用参照ピクチャが短期保存用バッファに保存されたままになるようにする必要がある。そこで、画像符号化装置においては、ランダムアクセス可能なインターピクチャの符号化・復号の際にランダムアクセス時使用参照ピクチャが短期保存用バッファに保存された状態となるように非特許文献１及び非特許文献２に規定されている短期参照ピクチャの管理情報を符号化する。また、画像復号装置は符号化ストリームから上記管理情報を復号し本情報に従ってバッファを管理することで、ランダムアクセス可能なインターピクチャの符号化・復号の際に上記ランダムアクセス時使用参照ピクチャが短期保存用バッファに保存されたままとなり参照可能となる。したがって、本実施の形態の画像符号化装置で生成した符号化ストリームに対して、ランダムアクセス可能なインターピクチャからの正常再生が可能となる。
実施の形態１１．
　実施の形態１～１０では、ランダムアクセス可能なインターピクチャはランダムアクセス時使用参照ピクチャとして設定されたピクチャのみを参照するピクチャとし、非特許文献１あるいは非特許文献２の長期保存用バッファあるいは短期保存用バッファにランダムアクセス時使用参照ピクチャを格納して実現している。すなわち、非特許文献１あるいは非特許文献２にしたがって、符号化側は長期保存用バッファ及び短期保存用バッファの参照ピクチャ管理情報を符号化し、復号側は上記参照ピクチャ管理情報を復号して参照する必要がある。本実施の形態では、実施の形態３と実施の形態４を組み合わせることで、ランダムアクセス可能なインターピクチャにおいて上記参照ピクチャ管理情報の符号化を不要とする。
　具体的には、実施の形態３と同様にランダムアクセス可能なインターピクチャの参照するピクチャを直前のＩＲＡＰピクチャに限定し、実施の形態４と同様にランダムアクセス可能なインターピクチャであることを示す特別なＮＡＬユニットタイプを定義する。符号化側は、符号化対象であるピクチャがランダムアクセス可能なインターピクチャの場合は、長期保存用バッファ及び短期保存用バッファにおける直前のＩＲＡＰピクチャ以外を消去し、符号化対象であるピクチャを上記特別なＮＡＬユニットタイプを持つピクチャとして符号化する。そして、ランダムアクセス可能なインターピクチャを符号化後にこのインターピクチャを長期保存用バッファあるいは短期保存用バッファに格納して、その後で符号化するピクチャで参照可能とする。
　復号側は、実施の形態４と同様に復号したＮＡＬユニットタイプが上記特別なＮＡＬユニットタイプである場合に、符号化対象であるピクチャをランダムアクセス可能なインターピクチャと解釈する。そして、長期保存用バッファ及び短期保存用バッファにおける直前のＩＲＡＰピクチャ以外を消去した上で、直前のＩＲＡＰピクチャを参照してランダムアクセス可能なインターピクチャを復号する。ランダムアクセス可能なインターピクチャを復号後、このインターピクチャを長期保存用バッファあるいは短期保存用バッファに格納して、その後で復号するピクチャで参照可能とする。このようにすることで、ランダムアクセス可能なインターピクチャ（上記特別なＮＡＬユニットタイプを持つピクチャ）から復号を開始した場合も、正しく再生可能となる。
実施の形態１２．
　実施の形態１～１１では、ランダムアクセス可能なインターピクチャが参照するランダムアクセス時使用参照ピクチャをイントラピクチャとしたが、本実施の形態では、図３８に示すようにＩＲＡＰピクチャを先頭にランダムアクセス可能なインターピクチャを順々に参照するようにする。このとき、ランダムアクセス時使用参照ピクチャの位置を識別する情報として、各ランダムアクセス可能なインターピクチャが持つランダムアクセス可能なインターピクチャを識別する情報を符号化する。さらに、上述のとおりランダムアクセス可能なインターピクチャを順々に参照可能とするために、各ランダムアクセス可能なインターピクチャを符号化する際に符号化済みのＩＲＡＰピクチャ及びランダムアクセス可能なインターピクチャの中で、直前のピクチャ（符号化順（復号順）で最も近いピクチャ）が参照可能となるように、長期保存用バッファあるいは短期保存用バッファの参照ピクチャを管理する。
　このようにすることで、復号装置は、ランダムアクセス可能なインターピクチャを識別する情報を復号してランダムアクセス可能なインターピクチャを特定した後、例えばそのうちの１つのランダムアクセス可能なインターピクチャ（ピクチャＡ）から途中再生する場合は、まず直前のＩＲＡＰピクチャと、ＩＲＡＰピクチャとピクチャＡの間に存在するランダムアクセス可能なインターピクチャを復号順に順々に復号し、そのインターピクチャを長期保存用バッファあるいは短期保存用バッファに格納する。このとき、ＩＲＡＰピクチャとピクチャＡの間に存在するランダムアクセス可能なインターピクチャは、復号されたランダムアクセス可能なインターピクチャを識別する情報から特定できる。そして、復号された直前のランダムアクセス可能なインターピクチャ（復号順で最も近いランダムアクセス可能なインターピクチャ）を参照することでピクチャＡが復号可能となるため、ランダムアクセス可能なインターピクチャからの再生を正常に行うことができる。このような構成により、ランダムアクセス可能なインターピクチャをＩＲＡＰピクチャより時間的に近いピクチャを参照して符号化することができるので、符号化効率を高めることができる。
実施の形態１３．
　実施の形態１２に対して、本実施の形態では、各ランダムアクセス可能なインターピクチャは、直前のＩＲＡＰピクチャ（符号化順（復号順）で最も近いＩＲＡＰピクチャ）及び直前のＩＲＡＰピクチャ以降に符号化（復号）したランダムアクセス可能なインターピクチャの中から、参照するピクチャを選択して符号化するようにする。
　このとき、実施の形態１２に対して、各ランダムアクセス可能なインターピクチャが参照するピクチャを特定する情報を更に符号化するようにする。上記参照するピクチャを特定する情報の例としては、ピクチャ番号（Ｐｉｃｔｕｒｅ　Ｏｏｄｅｒ　Ｃｏｕｎｔ：ＰＯＣ）がある。さらに、上述のように参照ピクチャを選択可能とするために、各ランダムアクセス可能なインターピクチャを符号化する際に直前のＩＲＡＰピクチャ及びそれ以降のランダムアクセス可能なインターピクチャが参照可能となるように、長期保存用バッファあるいは短期保存用バッファの参照ピクチャを管理する。
　このようにすることで、復号装置は、ランダムアクセス可能なインターピクチャを識別する情報を復号して、ランダムアクセス可能なインターピクチャを特定した後、例えば、そのうちの１つのランダムアクセス可能なインターピクチャ（図３８のピクチャＡ）から途中再生する場合は、直前のＩＲＡＰピクチャとピクチャＡの間に存在するランダムアクセス可能なインターピクチャを復号順に順々に復号し、そのインターピクチャを長期保存用バッファあるいは短期保存用バッファに格納する。このとき、各ランダムアクセス可能なインターピクチャが参照するピクチャを特定する情報を復号し、この情報を参照して、そのインターピクチャの参照ピクチャを特定する。このようにすることで、最終的にピクチャＡが復号可能となり、ランダムアクセス可能なインターピクチャからの再生を正常に行うことができる。このような構成により、ランダムアクセス可能なインターピクチャを複数の参照ピクチャから最も符号化効率を改善するピクチャを選択して符号化することができるので、符号化効率を高めることができる。
　また、本実施の形態１３では、直前のＩＲＡＰピクチャ及びそれ以降のランダムアクセス可能なインターピクチャから参照するように画像符号化装置及び画像復号装置を構成したが、直前のＩＲＡＰピクチャと直前のランダムアクセス可能なインターピクチャ（符号化順（復号順）で最も近いランダムアクセス可能なインターピクチャ）のどちらかから選択するようにしてもよい。このようにすることで、上記参照するピクチャを特定する情報として、直前のＩＲＡＰピクチャと直前のランダムアクセス可能なインターピクチャのどちらを選択するかのフラグ情報で実現できるため、上記ピクチャ番号等の場合より符号量を削減することができる。さらに、長期保存用バッファまたは短期保存用バッファについても、各ランダムアクセス可能なインターピクチャを符号化する際に直前のＩＲＡＰピクチャと直前のランダムアクセス可能なインターピクチャのみ参照可能となるように管理すれば良いため、格納しておくピクチャ数を削減することができる。
　なお、実施の形態１～１３において、図３１～図３５、図３８ではインターピクチャを参照ピクチャが１つの単方向動き補償予測を用いるＰピクチャとして説明したが、本インターピクチャは、図３０（ｂ）の双方向動き補償予測や双方向動き補償予測における時間的制約をなくして表示順で過去の複数のピクチャや表示順で未来の複数のピクチャを参照する双予測を用いるＢピクチャでも良いことは明らかである。
　また、上記の実施の形態の内、実施の形態４以外の実施の形態については、それぞれＳＥＩを用いてインターピクチャをランダムアクセス可能なピクチャに設定した。そのため、それぞれの実施の形態の画像符号化装置で生成した符号化ビットストリームを非特許文献１及び非特許文献２準拠の画像復号装置で復号した場合にも、ランダムアクセス可能なインターピクチャが識別できないためにそのインターピクチャからの途中復号ができないだけであって、非特許文献１及び非特許文献２に規定されているランダムアクセス可能なイントラピクチャからの途中復号や、符号化ビットストリームの始めからの復号であれば正しく復号することができる。これは、ランダムアクセス可能なインターピクチャからの途中復号を行わない場合であっても、ランダムアクセス時使用参照ピクチャを符号化した際にこのランダムアクセス時使用参照ピクチャを長期保存用バッファあるいは短期保存用バッファに格納し、ランダムアクセス可能なインターピクチャとして設定されたピクチャを復号する際に参照可能となるように上記参照ピクチャ管理情報によってバッファを管理するため、上記ＳＥＩがなくともランダムアクセス可能なインターピクチャとして設定されたピクチャを復号する際には既にランダムアクセス時使用参照ピクチャが長期保存用バッファあるいは短期保存用バッファに格納されており参照可能となるためである。
　また、ランダムアクセス可能なインターピクチャを用いる一例を以下に示す。まず先頭のイントラピクチャをランダムアクセス時使用参照ピクチャに設定する。そして、一定間隔でイントラピクチャとして符号化することを前提として、イントラピクチャとして符号化するように割り当てられた各ピクチャに対して、ランダムアクセス時使用参照ピクチャを参照するインターピクチャとして符号化した方が符号化効率が高い場合は、そのピクチャをイントラピクチャではなくランダムアクセス時使用参照ピクチャを参照するインターピクチャ（ランダムアクセス可能なインターピクチャ）として符号化するようにし、イントラピクチャとして符号化した方が符号化効率が高い場合は、そのピクチャをランダムアクセス可能なイントラピクチャとして符号化すると共に新しいランダムアクセス時使用参照ピクチャに設定する。このようにすることで、符号化対象画像に対して適応的にランダムアクセス可能なインターピクチャとランダムアクセス時使用参照ピクチャが設定できる。また、上記は符号化効率に従って、イントラピクチャとして符号化するように割り当てられたピクチャをランダムアクセス可能なイントラピクチャとして符号化するかランダムアクセス時使用参照ピクチャを参照するランダムアクセス可能なインターピクチャとして符号化するかを決定したが、ランダムアクセス時使用参照ピクチャと上記イントラピクチャとして符号化するように割り当てられたピクチャの特徴量を抽出し、その特徴量に基づいて決定するようにしても良い。例えば、特徴量に基づくピクチャ間の相関値を算出し、その相関値に従ってイントラピクチャとして符号化するように割り当てられたピクチャをランダムアクセス可能なイントラピクチャとして符号化するかランダムアクセス時使用参照ピクチャを参照するランダムアクセス可能なインターピクチャとして符号化するかを決定する。相関値の一例として、下記ピクチャ間相関指標Ｉが挙げられる。下記の式（５）に示すＩに基づいてランダムアクセス可能なインターピクチャとするか否かを決定する。

Figure JPOXMLDOC01-appb-I000005

Figure JPOXMLDOC01-appb-I000006

Figure JPOXMLDOC01-appb-I000007
　ここで、ｗｉ（ｉ＝０、１、…、５）は重み係数、Ｅ（Ｓ）はピクチャ内の画素値Ｓの平均、Ｖ（Ｓ）はピクチャ内の画素値Ｓの分散、ＳＴＸは符号化対象ピクチャ（符号化対象の上記イントラピクチャとして符号化するように割り当てられたピクチャ）の色成分Ｘの画素値、ＳＲＸはランダムアクセス時使用参照ピクチャの色成分Ｘの画素値をそれぞれ示している。上記指標Ｉが予め設定した閾値より小さい場合、ピクチャ間の相関が高いと判断して符号化対象ピクチャをランダムアクセス可能なインターピクチャとして符号化する。一方、上記指標Ｉが上記閾値以上の場合、ピクチャ間の相関が低いと判断して符号化対象ピクチャをランダムアクセス可能なイントラピクチャとして符号化する。上記閾値を適切な値に設定した上で、ピクチャ間相関指標に基づいてランダムアクセス可能なインターピクチャとするか否かを決定するようにすることで、ランダムアクセスポイントとなるピクチャ（上記イントラピクチャとして符号化するように割り当てられたピクチャ）の符号化方法（イントラ符号化かインター符号化か）を適応的に制御可能となり、ビットストリーム全体の符号化効率を改善することができる。また、上記の式（５）はＹＵＶ信号の例を示しているが、ＲＧＢ信号等の他の色信号であっても勿論良い。
　なお、本願発明はその発明の範囲内において、各実施の形態の自由な組み合わせ、あるいは各実施の形態の任意の構成要素の変形、もしくは各実施の形態において任意の構成要素の省略が可能である。また、各実施の形態の画像符号化装置により生成された符号化ストリーム、または符号化ストリーム変換装置により生成された再符号化ストリームをサーバ等の記憶装置にファイルとして記憶させることも可能である。さらに、符号化ストリームあるいは再符号化ストリームを配信する装置を構成することも可能である。
　この発明に係る画像符号化装置、画像符号化方法及び符号化ストリーム変換装置は、画像を高効率で符号化する際、ランダムアクセス間隔を維持する必要性が高いものに適している。
　また、この発明に係る画像復号装置及び画像復号方法は、ランダムアクセス間隔が維持されながら、符号化効率が高められている場合でも、ランダムアクセスが可能なインターピクチャを含む符号化ビットストリームを正しく復号する必要性が高いものに適している。
　１　ブロック分割部、２　符号化制御部（符号化モード決定部）、３　切換スイッチ（予測画像生成部）、４　イントラ予測部（予測画像生成部）、５　動き補償予測部（予測画像生成部）、６　減算部（差分画像生成部）、７　変換・量子化部（画像圧縮部）、８　逆量子化・逆変換部（局所復号画像生成部）、９　加算部（局所復号画像生成部）、１０　イントラ予測用メモリ、１１　ループフィルタ部（フィルタリング処理部）、１２　動き補償予測フレームメモリ、１３　可変長符号化部（符号化部）、１４　スライス分割部（ブロック分割部）、３１　可変長復号部（復号部）、３２　逆量子化・逆変換部（差分画像生成部）、３３　切換スイッチ（予測画像生成部）、３４　イントラ予測部（予測画像生成部）、３５　動き補償部（予測画像生成部）、３６　加算部（復号画像生成部）、３７　イントラ予測用メモリ、３８　ループフィルタ部（フィルタリング処理部）、３９　動き補償予測フレームメモリ、４１　再符号化部、４２　再符号化制御部（再符号化設定部）、４３　復号部（画像復号部）、４４　入力映像信号制御部（再符号化設定部）、４５　ビットストリーム合成部（ビットストリーム合成部）。

Claims (7)

  1. 　入力画像を符号化処理単位のブロックに分割するブロック分割部と、前記ブロック分割部により分割されるブロックに対する符号化モードを決定する符号化モード決定部と、前記符号化モード決定部により決定された符号化モードにしたがって、前記ブロック分割部により分割されたブロックに対する符号化処理を実施して、前記ブロックの圧縮データを出力する画像符号化装置であって、
    　前記ブロック分割部により分割されたブロックの予測画像を生成する予測画像生成部と、前記ブロック分割部により分割されたブロックと前記予測画像生成部により生成された予測画像との差分画像を生成する差分画像生成部と、前記差分画像生成部により生成された差分画像を圧縮し、前記差分画像の圧縮データを出力する画像圧縮部と、前記画像圧縮部により圧縮された差分画像を伸張し、伸張後の差分画像と前記予測画像生成部により生成された予測画像を加算して局所復号画像を生成する局所復号画像生成部と、前記局所復号画像生成部により生成された局所復号画像に対するフィルタリング処理を実施するフィルタリング処理部と、前記画像圧縮部から出力された圧縮データ及び前記符号化モード決定部により決定された符号化モードを符号化して、前記圧縮データ及び前記符号化モードの符号化データが多重化されているビットストリームを生成する符号化部とを備え、
    　前記予測画像生成部は、ランダムアクセス可能なインターピクチャを符号化する場合は、複数のランダムアクセス可能なイントラピクチャの中から参照ピクチャを設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施し、
    　前記符号化部は、前記参照ピクチャの位置を示すピクチャ位置情報と前記ランダムアクセス可能なインターピクチャがランダムアクセス可能であることを示す識別情報を符号化し、前記ピクチャ位置情報及び前記識別情報の符号化データを前記ビットストリームに多重化することを特徴とする画像符号化装置。
  2. 　入力画像を符号化処理単位のブロックに分割するブロック分割部と、前記ブロック分割部により分割されるブロックに対する符号化モードを決定する符号化モード決定部と、前記符号化モード決定部により決定された符号化モードにしたがって、前記ブロック分割部により分割されたブロックに対する符号化処理を実施して、前記ブロックの圧縮データを出力する画像符号化装置であって、
    　前記ブロック分割部により分割されたブロックの予測画像を生成する予測画像生成部と、前記ブロック分割部により分割されたブロックと前記予測画像生成部により生成された予測画像との差分画像を生成する差分画像生成部と、前記差分画像生成部により生成された差分画像を圧縮し、前記差分画像の圧縮データを出力する画像圧縮部と、前記画像圧縮部により圧縮された差分画像を伸張し、伸張後の差分画像と前記予測画像生成部により生成された予測画像を加算して局所復号画像を生成する局所復号画像生成部と、前記局所復号画像生成部により生成された局所復号画像に対するフィルタリング処理を実施するフィルタリング処理部と、前記画像圧縮部から出力された圧縮データ及び前記符号化モード決定部により決定された符号化モードを符号化して、前記圧縮データ及び前記符号化モードの符号化データが多重化されているビットストリームを生成する符号化部とを備え、
    　前記予測画像生成部は、ランダムアクセス可能なインターピクチャを符号化する場合は、前記ランダムアクセス可能なインターピクチャの符号化順に対して、符号化順が先かつ符号化順が最も近いランダムアクセス可能なイントラピクチャを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施し、
    　前記符号化部は、前記ランダムアクセス可能なインターピクチャがランダムアクセス可能であることを示す識別情報を符号化し、前記識別情報の符号化データを前記ビットストリームに多重化することを特徴とする画像符号化装置。
  3. 　画像をブロック単位に圧縮符号化したビットストリームを入力して復号画像を生成する画像復号装置であって、
    　前記ビットストリームから各々のブロックに係る圧縮データ及び符号化モードを復号する復号部と、前記復号部により復号された符号化モードにしたがって復号済み画素を参照し、各々のブロックに対する予測画像を生成する予測画像生成部と、前記復号部により復号された圧縮データを伸長して差分画像を生成する差分画像生成部と、前記差分画像生成部により生成された差分画像と前記予測画像生成部により生成された予測画像とを加算して復号画像を生成する復号画像生成部と、前記復号画像生成部により生成された復号画像に対するフィルタリング処理を実施するフィルタリング処理部とを備え、
    　前記復号部は、どのインターピクチャがランダムアクセス可能なインターピクチャであるかを示す識別情報を復号するとともに、前記ランダムアクセス可能なインターピクチャの予測画像を生成する際に参照する参照ピクチャの位置を示すピクチャ位置情報を復号し、
    　前記予測画像生成部は、前記識別情報によって識別されたランダムアクセス可能なインターピクチャを復号する場合は、複数のランダムアクセス可能なイントラピクチャの中から前記ピクチャ位置情報が示すピクチャを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施することを特徴とする画像復号装置。
  4. 　画像をブロック単位に圧縮符号化したビットストリームを入力して復号画像を生成する画像復号装置であって、
    　前記ビットストリームから各々のブロックに係る圧縮データ及び符号化モードを復号する復号部と、前記復号部により復号された符号化モードにしたがって復号済み画素を参照し、各々のブロックに対する予測画像を生成する予測画像生成部と、前記復号部により復号された圧縮データを伸長して差分画像を生成する差分画像生成部と、前記差分画像生成部により生成された差分画像と前記予測画像生成部により生成された予測画像とを加算して復号画像を生成する復号画像生成部と、前記復号画像生成部により生成された復号画像に対するフィルタリング処理を実施するフィルタリング処理部とを備え、
    　前記復号部は、どのインターピクチャがランダムアクセス可能なインターピクチャであるかを示す識別情報を復号し、
    　前記予測画像生成部は、前記識別情報によって識別されたランダムアクセス可能なインターピクチャを復号する場合は、前記ランダムアクセス可能なインターピクチャの復号順に対して、復号順が先かつ復号順が最も近いランダムアクセス可能なイントラピクチャを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施することを特徴とする画像復号装置。
  5. 　画像をブロック単位に圧縮符号化したビットストリームを入力して再符号化したビットストリームを出力する符号化ストリーム変換装置であって、
    　前記ビットストリームを復号して復号画像を生成するとともに、ランダムアクセス可能なイントラピクチャを特定する画像復号部と、前記特定したランダムアクセス可能なイントラピクチャの中からランダムアクセス可能なインターピクチャに再符号化する再符号化対象イントラピクチャを設定する再符号化設定部と、前記再符号化対象イントラピクチャを再符号化する再符号化部と、前記ビットストリームと前記再符号化部により再符号化された再符号化対象イントラピクチャとを合成して再符号化ビットストリームを出力するビットストリーム合成部とを備え、
    　前記再符号化部は、前記ランダムアクセス可能なインターピクチャに再符号化されたピクチャがランダムアクセス可能であることを示す識別情報を符号化し、前記識別情報の符号化データを前記再符号化ビットストリームに多重化することを特徴とする符号化ストリーム変換装置。
  6. 　ブロック分割部が、入力画像を符号化処理単位のブロックに分割し、符号化モード決定部が、前記ブロック分割部により分割されるブロックに対する符号化モードを決定すると、前記符号化モードにしたがって、前記ブロック分割部により分割されたブロックに対する符号化処理を実施して、前記ブロックの圧縮データを出力する画像符号化方法であって、
    　予測画像生成部が、前記ブロック分割部により分割されたブロックの予測画像を生成し、差分画像生成部が、前記ブロック分割部により分割されたブロックと前記予測画像生成部により生成された予測画像との差分画像を生成し、画像圧縮部が、前記差分画像生成部により生成された差分画像を圧縮して、前記差分画像の圧縮データを出力し、局所復号画像生成部が、前記画像圧縮部により圧縮された差分画像を伸張し、伸張後の差分画像と前記予測画像生成部により生成された予測画像を加算して局所復号画像を生成し、フィルタリング処理部が、前記局所復号画像生成部により生成された局所復号画像に対するフィルタリング処理を実施し、符号化部が、前記画像圧縮部から出力された圧縮データ及び前記符号化モード決定部により決定された符号化モードを符号化して、前記圧縮データ及び前記符号化モードの符号化データが多重化されているビットストリームを生成するものであり、
    　前記予測画像生成部が、ランダムアクセス可能なインターピクチャを符号化する場合は、前記ランダムアクセス可能なインターピクチャの符号化順に対して、符号化順が先かつ符号化順が最も近いランダムアクセス可能なイントラピクチャを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施し、
    　前記符号化部が、前記ランダムアクセス可能なインターピクチャがランダムアクセス可能であることを示す識別情報を符号化し、前記識別情報の符号化データを前記ビットストリームに多重化することを特徴とする画像符号化方法。
  7. 　画像をブロック単位に圧縮符号化したビットストリームを入力して復号画像を生成する画像復号方法であって、
    　復号部が、前記ビットストリームから各々のブロックに係る圧縮データ及び符号化モードを復号し、予測画像生成部が、前記復号部により復号された符号化モードにしたがって復号済み画素を参照して、各々のブロックに対する予測画像を生成し、差分画像生成部が、前記復号部により復号された圧縮データを伸長して差分画像を生成し、復号画像生成部が、前記差分画像生成部により生成された差分画像と前記予測画像生成部により生成された予測画像とを加算して復号画像を生成し、フィルタリング処理部が、前記復号画像生成部により生成された復号画像に対するフィルタリング処理を実施するものであり、
    　前記復号部が、どのインターピクチャがランダムアクセス可能なインターピクチャであるかを示す識別情報を復号し、
    　前記予測画像生成部が、前記識別情報によって識別されたランダムアクセス可能なインターピクチャを復号する場合は、前記ランダムアクセス可能なインターピクチャの復号順に対して、復号順が先かつ復号順が最も近いランダムアクセス可能なイントラピクチャを参照ピクチャに設定し、その設定した参照ピクチャを予測処理に用いる動き補償予測を実施することを特徴とする画像復号方法。
PCT/JP2015/052855 2014-02-03 2015-02-02 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法 Ceased WO2015115644A1 (ja)

Priority Applications (5)

Application Number Priority Date Filing Date Title
US15/110,650 US10075725B2 (en) 2014-02-03 2015-02-02 Device and method for image encoding and decoding
JP2015560063A JP6147368B2 (ja) 2014-02-03 2015-02-02 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
EP15743236.0A EP3104614A4 (en) 2014-02-03 2015-02-02 Image encoding device, image decoding device, encoded stream conversion device, image encoding method, and image decoding method
KR1020167024148A KR101785886B1 (ko) 2014-02-03 2015-02-02 화상 부호화 장치, 화상 복호 장치, 부호화 스트림 변환 장치, 화상 부호화 방법, 및 화상 복호 방법
CN201580006481.XA CN105981389B (zh) 2014-02-03 2015-02-02 图像编码装置、图像解码装置、编码流变换装置、图像编码方法以及图像解码方法

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
JP2014-018368 2014-02-03
JP2014018368 2014-02-03
JP2014228604 2014-11-11
JP2014-228604 2014-11-11

Publications (1)

Publication Number Publication Date
WO2015115644A1 true WO2015115644A1 (ja) 2015-08-06

Family

ID=53757209

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2015/052855 Ceased WO2015115644A1 (ja) 2014-02-03 2015-02-02 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法

Country Status (6)

Country Link
US (1) US10075725B2 (ja)
EP (1) EP3104614A4 (ja)
JP (1) JP6147368B2 (ja)
KR (1) KR101785886B1 (ja)
CN (1) CN105981389B (ja)
WO (1) WO2015115644A1 (ja)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017062377A1 (en) * 2015-10-07 2017-04-13 Qualcomm Incorporated Methods and systems of performing predictive random access using a background picture
JP2017525175A (ja) * 2014-06-18 2017-08-31 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ビデオにおけるピクチャのロバストな符号化および復号化
CN109661818A (zh) * 2016-09-12 2019-04-19 索尼公司 图像处理设备、图像处理方法和程序
US10484711B2 (en) 2014-06-18 2019-11-19 Telefonaktiebolaget Lm Ericsson (Publ) Dependent random access point pictures
CN111372085A (zh) * 2018-12-25 2020-07-03 厦门星宸科技有限公司 影像解码装置与方法
US11800099B2 (en) 2018-09-20 2023-10-24 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image, and recording medium for storing bitstream
JP2024069479A (ja) * 2019-12-20 2024-05-21 キヤノン株式会社 ビデオの符号化及び復号のための高レベルシンタックス
WO2024157930A1 (ja) * 2023-01-24 2024-08-02 ソニーグループ株式会社 情報処理装置および方法

Families Citing this family (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106941608B (zh) 2011-06-30 2021-01-15 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
US10841597B2 (en) * 2015-06-05 2020-11-17 Telefonaktiebolaget Lm Ericsson (Publ) Encoding a pixel of an input video sequence
WO2018169571A1 (en) * 2017-03-15 2018-09-20 Google Llc Segmentation-based parameterized motion models
CN116248868B (zh) * 2017-07-03 2025-11-25 汉阳大学校产学协力团 利用包含追加区域的分割单位的影像解码方法以及装置
WO2019009590A1 (ko) 2017-07-03 2019-01-10 김기백 추가 영역을 포함하는 분할 단위를 이용한 영상 복호화 방법 및 장치
KR102412007B1 (ko) * 2017-07-20 2022-06-22 삼성전자주식회사 전자 장치 및 전자 장치에서 하이 다이나믹 레인지 이미지 데이터를 압축하는 방법
JP7248013B2 (ja) * 2018-03-30 2023-03-29 株式会社ソシオネクスト 復号方法、復号装置、符号化装置及びプログラム
US10735745B1 (en) * 2019-06-06 2020-08-04 Tencent America LLC Method and apparatus for video coding
US11825073B2 (en) * 2020-03-20 2023-11-21 Qualcomm Incorporated High level syntax for video with mixed NAL unit types
JP2021164005A (ja) * 2020-03-30 2021-10-11 Kddi株式会社 画像復号装置、画像復号方法及びプログラム
KR20220030192A (ko) * 2020-09-02 2022-03-10 레몬 인크. 미디어 파일에서의 이미지 전환들을 위한 전환 기간
CN115514967B (zh) * 2022-11-07 2023-03-21 哈尔滨工业大学(深圳)(哈尔滨工业大学深圳科技创新研究院) 基于二进制块双向编码的图像压缩方法及图像解压方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000048402A1 (fr) * 1999-02-09 2000-08-17 Sony Corporation Systeme de codage et procede associe, dispositif de codage et procede associe, dispositif de decodage et procede associe, dispositif d'enregistrement et procede associe et dispositif de reproduction et procede associe
WO2006003814A1 (ja) * 2004-07-01 2006-01-12 Mitsubishi Denki Kabushiki Kaisha ランダムアクセス可能な映像情報記録媒体、及び記録方法、及び再生装置及び再生方法
JP2007306160A (ja) * 2006-05-09 2007-11-22 Canon Inc 画像符号化装置及び符号化方法並びに画像復号化装置及び復号化方法

Family Cites Families (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS5023739B1 (ja) 1970-06-16 1975-08-09
JP3840895B2 (ja) * 2000-11-22 2006-11-01 日本電気株式会社 動画像符号化データ変換装置及びその方法
EP1753244B1 (en) * 2002-01-22 2010-04-14 Microsoft Corporation Methods and systems for start code emulation prevention and data stuffing
US20040179610A1 (en) * 2003-02-21 2004-09-16 Jiuhuai Lu Apparatus and method employing a configurable reference and loop filter for efficient video coding
CN1846442A (zh) * 2003-09-04 2006-10-11 日本电气株式会社 运动图像数据变换方法和装置、以及程序
JP4838253B2 (ja) * 2004-10-07 2011-12-14 パナソニック株式会社 画像符号化装置、画像符号化方法、画像復号化装置、画像復号化方法、および記録方法
KR100669634B1 (ko) * 2004-12-06 2007-01-15 엘지전자 주식회사 동영상 압축 및 복원 방법
US20060153299A1 (en) * 2005-01-07 2006-07-13 Kabushiki Kaisha Toshiba Coded video sequence conversion apparatus, method and program product for coded video sequence conversion
JP2006246277A (ja) * 2005-03-07 2006-09-14 Pioneer Electronic Corp 再符号化装置、再符号化方法、および再符号化用プログラム
US8279928B2 (en) 2006-05-09 2012-10-02 Canon Kabushiki Kaisha Image encoding apparatus and encoding method, image decoding apparatus and decoding method
JP5023739B2 (ja) 2007-02-28 2012-09-12 ソニー株式会社 画像情報符号化装置及び符号化方法
CN101459840B (zh) * 2007-12-13 2010-04-21 华为技术有限公司 视频图像编码和解码方法及装置和系统
JP5205471B2 (ja) * 2008-12-12 2013-06-05 パナソニック株式会社 トランスコード装置、トランスコード方法及びデジタルレコーダー
US8929443B2 (en) * 2009-01-09 2015-01-06 Microsoft Corporation Recovering from dropped frames in real-time transmission of video over IP networks
CN102342127A (zh) * 2009-01-28 2012-02-01 诺基亚公司 用于视频编码和解码的方法和装置
KR20150013776A (ko) * 2010-04-09 2015-02-05 미쓰비시덴키 가부시키가이샤 동화상 부호화 장치 및 동화상 복호 장치
MX338462B (es) 2010-09-30 2016-04-15 Mitsubishi Electric Corp Dispositivo de codificacion de imagen en movimiento, dispositivo de decodificacion de imagen en movimiento, metodo de codificacion de imagen en movimiento y metodo de decodificacion de imagen en movimiento.
CN103299637B (zh) * 2011-01-12 2016-06-29 三菱电机株式会社 图像编码装置、图像译码装置、图像编码方法以及图像译码方法
CN106941608B (zh) * 2011-06-30 2021-01-15 三菱电机株式会社 图像编码装置及方法、图像解码装置及方法
JP5551837B2 (ja) * 2012-01-19 2014-07-16 三菱電機株式会社 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法
EP2838259A4 (en) * 2012-04-13 2015-12-16 Mitsubishi Electric Corp APPARATUS FOR CODING MOVEMENT PICTURES, DEVICE FOR DECODING MOVEMENT PICTURES, METHOD FOR CREATING MOVEMENT IMAGES AND METHOD FOR DECODING MOVEMENT PICTURES
US10051264B2 (en) * 2012-04-20 2018-08-14 Qualcomm Incorporated Marking reference pictures in video sequences having broken link pictures
WO2014003379A1 (ko) * 2012-06-24 2014-01-03 엘지전자 주식회사 영상 디코딩 방법 및 이를 이용하는 장치
JPWO2014049981A1 (ja) * 2012-09-28 2016-08-22 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JPWO2014051081A1 (ja) * 2012-09-28 2016-08-25 三菱電機株式会社 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2000048402A1 (fr) * 1999-02-09 2000-08-17 Sony Corporation Systeme de codage et procede associe, dispositif de codage et procede associe, dispositif de decodage et procede associe, dispositif d'enregistrement et procede associe et dispositif de reproduction et procede associe
WO2006003814A1 (ja) * 2004-07-01 2006-01-12 Mitsubishi Denki Kabushiki Kaisha ランダムアクセス可能な映像情報記録媒体、及び記録方法、及び再生装置及び再生方法
JP2007306160A (ja) * 2006-05-09 2007-11-22 Canon Inc 画像符号化装置及び符号化方法並びに画像復号化装置及び復号化方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
GARY J. SULLIVAN ET AL.: "Overview of the High Efficiency Video Coding (HEVC) Standard", IEEE TRANSACTIONS ON CIRCUITS AND SYSTEMS FOR VIDEO TECHNOLOGY, vol. 22, no. 12, December 2012 (2012-12-01), pages 1649 - 1668, XP011487803 *
See also references of EP3104614A4 *

Cited By (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11997313B2 (en) 2014-06-18 2024-05-28 Telefonaktiebolaget Lm Ericsson (Publ) Dependent random access point pictures
US11395000B2 (en) 2014-06-18 2022-07-19 Telefonaktiebolaget Lm Ericsson (Publ) Dependent random access point pictures
JP2017525175A (ja) * 2014-06-18 2017-08-31 テレフオンアクチーボラゲット エルエム エリクソン（パブル） ビデオにおけるピクチャのロバストな符号化および復号化
US10484711B2 (en) 2014-06-18 2019-11-19 Telefonaktiebolaget Lm Ericsson (Publ) Dependent random access point pictures
US10063861B2 (en) 2015-10-07 2018-08-28 Qualcomm Incorporated Methods and systems of performing predictive random access using a background picture
WO2017062377A1 (en) * 2015-10-07 2017-04-13 Qualcomm Incorporated Methods and systems of performing predictive random access using a background picture
CN109661818A (zh) * 2016-09-12 2019-04-19 索尼公司 图像处理设备、图像处理方法和程序
US11800099B2 (en) 2018-09-20 2023-10-24 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image, and recording medium for storing bitstream
US12238285B2 (en) 2018-09-20 2025-02-25 Electronics And Telecommunications Research Institute Method and device for encoding/decoding image, and recording medium for storing bitstream
CN111372085A (zh) * 2018-12-25 2020-07-03 厦门星宸科技有限公司 影像解码装置与方法
JP2020108135A (ja) * 2018-12-25 2020-07-09 廈門星宸科技有限公司 映像復号装置および映像復号方法
JP7017542B2 (ja) 2018-12-25 2022-02-08 星宸科技股▲ふん▼有限公司 映像復号装置および映像復号方法
CN111372085B (zh) * 2018-12-25 2021-07-09 厦门星宸科技有限公司 影像解码装置与方法
JP2024069479A (ja) * 2019-12-20 2024-05-21 キヤノン株式会社 ビデオの符号化及び復号のための高レベルシンタックス
JP7668922B2 (ja) 2019-12-20 2025-04-25 キヤノン株式会社 ビデオの符号化及び復号のための高レベルシンタックス
WO2024157930A1 (ja) * 2023-01-24 2024-08-02 ソニーグループ株式会社 情報処理装置および方法

Also Published As

Publication number Publication date
CN105981389B (zh) 2019-03-01
KR101785886B1 (ko) 2017-10-16
JP6147368B2 (ja) 2017-06-14
JPWO2015115644A1 (ja) 2017-03-23
CN105981389A (zh) 2016-09-28
EP3104614A1 (en) 2016-12-14
US20160330468A1 (en) 2016-11-10
EP3104614A4 (en) 2017-09-13
US10075725B2 (en) 2018-09-11
KR20160115974A (ko) 2016-10-06

Similar Documents

Publication Publication Date Title
JP6147368B2 (ja) 画像符号化装置、画像復号装置、符号化ストリーム変換装置、画像符号化方法、及び画像復号方法
JP6573689B2 (ja) 画像符号化装置および画像符号化方法
JP6580185B2 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP6226863B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JPWO2014163200A1 (ja) カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
JPWO2013108684A1 (ja) 画像復号装置、画像符号化装置、画像復号方法及び画像符号化方法
WO2012081162A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP6373008B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP6362370B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2014204311A (ja) カラー画像符号化装置、カラー画像復号装置、カラー画像符号化方法及びカラー画像復号方法
JPWO2014049982A1 (ja) 動画像符号化装置、動画像復号装置、動画像符号化方法及び動画像復号方法
JP6555856B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2016046641A (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法
JP2018166329A (ja) 画像符号化装置および画像復号装置
JP6300660B2 (ja) 画像符号化装置、画像復号装置、画像符号化方法及び画像復号方法

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 15743236

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015560063

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 15110650

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

REEP Request for entry into the european phase

Ref document number: 2015743236

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2015743236

Country of ref document: EP

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112016017842

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 20167024148

Country of ref document: KR

Kind code of ref document: A

ENP Entry into the national phase

Ref document number: 112016017842

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20160801