WO2012096146A1 - 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム - Google Patents

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム Download PDF

Info

Publication number
WO2012096146A1
WO2012096146A1 PCT/JP2012/000045 JP2012000045W WO2012096146A1 WO 2012096146 A1 WO2012096146 A1 WO 2012096146A1 JP 2012000045 W JP2012000045 W JP 2012000045W WO 2012096146 A1 WO2012096146 A1 WO 2012096146A1
Authority
WO
WIPO (PCT)
Prior art keywords
motion vectors
inter
image block
predetermined area
encoding
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/000045
Other languages
English (en)
French (fr)
Inventor
健太 先崎
裕三 仙田
慶一 蝶野
啓史 青木
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to CN201280005384.5A priority Critical patent/CN103314590B/zh
Priority to JP2012552666A priority patent/JP5974899B2/ja
Priority to BR122020018552-0A priority patent/BR122020018552B1/pt
Priority to PL12734382T priority patent/PL2665273T3/pl
Priority to BR122020018553-8A priority patent/BR122020018553B1/pt
Priority to KR1020187010850A priority patent/KR101935217B1/ko
Priority to KR1020157022459A priority patent/KR101841334B1/ko
Priority to US13/977,756 priority patent/US10841588B2/en
Priority to EP12734382.0A priority patent/EP2665273B1/en
Priority to ES12734382T priority patent/ES2900775T3/es
Priority to BR112013017802-7A priority patent/BR112013017802B1/pt
Priority to EP21197304.5A priority patent/EP3965418A1/en
Application filed by NEC Corp filed Critical NEC Corp
Priority to KR1020167022895A priority patent/KR101840579B1/ko
Priority to KR1020137016920A priority patent/KR101851326B1/ko
Publication of WO2012096146A1 publication Critical patent/WO2012096146A1/ja
Anticipated expiration legal-status Critical
Priority to US17/060,828 priority patent/US11323720B2/en
Priority to US17/685,543 priority patent/US11665352B2/en
Priority to US17/685,579 priority patent/US11647205B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/109—Selection of coding mode or of prediction mode among a plurality of temporal predictive coding modes
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H04N19/122—Selection of transform size, e.g. 8x8 or 2x4x8 DCT; Selection of sub-band transforms of varying structure or type
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/136—Incoming video signal characteristics or properties
    • H04N19/137—Motion inside a coding unit, e.g. average field, frame or block difference
    • H04N19/139—Analysis of motion vectors, e.g. their magnitude, direction, variance or reliability
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H04N19/147—Data rate or code amount at the encoder output according to rate distortion criteria
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/65—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using error resilience
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/90—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using coding techniques not provided for in groups H04N19/10-H04N19/85, e.g. fractals
    • H04N19/91—Entropy coding, e.g. variable length coding [VLC] or arithmetic coding

Definitions

  • the present invention relates to a video encoding device, a video decoding device, a video encoding method, a video decoding method, and a program using a hierarchical encoding unit.
  • Non-Patent Document 1 discloses a general video encoding method and video decoding method.
  • the video encoding device described in Non-Patent Document 1 is configured as shown in FIG.
  • the video encoding device shown in FIG. 17 is referred to as a general video encoding device.
  • a container 17 includes a transform / quantizer 101, an entropy encoder 102, an inverse transform / inverse quantizer 103, a buffer 104, a predictor 105, a multiplexer 106, and a coding control.
  • a container 108 is provided.
  • the video encoding apparatus shown in FIG. 17 divides a frame into blocks each having a size of 16 ⁇ 16 pixels called a macro block (MB), and encodes each MB in order from the upper left of the frame.
  • MB macro block
  • FIG. 18 is an explanatory diagram showing an example of block division when the spatial resolution of the frame is QCIF (Quarter Common Intermediate Format).
  • QCIF Quadrater Common Intermediate Format
  • the input video divided into blocks is a prediction error image obtained by subtracting the prediction signal supplied from the predictor 105, and is input to the transform / quantizer 101.
  • the inter prediction signal is also referred to as an inter-frame prediction signal.
  • the intra prediction signal is a prediction signal generated based on an image of a reconstructed picture having the same display time as the current picture stored in the buffer 104.
  • Intra_4 ⁇ 4 and Intra_8 ⁇ 8 are intra predictions of 4 ⁇ 4 block size and 8 ⁇ 8 block size, respectively, with reference to (a) and (c) of FIG.
  • circles ( ⁇ ) in the drawing are reference pixels used for intra prediction, that is, pixels of a reconstructed picture having the same display time as the current picture.
  • Intra_4 ⁇ 4 intra prediction the reconstructed neighboring pixels are used as reference pixels as they are, and prediction signals are formed by padding (extrapolating) reference pixels in nine types of directions shown in FIG.
  • Intra_8 ⁇ 8 intra prediction peripheral pixels of the reconstructed picture image are smoothed by the low-pass filter (1/2, 1/4, 1/2) described under the right arrow in FIG.
  • a prediction signal is formed by extrapolating the reference pixels in nine types of directions shown in FIG.
  • Intra — 16 ⁇ 16 is an intra prediction of 16 ⁇ 16 block size with reference to FIG.
  • circles ( ⁇ ) in the drawing are reference pixels used for intra prediction, that is, pixels of a reconstructed picture having the same display time as the current picture.
  • Intra_16 ⁇ 16 intra prediction a prediction signal is formed by extrapolating reference pixels in four types of directions shown in FIG.
  • an MB and a block encoded using an intra prediction signal are referred to as an intra MB and an intra block, respectively.
  • the block size of intra prediction is called intra prediction block size.
  • the extrapolation direction is referred to as an intra prediction direction. Note that the intra prediction block size and the intra prediction direction are prediction parameters related to intra prediction.
  • the inter prediction signal is a prediction signal generated from an image of a reconstructed picture having a display time different from that of the current picture stored in the buffer 104.
  • MBs and blocks encoded using inter prediction signals are referred to as inter MBs and inter blocks, respectively.
  • 16 ⁇ 16, 16 ⁇ 8, 8 ⁇ 16, 8 ⁇ 8, 8 ⁇ 4, 4 ⁇ 8, and 4 ⁇ 4 can be selected as the inter prediction block size (inter prediction block size).
  • FIG. 21 is an explanatory diagram illustrating an example of inter prediction using a block size of 16 ⁇ 16 as an example.
  • the motion vector MV (mv x , mv y ) illustrated in FIG. 21 is an inter prediction prediction parameter indicating the amount of parallel movement of the inter prediction block (inter prediction signal) of the reference picture with respect to the current block.
  • a reference picture index for identifying a reference picture used for inter prediction of the encoding target block Is also a prediction parameter for inter prediction. This is because in AVC, a plurality of reference pictures stored in the buffer 104 can be used for inter prediction.
  • FIG. 22 is an explanatory diagram illustrating a luminance signal interpolation process in motion compensation prediction.
  • A is a pixel signal at an integer pixel position
  • b, c, and d are pixel signals at a decimal pixel position with 1/2 pixel accuracy
  • e 1 , e 2 , and e 3 are decimal pixel positions with 1/4 pixel accuracy.
  • the pixel signal b is generated by applying a 6-tap filter to pixels at integer pixel positions in the horizontal direction.
  • the pixel signal c is generated by applying a 6-tap filter to pixels at integer pixel positions in the vertical direction.
  • the pixel signal d is generated by applying a 6-tap filter to a pixel at a decimal pixel position with 1/2 pixel accuracy in the horizontal or vertical direction.
  • the 6-tap filter coefficient is represented by [1, -5, 20, 20, -5, 1] / 32.
  • the pixel signals e 1 , e 2 , and e 3 are generated by applying a 2-tap filter [1, 1] / 2 to the pixels at neighboring integer pixel positions or decimal pixel positions, respectively.
  • a picture encoded with only intra MB is called an I picture.
  • a picture coded including not only an intra MB but also an inter MB is called a P picture.
  • a picture that is encoded including inter MBs that use two reference pictures at the same time as well as one reference picture for inter prediction is called a B picture.
  • the reference picture of the inter prediction signal with respect to the encoding target picture of the encoding target block is the forward prediction for the past inter prediction
  • the reference picture of the inter prediction signal for the encoding target picture of the encoding target block Inter-prediction in which the direction of the future is called backward prediction, and inter-prediction using two reference pictures including the past and the future at the same time is called bidirectional prediction.
  • the inter prediction direction is a prediction parameter for inter prediction.
  • the predictor 105 compares the input video signal and the prediction signal in accordance with an instruction from the encoding controller 108, and determines a prediction parameter that minimizes the energy of the prediction error image block.
  • the encoding controller 108 supplies the determined prediction parameter to the entropy encoder 102.
  • the transform / quantizer 101 performs frequency conversion on the prediction error image to obtain a frequency conversion coefficient.
  • the transform / quantizer 101 quantizes the frequency transform coefficient with a predetermined quantization step width Qs.
  • the quantized frequency transform coefficient is referred to as a transform quantization value.
  • the entropy encoder 102 entropy encodes the prediction parameter and the transform quantization value.
  • the prediction parameter is information related to MB and block prediction, such as the above-described prediction mode (intra prediction, inter prediction), intra prediction block size, intra prediction direction, inter prediction block size, and motion vector.
  • the inverse transform / inverse quantizer 103 inversely quantizes the transform quantization value with the quantization step width Qs. Further, the inverse transform / inverse quantizer 103 performs inverse frequency transform on the frequency transform coefficient obtained by inverse quantization. The reconstructed prediction error image subjected to the inverse frequency conversion is supplied with the prediction signal and supplied to the buffer 104.
  • the buffer 104 stores the supplied reconstructed image.
  • a reconstructed image for one frame is called a reconstructed picture.
  • the multiplexer 106 multiplexes and outputs the output data of the entropy encoder 102 and the encoding parameter.
  • the multiplexer 106 in the video encoding device Based on the above-described operation, the multiplexer 106 in the video encoding device generates a bit stream.
  • Non-Patent Document 1 The video decoding device described in Non-Patent Document 1 is configured as shown in FIG.
  • the video decoding apparatus shown in FIG. 23 is referred to as a general video decoding apparatus.
  • the video decoding apparatus shown in FIG. 23 includes a demultiplexer 201, an entropy decoder 202, an inverse transform / inverse quantizer 203, a predictor 204, and a buffer 205.
  • the demultiplexer 201 demultiplexes the input bit stream and extracts an entropy-encoded video bit stream.
  • the entropy decoder 202 entropy decodes the video bitstream.
  • the entropy decoder 202 entropy-decodes MB and block prediction parameters and transform quantization values, and supplies them to the inverse transform / inverse quantizer 203 and the predictor 204.
  • the inverse transform / inverse quantizer 203 inversely quantizes the transform quantization value with the quantization step width. Further, the inverse transform / inverse quantizer 203 performs inverse frequency transform on the frequency transform coefficient obtained by inverse quantization.
  • the predictor 204 After the inverse frequency conversion, the predictor 204 generates a prediction signal using the reconstructed picture image stored in the buffer 205 based on the entropy-decoded MB and block prediction parameters.
  • the reconstructed prediction error image subjected to the inverse frequency transform by the inverse transform / inverse quantizer 203 is added with the prediction signal supplied from the predictor 204 and is supplied to the buffer 205 as a reconstructed image.
  • the reconstructed picture stored in the buffer 205 is output as a decoded image (decoded video).
  • a general video decoding device Based on the above-described operation, a general video decoding device generates a decoded image.
  • Non-Patent Document 2 discloses a Test Model Consideration method (TMuC method). Unlike the method disclosed in Non-Patent Document 1, the TMuC method uses a coding unit (Coding Tree Block (CTB)) having a hierarchical structure shown in FIG. In this specification, a block of CTB is called Coding Unit (CU: Coding Unit).
  • CTB Coding Tree Block
  • PU Prediction Unit
  • FIG. 25 a concept of Prediction Unit (PU) (see FIG. 25) is introduced as a prediction unit for a CU.
  • PU is a basic unit of prediction, and is shown in FIG. 25, 8 types ⁇ 2N ⁇ 2N, 2N ⁇ N, N ⁇ 2N, N ⁇ N, 2N ⁇ nU, 2N ⁇ nD, nL ⁇ 2N, nR ⁇ 2N ⁇ .
  • the PU partition type is defined.
  • a PU using inter prediction is called an inter PU
  • a PU using intra prediction is called an intra PU.
  • a PU partition in which inter prediction is used is called an inter PU partition
  • a PU partition in which intra prediction is used is called an intra PU partition.
  • the intra PU partition supports only 2N ⁇ 2N and N ⁇ N squares among the shapes shown in FIG.
  • the lengths of one side of CU and PU are referred to as CU size and PU size, respectively.
  • a filter with a maximum of 12 taps can be used to obtain a predicted image with decimal precision.
  • the relationship between the pixel position and the filter coefficient is as follows.
  • a and E are pixels at integer pixel positions.
  • b is a pixel at the 1/4 pixel position
  • c is a pixel at the 1/2 pixel position
  • d is a pixel at the 3/4 pixel position. The same applies to the vertical direction.
  • the pixel b or pixel c shown in FIG. 22 is generated by applying the horizontal or vertical 1 ⁇ 2 pixel position filter once. Pixels e 1 is produced by applying one filter for quarter-pixel positions.
  • the syntax indicating the PU partition type in the PU headers of the CUs of all hierarchies is intra_split_flag for intra prediction and inter_partitioning_idc for inter prediction) Embedded in the output bitstream.
  • intra_split_flag syntax is referred to as intra PU partition type syntax
  • inter_partitioning_idc syntax is referred to as inter PU partition type syntax.
  • TMuC TMuC
  • the size of the inter PU partition is smaller, there is a problem that memory access to the reference picture increases and the memory bandwidth is compressed.
  • a fractional pixel is generated using a 12-tap filter, so that the memory band is further pressed.
  • FIG. 28 is an explanatory diagram for explaining a memory access area when a 12-tap filter is used.
  • FIG. 28A shows the memory access area of one inter PU partition when the N ⁇ N PU partition type is selected
  • FIG. 28B shows the case when the 2N ⁇ 2N inter PU partition type is selected. Represents a memory access area.
  • the memory access amount is about 2.5 times.
  • An object of the present invention is to reduce the memory bandwidth per predetermined area.
  • a video encoding apparatus is a video encoding apparatus that performs video encoding using inter prediction, and is included in the maximum number of motion vectors allowed for an image block having a predetermined area and the image block having a predetermined area.
  • An encoding control means is provided for controlling the inter PU partition type of the encoding target CU based on the number of motion vectors of the encoded image block.
  • a video decoding apparatus is a video decoding apparatus that performs video decoding using inter prediction, and the maximum number of motion vectors allowed for an image block having a predetermined area and a decoded image included in the image block having a predetermined area.
  • Decoding control means for controlling the inter PU partition type of the decoding target CU based on the number of block motion vectors is provided.
  • the video encoding method according to the present invention is a video encoding method that performs video encoding using inter prediction, and is included in the maximum number of motion vectors allowed for an image block having a predetermined area and the image block having a predetermined area.
  • the inter PU partition type of the CU to be encoded is controlled based on the number of motion vectors of the encoded image block.
  • a video decoding method is a video decoding method that performs video decoding using inter prediction, and the maximum number of motion vectors allowed for an image block having a predetermined area and a decoded image included in the image block having a predetermined area.
  • the inter-PU partition type of the decoding target CU is controlled based on the number of motion vectors of the block.
  • a video encoding program allows a computer that performs video encoding using inter prediction to have a maximum number of motion vectors allowed for an image block of a predetermined area and an encoded image block included in the image block of a predetermined area. Based on the number of motion vectors, a process for controlling the inter-PU partition type of the CU to be encoded is executed.
  • a video decoding program allows a computer that performs video decoding using inter prediction to have a maximum number of motion vectors allowed for an image block having a predetermined area and a motion vector of a decoded image block included in the image block having a predetermined area. And a process for controlling the inter-PU partition type of the decoding target CU based on the number of.
  • the memory band per predetermined area can be reduced by limiting the usable inter PU partitions based on the number of motion vectors of the encoded image block included in the image block of the predetermined area.
  • the memory bandwidth per predetermined area can be reduced by limiting the inter prediction direction based on the number of motion vectors of the encoded image block included in the image block of the predetermined area.
  • an inter-PU partition of an encoding target CU based on the number of motion vectors of an encoded image block included in an image block having a predetermined area, an inter-PU partition of an encoding target CU, and The problem is solved by limiting the inter prediction direction.
  • the problem is achieved by restricting inter PU partition type candidates and inter prediction direction candidates based on the number of motion vectors of an encoded image block included in an image block of a predetermined area. Resolve.
  • the problem is solved by limiting inter-PU partition type syntax transmission of the PU header. According to the above example of the present invention, it is possible to suppress the memory band while improving the quality of the compressed video by suppressing the rate of the number of bits of the inter PU partition type syntax included in the bitstream.
  • the predetermined area means, for example, one LCU or a plurality of continuous LCUs.
  • Embodiment 1 based on the maximum number of motion vectors allowed for an image block having a predetermined area (predetermined region in an image) and the number of motion vectors of an encoded image block included in the image block having the predetermined area.
  • numSucLcu LCUs one or more LCUs that are continuous in a predetermined area
  • maxNumMV the maximum number of motion vectors allowed per predetermined area
  • the number is currNumMV.
  • the video encoding apparatus of the present embodiment is similar to the general video encoding apparatus shown in FIG. 17 in that a transform / quantizer 101, an entropy encoder 102, an inverse transform / An inverse quantizer 103, a buffer 104, a predictor 105, a multiplexer 106, and an encoding controller 107 are provided.
  • NumSucLcu and maxNumMV are supplied to the encoding controller 107. Furthermore, numSucLcu and maxNumMV are also supplied to the multiplexer 106 in order to signal numSucLcu and maxNumMV to the video decoding apparatus.
  • the coding controller 107 causes the predictor 105 to calculate the cost (Rate-Distortion cost: RD cost) calculated from the coding distortion (energy of the error image of the input signal and the reconstructed picture) and the generated bit amount.
  • the encoding controller 107 determines the CU partition shape (the partition shape determined by split_coding_unit_flag as shown in FIG. 24) and the prediction parameter of each CU that minimize the RD cost.
  • the encoding controller 107 supplies the determined split_coding_unit_flag and the prediction parameter of each CU to the predictor 105 and the entropy encoder 102.
  • the prediction parameter is information related to prediction of the encoding target CU, such as a prediction mode (pred_mode), an intra PU partition type (intra_split_flag), an intra prediction direction, an inter PU partition type (inter_partitioning_idc), and a motion vector.
  • pred_mode a prediction mode
  • intra_split_flag an intra PU partition type
  • intra_partitioning_idc an intra prediction direction
  • motion vector a motion vector.
  • the encoding controller 107 of this embodiment controls the PU partition type based on numSucLcu and maxNumMV as an example.
  • the encoding controller 107 of the present embodiment sets the optimal PU partition type as a prediction parameter as intra prediction ⁇ 2N ⁇ 2N, N ⁇ N ⁇ and a total of 10 types of inter prediction. Select from.
  • the encoding controller 107 sets the optimal PU partition type as a prediction parameter to intra prediction ⁇ 2N ⁇ 2N, N ⁇ N ⁇ , inter prediction ⁇ 2N ⁇ 2N, 2N ⁇ N.
  • the encoding controller 107 sets three types of PU partition types, which are optimal as prediction parameters, intra prediction ⁇ 2N ⁇ 2N, N ⁇ N ⁇ and inter prediction ⁇ 2N ⁇ 2N ⁇ . Select from.
  • maxNumMV-currNumMV ⁇ 1 the encoding controller 107 selects an optimal PU partition type as a prediction parameter from two types of intra prediction ⁇ 2N ⁇ 2N, N ⁇ N ⁇ .
  • FIG. 2 is a flowchart showing the operation of the encoding controller 107 of the present embodiment regarding the prediction parameter determination of each CU.
  • the encoding controller 107 determines PU partition candidates in step S101.
  • the encoding controller 107 determines an inter prediction direction candidate.
  • a prediction parameter is determined based on the RD cost.
  • the encoding controller 107 updates currNumMV from the PU partition type and the inter prediction direction determined in the processes of steps S102 and S103.
  • FIG. 3 is a flowchart showing the operation of determining PU partition type candidates in step S101 in FIG.
  • the PU partition type candidate is converted to intra prediction ⁇ 2N ⁇ 2N, N ⁇ N ⁇ and 10 types of inter prediction all sets in step S202. Set.
  • a PU partition type candidate are set to nine types of intra prediction ⁇ 2N ⁇ 2N, N ⁇ N ⁇ , inter prediction ⁇ 2N ⁇ 2N, 2N ⁇ N, N ⁇ 2N, 2N ⁇ nU, 2N ⁇ nD, nL ⁇ 2N, nR ⁇ 2N ⁇ .
  • step S205 a PU partition type candidate.
  • the encoding controller 107 sets PU partition type candidates as two types of intra prediction ⁇ 2N ⁇ 2N, N ⁇ N ⁇ .
  • FIG. 4 is a flowchart showing an operation of determining inter prediction direction candidates in step S102 of FIG.
  • the index of each partition of the PU is represented by i
  • the number of partitions is represented by m.
  • i the index of each partition of the PU
  • m 4
  • the index i takes values of 1, 2, 3, and 4.
  • step S302 the encoding controller 107 sets a variable i representing the index of the PU partition to 1.
  • step S303 when it is determined in step S303 that maxNumMV ⁇ k-(mi) ⁇ 1, the encoding controller 107 selects a candidate for the inter prediction direction of partition i ⁇ previous, subsequent in step S306. ⁇ .
  • step S308 if i is equal to m, the process is terminated.
  • the predictor 105 selects a prediction signal corresponding to the prediction parameter of each CU determined by the encoding controller 107.
  • the input video of each CU having the shape determined by the encoding controller 107 is a prediction error image obtained by subtracting the prediction signal supplied from the predictor 105 and is input to the transform / quantizer 101.
  • the transform / quantizer 101 performs frequency conversion on the prediction error image to obtain a frequency conversion coefficient.
  • the transform / quantizer 101 quantizes the frequency transform coefficient with the quantization step width Qs to obtain a transform quantized value.
  • the entropy encoder 102 entropy-encodes the split_coding_unit_flag (see FIG. 24) supplied from the encoding controller 107, the prediction parameter, and the transform quantization value supplied from the transform / quantizer 101.
  • the inverse transform / inverse quantizer 103 inversely quantizes the transform quantization value with the quantization step width Qs. Further, the inverse transform / inverse quantizer 103 performs inverse frequency transform on the frequency transform coefficient obtained by inverse quantization. The reconstructed prediction error image subjected to the inverse frequency conversion is supplied with the prediction signal and supplied to the buffer 104.
  • the multiplexer 106 multiplexes and outputs information on the predetermined area, information on the number of motion vectors allowed per predetermined area, and output data of the entropy encoder 103.
  • the multiplexer 106 as represented in the list shown in FIG. 5, is num_successive_largest_coding_unit (the value of numSucLcu in this embodiment)
  • the max_num_motion_vector syntax (in this embodiment, the value of maxNumMV) is multiplexed.
  • the video encoding device of the invention Based on the above-described operation, the video encoding device of the invention generates a bitstream.
  • the video encoding apparatus uses the maximum number of motion vectors allowed for an image block having a predetermined area so that more motion vectors than the maximum number of motion vectors allowed for an image block having a predetermined area within the predetermined area are not used.
  • the encoding control means controls the inter PU partition type and inter prediction direction of the encoding target CU based on the number and the number of motion vectors of the encoded image block included in the image block having the predetermined area. .
  • the video encoding device inter-PU partition type of the PU header layer of the encoding target CU Entropy encoding is performed with the syntax set to a predetermined inter-PU partition type.
  • the memory bandwidth is reduced by preventing the use of more motion vectors than the maximum number of motion vectors within a predetermined area.
  • the code amount of the PU header occupying the bitstream And the quality of the video is improved.
  • the occurrence probability of each inter PU partition type is biased and the entropy is reduced, so that the efficiency of entropy coding is increased. Therefore, the quality of the compressed video can be maintained while reducing the memory bandwidth.
  • the video encoding apparatus embeds information on a predetermined area and information on the maximum number of motion vectors allowed for an image block having a predetermined area in a bitstream. Therefore, the information regarding the predetermined area and the maximum number of motion vectors allowed for the image block of the predetermined area are signaled to the video decoding apparatus, and the interoperability between the video encoding apparatus and the video decoding apparatus can be improved. it can.
  • Embodiment 2 The video encoding apparatus according to the second embodiment controls the inter PU partition type and the inter prediction direction based on a predetermined area set externally and the maximum number of motion vectors allowed for an image block of the predetermined area, Encoding control means for controlling entropy encoding of inter PU partition type syntax based on the number of motion vectors of an encoded image block included in an image block of a predetermined area, and a motion vector allowed for an image block of a predetermined area Information about a predetermined area, information on the maximum number of motion vectors allowed for an image block of a predetermined area, and a predetermined area for signaling information on the maximum number of motion vectors and the number of motion vectors allowed for the predetermined area to the video decoding apparatus. Information on the number of motion vectors allowed Comprising means for embedding in the stream.
  • numSucLcu LCUs that are continuous in a predetermined area, the maximum number of motion vectors allowed for an image block of a predetermined area is maxNumMV, and the number of motion vectors of an encoded image block included in an image block within the predetermined area Is currNumMV.
  • the configuration of the video encoding device of the present embodiment is the same as the configuration of the video encoding device of the first embodiment shown in FIG.
  • numSucLcu maxNumMV is supplied to the encoding controller 107. Furthermore, numSucLcu and maxNumMV are also supplied to the multiplexer 106 in order to signal numSucLcu and maxNumMV to the video decoding apparatus.
  • the coding controller 107 causes the predictor 105 to calculate the RD cost calculated from the coding distortion (energy of the error image of the input signal and the reconstructed picture) and the generated bit amount.
  • the encoding controller 107 determines the CU partition shape (the partition shape determined by split_coding_unit_flag as shown in FIG. 24) and the prediction parameter of each CU that minimize the RD cost.
  • the encoding controller 107 supplies the determined split_coding_unit_flag and the prediction parameter of each CU to the predictor 105 and the entropy encoder 102.
  • the prediction parameter is information related to prediction of the encoding target CU, such as a prediction mode (pred_mode), an intra PU partition type (intra_split_flag), an intra prediction direction, an inter PU partition type (inter_partitioning_idc), and a motion vector.
  • pred_mode a prediction mode
  • intra_split_flag an intra PU partition type
  • intra_partitioning_idc an intra prediction direction
  • motion vector a motion vector.
  • the encoding controller 107 of this embodiment determines PU partition type and inter prediction direction candidates as in the first embodiment.
  • the encoding controller 107 determines a prediction parameter based on the RD cost using the determined PU partition and inter prediction direction candidates.
  • the encoding controller 107 does not entropy-encode inter_partitioning_idc so that it is not entropy-encoded when the prediction mode of the encoding target CU is inter prediction and maxNumMV-currNumMV ⁇ 1. 102 is controlled.
  • the predictor 105 selects a prediction signal corresponding to the prediction parameter of each CU determined by the encoding controller 107.
  • the input video of each CU having the shape determined by the encoding controller 107 is a prediction error image obtained by subtracting the prediction signal supplied from the predictor 105 and is input to the transform / quantizer 101.
  • the transform / quantizer 101 performs frequency conversion on the prediction error image to obtain a frequency conversion coefficient.
  • the transform / quantizer 101 quantizes the frequency transform coefficient with the quantization step width Qs to obtain a transform quantized value.
  • the entropy encoder 102 entropy-encodes the split_coding_unit_flag (see FIG. 24) supplied from the encoding controller 107, the prediction parameter, and the transform quantization value supplied from the transform / quantizer 101.
  • the inverse transform / inverse quantizer 103 inversely quantizes the transform quantization value with the quantization step width Qs. Further, the inverse transform / inverse quantizer 103 performs inverse frequency transform on the frequency transform coefficient obtained by inverse quantization. The reconstructed prediction error image subjected to the inverse frequency conversion is supplied with the prediction signal and supplied to the buffer 104.
  • the multiplexer 106 multiplexes and outputs information on the predetermined area, information on the number of motion vectors allowed per predetermined area, and output data of the entropy encoder 103.
  • the multiplexer 106 as represented in the list shown in FIG. 5, is num_successive_largest_coding_unit (the value of numSucLcu in this embodiment)
  • the max_num_motion_vector syntax (in this embodiment, the value of maxNumMV) is multiplexed.
  • the video encoding device of the invention Based on the above-described operation, the video encoding device of the invention generates a bitstream.
  • inter-PU partition type syntax writing which is a feature of this embodiment, will be described with reference to the flowchart of FIG.
  • the entropy encoder 102 entropy-encodes split_coding_unit_flag in step S401.
  • step S402 the entropy encoder 102 performs entropy encoding on the prediction mode. That is, the pred_mode syntax is entropy encoded.
  • step S403 If it is determined in step S403 that the prediction mode of the encoding target CU is inter prediction, and if it is determined in step S404 that maxNumMV ⁇ currNumMV ⁇ 1, the encoding controller 107 includes an entropy encoder. Control is performed so as to skip the entropy coding of the inter_partitioning_idc syntax in 102.
  • step S403 If it is determined in step S403 that the CU to be encoded is intra prediction, or if it is determined in step S404 that maxNumMV ⁇ currNumMV ⁇ 2, the encoding controller 107 in step S405 determines the entropy code.
  • the encoder 102 performs entropy encoding on the PU partition type information of the encoding target CU.
  • the pred_mode syntax and the inter_partitioning_idc syntax described above are signaled as shown in the list shown in FIG. 7 according to the notation of 4.1.10 Prediction unit syntax of Non-Patent Document 2.
  • the feature of this embodiment is that if the number is two or more, the inter_partitioning_idc syntax is signaled.
  • the video encoding apparatus is based on the number of motion vectors allowed for a predetermined area based on the maximum number of motion vectors allowed for an image block having a predetermined area (in this embodiment, the maximum number of motion vectors ⁇ 1). And an encoding control means for controlling the inter PU partition type and the inter prediction direction.
  • the video encoding device does not transmit unnecessary inter-PU partition type information, thereby reducing the bit rate of the inter-PU partition type included in the bitstream, and reducing the memory bandwidth and improving the quality of the compressed video. Can hold.
  • the video encoding apparatus also allows information regarding externally set predetermined areas and motions allowed for image blocks having a predetermined area so that the inter-PU partition type syntax can be read from the bitstream in the same manner for video decoding.
  • a means for embedding information on the maximum number of vectors and the number of motion vectors allowed for a predetermined area in the bit stream is provided. Therefore, the interoperability between the video encoding device and the video decoding device can be improved.
  • the video encoding device of the present embodiment further includes the number of motion vectors of encoded image blocks included in an image block of a predetermined area so as to reduce the number of inter-PU partition type syntax signaled.
  • the number of motion vectors subtracted by 1 from the maximum number of motion vectors is less than the number of motion vectors less than 1 subtracted from the maximum number of motion vectors without entropy encoding the inter PU partition type syntax of the PU header layer of the CU to be encoded Only to control the inter-PU partition type syntax.
  • FIG. The video decoding device according to the third embodiment decodes the bitstream generated by the video encoding device according to the second embodiment.
  • the video decoding apparatus includes a unit for demultiplexing information on a predetermined area multiplexed in a bitstream and information on the number of motion vectors allowed for an image block having a predetermined area, and an image block having a predetermined area. It is characterized by comprising reading means for reading the inter PU partition type from the bit stream based on the number of motion vectors of the encoded image block included.
  • the video decoding apparatus includes a demultiplexer 201, an entropy decoder 202, an inverse transform / inverse quantizer 203, a predictor 204, a buffer 205, and a decoding controller 206. .
  • the demultiplexer 201 demultiplexes the input bitstream, and extracts information on a predetermined area, information on the number of motion vectors allowed for an image block having a predetermined area, and an entropy-coded video bitstream. .
  • the demultiplexer 201 demultiplexes the num_successive_largest_coding_unit syntax and the max_num_motion_vector syntax in the sequence parameters as shown in the list shown in FIG.
  • the demultiplexer 201 supplies the information related to the predetermined area and the maximum number of motion vectors allowed for the image block of the predetermined area to the decoding controller 206.
  • the entropy decoder 202 entropy decodes the video bitstream.
  • the entropy decoder 202 supplies the transform quantization value subjected to entropy decoding to the inverse transform / inverse quantizer 203.
  • the entropy decoder 202 supplies the entropy-decoded split_coding_unit_flag and the prediction parameter to the decoding controller 206.
  • the decoding controller 206 of the present embodiment has the prediction mode of the decoding target CU being inter prediction, and maxNumMV ⁇
  • the entropy decoder 202 is caused to skip the entropy decoding of the inter PU partition type syntax of the decoding target CU.
  • the demultiplexer 201 sets the inter PU partition type of the decoding target CU to 2N ⁇ 2N.
  • currNumMV is updated based on the inter prediction direction of each partition decoded following the inter PU partition type.
  • the inverse transform / inverse quantizer 203 inversely quantizes the transform quantization values of luminance and color difference with the quantization step width. Further, the inverse transform / inverse quantizer 203 performs inverse frequency transform on the frequency transform coefficient obtained by inverse quantization.
  • the predictor 204 After the inverse frequency conversion, the predictor 204 generates a prediction signal using the reconstructed picture image stored in the buffer 205 based on the prediction parameter supplied from the decoding controller 206.
  • the reconstructed prediction error image subjected to inverse frequency transform by the inverse transform / inverse quantizer 203 is added with the prediction signal supplied from the predictor 204 and supplied to the buffer 205 as a reconstructed picture.
  • the reconstructed picture stored in the buffer 205 is output as a decoded image.
  • the video decoding apparatus Based on the above-described operation, the video decoding apparatus according to the present embodiment generates a decoded image.
  • the entropy decoder 202 entropy-decodes the split_coding_unit_flag in step S501 to determine the CU size.
  • step S502 the entropy decoder 202 entropy decodes the prediction mode. That is, the pred_mode syntax is entropy decoded.
  • step S503 When it is determined in step S503 that the prediction mode is intra prediction, or when it is determined in step S504 that maxNumMV ⁇ currNumMV ⁇ 2, the decoding controller 206 in step S506, the entropy decoder 204. Is subjected to entropy decoding, and the PU partition type of the CU is set as the PU partition type of the entropy decoding result.
  • the video encoding apparatus includes information regarding the predetermined area (num_successive_largest_coding_unit) used in the first embodiment and information regarding the number of motion vectors allowed per predetermined area (max_num_motion_vector).
  • the predetermined area number_successive_largest_coding_unit
  • max_num_motion_vector information regarding the number of motion vectors allowed per predetermined area
  • multiplexing can be performed in a picture parameter set or a slice header.
  • FIG. 10 is an explanatory diagram of a list showing information on a predetermined area and information on the maximum number of motion vectors allowed for an image block having a predetermined area in the picture parameter set.
  • FIG. 11 is an explanatory diagram of a list showing information on a predetermined area and information on the number of motion vectors allowed for an image block having a predetermined area in a slice header.
  • the video decoding apparatus of the above-described invention can demultiplex the num_successive_largest_coding_unit syntax and the max_num_motion_vector syntax from the picture parameter set and slice header.
  • the video decoding apparatus allows the maximum number of motion vectors allowed for an image block having a predetermined area so that a motion vector larger than the maximum number of motion vectors allowed for an image block having a predetermined area within the predetermined area is not used.
  • decoding control means for controlling the inter PU partition type and inter prediction direction of the decoding target CU based on the number of motion vectors of the encoded image block included in the image block of the predetermined area.
  • the memory bandwidth is reduced by preventing the use of more motion vectors than the maximum number of motion vectors within a predetermined area.
  • Embodiment 4 The video decoding apparatus according to the fourth embodiment decodes the bitstream generated by the video encoding apparatus according to the first embodiment.
  • the video decoding apparatus includes a unit for demultiplexing information on a predetermined area multiplexed in a bitstream and information on the maximum number of motion vectors allowed for an image block of the predetermined area, and the predetermined area It is characterized by comprising error detection means for detecting an error in the access unit of the bitstream including the decoding target CU based on the number of motion vectors of the encoded image block included in the image block.
  • the access unit is a unit for storing encoded data for one picture as defined in 3.1 [access] unit of Non-Patent Document 1.
  • An error means a violation of a constraint based on the number of motion vectors allowed per predetermined area.
  • the video decoding apparatus includes a demultiplexer 201, an entropy decoder 202, an inverse transform / inverse quantizer 203, a predictor 204, a buffer 205, and an error detector 207. .
  • the demultiplexer 201 operates in the same manner as the demultiplexer 201 in the third embodiment, demultiplexes the input bit stream, and moves the information regarding a predetermined area and an image block having a predetermined area. Information on the maximum number of vectors and an entropy-encoded video bitstream are extracted.
  • the demultiplexer 201 demultiplexes the num_successive_largest_coding_unit syntax and the max_num_motion_vector syntax in the sequence parameters as shown in the list shown in FIG.
  • the demultiplexer 201 supplies the error detector 207 with information on a predetermined area and the maximum number of motion vectors allowed for an image block of the predetermined area.
  • the entropy decoder 202 entropy decodes the video bitstream.
  • the entropy decoder 202 supplies the transform quantization value subjected to entropy decoding to the inverse transform / inverse quantizer 203.
  • the entropy decoder 202 supplies the entropy-decoded split_coding_unit_flag and the prediction parameter to the error detector 207.
  • the error detector 207 detects error of the prediction parameter supplied from the entropy decoder 201 based on the information regarding the predetermined area supplied from the demultiplexer 201 and the maximum number of motion vectors allowed for the image block of the predetermined area. To supply the prediction parameters to the predictor 204. The error detection operation will be described later. Note that the error detector 207 also serves as the decoding controller 206 in the third embodiment.
  • the inverse transform / inverse quantizer 203 operates in the same manner as the inverse transform / inverse quantizer 203 in the third embodiment.
  • the predictor 204 generates a prediction signal using the reconstructed picture image stored in the buffer 205 based on the prediction parameter supplied from the error detector 207.
  • the buffer 205 operates in the same manner as the buffer 205 in the third embodiment.
  • the video decoding apparatus Based on the above-described operation, the video decoding apparatus according to the present embodiment generates a decoded image.
  • step S601 when the error detector 207 determines that the prediction mode of the PU of the decoding target CU is intra, the process ends.
  • step S602 the error detector 207 sets m to the number of PU partitions of the decoding target CU.
  • step S605 the error detector 207 determines that there is an error in step S606 if the number of motion vectors (maxNumMV-currNumMV) that can be used in the remaining inter-PUs is less than the number of remaining partitions (mi). It is determined that the error is reported to the outside. For example, the address of the CU in which an error has occurred is output.
  • the error detector 207 detects an error in the access unit of the bit stream including the decoding target CU.
  • the video encoding device and video decoding device of the invention described above controlled the inter PU partition of the encoding target CU based on the maximum number of motion vectors allowed for an image block of a predetermined area. It is also possible to perform control using the maximum number of inter PU partitions allowed for an image block of a predetermined area or the maximum amount of memory access allowed for an image block of a predetermined area.
  • each of the above embodiments can be configured by hardware, it can also be realized by a computer program.
  • the information processing system shown in FIG. 14 includes a processor 1001, a program memory 1002, a storage medium 1003 for storing video data, and a storage medium 1004 for storing a bitstream.
  • the storage medium 1003 and the storage medium 1004 may be separate storage media, or may be storage areas composed of the same storage medium.
  • a magnetic storage medium such as a hard disk can be used as the storage medium.
  • the program memory 1002 stores a program for realizing the function of each block (excluding the buffer block) shown in each of FIG. 1, FIG. 8, and FIG. Is done.
  • the processor 1001 implements the functions of the video encoding device or the video decoding device shown in FIGS. 1, 8, and 12 by executing processing according to the program stored in the program memory 1002. .
  • FIG. 15 is a block diagram showing the main part of the video encoding apparatus according to the present invention.
  • the video encoding apparatus according to the present invention is a video encoding apparatus that performs video encoding using inter prediction, and the maximum number (PA) of motion vectors allowed for an image block of a predetermined area.
  • PB motion vectors
  • FIG. 16 is a block diagram showing the main part of the video decoding apparatus according to the present invention.
  • the video decoding apparatus according to the present invention is a video decoding apparatus that performs video decoding using inter prediction, and the maximum number (PA) of motion vectors allowed for an image block of a predetermined area, and a predetermined number.
  • Decoding control means 21 for controlling the inter PU partition type of the decoding target CU based on the number of motion vectors (PB) of the decoded image blocks included in the image block of the area (for example, shown in FIGS. 8 and 12)
  • PB motion vectors
  • a decoding controller 207 A decoding controller 207).
  • DESCRIPTION OF SYMBOLS 11 Coding control means 21 Decoding control means 101 Transformer / quantizer 102 Entropy coder 103 Inverse transform / dequantizer 104 Buffer 105 Predictor 106 Multiplexer 107,108 Encoding controller 201 Demultiplexer 202 Entropy decoder 203 Inverse transform / inverse quantizer 204 Predictor 205 Buffer 206 Decoding controller 207 Error detector 1001 Processor 1002 Program memory 1003 Storage medium 1004 Storage medium

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Two-Way Televisions, Distribution Of Moving Picture Or The Like (AREA)

Abstract

　映像符号化装置は、所定面積の画像ブロックに許容する動きベクトルの最大本数（ＰＡ）と、所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数（ＰＢ）とに基づいて、符号化対象ＣＵのインターＰＵパーティションタイプを制御する符号化制御手段１１を備える。映像復号装置は、所定面積の画像ブロックに許容する動きベクトルの最大本数（ＰＡ）と、所定面積の画像ブロックに含まれる復号済み画像ブロックの動きベクトルの本数（ＰＢ）とに基づいて、復号対象ＣＵのインターＰＵパーティションタイプを制御する復号制御手段を備える。

Description

映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム
　本発明は、階層構造の符号化ユニットを用いる映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラムに関する。
　非特許文献１は、一般的な映像符号化方式及び映像復号方式を開示している。
　非特許文献１に記載されている映像符号化装置は、図１７に示すように構成される。以下、図１７に示される映像符号化装置を一般的な映像符号化装置と呼ぶ。
　図１７参照して、ディジタル化された映像の各フレームを入力としてビットストリームを出力する、一般的な映像符号化装置の構成と動作を説明する。
　図１７に示された映像符号化装置は、変換／量子化器１０１、エントロピー符号化器１０２、逆変換／逆量子化器１０３、バッファ１０４、予測器１０５、多重化器１０６、及び符号化制御器１０８を備える。
　図１７に示す映像符号化装置は、フレームをマクロブロック（ＭＢ：Macro Block ）と呼ばれる１６×１６画素サイズのブロックに分割し、フレームの左上から順に各ＭＢを符号化する。
　図１８は、フレームの空間解像度がＱＣＩＦ（Quarter Common Intermediate Format）の場合のブロック分割の例を示す説明図である。以下、説明の簡略化のために、輝度の画素値のみに着目して各装置の動作を説明する。
　ブロックに分割された入力映像は、予測器１０５から供給される予測信号が減じられて予測誤差画像となり、変換／量子化器１０１に入力される。予測信号には、イントラ予測信号とインター予測信号の２種類がある。なお、インター予測信号を、フレーム間予測信号とも呼ぶ。
　それぞれの予測信号を説明する。イントラ予測信号は、バッファ１０４に格納された現在のピクチャと表示時刻が同一である再構築ピクチャの画像に基づいて生成される予測信号である。
　非特許文献１の8.3.1 Intra_４×４ prediction process for luma samples、8.3.2 Intra_８×８ prediction process for luma samples、及び8.3.3 Intra_１６×１６ prediction process for luma samplesを引用すると、３種類のブロックサイズのイントラ予測Intra_４×４、Intra_８×８、Intra_１６×１６がある。
　Intra_４×４とIntra_８×８は、図１９の（ａ）と（ｃ）を参照すると、それぞれ４×４ブロックサイズと８×８ブロックサイズのイントラ予測であることが分かる。ただし、図面の丸（○）はイントラ予測に用いる参照画素、つまり、現在のピクチャと表示時刻が同一である再構築ピクチャの画素である。
　Intra_４×４のイントラ予測では、再構築した周辺画素をそのまま参照画素として、図１９の（ｂ）に示す９種類の方向に参照画素をパディング（外挿）して予測信号が形成される。Intra_８×８のイントラ予測では、図１９の（ｃ）の右矢印の下に記載のローパスフィルタ（１／２，１／４，１／２）によって再構築ピクチャの画像の周辺画素を平滑化した画素を参照画素として、図１９の（ｂ）に示す９種類の方向に参照画素を外挿して予測信号が形成される。
　一方、Intra_１６×１６は、図２０の（ａ）を参照すると、１６×１６ブロックサイズのイントラ予測であることが分かる。図１９の場合と同様に図面の丸（○）はイントラ予測に用いる参照画素、つまり、現在のピクチャと表示時刻が同一である再構築ピクチャの画素である。Intra_１６×１６のイントラ予測では、再構築ピクチャの画像の周辺画素をそのまま参照画素として、図２０の（ｂ）に示す４種類の方向に参照画素を外挿して予測信号が形成される。
　以下、イントラ予測信号を用いて符号化されるＭＢ及びブロックをそれぞれイントラＭＢ及びイントラブロックと呼ぶ。イントラ予測のブロックサイズをイントラ予測ブロックサイズと呼ぶ。また、外挿の方向をイントラ予測方向と呼ぶ。なお、イントラ予測ブロックサイズ及びイントラ予測方向は、イントラ予測に関する予測パラメータである。
　インター予測信号は、バッファ１０４に格納された現在のピクチャと表示時刻が異なる再構築ピクチャの画像から生成される予測信号である。以下、インター予測信号を用いて符号化されるＭＢ及びブロックをそれぞれインターＭＢ及びインターブロックと呼ぶ。インター予測のブロックサイズ（インター予測ブロックサイズ）として、例えば、１６×１６，１６×８，８×１６，８×８，８×４，４×８，４×４を選択することができる。
　図２１は、１６×１６のブロックサイズを例にしたインター予測の例を示す説明図である。図２１に示す動きベクトルＭＶ＝（mvx，mvy）は、符号化対象ブロックに対する参照ピクチャのインター予測ブロック（インター予測信号）の平行移動量を示す、インター予測の予測パラメータである。ＡＶＣでは、符号化対象ブロックの符号化対象ピクチャに対するインター予測信号の参照ピクチャの方向を表すインター予測の方向に加えて、符号化対象ブロックのインター予測に用いる参照ピクチャを同定するための参照ピクチャインデックスもインター予測の予測パラメータである。ＡＶＣでは、バッファ１０４に格納された複数枚の参照ピクチャをインター予測に利用できるからである。
　ＡＶＣのインター予測では、１／４画素精度で動きベクトルを求めることができる。図２２は、動き補償予測における輝度信号の補間処理を示す説明図である。図２２において、Ａは整数画素位置の画素信号、ｂ、ｃ、ｄは１／２画素精度の小数画素位置の画素信号、ｅ１、ｅ２、ｅ３は１／４画素精度の小数画素位置の画素信号を表わす。画素信号ｂは、水平方向の整数画素位置の画素に対して６タップのフィルタを適用して生成される。同様に、画素信号ｃは、垂直方向の整数画素位置の画素に対して６タップのフィルタを適用して生成される。画素信号ｄは、水平又は垂直方向の１／２画素精度の小数画素位置の画素に対して６タップのフィルタを適用して生成される。６タップのフィルタ係数は[1, -5, 20, 20, -5, 1]/32 で表される。画素信号ｅ１、ｅ２、及びｅ３は、それぞれ、近傍の整数画素位置又は小数画素画素位置の画素に対して２タップフィルタ[1, 1]/2を適用して生成される。
　イントラＭＢのみで符号化されたピクチャはＩピクチャと呼ばれる。イントラＭＢだけでなくインターＭＢも含めて符号化されたピクチャはＰピクチャと呼ばれる。インター予測に１枚の参照ピクチャだけでなく、さらに同時に２枚の参照ピクチャを用いるインターＭＢを含めて符号化されたピクチャはＢピクチャと呼ばれる。また、Ｂピクチャにおいて、符号化対象ブロックの符号化対象ピクチャに対するインター予測信号の参照ピクチャの方向が過去のインター予測を前方向予測、符号化対象ブロックの符号化対象ピクチャに対するインター予測信号の参照ピクチャの方向が未来のインター予測を後方向予測、過去と未来を含む参照ピクチャを同時に２枚用いるインター予測を双方向予測とそれぞれ呼ぶ。なお、インター予測の方向（インター予測方向）は、インター予測の予測パラメータである。
　予測器１０５は、符号化制御器１０８の指示に応じて、入力映像の信号と予測信号とを比較して、予測誤差画像ブロックのエネルギーが最小となる予測パラメータを決定する。符号化制御器１０８は、決定した予測パラメータをエントロピー符号化器１０２に供給する。
　変換／量子化器１０１は、予測誤差画像を周波数変換し、周波数変換係数を得る。
　さらに、変換／量子化器１０１は、所定の量子化ステップ幅Ｑs で、周波数変換係数を量子化する。以下、量子化された周波数変換係数を変換量子化値と呼ぶ。
　エントロピー符号化器１０２は、予測パラメータと変換量子化値をエントロピー符号化する。予測パラメータは、上述した予測モード（イントラ予測、インター予測）、イントラ予測ブロックサイズ、イントラ予測方向、インター予測ブロックサイズ、及び動きベクトルなど、ＭＢ及びブロックの予測に関連した情報である。
　逆変換／逆量子化器１０３は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０３は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ１０４に供給される。
　バッファ１０４は、供給される再構築画像を格納する。１フレーム分の再構築画像を再構築ピクチャと呼ぶ。
　多重化器１０６は、エントロピー符号化器１０２の出力データ、及び符号化パラメータを多重化して出力する。
　上述した動作に基づいて、映像符号化装置における多重化器１０６は、ビットストリームを生成する。
　非特許文献１に記載されている映像復号装置は、図２３に示すように構成される。以下、図２３に示される映像復号装置を一般的な映像復号装置と呼ぶ。
　図２３を参照して、ビットストリームを入力として復号された映像フレームを出力する、一般的な映像復号装置の構成と動作を説明する。
　図２３に示された映像復号装置は、多重化解除器２０１、エントロピー復号器２０２、逆変換／逆量子化器２０３、予測器２０４、及びバッファ２０５を備える。
　多重化解除器２０１は、入力されるビットストリームを多重化解除して、エントロピー符号化された映像ビットストリームを抽出する。
　エントロピー復号器２０２は、映像ビットストリームをエントロピー復号する。エントロピー復号器２０２は、ＭＢ及びブロックの予測パラメータ及び変換量子化値をエントロピー復号し、逆変換／逆量子化器２０３及び予測器２０４に供給する。
　逆変換／逆量子化器２０３は、量子化ステップ幅で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器２０３は、逆量子化した周波数変換係数を逆周波数変換する。
　逆周波数変換後、予測器２０４は、エントロピー復号したＭＢ及びブロックの予測パラメータに基づいて、バッファ２０５に格納された再構築ピクチャの画像を用いて予測信号を生成する。
　予測信号生成後、逆変換／逆量子化器２０３で逆周波数変換された再構築予測誤差画像は、予測器２０４から供給される予測信号が加えられて、再構築画像としてバッファ２０５に供給される。
　そして、バッファ２０５に格納された再構築ピクチャがデコード画像（デコード映像）として出力される。
　上述した動作に基づいて、一般的な映像復号装置はデコード画像を生成する。
ISO/IEC 14496-10 Advanced Video Coding "Test Model under Consideration", Document: JCTVC-B205, Joint Collaborative Team on Video Coding (JCT-VC) of ITU-T SG16 WP3 and ISO/IEC JTC1/SC29/WG11 2nd Meeting: Geneva, CH, 21-28 July, 2010
　ところで、非特許文献２はTest Model under Consideration方式（ＴＭｕＣ方式）を開示している。ＴＭｕＣ方式は、非特許文献１に開示された方式とは異なり、図２４に示す階層構造の符号化ユニット（Coding Tree Block （ＣＴＢ））を用いる。本明細書において、ＣＴＢのブロックをCoding Unit （ＣＵ：符号化ユニット）と呼ぶ。
　なお、最大のＣＵをLargest Coding Unit （ＬＣＵ）、最小のＣＵをSmallest Coding Unit（ＳＣＵ）と呼ぶ。また、ＴＭｕＣ方式においては、ＣＵに対する予測ユニットとしてPrediction Unit （ＰＵ）という概念（図２５参照）が導入されている。ＰＵは予測の基本単位であり、図２５に示される｛２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、Ｎ×Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎ｝の８種類のＰＵパーティションタイプが定義されている。インター予測が用いられるＰＵをインターＰＵ、イントラ予測が用いられるＰＵをイントラＰＵと呼ぶ。インター予測が用いられるＰＵパーティションをインターＰＵパーティション、イントラ予測が用いられるＰＵパーティションをイントラＰＵパーティションと呼ぶ。イントラＰＵパーティションは図２５に示された形状のうち２Ｎ×２Ｎ、及びＮ×Ｎの正方形のみがサポートされている。以下、ＣＵ及びＰＵの１辺の長さをそれぞれＣＵサイズ及びＰＵサイズと呼ぶ。
　また、ＴＭｕＣ方式では小数精度の予測画像を求めるために最大で１２タップのフィルタを用いることができる。画素位置とフィルタの係数の関係は以下のとおりである。
Figure JPOXMLDOC01-appb-T000001
　画素位置について、図２６を用いて説明する。図２６において、Ａ、Ｅが整数画素位置の画素であるとする。このとき、ｂが１／４画素位置の画素、ｃが１／２画素位置の画素、ｄが３／４画素位置の画素である。垂直方向も同様となる。
　図２２に示す画素ｂ又は画素ｃは、水平又は垂直方向の１／２画素位置用フィルタを１回適用することによって生成される。画素ｅ１は１／４画素位置用のフィルタを１回適用することによって生成される。
　図２７を参照して、画素ｅ２や画素ｅ３のように、その画素位置が水平垂直両方とも小数精度位置であり、そのうち少なくともどちらかが１／４画素位置である場合の小数画素生成の例を説明する。図２７において、画素Ａが整数画素位置の画素、画素ｃが求めたい小数画素位置の画素であるとする。このとき、まず、画素ｂが垂直方向の１／４画素位置用フィルタを適用することによって生成される。続いて、画素ｃが、小数画素ｂに対して、水平方向の３／４画素位置用フィルタを適用することによって生成される。なお、非特許文献２の8.3 Interpolation Methods には、小数画素生成のより詳細な説明が記載されている。
　ＴＭｕＣ方式ではすべての階層のＣＵのＰＵヘッダでＰＵパーティションタイプを示すシンタクス（非特許文献２の4.1.10 Prediction unit syntax の表記に従えば、イントラ予測の場合はintra_split_flag、インター予測の場合はinter_partitioning_idc）を出力ビットストリームに埋め込む。以後、intra_split_flagシンタクスをイントラＰＵパーティションタイプシンタクス、inter_partitioning_idcシンタクスをインターＰＵパーティションタイプシンタクスと呼ぶ。
　それぞれのＬＣＵ内に小さいサイズのＣＵが多く存在するとき、ビットストリームに含まれるインターＰＵパーティションタイプシンタクスのビット数の率が高くなり、圧縮映像の品質が低下する課題がある。
　また、ＴＭｕＣ方式ではインターＰＵパーティションのサイズが小さいほど、参照ピクチャに対するメモリアクセスが増加し、メモリ帯域を圧迫する課題がある。特に、ＴＭｕＣ方式では１２タップのフィルタを用いて小数画素を生成するため、メモリ帯域をより圧迫する。
　図２８は、１２タップフィルタを用いるときのメモリアクセス領域を説明するための説明図である。図２８（Ａ）はＮ×ＮのＰＵパーティションタイプが選択されたときの、１つのインターＰＵパーティションのメモリアクセス領域、図２８（Ｂ）は２Ｎ×２ＮのインターＰＵパーティションタイプが選択されたときのメモリアクセス領域を表わす。
　Ｎ×Ｎが選択されたとき、図２８（Ａ）における破線で囲まれたサイズのメモリアクセスを０，１，２，３のインターＰＵパーティションごとに計４回行うため、メモリアクセス量は、４（Ｎ＋１１）２＝４Ｎ２＋８８Ｎ＋４８４に参照ピクチャのビット量を乗算した値になる。２Ｎ×２ＮのインターＰＵパーティションのメモリアクセス量が（２Ｎ＋１１）２＝４Ｎ２＋４４Ｎ＋１２１に参照ピクチャのビット量を乗算した値であることから、Ｎ×ＮのインターＰＵパーティションのメモリアクセス量は２Ｎ×２Ｎのメモリアクセス量よりも大きくなる。
　例えば、Ｎ＝４、片方向予測、画素値のビット精度が８ｂｉｔのときの８×８ ＣＵにおけるインターＰＵのメモリアクセス量を考える。２Ｎ×２ＮのインターＰＵパーティションにおけるメモリアクセス量は１９×１９×１×８ｂｉｔ ＝ ２８８８ｂｉｔであるのに対し、Ｎ×ＮのインターＰＵパーティションにおけるメモリアクセス量は１５×１５×４×８ｂｉｔ ＝７２００ｂｉｔとなり、約２．５倍のメモリアクセス量となる。
　さらに、ＬＣＵ単位では、ＬＣＵのブロックサイズが１２８×１２８のとき、ＬＣＵを１個のインターＰＵパーティションで予測するときのメモリアクセス量は１３９×１３９×１×８ｂｉｔ＝１５４５６８ｂｉｔであるのに対して、ＬＣＵを全て４×４インターＰＵパーティションで予測するとき（すなわち、ＬＣＵを１０２４個のインターＰＵパーティションで予測するとき）のメモリアクセス量は１５×１５×１０２４×８ｂｉｔ＝１８４３２００ｂｉｔとなり、約１２倍のメモリアクセス量となる。
　本発明は、所定面積当たりのメモリ帯域を削減することを目的とする。
　本発明による映像符号化装置は、インター予測を用いて映像符号化を行う映像符号化装置であって、所定面積の画像ブロックに許容する動きベクトルの最大本数と、所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数とに基づいて、符号化対象ＣＵのインターＰＵパーティションタイプを制御する符号化制御手段を備えることを特徴とする。
　本発明による映像復号装置は、インター予測を用いて映像復号を行う映像復号装置であって、所定面積の画像ブロックに許容する動きベクトルの最大本数と、所定面積の画像ブロックに含まれる復号済み画像ブロックの動きベクトルの本数とに基づいて、復号対象ＣＵのインターＰＵパーティションタイプを制御する復号制御手段を備えることを特徴とする。
　本発明による映像符号化方法は、インター予測を用いて映像符号化を行う映像符号化方法であって、所定面積の画像ブロックに許容する動きベクトルの最大本数と、所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数とに基づいて、符号化対象ＣＵのインターＰＵパーティションタイプを制御することを特徴とする。
　本発明による映像復号方法は、インター予測を用いて映像復号を行う映像復号方法であって、所定面積の画像ブロックに許容する動きベクトルの最大本数と、所定面積の画像ブロックに含まれる復号済み画像ブロックの動きベクトルの本数とに基づいて、復号対象ＣＵのインターＰＵパーティションタイプを制御することを特徴とする。
　本発明による映像符号化プログラムは、インター予測を用いて映像符号化を行うコンピュータに、所定面積の画像ブロックに許容する動きベクトルの最大本数と、所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数とに基づいて、符号化対象ＣＵのインターＰＵパーティションタイプを制御する処理を実行させることを特徴とする。
　本発明による映像復号プログラムは、インター予測を用いて映像復号を行うコンピュータに、所定面積の画像ブロックに許容する動きベクトルの最大本数と、所定面積の画像ブロックに含まれる復号済み画像ブロックの動きベクトルの本数とに基づいて、復号対象ＣＵのインターＰＵパーティションタイプを制御する処理を実行させることを特徴とする。
　本発明によれば、所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数に基づいて、使用可能なインターＰＵパーティションを制限することによって、所定面積当たりのメモリ帯域を削減できる。
　また、所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数に基づいて、インター予測方向を制限することによって、所定面積当たりのメモリ帯域を削減できる。
第１の実施形態の映像符号化装置のブロック図である。 第１の実施形態の符号化制御器における予測パラメータ決定の動作を示すフローチャートである。 ＰＵパーティションタイプの候補決定の動作を示すフローチャートである。 ＰＵのパーティションごとのインター予測方向の候補決定の動作を示すフローチャートである。 シーケンスパラメータセットにおける、所定面積に関する情報、及び、所定面積の画像ブロックに許容する動きベクトルの最大本数に関する情報を示すリストの説明図である。 ＰＵヘッダ書き込みの動作を示すフローチャートである。 ＰＵシンタクスにおけるinter_partitioning_idcシンタクスに関する情報を示すリストの説明図である。 第３の実施形態の映像復号装置のブロック図である。 ＰＵヘッダ読み込みの動作を示すフローチャートである。 ピクチャパラメータセットにおける、所定面積に関する情報、及び、所定面積の画像ブロックに許容する動きベクトルの最大本数に関する情報を示すリストの説明図である。 スライスヘッダにおける、所定面積に関する情報、及び、所定面積の画像ブロックに許容する動きベクトルの本数に関する情報を示すリストの説明図である。 第４の実施形態の映像復号装置のブロック図である。 エラー検出の動作を示すフローチャートである。 本発明による映像符号化装置及び映像復号装置の機能を実現可能な情報処理システムの構成例を示すブロック図である。 本発明による映像符号化装置の主要部を示すブロック図である。 本発明による映像復号装置の主要部を示すブロック図である。 一般的な映像符号化装置のブロック図である。 ブロック分割の例を示す説明図である。 Intra_４×４とIntra_８×８のイントラ予測を説明するための説明図である。 Intra_１６×１６のイントラ予測を説明するための説明図である。 インター予測の例を示す説明図である。 動き補償予測における輝度信号の補間処理を示す説明図である。 一般的な映像復号装置のブロック図である。 ＣＴＢを説明するための説明図である。 ＰＵを説明するための説明図である。 小数画素位置を説明するための説明図である。 ＴＭｕＣ方式の１２タップフィルタを用いた小数画素生成方法を説明するための説明図である。 ＴＭｕＣ方式の１２タップフィルタを用いて小数画素を生成するときのメモリアクセス範囲を説明するための説明図である。
　上述した一般的技術の課題を解決するために、本発明では、所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数に基づいて、符号化対象ＣＵのインターＰＵパーティション、及び、インター予測方向を制限することで課題を解決する。本発明の一例では、所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数に基づいて、インターＰＵパーティションタイプの候補、及び、インター予測方向の候補をそれぞれ制限することで課題を解決する。本発明の別の一例では、ＰＵヘッダのインターＰＵパーティションタイプシンタクス伝送を制限することによって課題を解決する。本発明の上記の例によって、ビットストリームに含まれるインターＰＵパーティションタイプシンタクスのビット数の率を低く抑えて圧縮映像の品質を向上させつつ、メモリ帯域を抑制できる。
　なお、本明細書では、所定面積は、例えば１つのＬＣＵ、又は連続する複数個のＬＣＵを意味する。
実施形態１．
　第１の実施形態では、所定面積（画像における所定領域）の画像ブロックに許容する動きベクトルの最大本数と上記の所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数とに基づいて、インターＰＵパーティションタイプとインター予測方向を制御する符号化制御手段、及び、所定面積の画像ブロックに許容する動きベクトルの最大本数に関する情報を映像復号装置にシグナリングするための、所定面積に関する情報と所定面積の画像ブロックに許容する動きベクトルの最大本数に関する情報をビットストリームに埋め込む手段を備える映像符号化装置を示す。
　本実施形態では、所定面積を連続するnumSucLcu 個のＬＣＵ（１個以上のＬＣＵ）、所定面積あたりに許容する動きベクトルの最大本数をmaxNumMV、所定面積内の符号化済みＣＵに含まれる動きベクトルの本数をcurrNumMV とする。
　図１に示すように、本実施形態の映像符号化装置は、図１７に示された一般的な映像符号化装置と同様に、変換／量子化器１０１、エントロピー符号化器１０２、逆変換／逆量子化器１０３、バッファ１０４、予測器１０５、多重化器１０６、及び符号化制御器１０７を備える。
　図１に示す本実施形態の映像符号化装置では、図１７に示す映像符号化装置とは異なり、numSucLcu 、及び、maxNumMVに基づいて、インターＰＵパーティションタイプ、及び、インター予測方向を制御するために、numSucLcu とmaxNumMVが符号化制御器１０７に供給されている。さらに、numSucLcu 及びmaxNumMVを映像復号装置にシグナリングするために、numSucLcu 及びmaxNumMVが多重化器１０６にも供給されている。
　符号化制御器１０７は、符号化歪み（入力信号と再構築ピクチャの誤差画像のエネルギー）と発生ビット量から計算されるコスト（Rate-Distortion コスト：R-D コスト）を予測器１０５に計算させる。符号化制御器１０７は、R-D コストが最小となる、ＣＵ分割形状（図２４に示したように、split_coding_unit_flagによって決定する分割形状）、及び、各ＣＵの予測パラメータを決定する。符号化制御器１０７は、決定したsplit_coding_unit_flag及び各ＣＵの予測パラメータを予測器１０５及びエントロピー符号化器１０２に供給する。予測パラメータは、予測モード（pred_mode ）、イントラＰＵパーティションタイプ（intra_split_flag）、イントラ予測方向、インターＰＵパーティションタイプ（inter_partitioning_idc）、及び動きベクトルなど、符号化対象ＣＵの予測に関連した情報である。
　ただし、本実施形態の符号化制御器１０７は、一例として、numSucLcu 及びmaxNumMVに基づいて、ＰＵパーティションタイプを制御する。４<=maxNumMV - currNumMVのとき、本実施形態の符号化制御器１０７は、予測パラメータとして最適なＰＵパーティションタイプを、イントラ予測｛２Ｎ×２Ｎ、Ｎ×Ｎ｝、インター予測全セットの計１０種類から選択する。２<= maxNumMV - currNumMV < ４のとき、符号化制御器１０７は、予測パラメータとして最適なＰＵパーティションタイプを、イントラ予測｛２Ｎ×２Ｎ、Ｎ×Ｎ｝、インター予測｛２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎ｝の９種類から選択する。１<= maxNumMV - currNumMV < ２のとき、符号化制御器１０７は、予測パラメータとして最適なＰＵパーティションタイプを、イントラ予測｛２Ｎ×２Ｎ、Ｎ×Ｎ｝、インター予測｛２Ｎ×２Ｎ｝の３種類から選択する。maxNumMV - currNumMV <１のとき、符号化制御器１０７は、予測パラメータとして最適なＰＵパーティションタイプを、イントラ予測｛２Ｎ×２Ｎ、Ｎ×Ｎ｝の２種類から選択する。
　さらに、本実施形態の符号化制御器１０７は、maxNumMV及びcurrNumMV に基づいて、インター予測方向の候補を制御する。例えば、符号化制御器１０７は、選択対象となる２Ｎ×２Ｎ インターＰＵパーティションに対して、２ <= maxNumMV - currNumMVのとき、予測パラメータであるインター予測方向を｛前、後、双｝から選択する。１<= maxNumMV - currNumMV < ２のとき、符号化制御器１０７は、予測パラメータであるインター予測方向を｛前、後｝から選択する。なお、maxNumMV - currNumMV <１のとき、選択対象となるＰＵパーティションタイプはイントラである。
　図２は、各ＣＵの予測パラメータ決定に関する本実施形態の符号化制御器１０７の動作を示すフローチャートである。
　図２に示すように、符号化制御器１０７は、ステップＳ１０１で、ＰＵパーティションの候補を決定する。ステップＳ１０２で、符号化制御器１０７は、インター予測方向の候補を決定する。ステップＳ１０３で、ステップＳ１０１とステップＳ１０２で決定したＰＵパーティションタイプ及びインター予測方向の候補を用いて、R-D コストに基づき予測パラメータを決定する。ステップＳ１０４で、符号化制御器１０７は、ステップＳ１０２及びＳ１０３の処理で決定されたＰＵパーティションタイプ及びインター予測方向からcurrNumMV を更新する。
　符号化制御器１０７は、ステップＳ１０４の処理で、ＰＵパーティションタイプのインター予測方向が双方向予測である場合にはcurrNumMV=currNumMV+２とし、それ以外である場合にはcurrNumMV=currNumMV+１とcurrNumMV を更新する。
　図３は、図２におけるステップＳ１０１でＰＵパーティションタイプの候補を決定する動作を示すフローチャートである。
　符号化制御器１０７は、ステップＳ２０１で４ <= maxNumMV - currNumMVと判定したとき、ステップＳ２０２でＰＵパーティションタイプの候補をイントラ予測｛２Ｎ×２Ｎ、Ｎ×Ｎ｝、インター予測全セットの１０種類に設定する。
　それ以外のとき、すなわちステップＳ２０１でmaxNumMV - currNumMV <４と判定したとき、符号化制御器１０７は、ステップＳ２０３で２<= maxNumMV - currNumMV < ４と判定したとき、ステップＳ２０４でＰＵパーティションタイプの候補をイントラ予測｛２Ｎ×２Ｎ、Ｎ×Ｎ｝、インター予測｛２Ｎ×２Ｎ、２Ｎ×Ｎ、Ｎ×２Ｎ、２Ｎ×ｎＵ、２Ｎ×ｎＤ、ｎＬ×２Ｎ、ｎＲ×２Ｎ｝の９種類に設定する。
　それ以外の場合、すなわちステップＳ２０３でmaxNumMV - currNumMV < ２と判定した場合、符号化制御器１０７は、ステップＳ２０５で１ <= maxNumMV - currNumMV < ２と判定したとき、ステップＳ２０６でＰＵパーティションタイプの候補をイントラ予測｛２Ｎ×２Ｎ、Ｎ×Ｎ｝、インター予測｛２Ｎ×２Ｎ｝の３種類に設定する。
　それ以外のとき、すなわちステップＳ２０５でmaxNumMV - currNumMV <１と判定したとき、符号化制御器１０７は、ＰＵパーティションタイプの候補をイントラ予測｛２Ｎ×２Ｎ、Ｎ×Ｎ｝の２種類に設定する。
　図４は、図２のステップＳ１０２でインター予測方向の候補を決定する動作を示すフローチャートである。以下、説明のため、ＰＵの各パーティションのインデックスをｉ、パーティション数をｍと表す。例えば、ＰＵパーティションタイプがＮ×Ｎのとき、ｍ＝４、インデックスｉは１， ２， ３， ４の値をとる。
　ステップＳ３０１で、符号化制御器１０７は、ｋ＝currNumMV 、ｍをＰＵのパーティション数とする。
　ステップＳ３０２で、符号化制御器１０７は、ＰＵパーティションのインデックスを表わす変数ｉを１に設定する。
　ステップＳ３０３で、maxNumMV - ｋ - （ｍ－ｉ） >= ２と判定したとき、符号化制御器１０７は、ステップＳ３０４で、パーティションｉのインター予測方向の候補を｛前、後、双｝に設定し、ステップＳ３０５でｋ＝ｋ＋２とする。
　それ以外の場合、すなわちステップＳ３０３で、maxNumMV - ｋ -（ｍ－ｉ）≦１と判定した場合、符号化制御器１０７は、ステップＳ３０６で、パーティションｉのインター予測方向の候補を｛前、後｝に設定し。ステップＳ３０７でｋ＝ｋ＋１とする。
　ステップＳ３０８でｉがｍと等しい場合には処理を終了する。
　それ以外の場合は、符号化制御器１０７は、ステップＳ３０９でｉ＝ｉ＋１と設定し、ステップＳ３０３に戻る。
　予測器１０５は、符号化制御器１０７が決定した各ＣＵの予測パラメータに対応する予測信号を選定する。
　符号化制御器１０７が決定した形状の各ＣＵの入力映像は、予測器１０５から供給される予測信号が減じられて予測誤差画像となり、変換／量子化器１０１に入力される。
　変換／量子化器１０１は、予測誤差画像を周波数変換し、周波数変換係数を得る。
　さらに、変換／量子化器１０１は、量子化ステップ幅Ｑs で、周波数変換係数を量子化し、変換量子化値を得る。
　エントロピー符号化器１０２は、符号化制御器１０７から供給されるsplit_coding_unit_flag（図２４参照）、予測パラメータ、及び変換／量子化器１０１から供給される変換量子化値をエントロピー符号化する。
　逆変換／逆量子化器１０３は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０３は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ１０４に供給される。
　多重化器１０６は、所定面積に関する情報、所定面積あたりに許容する動きベクトルの本数に関する情報、及びエントロピー符号化器１０３の出力データを多重化して出力する。非特許文献２の4.1.2 Sequence parameter set RBSP syntaxの表記に従えば、多重化器１０６は、図５に示すリストに表されるように、num_successive_largest_coding_unit（本実施形態においては、numSucLcu の値）、及び、max_num_motion_vector シンタクス（本実施形態においては、maxNumMVの値）を多重化する。
　上述した動作に基づいて、発明の映像符号化装置はビットストリームを生成する。
　本実施形態の映像符号化装置は、所定面積内で所定面積の画像ブロックに許容する動きベクトルの最大本数より多くの動きベクトルが使用されないように、所定面積の画像ブロックに許容する動きベクトルの最大本数、及び、上記の所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数に基づいて符号化対象ＣＵのインターＰＵパーティションタイプ、及びインター予測方向を制御する符号化制御手段を備える。
　すなわち、映像符号化装置は、所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数が動きベクトルの最大本数未満のときに、符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスを所定のインターＰＵパーティションタイプに設定してエントロピー符号化する。
　所定面積内で動きベクトルの最大本数より多くの動きベクトルが使用されないようにすることによってメモリ帯域が削減される。また、所定面積内で動きベクトルの最大本数より多くの動きベクトルが使用されないようにすることによって、シグナリングされるインターＰＵパーティションタイプシンタクスの個数が削減されるので、ビットストリームに占めるＰＵヘッダの符号量の割合が小さくなり映像の品質が改善する。
　各インターＰＵパーティションタイプの発生確率に偏りが生じ、エントロピーが減少するため、エントロピー符号化の効率が上がる。よって、メモリ帯域を削減しつつ圧縮映像の品質を保持できる。
　また、本実施形態の映像符号化装置は、所定面積に関する情報、及び、所定面積の画像ブロックに許容する動きベクトルの最大本数に関する情報をビットストリームに埋め込む。よって、映像復号装置に所定面積に関する情報、及び、所定面積の画像ブロックに許容する動きベクトルの最大本数がシグナリングされるようになり、映像符号化装置と映像復号装置の相互運用性を高めることができる。
実施形態２． 
　第２の実施形態の映像符号化装置は、外部設定される所定面積と所定面積の画像ブロックに許容する動きベクトルの最大本数に基づいて、インターＰＵパーティションタイプとインター予測方向を制御し、上記の所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数に基づいてインターＰＵパーティションタイプシンタクスのエントロピー符号化を制御する符号化制御手段、及び、所定面積の画像ブロックに許容する動きベクトルの最大本数と所定面積に許容する動きベクトルの本数とに関する情報を映像復号装置にシグナリングするための、所定面積に関する情報と所定面積の画像ブロックに許容する動きベクトルの最大本数に関する情報と所定面積あたりに許容する動きベクトルの本数に関する情報とをビットストリームに埋め込む手段を備える。
　本実施形態では、所定面積を連続するnumSucLcu 個のＬＣＵ、所定面積の画像ブロックに許容する動きベクトルの最大本数をmaxNumMV、所定面積内の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数をcurrNumMV とする。
　本実施形態の映像符号化装置の構成は、図１に示された第１の実施形態の映像符号化装置の構成と同様である。
　図１に示す本実施形態の映像符号化装置では、図１７に示す映像符号化装置とは異なり、numSucLcu 及びmaxNumMVに基づいて、インターＰＵパーティション、及び、インター予測方向を制御するために、numSucLcu とmaxNumMVが符号化制御器１０７に供給されている。さらに、numSucLcu 及びmaxNumMVを映像復号装置にシグナリングするために、numSucLcu 及びmaxNumMVが多重化器１０６にも供給されている。
　符号化制御器１０７は、符号化歪み（入力信号と再構築ピクチャの誤差画像のエネルギー）と発生ビット量から計算されるR-D コストを予測器１０５に計算させる。符号化制御器１０７は、R-D コストが最小となる、ＣＵ分割形状（図２４に示したように、split_coding_unit_flagによって決定する分割形状）、及び、各ＣＵの予測パラメータを決定する。符号化制御器１０７は、決定したsplit_coding_unit_flag及び各ＣＵの予測パラメータを予測器１０５及びエントロピー符号化器１０２に供給する。予測パラメータは、予測モード（pred_mode ）、イントラＰＵパーティションタイプ（intra_split_flag）、イントラ予測方向、インターＰＵパーティションタイプ（inter_partitioning_idc）、及び動きベクトルなど、符号化対象ＣＵの予測に関連した情報である。
　本実施形態の符号化制御器１０７は、第１実施形態と同様に、ＰＵパーティションタイプ及びインター予測方向の候補を決定する。符号化制御器１０７は、決定したＰＵパーティション及びインター予測方向の候補を用いて、R-D コストに基づき予測パラメータを決定する。
　ただし、本実施形態の符号化制御器１０７は、符号化対象ＣＵの予測モードがインター予測であり、かつ、maxNumMV - currNumMV≦１である場合は、inter_partitioning_idcをエントロピー符号化しないようにエントロピー符号化器１０２を制御する。
　予測器１０５は、符号化制御器１０７が決定した各ＣＵの予測パラメータに対応する予測信号を選定する。
　符号化制御器１０７が決定した形状の各ＣＵの入力映像は、予測器１０５から供給される予測信号が減じられて予測誤差画像となり、変換／量子化器１０１に入力される。
　変換／量子化器１０１は、予測誤差画像を周波数変換し、周波数変換係数を得る。
　さらに、変換／量子化器１０１は、量子化ステップ幅Ｑs で、周波数変換係数を量子化し、変換量子化値を得る。
　エントロピー符号化器１０２は、符号化制御器１０７から供給されるsplit_coding_unit_flag（図２４参照）、予測パラメータ、及び変換／量子化器１０１から供給される変換量子化値をエントロピー符号化する。
　逆変換／逆量子化器１０３は、量子化ステップ幅Ｑs で、変換量子化値を逆量子化する。さらに、逆変換／逆量子化器１０３は、逆量子化した周波数変換係数を逆周波数変換する。逆周波数変換された再構築予測誤差画像は、予測信号が加えられて、バッファ１０４に供給される。
　多重化器１０６は、所定面積に関する情報、所定面積あたりに許容する動きベクトルの本数に関する情報、及びエントロピー符号化器１０３の出力データを多重化して出力する。非特許文献２の4.1.2 Sequence parameter set RBSP syntaxの表記に従えば、多重化器１０６は、図５に示すリストに表されるように、num_successive_largest_coding_unit（本実施形態においては、numSucLcu の値）、及び、max_num_motion_vector シンタクス（本実施形態においては、maxNumMVの値）を多重化する。
　上述した動作に基づいて、発明の映像符号化装置はビットストリームを生成する。
　次に、本実施形態の特徴であるインターＰＵパーティションタイプシンタクス書き込みの動作を図６のフローチャートを参照して説明する。
　図６に示すように、エントロピー符号化器１０２は、ステップＳ４０１で、split_coding_unit_flagをエントロピー符号化する。
　また、ステップＳ４０２で、エントロピー符号化器１０２は、予測モードをエントロピー符号化する。すなわち、pred_mode シンタクスをエントロピー符号化する。
　ステップＳ４０３で、符号化対象ＣＵの予測モードがインター予測であると判定し、かつ、ステップＳ４０４でmaxNumMV - currNumMV≦１であると判定した場合には、符号化制御器１０７は、エントロピー符号化器１０２におけるinter_partitioning_idcシンタクスのエントロピー符号化をスキップするように制御する。
　なお、ステップＳ４０３で符号化対象ＣＵがイントラ予測であると判定した場合、又は、ステップＳ４０４でmaxNumMV - currNumMV≧２であると判定した場合には、ステップＳ４０５で符号化制御器１０７は、エントロピー符号化器１０２が該符号化対象ＣＵのＰＵパーティションタイプ情報をエントロピー符号化するように制御する。
　なお、上述したpred_mode シンタクス、及びinter_partitioning_idcシンタクスは、非特許文献２の4.１.１0 Prediction unit syntax の表記に従えば、図７に示すリストに表されるようにシグナリングされる。"if（maxNumMV - currNumMV >= ２）" の条件によって、所定面積の画像ブロックに許容する動きベクトルの最大本数から所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数を減じた本数が２本以上であれば、inter_partitioning_idcシンタクスがシグナリングされることが、本実施形態の特徴である。
　本実施形態の映像符号化装置は、所定面積の画像ブロックに許容する動きベクトルの最大本数に基づく所定面積に許容する動きベクトルの本数（本実施形態では、動きベクトルの最大本数－１）に基づいて、インターＰＵパーティションタイプ、及びインター予測方向を制御する符号化制御手段を備える。映像符号化装置は、不必要なインターＰＵパーティションタイプ情報を伝送しないことによって、ビットストリームに含まれるインターＰＵパーティションタイプのビット数の率を低く抑えて、メモリ帯域を削減しつつ圧縮映像の品質を保持できる。
　また、本実施形態の映像符号化装置は、映像復号についても同様にインターＰＵパーティションタイプシンタクスをビットストリームから読み出せるように、外部設定される所定面積に関する情報、所定面積の画像ブロックに許容する動きベクトルの最大本数及び所定面積に許容する動きベクトルの本数に関する情報をビットストリームに埋め込む手段を備える。よって、映像符号化装置と映像復号装置の相互運用性を高めることができる。
　また、本実施形態の映像符号化装置は、さらに、シグナリングされるインターＰＵパーティションタイプシンタクスの個数を削減するように、所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数が、動きベクトルの最大本数から１減じた本数以上のときに、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化させず、動きベクトルの最大本数から１減じた本数未満のときにのみインターＰＵパーティションタイプシンタクスをシグナリングするように制御する。シグナリングされるインターＰＵパーティションタイプシンタクスの個数を削減することによって、ビットストリームに占めるＰＵヘッダの符号量の割合が小さくなって映像の品質がさらに改善する。
実施形態３．
　第３の実施形態の映像復号装置は、第２の実施形態の映像符号化装置が生成したビットストリームを復号する。
　本実施形態の映像復号装置は、ビットストリームに多重化された所定面積に関する情報及び所定面積の画像ブロックに許容する動きベクトルの本数に関する情報を多重化解除する手段、及び、所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数に基づいてインターＰＵパーティションタイプをビットストリームから読み出す読み出し手段を備えることを特徴とする。
　図８に示すように、本実施形態の映像復号装置は、多重化解除器２０１、エントロピー復号器２０２、逆変換／逆量子化器２０３、予測器２０４、バッファ２０５、及び復号制御器２０６を備える。
　多重化解除器２０１は、入力されるビットストリームを多重化解除して、所定面積に関する情報、所定面積の画像ブロックに許容する動きベクトルの本数に関する情報及びエントロピー符号化された映像ビットストリームを抽出する。多重化解除器２０１は、図５に示すリストに示されるように、シーケンスパラメータにおいて、num_successive_largest_coding_unitシンタクス及びmax_num_motion_vector シンタクスを多重化解除する。
 さらに、多重化解除器２０１は所定面積に関する情報、及び、所定面積の画像ブロックに許容する動きベクトルの最大本数を復号制御器２０６に供給する。
　エントロピー復号器２０２は、映像ビットストリームをエントロピー復号する。エントロピー復号器２０２は、エントロピー復号した変換量子化値を逆変換／逆量子化器２０３に供給する。エントロピー復号器２０２は、エントロピー復号したsplit_coding_unit_flag及び予測パラメータを復号制御器２０６に供給する。
　ただし、所定面積の画像ブロックに含まれる復号済み画像ブロックの動きベクトルの本数をcurrNumMV とすると、本実施形態の復号制御器２０６は、復号対象ＣＵの予測モードがインター予測であり、かつ、maxNumMV - currNumMV≦１であるとき、エントロピー復号器２０２に該復号対象ＣＵのインターＰＵパーティションタイプシンタクスのエントロピー復号をスキップさせる。さらに、多重化解除器２０１は、該復号対象ＣＵのインターＰＵパーティションタイプを２Ｎ×２Ｎに設定する。なお、復号対象CUの予測モードがインター予測であるとき、currNumMVは、インターＰＵパーティションタイプに続いて復号される各パーティションのインター予測方向に基づき更新される。すなわち、復号制御器２０６は、各パーティションについて、パーティションのインター予測方向が双方向予測である場合にはcurrNumMV=currNumMV+２とし、それ以外である場合にはcurrNumMV=currNumMV+１とcurrNumMV を更新する。
　逆変換／逆量子化器２０３は、量子化ステップ幅で、輝度及び色差の変換量子化値を逆量子化する。さらに、逆変換／逆量子化器２０３は、逆量子化した周波数変換係数を逆周波数変換する。
　逆周波数変換後、予測器２０４は、復号制御器２０６から供給される予測パラメータに基づいて、バッファ２０５に格納された再構築ピクチャの画像を用いて予測信号を生成する。
　逆変換／逆量子化器２０３で逆周波数変換された再構築予測誤差画像は、予測器２０４から供給される予測信号が加えられて、再構築ピクチャとしてバッファ２０５に供給させる。
　そして、バッファ２０５に格納された再構築ピクチャがデコード画像として出力される。
　上述した動作に基づいて、本実施形態の映像復号装置はデコード画像を生成する。
　次に、本実施形態の特徴であるインターＰＵパーティションタイプシンタクス読み込みの動作を図９のフローチャートを参照して説明する。
　図９に示すように、エントロピー復号器２０２は、ステップＳ５０１で、split_coding_unit_flagをエントロピー復号してＣＵのサイズを確定する。 
　続いて、ステップＳ５０２で、エントロピー復号器２０２は、予測モードをエントロピー復号する。すなわち、pred_mode シンタクスをエントロピー復号する。 
　続いて、ステップＳ５０３で、予測モードがインター予測であり、かつ、ステップＳ５０４にて、maxNumMV - currNumMV≦１であると判定したとき、ステップＳ５０５にて、復号制御器２０６は、エントロピー復号器２０４におけるインターＰＵパーティションタイプのエントロピー復号をスキップさせる。さらに、該ＣＵのＰＵパーティションタイプを２Ｎ×２Ｎと設定する（inter_partitioning_idc＝０とする）。 
　なお、ステップＳ５０３で、予測モードがイントラ予測であると判定したとき、又は、ステップＳ５０４で、maxNumMV - currNumMV≧２であると判定したとき、復号制御器２０６は、ステップＳ５０６で、エントロピー復号器２０４における該復号対象ＣＵのＰＵパーティションタイプをエントロピー復号し、該ＣＵのＰＵパーティションタイプをエントロピー復号結果のＰＵパーティションタイプに設定する。
　また、第２の実施形態の映像符号化装置は、第１の実施形態で利用された所定面積に関する情報（num_successive_largest_coding_unit）、及び、所定面積あたりに許容する動きベクトルの本数に関する情報（max_num_motion_vector ）を、図１０に示すリストや図１１に示すリストに表されているように、ピクチャパラメータセットやスライスヘッダにおいて多重化できる。なお、図１０は、ピクチャパラメータセットにおける、所定面積に関する情報、及び、所定面積の画像ブロックに許容する動きベクトルの最大本数に関する情報を示すリストの説明図である。図１１は、スライスヘッダにおける、所定面積に関する情報、及び、所定面積の画像ブロックに許容する動きベクトルの本数に関する情報を示すリストの説明図である。
　同様に、上述した発明の映像復号装置は、ピクチャパラメータセットやスライスヘッダからnum_successive_largest_coding_unitシンタクス、及び、max_num_motion_vector シンタクスを多重化解除できる。
　本実施形態の映像復号装置は、所定面積内で所定面積の画像ブロックに許容する動きベクトルの最大本数より多くの動きベクトルが使用されないように、所定面積の画像ブロックに許容する動きベクトルの最大本数、及び、上記の所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数に基づいて復号対象ＣＵのインターＰＵパーティションタイプ、及びインター予測方向を制御する復号制御手段を備える。
　所定面積内で動きベクトルの最大本数より多くの動きベクトルが使用されないようにすることによってメモリ帯域が削減される。
実施形態４．
　第４の実施形態の映像復号装置は、第１の実施形態の映像符号化装置が生成したビットストリームを復号する。
　本実施形態の映像復号装置は、ビットストリームに多重化された所定面積に関する情報及び所定面積の画像ブロックに許容する動きベクトルの最大本数に関する情報を多重化解除する手段、及び、上記の所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数に基づいて復号対象ＣＵを含むビットストリームのアクセスユニットにおけるエラーを検出するエラー検出手段を備えることを特徴とする。アクセスユニットは、非特許文献１の3.1 access unit において定義されているように、１ピクチャ分の符号化データを格納する単位である。エラーは、所定面積あたりに許容する動きベクトルの本数に基づく制約に対する違反を意味する。
　図１２に示すように、本実施形態の映像復号装置は、多重化解除器２０１、エントロピー復号器２０２、逆変換／逆量子化器２０３、予測器２０４、バッファ２０５、及びエラー検出器２０７を備える。
　多重化解除器２０１は、第３の実施形態における多重化解除器２０１と同様に動作し、入力されるビットストリームを多重化解除して、所定面積に関する情報、所定面積の画像ブロックに許容する動きベクトルの最大本数に関する情報及びエントロピー符号化された映像ビットストリームを抽出する。多重化解除器２０１は、図５に示すリストに示されるように、シーケンスパラメータにおいて、num_successive_largest_coding_unitシンタクス及びmax_num_motion_vector シンタクスを多重化解除する。
　さらに、多重化解除器２０１は、所定面積に関する情報、所定面積の画像ブロックに許容する動きベクトルの最大本数をエラー検出器２０７に供給する。
　エントロピー復号器２０２は、映像ビットストリームをエントロピー復号する。エントロピー復号器２０２は、エントロピー復号した変換量子化値を逆変換／逆量子化器２０３に供給する。エントロピー復号器２０２は、エントロピー復号したsplit_coding_unit_flag及び予測パラメータをエラー検出器２０７に供給する。
　エラー検出器２０７は、多重化解除器２０１から供給される所定面積に関する情報と所定面積の画像ブロックに許容する動きベクトルの最大本数に基づいて、エントロピー復号器２０１から供給される予測パラメータのエラー検出を行い、予測パラメータを予測器２０４に供給する。エラー検出の動作は後述される。なお、エラー検出器２０７は、第３の実施形態における復号制御器２０６の役割も果たす。
　逆変換／逆量子化器２０３は、第３の実施形態における逆変換／逆量子化器２０３と同様に動作する。
　予測器２０４は、エラー検出器２０７から供給される予測パラメータに基づいて、バッファ２０５に格納された再構築ピクチャの画像を用いて予測信号を生成する。
　バッファ２０５は、第３の実施形態におけるバッファ２０５と同様に動作する。
　上述した動作に基づいて、本実施形態の映像復号装置はデコード画像を生成する。
　図１３に示すフローチャートを参照して、復号対象ＣＵを含むビットストリームのアクセスユニットのエラーを検出する、本実施形態の映像復号装置のエラー検出動作を説明する。
　ステップＳ６０１で、エラー検出器２０７は、復号対象ＣＵのＰＵの予測モードがイントラであると判定した場合には処理を終了する。
　予測モードがインター予測ならば、ステップＳ６０２で、エラー検出器２０７は、ｍを復号対象ＣＵのＰＵのパーティション数とする。
　ステップＳ６０３で、エラー検出器２０７は、ｉ＝１と設定する。
　ステップＳ６０４で、エラー検出器２０７は、パーティションｉのインター予測方向を読み込み、双方向予測ならばcurrNumMV=currNumMV+2 、それ以外ならばcurrNumMV=currNumMV+1 とcurrNumMV を更新する。
　ステップＳ６０５で、エラー検出器２０７は、残りのインターＰＵで使用可能な動きベクトルの本数（maxNumMV - currNumMV）が、残りのパーティション数（ｍ－ｉ）より少ない場合には、ステップＳ６０６でエラーがあると判断し、エラーを外部に通知する。例えば、エラーが発生したＣＵのアドレスを出力する。
　maxNumMV - currNumMVが、残りのパーティション数（ｍ－ｉ）以上である場合には、ステップＳ６０７でｉがｍと等しいときには処理を終了する。
　ステップＳ６０７でｉがｍと異なるときには、ステップＳ６０８で、エラー検出器２０７は、ｉ＝ｉ＋１と設定し、ステップＳ６０４に戻る。
　以上の動作により、エラー検出器２０７は、復号対象ＣＵを含むビットストリームのアクセスユニットのエラーを検出する。
　なお、上述した発明の映像符号化装置、及び、映像復号装置は、所定面積の画像ブロックに許容する動きベクトルの最大本数に基づいて、符号化対象ＣＵのインターＰＵパーティションを制御したが、同様の制御を、所定面積の画像ブロックに許容するインターＰＵパーティション数の最大数、又は、所定面積の画像ブロックに許容するメモリアクセスの最大量を用いて行うことも可能である。
　また、上記の各実施形態を、ハードウェアで構成することも可能であるが、コンピュータプログラムにより実現することも可能である。
　図１４に示す情報処理システムは、プロセッサ１００１、プログラムメモリ１００２、映像データを格納するための記憶媒体１００３及びビットストリームを格納するための記憶媒体１００４を備える。記憶媒体１００３と記憶媒体１００４とは、別個の記憶媒体であってもよいし、同一の記憶媒体からなる記憶領域であってもよい。記憶媒体として、ハードディスク等の磁気記憶媒体を用いることができる。
　図１４に示された情報処理システムにおいて、プログラムメモリ１００２には、図１、図８、図１２のそれぞれに示された各ブロック（バッファのブロックを除く）の機能を実現するためのプログラムが格納される。そして、プロセッサ１００１は、プログラムメモリ１００２に格納されているプログラムに従って処理を実行することによって、図１、図８、図１２のそれぞれに示された映像符号化装置又は映像復号装置の機能を実現する。
　図１５は、本発明による映像符号化装置の主要部を示すブロック図である。図１５に示すように、本発明による映像符号化装置は、インター予測を用いて映像符号化を行う映像符号化装置であって、所定面積の画像ブロックに許容する動きベクトルの最大本数（ＰＡ）と、所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数（ＰＢ）とに基づいて、符号化対象ＣＵのインターＰＵパーティションタイプを制御する符号化制御手段１１（一例として、図１に示す符号化制御器１０７）を備える。
　図１６は、本発明による映像復号装置の主要部を示すブロック図である。図１６に示すように、本発明による映像復号装置は、インター予測を用いて映像復号を行う映像復号装置であって、所定面積の画像ブロックに許容する動きベクトルの最大本数（ＰＡ）と、所定面積の画像ブロックに含まれる復号済み画像ブロックの動きベクトルの本数（ＰＢ）とに基づいて、復号対象ＣＵのインターＰＵパーティションタイプを制御する復号制御手段２１（一例として、図８及び図１２に示す復号制御器２０７）を備える。
　以上、実施形態および実施例を参照して本発明を説明したが、本発明は上記実施形態および実施例に限定されない。本発明の構成や詳細には、本発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　この出願は、２０１１年１月１３日に出願された日本特許出願２０１１－４９６３を基礎とする優先権を主張し、その開示の全てをここに取り込む。
　１１　　符号化制御手段
　２１　　復号制御手段
　１０１　変換／量子化器
　１０２　エントロピー符号化器
　１０３　逆変換／逆量子化器
　１０４　バッファ
　１０５　予測器
　１０６　多重化器
　１０７，１０８　符号化制御器
　２０１　多重化解除器
　２０２　エントロピー復号器
　２０３　逆変換／逆量子化器
　２０４　予測器
　２０５　バッファ
　２０６　復号制御器
　２０７　エラー検出器
　１００１　プロセッサ
　１００２　プログラムメモリ
　１００３　記憶媒体
　１００４　記憶媒体

Claims (30)

  1. 　インター予測を用いて映像符号化を行う映像符号化装置であって、
    　所定面積の画像ブロックに許容する動きベクトルの最大本数と、前記所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数とに基づいて、符号化対象ＣＵのインターＰＵパーティションタイプを制御する符号化制御手段を備えることを特徴とする映像符号化装置。
  2. 　前記符号化制御手段は、符号化対象ＣＵのインターＰＵパーティションタイプのインター予測方向も制御する請求項１記載の映像符号化装置。
  3. 　前記所定面積を示すデータ、及び前記動きベクトルの最大本数をビットストリームに多重化する多重化手段を備える請求項１又は請求項２記載の映像符号化装置。
  4. 　エントロピー符号化手段を備え、
    　前記符号化制御手段は、前記所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数が、前記動きベクトルの最大本数未満のときに、前記エントロピー符号化手段に、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスを所定のインターＰＵパーティションタイプに設定してエントロピー符号化させる請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。
  5. 　エントロピー符号化手段を備え、
    　前記符号化制御手段は、前記所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数が、前記動きベクトルの最大本数から１減じた本数以上であるときには、前記エントロピー符号化手段に、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化させず、前記動きベクトルの本数が、前記動きベクトルの最大本数から１減じた本数未満であるときに、前記エントロピー符号化手段に、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化させる請求項１から請求項３のうちのいずれか１項に記載の映像符号化装置。
  6. 　インター予測を用いて映像復号を行う映像復号装置であって、
    　所定面積の画像ブロックに許容する動きベクトルの最大本数と、前記所定面積の画像ブロックに含まれる復号済み画像ブロックの動きベクトルの本数とに基づいて、復号対象ＣＵのインターＰＵパーティションタイプを制御する復号制御手段を備えることを特徴とする映像復号装置。
  7. 　前記復号制御手段は、復号対象ＣＵのインターＰＵパーティションタイプのインター予測方向も制御する請求項６記載の映像復号装置。
  8. 　前記所定面積を示すデータ、及び、前記動きベクトルの最大本数をビットストリームから多重化解除する多重化解除手段を備える請求項６又は請求項７記載の映像復号装置。
  9. 　エントロピー復号手段を備え、
    　前記復号制御手段は、前記所定面積の画像ブロックに含まれる復号済み画像ブロックの動きベクトルの本数が、前記動きベクトルの最大本数から１減じた本数以上であるときには、前記エントロピー復号手段に、該復号対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号させず、前記動きベクトルの本数が、前記動きベクトルの最大本数未満であるときに、前記エントロピー復号手段に、該復号対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号させる請求項６から請求項８のうちのいずれか１項に記載の映像復号装置。
  10. 　前記復号制御手段は、前記所定面積の画像ブロックに含まれる復号済み画像ブロックの動きベクトルの本数が、前記動きベクトルの最大本数より大きいときに、該復号ＣＵを含むビットストリームのアクセスユニットにエラーがあると判断する請求項６から請求項８のうちのいずれか１項に記載の映像復号装置。
  11. 　インター予測を用いて映像符号化を行う映像符号化方法であって、
    　所定面積の画像ブロックに許容する動きベクトルの最大本数と、前記所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数とに基づいて、符号化対象ＣＵのインターＰＵパーティションタイプを制御することを特徴とする映像符号化方法。
  12. 　符号化対象ＣＵのインターＰＵパーティションタイプのインター予測方向も制御する請求項１１記載の映像符号化方法。
  13. 　前記所定面積を示すデータ、及び前記動きベクトルの最大本数をビットストリームに多重化する請求項１１又は請求項１２記載の映像符号化方法。
  14. 　前記所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数が、前記動きベクトルの最大本数未満のときに、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスを所定のインターＰＵパーティションタイプに設定してエントロピー符号化する請求項１１から請求項１３のうちのいずれか１項に記載の映像符号化方法。
  15. 　前記所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数が、前記動きベクトルの最大本数から１減じた本数以上であるときには、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化せず、前記動きベクトルの最大本数から１減じた本数未満であるときに、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化する請求項１１から請求項１３のうちのいずれか１項に記載の映像符号化方法。
  16. 　インター予測を用いて映像復号を行う映像復号方法であって、
    　所定面積の画像ブロックに許容する動きベクトルの最大本数と、前記所定面積の画像ブロックに含まれる復号済み画像ブロックの動きベクトルの本数とに基づいて、復号対象ＣＵのインターＰＵパーティションタイプを制御することを特徴とする映像復号方法。
  17. 　復号対象ＣＵのインターＰＵパーティションタイプのインター予測方向も制御する請求項１６記載の映像復号方法。
  18. 　前記所定面積を示すデータ、及び、前記動きベクトルの最大本数をビットストリームから多重化解除する請求項１６又は請求項１７記載の映像復号方法。
  19. 　前記所定面積の画像ブロックに含まれる復号済み画像ブロックの動きベクトルの本数が、前記動きベクトルの最大本数から１減じた本数以上であるときには、該復号対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号せず、前記動きベクトルの最大本数未満であるときに、該復号対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号する請求項１６から請求項１８のうちのいずれか１項に記載の映像復号方法。
  20. 　前記所定面積の画像ブロックに含まれる復号済み画像ブロックの動きベクトルの本数が、前記動きベクトルの最大本数より大きいときに、該復号ＣＵを含むビットストリームのアクセスユニットにエラーがあると判断する請求項１６から請求項１８のうちのいずれか１項に記載の映像復号方法。
  21. 　インター予測を用いて映像符号化を行うコンピュータに、
    　所定面積の画像ブロックに許容する動きベクトルの最大本数と、前記所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数とに基づいて、符号化対象ＣＵのインターＰＵパーティションタイプを制御する処理を実行させるための映像符号化プログラム。
  22. 　コンピュータに、符号化対象ＣＵのインターＰＵパーティションタイプのインター予測方向を制御する処理も実行させる請求項２１記載の映像符号化プログラム。
  23. 　コンピュータに、前記所定面積を示すデータ、及び前記動きベクトルの最大本数をビットストリームに多重化する処理を実行させる請求項２１又は請求項２２記載の映像符号化プログラム。
  24. 　コンピュータに、前記所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数が、前記動きベクトルの最大本数未満のときに、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスを所定のインターＰＵパーティションタイプに設定してエントロピー符号化する処理を実行させる請求項２１から請求項２３のうちのいずれか１項に記載の映像符号化プログラム。
  25. 　コンピュータに、前記所定面積の画像ブロックに含まれる符号化済み画像ブロックの動きベクトルの本数が、前記動きベクトルの最大本数から１減じた本数以上であるときには、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化する処理を実行させず、前記動きベクトルの最大本数から１減じた本数未満であるときに、該符号化対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー符号化する処理を実行させる請求項２１から請求項２３のうちのいずれか１項に記載の映像符号化プログラム。
  26. 　インター予測を用いて映像復号を行うコンピュータに、
    　所定面積の画像ブロックに許容する動きベクトルの最大本数と、前記所定面積の画像ブロックに含まれる復号済み画像ブロックの動きベクトルの本数とに基づいて、復号対象ＣＵのインターＰＵパーティションタイプを制御する処理を実行させるための映像復号プログラム。
  27. 　コンピュータに、復号対象ＣＵのインターＰＵパーティションタイプのインター予測方向を制御する処理も実行させる請求項２６記載の映像復号プログラム。
  28. 　コンピュータに、前記所定面積を示すデータ、及び、前記動きベクトルの最大本数をビットストリームから多重化解除する処理を実行させる請求項２６又は請求項２７記載の映像復号プログラム。
  29. 　コンピュータに、前記所定面積の画像ブロックに含まれる復号済み画像ブロックの動きベクトルの本数が、前記動きベクトルの最大本数から１減じた本数以上であるときには、該復号対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号する処理を実行させず、前記動きベクトルの最大本数未満であるときに、該復号対象ＣＵのＰＵヘッダレイヤのインターＰＵパーティションタイプシンタクスをエントロピー復号する処理を実行させる請求項２６から請求項２８のうちのいずれか１項に記載の映像復号プログラム。
  30. 　コンピュータに、前記所定面積の画像ブロックに含まれる復号済み画像ブロックの動きベクトルの本数が、前記動きベクトルの最大本数より大きいときに、該復号ＣＵを含むビットストリームのアクセスユニットにエラーがあると判断する処理を実行させる請求項２６から請求項２８のうちのいずれか１項に記載の映像復号プログラム。
PCT/JP2012/000045 2011-01-13 2012-01-05 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム Ceased WO2012096146A1 (ja)

Priority Applications (17)

Application Number Priority Date Filing Date Title
BR112013017802-7A BR112013017802B1 (pt) 2011-01-13 2012-01-05 Dispositivo de decodificação de vídeo e método de decodificação de vídeo
BR122020018552-0A BR122020018552B1 (pt) 2011-01-13 2012-01-05 Dispositivo de decodificação de vídeo e método de decodificação de vídeo
PL12734382T PL2665273T3 (pl) 2011-01-13 2012-01-05 Urządzenie do dekodowania wideo, sposób dekodowania wideo i program
BR122020018553-8A BR122020018553B1 (pt) 2011-01-13 2012-01-05 Dispositivo de decodificação de vídeo para decodificação de vídeo usando interprevisão e método de decodificação de vídeo para decodificação de vídeo usando interprevisão
KR1020187010850A KR101935217B1 (ko) 2011-01-13 2012-01-05 영상 부호화 장치 및 영상 부호화 방법
KR1020157022459A KR101841334B1 (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
US13/977,756 US10841588B2 (en) 2011-01-13 2012-01-05 Video encoding device, video decoding device, video encoding method, video decoding method, and program using inter prediction
EP12734382.0A EP2665273B1 (en) 2011-01-13 2012-01-05 Video decoding device, video decoding method, and program
ES12734382T ES2900775T3 (es) 2011-01-13 2012-01-05 Dispositivo de descodificación de vídeo, método de descodificación de vídeo y programa
CN201280005384.5A CN103314590B (zh) 2011-01-13 2012-01-05 视频解码设备、视频解码方法
JP2012552666A JP5974899B2 (ja) 2011-01-13 2012-01-05 映像復号装置、映像復号方法及びプログラム
EP21197304.5A EP3965418A1 (en) 2011-01-13 2012-01-05 Video decoding method and video decoder
KR1020167022895A KR101840579B1 (ko) 2011-01-13 2012-01-05 영상 복호 장치, 영상 복호 방법 및 프로그램
KR1020137016920A KR101851326B1 (ko) 2011-01-13 2012-01-05 영상 부호화 장치, 영상 복호 장치, 영상 부호화 방법, 영상 복호 방법 및 프로그램
US17/060,828 US11323720B2 (en) 2011-01-13 2020-10-01 Video encoding device, video decoding device, video encoding method, video decoding method, and program using inter prediction
US17/685,543 US11665352B2 (en) 2011-01-13 2022-03-03 Video encoding device, video decoding device, video encoding method, video decoding method, and program using inter prediction
US17/685,579 US11647205B2 (en) 2011-01-13 2022-03-03 Video encoding device, video decoding device, video encoding method, video decoding method, and program using inter prediction

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011004963 2011-01-13
JP2011-004963 2011-01-13

Related Child Applications (2)

Application Number Title Priority Date Filing Date
US13/977,756 A-371-Of-International US10841588B2 (en) 2011-01-13 2012-01-05 Video encoding device, video decoding device, video encoding method, video decoding method, and program using inter prediction
US17/060,828 Continuation US11323720B2 (en) 2011-01-13 2020-10-01 Video encoding device, video decoding device, video encoding method, video decoding method, and program using inter prediction

Publications (1)

Publication Number Publication Date
WO2012096146A1 true WO2012096146A1 (ja) 2012-07-19

Family

ID=46507055

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/000045 Ceased WO2012096146A1 (ja) 2011-01-13 2012-01-05 映像符号化装置、映像復号装置、映像符号化方法、映像復号方法及びプログラム

Country Status (9)

Country Link
US (4) US10841588B2 (ja)
EP (2) EP2665273B1 (ja)
JP (4) JP5974899B2 (ja)
KR (4) KR101840579B1 (ja)
CN (4) CN108093255B (ja)
BR (3) BR122020018553B1 (ja)
ES (1) ES2900775T3 (ja)
PL (1) PL2665273T3 (ja)
WO (1) WO2012096146A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111480343A (zh) * 2017-12-14 2020-07-31 交互数字Vc控股公司 用于编码图片块的方法和装置

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101840579B1 (ko) * 2011-01-13 2018-03-20 닛본 덴끼 가부시끼가이샤 영상 복호 장치, 영상 복호 방법 및 프로그램
US9762899B2 (en) * 2011-10-04 2017-09-12 Texas Instruments Incorporated Virtual memory access bandwidth verification (VMBV) in video coding
JP6731574B2 (ja) * 2014-03-06 2020-07-29 パナソニックＩｐマネジメント株式会社 動画像符号化装置および動画像符号化方法
JP2015173404A (ja) * 2014-03-12 2015-10-01 富士通株式会社 動画像符号化装置、動画像符号化方法及び動画像符号化用コンピュータプログラム
US20160373744A1 (en) * 2014-04-23 2016-12-22 Sony Corporation Image processing apparatus and image processing method
US10390087B2 (en) * 2014-05-01 2019-08-20 Qualcomm Incorporated Hypothetical reference decoder parameters for partitioning schemes in video coding
CN104125469B (zh) * 2014-07-10 2017-06-06 中山大学 一种用于hevc的快速编码方法
WO2016153251A1 (ko) * 2015-03-23 2016-09-29 엘지전자 주식회사 비디오 신호의 처리 방법 및 이를 위한 장치
KR20180136967A (ko) * 2016-04-22 2018-12-26 엘지전자 주식회사 인터 예측 모드 기반 영상 처리 방법 및 이를 위한 장치
CN115174938B (zh) * 2016-05-10 2024-07-09 三星电子株式会社 用于对图像进行编码/解码的方法及其装置
CN108924551B (zh) * 2018-08-29 2022-01-07 腾讯科技（深圳）有限公司 视频图像编码模式的预测方法及相关设备

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007180776A (ja) * 2005-12-27 2007-07-12 Nec Corp 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置
JP2011004963A (ja) 2009-06-25 2011-01-13 Universal Entertainment Corp 不正を防止すると共にゲームの進行をディーラにナビゲートするゲーミングシステム
WO2012017858A1 (ja) * 2010-08-03 2012-02-09 ソニー株式会社 画像処理装置と画像処理方法

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2002101416A (ja) * 2000-09-25 2002-04-05 Fujitsu Ltd 画像制御装置
JP2004179687A (ja) * 2002-11-22 2004-06-24 Toshiba Corp 動画像符号化／復号化方法及び装置
US7894530B2 (en) 2004-05-07 2011-02-22 Broadcom Corporation Method and system for dynamic selection of transform size in a video decoder based on signal content
JP4246722B2 (ja) * 2005-08-26 2009-04-02 日本電信電話株式会社 動画像予測符号化方法、動画像予測符号化装置、動画像予測符号化プログラム及びそのプログラムを記録したコンピュータ読み取り可能な記録媒体
KR101366093B1 (ko) * 2007-03-28 2014-02-21 삼성전자주식회사 영상의 부호화, 복호화 방법 및 장치
KR20080107965A (ko) * 2007-06-08 2008-12-11 삼성전자주식회사 객체 경계 기반 파티션을 이용한 영상의 부호화, 복호화방법 및 장치
CN103338364B (zh) * 2007-06-29 2016-07-06 夏普株式会社 图像编码装置、图像编码方法、图像译码装置、图像译码方法
EP2034742A3 (en) * 2007-07-25 2009-10-14 Hitachi Ltd. Video coding method and device
CN101394580B (zh) 2007-09-21 2012-01-25 电信科学技术研究院 Eps承载管理的方法、装置、mme及通信系统
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
US10080034B2 (en) * 2008-03-10 2018-09-18 Thomson Licensing Dtv Method and apparatus for predictive frame selection supporting enhanced efficiency and subjective quality
CN101394560B (zh) * 2008-06-30 2010-09-01 浙江大学 一种用于视频编码的混合流水线装置
WO2010036772A2 (en) * 2008-09-26 2010-04-01 Dolby Laboratories Licensing Corporation Complexity allocation for video and image coding applications
US8503527B2 (en) * 2008-10-03 2013-08-06 Qualcomm Incorporated Video coding with large macroblocks
KR20110017719A (ko) 2009-08-14 2011-02-22 삼성전자주식회사 비디오 부호화 방법 및 장치, 비디오 복호화 방법 및 장치
US9137544B2 (en) * 2010-11-29 2015-09-15 Mediatek Inc. Method and apparatus for derivation of mv/mvp candidate for inter/skip/merge modes
US20120147961A1 (en) * 2010-12-09 2012-06-14 Qualcomm Incorporated Use of motion vectors in evaluating geometric partitioning modes
KR101840579B1 (ko) * 2011-01-13 2018-03-20 닛본 덴끼 가부시끼가이샤 영상 복호 장치, 영상 복호 방법 및 프로그램
US9313494B2 (en) * 2011-06-20 2016-04-12 Qualcomm Incorporated Parallelization friendly merge candidates for video coding

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007180776A (ja) * 2005-12-27 2007-07-12 Nec Corp 符号化データ選定、符号化データ設定、再符号化データ生成及び再符号化の方法及び装置
JP2011004963A (ja) 2009-06-25 2011-01-13 Universal Entertainment Corp 不正を防止すると共にゲームの進行をディーラにナビゲートするゲーミングシステム
WO2012017858A1 (ja) * 2010-08-03 2012-02-09 ソニー株式会社 画像処理装置と画像処理方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
"Test Model under Consideration", DOCUMENT: JCTVC-B205, JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT- VC) OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 2ND MEETING, 21 July 2010 (2010-07-21)
See also references of EP2665273A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111480343A (zh) * 2017-12-14 2020-07-31 交互数字Vc控股公司 用于编码图片块的方法和装置

Also Published As

Publication number Publication date
EP2665273B1 (en) 2021-11-03
EP3965418A1 (en) 2022-03-09
CN108055538A (zh) 2018-05-18
PL2665273T3 (pl) 2022-02-28
JP6432661B2 (ja) 2018-12-05
JP2016201826A (ja) 2016-12-01
CN108111847B (zh) 2021-11-23
CN108093255A (zh) 2018-05-29
US11665352B2 (en) 2023-05-30
CN103314590A (zh) 2013-09-18
KR101935217B1 (ko) 2019-01-03
JP2018029385A (ja) 2018-02-22
JPWO2012096146A1 (ja) 2014-06-09
CN108093255B (zh) 2021-12-03
KR20150103301A (ko) 2015-09-09
JP5974899B2 (ja) 2016-08-23
KR20160104087A (ko) 2016-09-02
KR101851326B1 (ko) 2018-04-24
JP6432662B2 (ja) 2018-12-05
CN103314590B (zh) 2018-02-27
EP2665273A1 (en) 2013-11-20
BR122020018553B1 (pt) 2023-03-14
US20210021835A1 (en) 2021-01-21
KR101841334B1 (ko) 2018-03-22
BR112013017802B1 (pt) 2022-04-05
EP2665273A4 (en) 2014-07-09
BR122020018552B1 (pt) 2022-12-06
JP6233465B2 (ja) 2017-11-22
CN108111847A (zh) 2018-06-01
BR112013017802A2 (pt) 2016-10-11
US10841588B2 (en) 2020-11-17
KR20130101116A (ko) 2013-09-12
CN108055538B (zh) 2021-10-29
KR20180043395A (ko) 2018-04-27
US20220191505A1 (en) 2022-06-16
US11647205B2 (en) 2023-05-09
JP2018029384A (ja) 2018-02-22
KR101840579B1 (ko) 2018-03-20
US20130322542A1 (en) 2013-12-05
US11323720B2 (en) 2022-05-03
US20220191506A1 (en) 2022-06-16
ES2900775T3 (es) 2022-03-18

Similar Documents

Publication Publication Date Title
JP6432662B2 (ja) 映像符号化装置、映像符号化方法及びプログラム
JP6497423B2 (ja) 映像復号装置、映像復号方法及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12734382

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2012552666

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012734382

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 20137016920

Country of ref document: KR

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 13977756

Country of ref document: US

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013017802

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013017802

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20130711