WO2012173125A1 - 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム - Google Patents

動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム Download PDF

Info

Publication number
WO2012173125A1
WO2012173125A1 PCT/JP2012/065045 JP2012065045W WO2012173125A1 WO 2012173125 A1 WO2012173125 A1 WO 2012173125A1 JP 2012065045 W JP2012065045 W JP 2012065045W WO 2012173125 A1 WO2012173125 A1 WO 2012173125A1
Authority
WO
WIPO (PCT)
Prior art keywords
interpolation filter
divided
coefficient
equation
region
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/065045
Other languages
English (en)
French (fr)
Inventor
幸浩 坂東
翔平 松尾
誠之 高村
裕尚 如澤
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NTT Inc
Original Assignee
Nippon Telegraph and Telephone Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Nippon Telegraph and Telephone Corp filed Critical Nippon Telegraph and Telephone Corp
Priority to CN201280028428.6A priority Critical patent/CN103621089A/zh
Priority to CA 2838978 priority patent/CA2838978A1/en
Priority to BR112013031755A priority patent/BR112013031755A2/pt
Priority to EP12800560.0A priority patent/EP2709362A4/en
Priority to US14/125,165 priority patent/US20140119453A1/en
Priority to KR20137032535A priority patent/KR20140007076A/ko
Priority to RU2013154600/08A priority patent/RU2013154600A/ru
Publication of WO2012173125A1 publication Critical patent/WO2012173125A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H04N19/517—Processing of motion vectors by encoding
    • H04N19/52—Processing of motion vectors by encoding by predictive encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/117—Filters, e.g. for pre-processing or post-processing
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/124—Quantisation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/174—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a slice, e.g. a line of blocks or a group of blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/523—Motion estimation or motion compensation with sub-pixel accuracy
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/587—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal sub-sampling or interpolation, e.g. decimation or subsequent interpolation of pictures in a video sequence
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/80—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation
    • H04N19/82—Details of filtering operations specially adapted for video compression, e.g. for pixel interpolation involving filtering within a prediction loop

Definitions

  • the present invention relates to a moving image encoding device, a moving image decoding device, a moving image encoding method, a moving image decoding method, a moving image encoding program, and a moving image decoding program.
  • inter-frame prediction coding in which prediction is performed between different screens, a motion vector is obtained so as to minimize prediction error power with reference to an already decoded frame,
  • the residual signal is subjected to orthogonal transform / quantization, and further encoded data is generated through entropy encoding. For this reason, in order to improve encoding efficiency, reduction of prediction error power is indispensable, and a highly accurate prediction method is required.
  • An interpolation filter using a fixed coefficient is abbreviated as IF in the following description.
  • interpolation is performed using a total of six integer pixels for each of the left and right three points of the target interpolation pixel.
  • interpolation is performed using a total of 6 integer pixels for each of the upper and lower three points.
  • the filter coefficients are [(1, -5, 20, 20, -5, 1) / 32], respectively.
  • the 1 ⁇ 4 precision pixel is interpolated using an average filter of [1/2, 1/2].
  • an adaptive interpolation filter that adaptively controls the filter coefficient according to the characteristics of the input video
  • the filter coefficient in the adaptive interpolation filter is determined so as to minimize the prediction error power (the sum of squares of the prediction error).
  • the filter coefficients can be set for each local area in the frame, and the area that uses multiple filter coefficients in the frame
  • RBAIF division adaptive interpolation filter
  • Non-Patent Document 1 A method of adaptively changing the interpolation filter coefficient has been proposed in Non-Patent Document 1, and is called a non-separable adaptive interpolation filter.
  • a two-dimensional interpolation filter (6 ⁇ 6 total 36 filter coefficients) is considered, and the filter coefficient is determined so as to minimize the prediction error power.
  • Standard H. H.264 / AVC can achieve higher encoding efficiency than using the one-dimensional 6-tap fixed interpolation filter, but the calculation complexity for obtaining the filter coefficient is very high.
  • Non-Patent Document 2 introduces a proposal for reducing this.
  • Non-Patent Document 2 The method introduced in Non-Patent Document 2 is called a separable adaptive interpolation filter (SAIF) and uses a one-dimensional 6-tap interpolation filter instead of a two-dimensional interpolation filter.
  • SAIF separable adaptive interpolation filter
  • Integer precision pixels C1 to C6 are used to determine the filter coefficient.
  • a horizontal filter coefficient that minimizes the prediction error power function E of Equation (1) is analytically determined.
  • S is an original image
  • P is a decoded reference image
  • x and y are horizontal and vertical positions in the image, respectively.
  • ⁇ x x + MVx ⁇ FilterOffset ( ⁇ is attached to the head of x)
  • MVx is a horizontal component of the motion vector obtained in advance
  • FilterOffset is an offset for adjustment (the tap length of the horizontal filter is 2) Divided value).
  • ⁇ y y + MVy ( ⁇ is attached to the head of y)
  • MVy indicates the vertical component of the motion vector.
  • wc i represents a horizontal filter coefficient group c i (0 ⁇ c i ⁇ 6) to be obtained.
  • the minimization process is performed independently for each decimal pixel position in the horizontal direction. Specifically, a solution of the following simultaneous equations may be obtained.
  • the filter coefficient in the vertical direction is determined by solving a linear problem similar to that in the horizontal direction. Specifically, the vertical filter coefficient that minimizes the prediction error power function E of Equation (4) is analytically determined.
  • S is an original image
  • ⁇ P ( ⁇ is attached to the head of P) is an image interpolated in the horizontal direction after decoding
  • x and y indicate horizontal and vertical positions in the image, respectively.
  • ⁇ x 4 ⁇ (x + MVx) ( ⁇ is attached to the head of x)
  • MVx represents the horizontal component of the rounded motion vector.
  • wc j represents a vertical filter coefficient group c j (0 ⁇ c j ⁇ 6) to be obtained.
  • the minimization process is performed independently for each decimal precision pixel, and 12 types of 6 tap filters are obtained.
  • FIG. 4 is a block diagram showing a configuration of a region division adaptive interpolation filter (RBAIF) according to the prior art.
  • the reference image storage unit 101 stores a reference image used for inter-screen prediction.
  • the motion vector related information storage unit 102 stores motion vector related information used for inter-screen prediction for an input image and a reference image.
  • the predicted image generation unit 103 reads the reference image read from the reference image storage unit 101 and the motion vector related information read from the motion vector related information storage unit 102 as inputs, and uses the reference image and the motion vector related information to perform motion compensation. Based on the inter-screen prediction process, a predicted image for the input image is generated.
  • the division region setting unit 104 sets a division position for performing frame division based on a designated order from among division position candidates.
  • the prediction error power sum calculation unit 105 receives the two output prediction error powers, and calculates the sum of the two as the prediction error power sum in the frame.
  • the minimum value determination unit 106 determines whether or not the prediction error sum calculated by the prediction error power sum calculation unit 105 is smaller than the stored value.
  • the prediction error sum, the position information indicating the division position, and the filter coefficients for the two divided areas when divided at the same division position are stored.
  • the prediction error power sum storage unit 107 stores the prediction error sum calculated by the prediction error power sum calculation unit 105, the position information indicating the division position, and the filter coefficients for the two divided regions when divided at the same division position.
  • the repetition process end determination unit 108 repeats the process until the process is executed for all candidates for the division position.
  • the first region prediction error power calculation unit 109 includes a normal equation generation unit 1091, a normal equation solution processing unit 1092, and a prediction error power calculation processing unit 1093.
  • the normal equation generation unit 1091 calculates a multiplication coefficient and a bias coefficient constituting the normal equation of the divided area, and generates a normal equation for the divided area.
  • the corresponding divided region is a left region when horizontal division is performed in the horizontal direction, and is an upper region when vertical division is performed in the vertical direction.
  • the normal equation solution processor 1092 obtains a solution of the normal equation generated by the normal equation generator 1091 and stores it as an interpolation filter coefficient.
  • the prediction error power calculation processing unit 1093 calculates the prediction error power when the interpolation filter coefficient calculated by the normal equation solution processing unit 1092 is used.
  • the second region prediction error power calculation unit 110 includes a normal equation generation unit 1101, a normal equation solution processing unit 1102, and a prediction error power calculation processing unit 1103.
  • the normal equation generation unit 1101 calculates a multiplication coefficient and a bias coefficient constituting the normal equation of the divided area, and generates a normal equation for the divided area.
  • the corresponding divided area is a right area when performing horizontal division in the horizontal direction, and is a lower area when performing vertical division in the vertical direction.
  • the normal equation solution processing unit 1102 obtains a solution of the normal equation generated by the normal equation generation unit 1101 and stores it as an interpolation filter coefficient.
  • the prediction error power calculation processing unit 1103 calculates prediction error power when the interpolation filter coefficient calculated by the normal equation solution processing unit 1102 is used.
  • FIG. 5 is a flowchart showing the operation of the region division adaptive interpolation filter (RBAIF) shown in FIG.
  • the predicted image generation unit 103 reads a reference image used for inter-frame prediction from the reference image storage unit 101 (step S1). Subsequently, the predicted image generation unit 103 reads, from the motion vector related information storage unit 102, motion vector related information obtained as a result of performing the motion estimation process using the reference image for the encoding target image (step S2). . Then, based on the motion compensation inter-screen prediction process, a predicted image for the input image is generated (step S3).
  • the divided region setting unit 104 sets divided regions and outputs the setting information to the two normal equation generation units 1091 and 1101.
  • the normal equation generation unit 1091 calculates a multiplication coefficient and a bias coefficient constituting the normal equation of the set divided region, generates a normal equation for the divided region, and outputs it (step S4).
  • the corresponding divided region is a left region when horizontal division is performed in the horizontal direction, and is an upper region when vertical division is performed in the vertical direction.
  • the normal equation solution processor 1092 obtains a solution of the normal equation output from the normal equation generator 1091 and stores it as an interpolation filter coefficient (step S5).
  • the prediction error power calculation processing unit 1093 calculates and outputs the prediction error power when this interpolation filter coefficient is used (step S6).
  • the normal equation generation unit 1101 calculates a multiplication coefficient and a bias coefficient constituting the normal equation of the set divided region, generates a normal equation for the divided region, and outputs it (step S7).
  • the corresponding divided area is a right area when performing horizontal division in the horizontal direction, and is a lower area when performing vertical division in the vertical direction.
  • the normal equation solution processing unit 1102 calculates a solution of the normal equation output from the normal equation generation unit 1101 and stores it as an interpolation filter coefficient (step S8).
  • the prediction error power calculation processing unit 1103 calculates and outputs the prediction error power when this interpolation filter coefficient is used (step S9).
  • the prediction error power sum calculation processing unit 105 receives the prediction error power output from the two prediction error power calculation processing units 1093 and 1103, and calculates the sum of the two as the prediction error power sum in the frame. And it memorize
  • the minimum value determination unit 106 obtains a division position that gives the minimum value among the prediction error sums stored in the prediction error power sum storage unit 107, and stores filter coefficients for two divided regions when the division is performed at the division position. (Step S11).
  • the repetition process end determination unit 108 determines whether or not all the candidates for division positions have been processed, and outputs an instruction to repeat the process to the divided region setting unit 104 if the processing has not been completed for all candidates. Then, when the processing is completed for all candidates, the iterative processing end determination unit 108 obtains a division position that minimizes the prediction error sum, and outputs filter coefficients for the two divided regions when division is performed at the same division position. (Step S12).
  • a square area ( ⁇ ⁇ ⁇ pixel) called a segmentation unit (SU) is defined as a minimum unit of area division in a frame.
  • a region division adaptive interpolation filter that performs region division using the above SU as a minimum unit and sets an optimal interpolation filter coefficient for each divided region is targeted.
  • W ⁇ H [pixel] W ⁇ H [pixel]
  • WH / ⁇ 2 SUs are included.
  • W / ⁇ division methods including the option of not dividing when the frame is divided into left and right parts in the horizontal direction, and the option of not dividing when the frame is divided into two parts vertically.
  • H / ⁇ division methods There are H / ⁇ division methods.
  • ⁇ x, y n ⁇ ⁇ ⁇ x ⁇ (n + 1) ⁇ ⁇ 1, m ⁇ ⁇ ⁇ y ⁇ (m + 1) ⁇ ⁇ 1 ⁇ in the frame is denoted as ⁇ (n, m).
  • the total sum of prediction error power in a frame is used as a standard for determining the region division of the region division adaptive interpolation filter. It should be noted that the filter coefficient for the rectangular area identified by the four coordinate values (px, py), (px + lx, py), (px, py + ly-1), (px + lx-1, py + ly-1) in the frame.
  • the prediction error power when ⁇ (px, py, lx, ly) is used is expressed as E (px, py, lx, ly, ⁇ (px, py, lx, ly)).
  • the region division that divides into the left region of x ⁇ n opt ⁇ ⁇ and the right region of n opt ⁇ ⁇ ⁇ x is set as the optimum region division.
  • the SU size ⁇ is set to a large value for high-definition video, the increase in the amount of computation described above can be suppressed. On the other hand, there is a possibility that the accuracy of area division is reduced and sufficient prediction performance cannot be obtained. is there.
  • the present invention has been made in view of such circumstances, and an area division adaptive interpolation filter capable of reducing the amount of calculation required for selecting an optimum area division while maintaining the prediction performance of the area division adaptive interpolation filter. It is an object of the present invention to provide a video encoding device, a video encoding method, and a video encoding program having a function.
  • the moving image encoding apparatus supports region division as an interpolation filter for generating an interpolated pixel value at a decimal pixel position by dividing an area within a frame and adaptively setting an interpolation filter coefficient for each divided region.
  • the division region defined by the division position is selected.
  • the duplicated calculation processing result is used and only the difference information without duplication is used. There generates an equation for calculating the new calculation.
  • the moving image encoding apparatus calculates necessary information for each minimum unit of the area division in advance, and calculates the calculated information as necessary.
  • the difference information necessary for use may be calculated.
  • the moving picture decoding apparatus may decode the moving picture encoded by the moving picture encoding apparatus.
  • the moving image encoding method is an area division that divides an area of a frame as an interpolation filter that generates an interpolation pixel value at a decimal pixel position, and adaptively sets an interpolation filter coefficient for each divided area.
  • a video encoding apparatus that performs motion compensation inter-frame prediction corresponding to decimal pixel accuracy using a corresponding adaptive filter, when selecting an optimal division position from candidates of division positions prepared in advance, the division position
  • the equation generation step includes an overlapping calculation process in calculating the interpolation filter coefficient in different divided regions. Diverted result, generates an equation for calculating the newly calculated only for non-overlapping differential information.
  • the difference information when calculating the difference information, necessary information is calculated in advance for each minimum unit of the area division, and the calculated information is used as necessary.
  • the difference information necessary for use may be calculated.
  • the moving picture decoding method according to the present invention may decode the moving picture encoded by the moving picture encoding method.
  • a moving picture coding program for causing a computer on a moving picture coding apparatus according to the present invention to perform coding processing divides a frame into regions as an interpolation filter for generating an interpolation pixel value at a decimal pixel position.
  • an area division adaptive filter that adaptively sets interpolation filter coefficients for each area, motion compensated interframe prediction corresponding to decimal pixel accuracy is performed, and optimal division among candidates of division positions prepared in advance is performed.
  • An equation generation step for constructing a linear simultaneous equation for obtaining an interpolation filter coefficient for a divided region defined by the division position when selecting a position, and an equation for obtaining the interpolation filter coefficient by solving the linear simultaneous equation
  • a solution processing step is performed by the computer, and the equation generation step is performed in the different divided regions. In calculation for calculating between filter coefficients, diverted duplicate operation result to generate an equation for calculating the newly calculated only for non-overlapping differential information.
  • the moving picture decoding program according to the present invention may decode the moving picture encoded by the moving picture encoding program.
  • the present invention when calculating filter coefficients for different division shapes in a filter calculation process of an area division-compatible adaptive filter that involves calculation of an optimal division position, it is possible to omit redundant processing and predict performance. The effect that the amount of calculation can be reduced without lowering is obtained.
  • FIG. 1 It is a block diagram which shows the structure of one Embodiment of this invention. It is a flowchart which shows operation
  • RBAIF area division adaptive interpolation filter
  • RBAIF area division adaptive interpolation filter
  • the principle of operation of the area division adaptive interpolation filter used in the moving picture coding apparatus according to the embodiment of the present invention will be described.
  • the present invention focuses on the fact that overlapping processing is included in the filter coefficient calculation method for different division shapes of the region division adaptive interpolation filter, and omitting the calculation of such overlapping processing without reducing the prediction performance. This is intended to reduce the amount of calculation.
  • information related to inter-screen prediction (such as the size of a block to be predicted, a motion vector, and a reference image for motion compensation) is shared regardless of the shape of the region division.
  • Information related to the inter-screen prediction is referred to as motion vector related information.
  • the motion vector related information is, for example, standard H.264. H.264 / AVC is used to interpolate the pixel value at the decimal pixel position using a fixed coefficient interpolation filter, and a motion estimation algorithm (for example, documents “K. P. Lim, G. Sullivan, and T. Wiegand. Text description of joint model reference encoding methods and decoding concealment methods.
  • Equations (3) and (6) are modified as follows.
  • equations (3) and (6) can be expressed simply as follows.
  • the left area is divided into adaptive interpolation.
  • the filter coefficient ⁇ (0, 0, kx ⁇ ⁇ , H) of the filter is a solution of the following linear simultaneous equations.
  • the filter coefficient ⁇ (kx ⁇ ⁇ , 0, W ⁇ kx ⁇ ⁇ , H) of the area division adaptive interpolation filter in the right area is a solution of the following linear simultaneous equations.
  • the linear simultaneous equations are called normal equations. Further, the term on the right side of the normal equation is referred to as a bias coefficient, and the value multiplied by wc i and wc j on the left side is referred to as a multiplication coefficient.
  • the filter coefficient ⁇ (kx ⁇ ⁇ , 0, W ⁇ (kx + 1) ⁇ ⁇ , H) of the area division adaptive interpolation filter in the right area is a solution of the following linear simultaneous equations.
  • the above is the case of the right region, but also in the case of the left region, by storing the values obtained in the calculation process of Equation (21) as follows, the screen is divided into two regions on the left and right sides. Similarly, when calculating the filter coefficient in the case of dividing into the left region x ⁇ (kx + 2) ⁇ ⁇ and the right region (kx + 2) ⁇ ⁇ ⁇ x, the same calculation can be omitted.
  • FIG. 1 is a block diagram showing the configuration of the embodiment.
  • the area division adaptive interpolation filter shown in this figure is different from the conventional area division adaptive interpolation filter in that the first area prediction error power calculation section 109 and the second area prediction error power calculation section 110 have a multiplication coefficient storage section 1094. 1104 and bias coefficient storage units 1095 and 1105 are newly provided, and a calculation element storage unit 111 is newly provided.
  • the SU autocorrelation coefficient calculation unit 1111 reads a prediction image as an input, calculates SU autocorrelation coefficients for all the SUs (segmentation units) in the frame, and outputs the calculation results to the SU autocorrelation coefficient storage unit 1113.
  • the SU cross-correlation calculation unit 1112 reads the encoding target image and the prediction image as inputs, calculates SU cross-correlation coefficients for all SUs in the frame, and outputs the calculation results to the SU cross-correlation coefficient storage unit 1114. To store.
  • the normal equation generation unit 1091 reads the multiplication coefficient from the multiplication coefficient storage unit 1094, calculates a difference value between the coefficient and a multiplication coefficient necessary for constructing the normal equation, adds the stored multiplication coefficient and difference value, Output as a multiplication coefficient necessary to construct a normal equation.
  • the SU autocorrelation coefficient and the SU cross-correlation coefficient stored in the SU auto-correlation coefficient storage unit 1113 and the SU cross-correlation coefficient storage unit 1114 are read out, and the SU auto-correlation coefficient and the SU cross-correlation coefficient are read out.
  • the difference value obtained here is stored in the multiplication coefficient difference value storage unit 1096 so that it can be reused in subsequent processing.
  • the normal equation generation unit 1091 reads the bias coefficient from the bias coefficient storage unit 1095, calculates the difference value between the coefficient and the bias coefficient necessary for constructing the normal equation, and adds the stored bias coefficient and difference value. And output as a bias coefficient necessary for constructing a normal equation.
  • the SU autocorrelation coefficient and the SU cross-correlation coefficient stored in the SU auto-correlation coefficient storage unit 1113 and the SU cross-correlation coefficient storage unit 1114 are read, and the SU auto-correlation coefficient and the SU cross-correlation coefficient are read out. Set based on the addition of correlation coefficients.
  • the difference value obtained here is stored in the bias coefficient difference value storage unit 1097 so that it can be reused in subsequent processing.
  • the normal equation generation unit 1091 reads the multiplication coefficient and bias coefficient calculated in this process, and generates a normal equation for the divided area.
  • the corresponding divided region is a left region when horizontal division is performed in the horizontal direction, and is an upper region when vertical division is performed in the vertical direction.
  • the calculated multiplication coefficient and bias coefficient are stored in the multiplication coefficient storage unit 1094 and the bias coefficient storage unit 1095, respectively.
  • the normal equation solution processor 1092 obtains a solution of the normal equation generated by the normal equation generator 1091 and stores it as an interpolation filter coefficient.
  • the prediction error power calculation processing unit 1093 reads the encoding target image, the reference image, the motion vector related information, the interpolation filter coefficient calculated by the normal equation solution processing unit 1092, and the prediction error power when the interpolation filter coefficient is used. Is calculated.
  • the normal equation generation unit 1101 reads the multiplication coefficient from the multiplication coefficient storage unit 1104, further reads the difference value of the multiplication coefficient from the multiplication coefficient difference value storage unit 1096, subtracts the latter from the former, and is necessary for constructing the normal equation. Output as multiplication coefficient. Further, the normal equation 1101 reads a bias coefficient from the bias coefficient storage unit 1105, further reads a bias coefficient difference value from the bias coefficient difference value storage unit 1097, subtracts the latter from the former, and is necessary for constructing a normal equation. Output as a bias coefficient.
  • the multiplication coefficient and the bias coefficient calculated in this process are read to generate a normal equation for the divided area.
  • the corresponding divided area is a right area when performing horizontal division in the horizontal direction, and is a lower area when performing vertical division in the vertical direction.
  • the calculated multiplication coefficient and bias coefficient are stored in the multiplication coefficient storage unit 1104 and the bias coefficient storage unit 1105, respectively.
  • the normal equation solution processing unit 1102 obtains a solution of the normal equation generated by the normal equation generation unit 1101 and stores it as an interpolation filter coefficient.
  • the prediction error power calculation processing unit 1103 reads the encoding target image, the reference image, the motion vector related information, and the interpolation filter coefficient calculated by the normal equation solution processing unit 1102 and uses the same interpolation filter coefficient. Is calculated.
  • FIG. 2 is a flowchart showing the processing operation of the area division adaptive interpolation filter (RBAIF) shown in FIG.
  • the predicted image generation unit 103 reads a reference image used for inter-frame prediction from the reference image storage unit 101 (step S1). Subsequently, the predicted image generation unit 103 reads, from the motion vector related information storage unit 102, motion vector related information obtained as a result of performing the motion estimation process using the reference image for the encoding target image (step S2). . Then, based on the motion compensation inter-screen prediction process, a predicted image for the input image is generated (step S3).
  • the SU autocorrelation coefficient calculation unit 1111 reads the generated predicted image as an input, and ⁇ v (n, m, c i ) of Expression (7) for all the SUs (segmentation units) in the frame. , ⁇ h (n, m, c i ), the SU autocorrelation coefficient is calculated, and the calculation result is stored (step S31). Subsequently, the SU cross-correlation coefficient calculating unit 1112 reads the encoding target image and the prediction image as inputs, and ⁇ v (n, m), ⁇ h (n, The SU cross-correlation coefficient is calculated based on the definition of m), and the calculation result is stored (step S32).
  • the divided region setting unit 104 sets a divided region, outputs the setting information to the normal equation generation unit 1091, and stores it in the divided position information storage unit 1073.
  • Examples of the division method include a method of dividing the screen horizontally into two regions, an upper region and a lower region, or dividing the screen vertically into two regions, a left region and a right region. At this time, information indicating the division position is given separately.
  • the procedure for optimizing the filter coefficient for the separation type filter will be described, but the same can be applied to the non-separation type filter.
  • the horizontal direction interpolation filter coefficients are derived in the order of the vertical direction interpolation filter coefficients. Of course, this derivation order can be reversed.
  • the normal equation generation unit 1091 generates the multiplication coefficient (Av (0, kx ⁇ 1, 0, H / ⁇ 1, c in Expression (19) and Expression (20)) stored in the multiplication coefficient storage unit 1094. i ), Ah (0, kx ⁇ 1, 0, H / ⁇ 1, c j )), and the difference value (equation (19), expression (20 ) ) Is calculated, the stored multiplication coefficient and difference value are added, and output as a multiplication coefficient necessary for constructing the normal equation (step S41).
  • the SU autocorrelation coefficient and the SU cross-correlation coefficient stored in the SU auto-correlation coefficient storage unit 1113 and the SU cross-correlation coefficient storage unit 1114 are read, and the SU auto-correlation coefficient and the SU cross-correlation coefficient are read out.
  • the difference value obtained here is stored in the multiplication coefficient difference value storage unit 1096 so that it can be reused in subsequent processing.
  • the normal equation generation unit 1091 stores the bias coefficient (Bv (0, kx ⁇ 1, 0, H / ⁇ 1) in Expression (19) and Expression (20)) stored in the bias coefficient storage unit 1095, Bh (0, kx ⁇ 1, 0, H / ⁇ 1)) is read, and the difference value of the bias coefficient necessary for the construction of the same coefficient and the normal equation (formula (19), formula (20)) ), And the stored bias coefficient and difference value are added and output as a bias coefficient necessary for constructing the normal equation (step S42).
  • the SU autocorrelation coefficient and the SU cross-correlation coefficient stored in the SU auto-correlation coefficient storage unit 1113 and the SU cross-correlation coefficient storage unit 1114 are read, and the SU auto-correlation coefficient and the SU cross-correlation coefficient are read out.
  • the difference value obtained here is stored in the bias coefficient difference value storage unit 1097 so that it can be reused in subsequent processing.
  • the normal equation generation unit 1091 reads the calculated multiplication coefficient and bias coefficient, and generates Expressions (19) and (20) as normal equations for the divided regions (Step S43).
  • the corresponding divided region is a left region when horizontal division is performed in the horizontal direction, and is an upper region when vertical division is performed in the vertical direction.
  • the normal equation generation unit 1091 stores the calculated multiplication coefficient and bias coefficient in the multiplication coefficient storage unit 1094 and the bias coefficient storage unit 1095, respectively (step S44).
  • the normal equation solution processing unit 1092 obtains a solution of the normal equation generated by the normal equation generation unit 1091 and stores it as an interpolation filter coefficient in the filter coefficient storage unit 1072 (step S5). Subsequently, the prediction error power calculation processing unit 1093 calculates prediction error power when the interpolation filter coefficient calculated by the normal equation solution processing unit 1092 is used (step S6).
  • the normal equation generation unit 1101 reads the multiplication coefficient stored in the multiplication coefficient storage unit 1104 and the difference value stored in the multiplication coefficient difference value storage unit 1096 and stores the stored multiplication coefficient (formula (21)) Difference from Av (kx, W / ⁇ -1, 0, H / ⁇ -1, c i ), Ah (kx, W / ⁇ -1, 0, H / ⁇ -1, c j )) in (22) The value is subtracted and output as a multiplication coefficient necessary for constructing a normal equation (step 71).
  • the normal equation generation unit 1101 reads the bias coefficient stored in the bias coefficient storage unit 1105 and the difference value stored in the bias coefficient difference value storage unit 1097 and stores the stored bias coefficient (formula (21)) Subtract the difference value from Bv (kx, W / ⁇ -1, 0, H / ⁇ -1), Bh (kx, W / ⁇ -1, 0, H / ⁇ -1)) in (22) A bias coefficient necessary for constructing the equation is output (step S72).
  • the normal equation generation unit 1101 reads the calculated multiplication coefficient and bias coefficient, and generates Expression (21) and Expression (22) as a normal equation for the divided region (Step S73).
  • the corresponding divided area is a right area when performing horizontal division in the horizontal direction, and is a lower area when performing vertical division in the vertical direction.
  • the normal equation generation unit 1101 stores the calculated multiplication coefficient and bias coefficient in the multiplication coefficient storage unit 1104 and the bias coefficient storage unit 1105, respectively (step S74).
  • the normal equation solution processing unit 1102 obtains a solution of the normal equation generated by the normal equation generation unit 1101 and stores it as an interpolation filter coefficient in the filter coefficient storage unit 1072 (step S8). Subsequently, the prediction error power calculation processing unit 1103 calculates prediction error power when the interpolation filter coefficient calculated by the normal equation solution processing unit 1102 is used (step S9).
  • the prediction error power sum calculation processing unit 105 receives the prediction error power output from the two prediction error power calculation processing units 1093 and 1103, and calculates the sum of the two as the prediction error power sum in the frame. And it memorize
  • the minimum value determination unit 106 obtains a division position that gives the minimum value among the prediction error sums stored in the prediction error power sum storage unit 1071, and stores filter coefficients for two divided regions when the division is performed at the same division position. (Step S11).
  • the repetition process end determination unit 108 determines whether or not all the candidates for division positions have been processed, and outputs an instruction to repeat the process to the divided region setting unit 104 if the processing has not been completed for all candidates. Then, when the processing is completed for all candidates, the iterative processing end determination unit 108 obtains a division position that minimizes the prediction error sum, and outputs filter coefficients for the two divided regions when division is performed at the same division position. (Step S12).
  • FIG. 3 is a block diagram showing a configuration of the moving image transmission system.
  • a moving image input unit 1 inputs a moving image captured by a camera or the like.
  • the moving image encoding device 2 is an area division corresponding adaptive filter that divides an area within a frame and adaptively sets an interpolation filter coefficient for each divided area as an interpolation filter that generates an interpolation pixel value at a decimal pixel position.
  • the motion compensated inter-frame prediction corresponding to the decimal pixel accuracy is performed using the region division adaptive interpolation filter shown in FIG.
  • the transmission path 3 transmits the encoded moving image data transmitted from the moving image encoding device 2.
  • the moving picture decoding device 4 receives the encoded moving picture data transmitted through the transmission path 3, decodes the encoded moving picture data, and outputs the decoded data.
  • the moving image output unit 5 outputs the moving image decoded by the moving image decoding device 4 to a display device or the like.
  • the moving image encoding device 2 inputs moving image data via the moving image input unit 1 and performs encoding for each frame of the moving image. At this time, the optimal division position of the image is calculated by the area division adaptive interpolation filter shown in FIG. Then, the moving image encoding device 2 transmits the encoded moving image data to the moving image decoding device 4 via the transmission path 3. The moving image decoding device 4 decodes the encoded moving image data, and displays the moving image on a display device or the like via the moving image output unit 5.
  • a frame is divided into regions as an interpolation filter for generating an interpolation pixel value at a decimal pixel position.
  • each division position is defined in the process of selecting the optimum division position from among the prepared division position candidates.
  • calculating the interpolation filter coefficient for a divided region when a linear simultaneous equation is constructed as a process for calculating the filter coefficient of the filter and the process for solving the equation is used, it is overlapped in the filter coefficient calculation process in different divided regions. The calculation processing is optimized and only the difference information without duplication is newly calculated. In the filter calculation process of the adaptive filter for region division, it is possible to omit duplicate processing when calculating filter coefficients for different division shapes, and to reduce the calculation amount without degrading the prediction performance be able to.
  • a program for realizing the functions of the respective processing units in FIG. 1 is recorded on a computer-readable recording medium, and the program recorded on the recording medium is read into a computer system and executed to cope with area division.
  • An adaptive filter process may be performed.
  • the “computer system” includes an OS and hardware such as peripheral devices.
  • the “computer-readable recording medium” refers to a storage device such as a flexible medium, a magneto-optical disk, a portable medium such as a ROM or a CD-ROM, and a hard disk incorporated in a computer system.
  • the “computer-readable recording medium” refers to a volatile memory (RAM) in a computer system that becomes a server or a client when a program is transmitted via a network such as the Internet or a communication line such as a telephone line. In addition, those holding programs for a certain period of time are also included.
  • RAM volatile memory
  • the program may be transmitted from a computer system storing the program in a storage device or the like to another computer system via a transmission medium or by a transmission wave in the transmission medium.
  • the “transmission medium” for transmitting the program refers to a medium having a function of transmitting information, such as a network (communication network) such as the Internet or a communication line (communication line) such as a telephone line.
  • the program may be for realizing a part of the functions described above. Furthermore, what can implement
  • the moving picture coding and moving picture decoding according to the present invention can be applied to an application in which it is indispensable to reduce the amount of calculation required for selecting an optimum area division while maintaining the prediction performance of the area division adaptive interpolation filter.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

　動画像符号化装置は、フレーム内を領域分割し、分割された領域毎に補間フィルタの係数を適応的に設定する領域分割対応適応フィルタを用いて、小数画素精度に対応した動き補償フレーム間予測を行い、予め用意された分割位置の候補の中から最適な分割位置を選択する際に、分割位置により規定される分割領域に対する補間フィルタ係数を求めるための線形連立方程式を構築する手段と、線形連立方程式を求解することにより補間フィルタ係数を求める手段とを備え、方程式を生成する手段は、異なる分割領域における補間フィルタ係数を算出する演算において、重複した演算処理結果を流用し、重複のない差分情報のみについて新たに演算によって算出する。

Description

動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム
　本発明は、動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラムに関する。
　本願は、２０１１年６月１３日に、日本に出願された特願２０１１－１３１１２７号に基づき優先権を主張し、その内容をここに援用する。
　動画像符号化において、異なる画面間で予測を実行する面間予測符号化（動き補償）では、すでに復号されたフレームを参照して、予測誤差電力を最小にするように動きベクトルが求められ、その残差信号に対して直交変換・量子化が施され、さらに、エントロピー符号化を経て、符号化データが生成される。このため、符号化効率を高めるためには予測誤差電力の低減が不可欠であり、高精度の予測方式が求められる。
　映像符号化標準方式には数多くの画面間予測の精度を高めるためのツールが導入されており、その一つに、小数画素精度動き補償がある。これは、１／２画素精度、１／４画素精度といった整数画素以下の動き量を用いて、前述の画面間予測を行う方法である。例えば、規格Ｈ．２６４／ＡＶＣでは、最大１／４画素単位での小数画素位置の参照が可能である。なお、こうした小数画素位置を参照するためには、同位置における画素値を生成する必要があり、線形フィルタを用いた補間画像生成の方法が規定されている。規格Ｈ．２６４が規定しているのは、フィルタ係数が固定の線形フィルタである。固定係数を用いる補間フィルタについて、以下の説明においては、ＩＦと略記する。１／２精度の画素を補間するときは、対象となる補間画素の左右３点ずつ計６整数画素を用いて補間を行う。垂直方向については上下３点ずつ計６整数画素を用いて補間する。フィルタ係数は、それぞれ［（１，－５，２０，２０，－５，１）／３２］となっている。１／２精度の画素が補間された後、１／４精度の画素は［１／２，１／２］の平均値フィルタを用いて補間を行う。
　この小数画素位置の補間画像生成の改良として、フィルタ係数を入力映像の特徴に応じて適応的に制御する適応補間フィルタ（ＡＩＦ）と呼ばれる技術が検討されている（例えば、非特許文献１参照）。適応補間フィルタにおけるフィルタ係数は、予測誤差電力（予測誤差の二乗和）を最小にするように決定される。適応補間フィルタがフレーム単位でフィルタ係数を設定したのに対し、画像の有する局所性を考慮して、フィルタ係数をフレーム内の局所領域毎に設定可能とし、フレーム内で複数のフィルタ係数を用いる領域分割適応補間フィルタ（ＲＢＡＩＦ）が検討されている。
　ここで、適応補間フィルタのフィルタ係数算出アルゴリズムについて説明する。補間フィルタ係数を適応的に変化させる方式が非特許文献１では提案されており、非分離型の適応補間フィルタと呼ばれている。この方式では、２次元の補間フィルタ（６×６の計３６フィルタ係数）を考えており、予測誤差電力を最小にするようにフィルタ係数が決定される。規格Ｈ．２６４／ＡＶＣに用いられている１次元６ｔａｐの固定補間フィルタを用いるよりも高い符号化効率が実現できたが、フィルタ係数を求める上での計算複雑度が非常に高いため、その計算複雑度を低減するための提案が非特許文献２で紹介されている。
　非特許文献２で紹介されている手法は分離型適応補間フィルタ（ＳＡＩＦ：SeparableAdaptive Interpolation Filter）と呼ばれ、２次元の補間フィルタを用いるのではなく、１次元の６ｔａｐ補間フィルタを用いる。手順としては、まず水平方向の画素（非特許文献文献２のＦｉｇ．１におけるａ，ｂ，ｃ）を補間する。フィルタ係数の決定には整数精度画素Ｃ１からＣ６が用いられる。式（１）の予測誤差電力関数Ｅを最小化するような水平方向フィルタ係数が、解析的に決定される。
Figure JPOXMLDOC01-appb-M000001
　ここで、Ｓは原画像、Ｐは復号済参照画像、ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また、～ｘ＝ｘ＋ＭＶｘ－ＦｉｌｔｅｒＯｆｆｓｅｔ（～はｘの頭に付く）であり、ＭＶｘは事前に得られた動きベクトルの水平成分、ＦｉｌｔｅｒＯｆｆｓｅｔは調整のためのオフセット（水平方向フィルタのタップ長を２で割った値）を示している。垂直方向については、～ｙ＝ｙ＋ＭＶｙ（～はｙの頭に付く）となり、ＭＶｙは動きベクトルの垂直成分を示す。ｗｃｉは求めるべき水平方向フィルタ係数群ｃｉ（０≦ｃｉ＜６）を示す。
　最小化処理は、水平方向の各小数画素位置ごとに独立に実施される。具体的には、以下の連立方程式の解を求めればよい。
Figure JPOXMLDOC01-appb-M000002
　これを整理すると、以下となる。
Figure JPOXMLDOC01-appb-M000003
　この結果、式（１）を求めるフィルタ係数と同じ数の一次方程式が得られることになり、この連立方程式の解として、３種類の６ｔａｐフィルタ係数群が求まり、そのフィルタ係数を用いて小数画素（非特許文献２のＦｉｇ．１のａ，ｂ，ｃ）が補間される。
　水平方向の画素補間が完了した後、垂直方向の補間処理を実施する。水平方向と同様の線形問題を解くことで垂直方向のフィルタ係数を決定する。具体的には式（４）の予測誤差電力関数Ｅを最小化するような垂直方向フィルタ係数が、解析的に決定される。
Figure JPOXMLDOC01-appb-M000004
　ここでＳは原画像、＾Ｐ（＾はＰの頭に付く）は復号後に水平方向に補間処理された画像、ｘおよびｙはそれぞれ画像中の水平および垂直方向の位置を示す。また、～ｘ＝４・（ｘ＋ＭＶｘ）（～はｘの頭に付く）で表現され、ＭＶｘは丸められた動きベクトルの水平成分を示す。垂直方向については、～ｙ＝ｘ＋ＭＶｙ－ＦｉｌｔｅｒＯｆｆｓｅｔ（～はｙの頭に付く）で表現され、ＭＶｙは動きベクトルの垂直成分、ＦｉｌｔｅｒＯｆｆｓｅｔは調整のためのオフセット（フィルタのタップ長を２で割った値）を示す。ｗｃｊは求めるべき垂直方向フィルタ係数群ｃｊ（０≦ｃｊ＜６）を示す。
Figure JPOXMLDOC01-appb-M000005
　最小化処理は各小数精度画素ごとに独立に実施され、１２種類の６ｔａｐフィルタが得られる。このフィルタ係数を用いて、残りの小数精度画素（非特許文献２のＦｉｇ．１におけるｄ～ｏ）が補間される。以上より、合計９０（＝６×１５）のフィルタ係数を符号化して復号側に伝送する必要がある。
　次に、図４を参照して、従来技術による領域分割適応補間フィルタ（ＲＢＡＩＦ）の構成を説明する。図４は、従来技術による領域分割適応補間フィルタ（ＲＢＡＩＦ）の構成を示すブロック図である。図４において、参照画像記憶部１０１は、画面間予測に用いる参照画像を格納する。動きベクトル関連情報記憶部１０２は、入力画像及び参照画像に対する画面間予測に用いる動きベクトル関連情報を格納する。予測画像生成部１０３は、参照画像記憶部１０１から読み込んだ参照画像及び動きベクトル関連情報記憶部１０２から読み込んだ動きベクトル関連情報を入力として読み込み、参照画像及び動きベクトル関連情報を用いて、動き補償画面間予測処理に基づき、入力画像に対する予測画像を生成する。
　分割領域設定部１０４は、分割位置の候補の中から、指定された順序に基づき、フレーム分割を行う分割位置を設定する。予測誤差電力和算出部１０５は、出力された２つの予測誤差電力を入力として、フレーム内の予測誤差電力和として、両者の加算値を算出する。最小値判定部１０６は、予測誤差電力和算出部１０５で算出した予測誤差和が、格納された値よりも小さいか否かを判定し、小さい場合は、予測誤差電力和算出部１０５で算出した予測誤差和、分割位置を示す位置情報、同分割位置で分割した場合の２つの分割領域に対するフィルタ係数を格納する。予測誤差電力和記憶部１０７は、予測誤差電力和算出部１０５で算出した予測誤差和、分割位置を示す位置情報、同分割位置で分割した場合の２つの分割領域に対するフィルタ係数を格納する。繰返処理終了判定部１０８は、分割位置の全候補について処理が実行されるまで処理を繰り返し行う。
　第一領域予測誤差電力算出部１０９は、正規方程式生成部１０９１、正規方程式求解処理部１０９２および予測誤差電力算出処理部１０９３を備えている。正規方程式生成部１０９１は、分割領域の正規方程式を構成する乗算係数、バイアス係数を算出し、分割領域に対する正規方程式を生成する。ここで、該当する分割領域は、水平方向に左右分割を行う場合は、左側領域であり、垂直方向に上下分割を行う場合は、上側領域である。正規方程式求解処理部１０９２は、正規方程式生成部１０９１で生成された正規方程式の解を求め、補間フィルタ係数として格納する。予測誤差電力算出処理部１０９３は、正規方程式求解処理部１０９２で算出された補間フィルタ係数を用いた場合の予測誤差電力を算出する。
　第二領域予測誤差電力算出部１１０は、正規方程式生成部１１０１、正規方程式求解処理部１１０２および予測誤差電力算出処理部１１０３を備えている。正規方程式生成部１１０１は、分割領域の正規方程式を構成する乗算係数、バイアス係数を算出し、分割領域に対する正規方程式を生成する。ここで、該当する分割領域は、水平方向に左右分割を行う場合は、右側領域であり、垂直方向に上下分割を行う場合は、下側領域である。正規方程式求解処理部１１０２は、正規方程式生成部１１０１で生成された正規方程式の解を求め、補間フィルタ係数として格納する。予測誤差電力算出処理部１１０３は、正規方程式求解処理部１１０２で算出された補間フィルタ係数を用いた場合の予測誤差電力を算出する。
　次に、図５を参照して、図４に示す従来技術による領域分割適応補間フィルタ（ＲＢＡＩＦ）の動作を説明する。図５は、図４に示す領域分割適応補間フィルタ（ＲＢＡＩＦ）の動作を示すフローチャートである。まず、予測画像生成部１０３は、参照画像記憶部１０１からフレーム間予測に用いる参照画像を読み込む（ステップＳ１）。続いて、予測画像生成部１０３は、符号化対象画像に対して、参照画像を用いた動き推定処理を行なった結果得られる動きベクトル関連情報を動きベクトル関連情報記憶部１０２から読み込む（ステップＳ２）。そして、動き補償画面間予測処理に基づき、入力画像に対する予測画像を生成する（ステップＳ３）。
　次に、分割領域設定部１０４は、分割領域を設定し、設定情報を２つの正規方程式生成部１０９１、１１０１へ出力する。これを受けて、正規方程式生成部１０９１は、設定された分割領域の正規方程式を構成する乗算係数、バイアス係数を算出し、分割領域に対する正規方程式を生成して出力する（ステップＳ４）。ここで、該当する分割領域は、水平方向に左右分割を行う場合は、左側領域であり、垂直方向に上下分割を行う場合は、上側領域である。続いて、正規方程式求解処理部１０９２は、正規方程式生成部１０９１から出力された正規方程式の解を求め、補間フィルタ係数として格納する（ステップＳ５）。
そして、予測誤差電力算出処理部１０９３は、この補間フィルタ係数を用いた場合の予測誤差電力を算出して出力する（ステップＳ６）。
　一方、正規方程式生成部１１０１は、設定された分割領域の正規方程式を構成する乗算係数、バイアス係数を算出し、分割領域に対する正規方程式を生成して出力する（ステップＳ７）。ここで、該当する分割領域は、水平方向に左右分割を行う場合は、右側領域であり、垂直方向に上下分割を行う場合は、下側領域である。続いて、正規方程式求解処理部１１０２は、正規方程式生成部１１０１から出力された正規方程式の解を求め、補間フィルタ係数として格納する（ステップＳ８）。そして、予測誤差電力算出処理部１１０３は、この補間フィルタ係数を用いた場合の予測誤差電力を算出して出力する（ステップＳ９）。
　次に、予測誤差電力和算出処理部１０５は、２つの予測誤差電力算出処理部１０９３、１１０３から出力された予測誤差電力を入力し、フレーム内の予測誤差電力和として、両者の加算値を算出して予測誤差電力和記憶部１０７に記憶する（ステップＳ１０）。最小値判定部１０６は、予測誤差電力和記憶部１０７に記憶された予測誤差和の中で最小値を与える分割位置を求め、同分割位置で分割した場合の２つの分割領域に対するフィルタ係数を格納する（ステップＳ１１）。繰返処理終了判定部１０８は、分割位置の全候補について処理したか否かを判定し、全候補について処理が終了していなければ分割領域設定部１０４に対して処理を繰り返す指示を出力する。そして、全候補について処理が終了した時点で、繰返処理終了判定部１０８は、予測誤差和を最小化する分割位置を求め、同分割位置で分割した場合の２つの分割領域に対するフィルタ係数を出力する（ステップＳ１２）。
Y. Vatis, B. Edler, D. Nguyen, and J. Ostermann. Two-dimensional non-separable adaptive wiener interpolation filter for H.264/AVC. In ITU-TQ.6/SG16 VCEG, VCEG-Z17r1, Apr. 2005. S. Wittmann and T. Wedi. Separable adaptive interpolation filter for video coding. In IEEE International Conference on image Processing, pp. 2500 . 2503, 2008.
　領域分割適応補間フィルタ（ＲＢＡＩＦ）においては、フレーム内の領域分割の最小単位として、ｓｅｇｍｅｎｔａｔｉｏｎ　ｕｎｉｔ（ＳＵ）と呼ぶ正方形領域（Δ×Δ画素）を定める。本発明では、上記のＳＵを最小単位として、領域分割を行い、各分割領域毎に、最適な補間フィルタ係数を設定する領域分割適応補間フィルタを対象とする。Ｗ×Ｈ［画素］からなるフレームの場合、ＷＨ／Δ２個のＳＵが含まれる。例えば、フレームを水平方向に左右２分割する場合、分割しないという選択肢も含めて、Ｗ／Δ通りの分割方法があり、同フレームを垂直方向に上下２分割する場合、分割しないという選択肢も含めて、Ｈ／Δ通りの分割方法がある。なお、以下では、Ψ（ｎ，ｍ）として、フレーム内の領域｛ｘ，ｙ｜ｎ・Δ≦ｘ≦（ｎ＋１）・Δ－１，ｍ・Δ≦ｙ≦（ｍ＋１）・Δ－１｝にあたるＳＵを表すものとする。ここで、ｘ，ｙはフレーム内の座標値を表す変数であり、ｘ＝０，．．．，Ｗ－１，ｙ＝０，．．．，Ｈ－１の値を取り、また、ｎ，ｍはｎ＝０，．．．，Ｗ／Δ－１，ｍ＝０，．．．，Ｈ／Δ－１の値を取り得るものとする。
　領域分割適応補間フィルタの領域分割の決定の規範としては、フレーム内の予測誤差電力の総和を用いる。なお、フレーム内の４つの座標値（ｐｘ，ｐｙ），（ｐｘ＋ｌｘ，ｐｙ），（ｐｘ，ｐｙ＋ｌｙ－１），（ｐｘ＋ｌｘ－１，ｐｙ＋ｌｙ－１）で同定される矩形領域に対して、フィルタ係数η（ｐｘ，ｐｙ，ｌｘ，ｌｙ）を用いた場合の予測誤差電力をＥ（ｐｘ，ｐｙ，ｌｘ，ｌｙ，η（ｐｘ，ｐｙ，ｌｘ，ｌｙ））として表すことにする。
　以下の説明では、例として、画面内を左右２領域に分割し、各分割領域毎にフィルタ係数を付与する場合を考える。この場合、前述の通り、分割しないという選択肢も含めて、Ｗ／Δ通りの分割方法がある。ｘ＜ｎ・Δの左側領域およびｎ・Δ≦ｘの右側領域（ｎ＝０，．．．，Ｗ／Δ－１）に分割する場合、まず、領域分割適応補間フィルタのフィルタ係数η（０，０，ｎ・Δ，Ｈ），η（ｎΔ，０，Ｗ－ｎ・Δ，Ｈ）を求める。次に、求めたフィルタ係数を用いて２領域の予測誤差電力の総和を求める。
　Ｅ（０，０，ｎ・Δ，Ｈ，η（０，０，ｎ・Δ，Ｈ））＋Ｅ（ｎ・Δ，０，Ｗ－ｎ・Δ，Ｈ，η（ｎ・Δ，０，Ｗ－ｎ・Δ，Ｈ））
　上記の処理を分割位置の全候補ｎ＝０，．．．，Ｗ／Δ－１に対して行い、予測誤差電力の総和を最小化する分割位置を求める。
Figure JPOXMLDOC01-appb-M000006
　最終的に、ｘ＜ｎｏｐｔ・Δの左側領域およびｎｏｐｔ・Δ≦ｘの右側領域に分割する領域分割を最適な領域分割とする。ＳＵのサイズが一定の場合は、フレームのサイズの増加とともに、分割位置の候補数Ｗ／Δが増大する。例えば、Δ＝３２とした場合、３５２×２８８［画素／フレーム］の映像に対しては、領域分割の候補数は１１個であるのに対し、３８４０×２１６０［画素／フレーム］の高精細映像に対しては、領域分割の候補数は１２０個となり、最適な領域分割の設定のための演算量の増加が問題となる。高精細映像に対して、ＳＵサイズΔを大きな値に設定すれば、上記の演算量の増加は抑えられるが、一方、領域分割の精度が低下し、十分な予測性能を得られない可能性がある。
　本発明は、このような事情に鑑みてなされたもので、領域分割適応補間フィルタの予測性能を保持しつつ、最適な領域分割の選択に要する演算量を削減することができる領域分割適応補間フィルタ機能を有する動画像符号化装置、動画像符号化方法及び動画像符号化プログラムを提供することを目的とする。
　本発明係わる動画像符号化装置は、小数画素位置の補間画素値を生成する補間フィルタとして、フレーム内を領域分割し、分割された領域毎に補間フィルタの係数を適応的に設定する領域分割対応適応フィルタを用いて、小数画素精度に対応した動き補償フレーム間予測を行い、予め用意された分割位置の候補の中から最適な分割位置を選択する際に、分割位置により規定される分割領域に対する補間フィルタ係数を求めるための線形連立方程式を構築する方程式生成手段と、前記線形連立方程式を求解することにより前記補間フィルタ係数を求める方程式求解処理手段とを備え、前記方程式生成手段は、異なる分割領域における前記補間フィルタ係数を算出する演算において、重複した演算処理結果を流用し、重複のない差分情報のみについて新たに演算によって算出する方程式を生成する。
　本発明にかかわる動画像符号化装置は、前記差分情報を算出する際に、前記領域分割の最小単位毎に必要な情報を予め算出しておき、予め算出しておいた情報を必要に応じて使用して必要な前記差分情報を算出してもよい。
　本発明に係わる動画像復号化装置は、前記動画像符号化装置によって符号化された動画像を復号してもよい。
　本発明に係わる動画像符号化方法は、小数画素位置の補間画素値を生成する補間フィルタとして、フレーム内を領域分割し、分割された領域毎に補間フィルタの係数を適応的に設定する領域分割対応適応フィルタを用いて、小数画素精度に対応した動き補償フレーム間予測を行う動画像符号化装置において、予め用意された分割位置の候補の中から最適な分割位置を選択する際に、分割位置により規定される分割領域に対する補間フィルタ係数を求めるための線形連立方程式を構築する方程式生成ステップと、前記線形連立方程式を求解することにより前記補間フィルタ係数を求める方程式求解処理ステップとを有し、前記方程式生成ステップは、異なる分割領域における前記補間フィルタ係数を算出する演算において、重複した演算処理結果を流用し、重複のない差分情報のみについて新たに演算によって算出する方程式を生成する。
　本発明に係わる動画像符号化方法は、前記差分情報を算出する際に、前記領域分割の最小単位毎に必要な情報を予め算出しておき、予め算出しておいた情報を必要に応じて使用して必要な前記差分情報を算出してもよい。
　本発明に係わる動画像復号方法は、前記動画像符号化方法によって符号化された動画像を復号してもよい。
　本発明に係わる動画像符号化装置上のコンピュータに符号化処理を行わせる動画像符号化プログラムは、小数画素位置の補間画素値を生成する補間フィルタとして、フレーム内を領域分割し、分割された領域毎に補間フィルタの係数を適応的に設定する領域分割対応適応フィルタを用いて、小数画素精度に対応した動き補償フレーム間予測を行い、予め用意された分割位置の候補の中から最適な分割位置を選択する際に、分割位置により規定される分割領域に対する補間フィルタ係数を求めるための線形連立方程式を構築する方程式生成ステップと、前記線形連立方程式を求解することにより前記補間フィルタ係数を求める方程式求解処理ステップとを前記コンピュータに行わせ、前記方程式生成ステップは、異なる分割領域における前記補間フィルタ係数を算出する演算において、重複した演算処理結果を流用し、重複のない差分情報のみについて新たに演算によって算出する方程式を生成する。
　本発明に係わる動画像復号プログラムは、前記動画像符号化プログラムによって符号化された動画像を復号してもよい。
　本発明によれば、最適な分割位置の算出を伴う領域分割対応適応フィルタのフィルタ算出過程において、異なる分割形状に対するフィルタ係数を算出する際に、重複した処理を省略することが可能となり、予測性能を低下させることなく、演算量の低減を図ることができるという効果が得られる。
本発明の一実施形態の構成を示すブロック図である。 図１示す装置の動作を示すフローチャートである。 図１に示す領域分割適応補間フィルタが備えられる動画像符号化装置を含む動画像伝送システムの構成を示すブロック図である。 従来技術による装置の構成を示すブロック図である。 図４に示す装置の動作を示すフローチャートである。
　以下、図面を参照して、本発明の一実施形態による動画像符号化装置に用いられる領域分割適応補間フィルタ（ＲＢＡＩＦ）を説明する。領域分割適応補間フィルタの詳細な説明を行う前に、本発明の一実施形態による動画像符号化装置に用いられる領域分割適応補間フィルタの動作原理について説明する。本発明は、領域分割適応補間フィルタの異なる分割形状に対するフィルタ係数の算出方法に重複した処理が含まれることに着目し、そうした重複した処理の演算を省略することで、予測性能を低下させることなく、演算量の低減を図るものである。
　なお、本発明では、領域分割の形状によらず、全て、画面間予測に関連する情報（予測を行うブロックのサイズ、動きベクトル、動き補償の参照画像等）が、共有されるものとする。なお、前記の画面間予測に関連する情報を動きベクトル関連情報と呼ぶ。動きベクトル関連情報は、別途、求められた情報が与えられるものとする。動きベクトル関連情報は、例えば、規格Ｈ．２６４／ＡＶＣで規定されている固定係数の補間フィルタを用いて、小数画素位置の画素値を補間し、動き推定アルゴリズム（例えば、文献「K. P. Lim, G. Sullivan, and T. Wiegand. Text description of joint model reference encoding methods and decoding concealment methods. Technical Report R095, Joint Video Team (JVT) of ISO/IEC MPEG and ITU-T VCEG,Jan. 2006.」）を用いて、求めることができる。
　以下の説明では、例として、画面内を２領域に分割し、各分割領域毎にフィルタ係数を付与するものとして説明する。動きベクトル関連情報を読み込み、領域分割の候補位置毎に、各分割領域内の予測誤差電力を最小化するフィルタ係数を算出する。領域分割適応補間フィルタのフィルタ係数算出は、分割領域毎に式（３）及び式（６）に示す正規方程式を求解し、その解として、フィルタ係数を算出する。
　式（３）及び式（６）を次のように変形する。
Figure JPOXMLDOC01-appb-M000007
　ここで、
Figure JPOXMLDOC01-appb-M000008
とおくと、式（３）及び式（６）は次のように簡潔に表すことができる。
Figure JPOXMLDOC01-appb-M000009
　ここで、以下では、αｖ（ｎ，ｍ，ｃｉ），αｈ（ｎ，ｍ，ｃｉ）をＳＵ自己相関係数と呼び、βｖ（ｎ，ｍ），βｈ（ｎ，ｍ）をＳＵ相互相関係数と呼ぶ。
　画面内を左右２領域として、左側領域ｘ＜ｋｘ・Δおよび右側領域ｋｘ・Δ≦ｘ（ｋｘ＝０，．．．，Ｗ／Δ－１）に分割する場合、左領域の領域分割適応補間フィルタのフィルタ係数η（０，０，ｋｘ・Δ，Ｈ）は、次の線形連立方程式の解となる。
Figure JPOXMLDOC01-appb-M000010
　また、右領域の領域分割適応補間フィルタのフィルタ係数η（ｋｘ・Δ，０，Ｗ－ｋｘ・Δ，Ｈ）は、次の線形連立方程式の解となる。
Figure JPOXMLDOC01-appb-M000011
　さらに、
Figure JPOXMLDOC01-appb-M000012
とおくと、左領域の領域分割適応補間フィルタのフィルタ係数η（０，０，ｋｘ・Δ，Ｈ）を求めるための線形連立方程式は次式となる。
Figure JPOXMLDOC01-appb-M000013
　また、右領域の領域分割適応補間フィルタのフィルタ係数η（ｋｘ・Δ，０，Ｗ－ｋｘ・Δ，Ｈ）を求めるための線形連立方程式は次式となる。
Figure JPOXMLDOC01-appb-M000014
　上記線形連立方程式を正規方程式と呼ぶ。さらに、正規方程式の右辺の項をバイアス係数と呼び、左辺のｗｃｉ及びｗｃｊに乗じられる値を乗算係数と呼ぶ。
　次に、画面内を左右２領域として、左側領域ｘ＜（ｋｘ＋１）・Δおよび右側領域（ｋｘ＋１）・Δ≦ｘに分割する場合、左領域の領域分割適応補間フィルタのフィルタ係数η（０，０，（ｋｘ＋１）・Δ，Ｈ）は、次の線形連立方程式の解となる。
Figure JPOXMLDOC01-appb-M000015
　また、右領域の領域分割適応補間フィルタのフィルタ係数η（ｋｘ・Δ，０，Ｗ－（ｋｘ＋１）・Δ，Ｈ）は、次の線形連立方程式の解となる。
Figure JPOXMLDOC01-appb-M000016
　式（１５）と式（１９）の関係に注目すると、式（１５）の算出の過程で求めたＡｖ（０，ｋｘ－１，０，Ｈ／Δ－１，ｃｉ），Ｂｖ（０，ｋｘ－１，０，Ｈ／Δ－１）の結果を格納しておき、式（１９）の算出の過程で必要に応じて、読み込むことで、重複した計算を省略することができる。
　こうした重複した計算は、式（１６）と式（２０）の関係、式（１７）と式（２１）の関係、及び式（１８）と式（２２）の関係についても同様に存在しており、そうした重複した計算を省略することができる。
　さらに、式（１９）の算出の過程で求めた値を以下のように格納しておくことで、画面内を左右２領域として、左側領域ｘ＜（ｋｘ＋２）・Δおよび右側領域（ｋｘ＋２）・Δ≦ｘに分割する場合のフィルタ係数算出時においても同様に重複した計算を省略することができる。
Figure JPOXMLDOC01-appb-M000017
　式（２０）についても、次式の通り同様である。
Figure JPOXMLDOC01-appb-M000018
　また、上記は右領域の場合であるが、左領域の場合についても、式（２１）の算出の過程で求めた値を以下のように格納しておくことで、画面内を左右２領域として、左側領域ｘ＜（ｋｘ＋２）・Δおよび右側領域（ｋｘ＋２）・Δ≦ｘに分割する場合のフィルタ係数算出時においても同様に重複した計算を省略することができる。
Figure JPOXMLDOC01-appb-M000019
　式（２２）についても、次式の通り同様である。
Figure JPOXMLDOC01-appb-M000020
　次に、図１を参照して、本発明の一実施形態による領域分割適応補間フィルタ（ＲＢＡＩＦ）の構成を説明する。図１は、同実施形態の構成を示すブロック図である。この図において、図４に示す従来の領域分割適応補間フィルタと同一の部分には同一の符号を付し、その説明を省略する。この図に示す領域分割適応補間フィルタが従来の領域分割適応補間フィルタと異なる点は、第一領域予測誤差電力算出部１０９と、第二領域予測誤差電力算出部１１０内に、乗算係数記憶部１０９４、１１０４と、バイアス係数記憶部１０９５、１１０５が新たに設けられているとともに、演算要素格納部１１１が新たに設けられている点である。
　ＳＵ自己相関係数算出部１１１１は、予測画像を入力として読み込み、フレーム内の全ＳＵ（ｓｅｇｍｅｎｔａｔｉｏｎ　ｕｎｉｔ）に対して、ＳＵ自己相関係数を算出し、算出結果をＳＵ自己相関係数記憶部１１１３に格納する。ＳＵ相互相関閨秀算出部１１１２は、符号化対象画像、予測画像を入力として読み込み、フレーム内の全ＳＵに対して、ＳＵ相互相関係数を算出し、算出結果をＳＵ相互相関係数記憶部１１１４に格納する。
　正規方程式生成部１０９１は、乗算係数記憶部１０９４から乗算係数を読み込み、同係数と正規方程式の構築に必要な乗算係数の差分値を算出し、格納されている乗算係数及び差分値を加算し、正規方程式の構築に必要な乗算係数として出力する。差分値の算出には、ＳＵ自己相関係数記憶部１１１３、ＳＵ相互相関係数記憶部１１１４に格納されたＳＵ自己相関係数、ＳＵ相互相関係数を読み出し、ＳＵ自己相関係数、ＳＵ相互相関係数の加算に基づき設定する。ここで求めた差分値は、後続の処理で再利用可能なように乗算係数差分値記憶部１０９６に格納する。
　また、正規方程式生成部１０９１は、バイアス係数記憶部１０９５からバイアス係数を読み込み、同係数と正規方程式の構築に必要なバイアス係数の差分値を算出し、格納されているバイアス係数及び差分値を加算し、正規方程式の構築に必要なバイアス係数として出力する。差分値の算出には、ＳＵ自己相関係数記憶部１１１３、ＳＵ相互相関係数記憶部１１１４に格納されたＳＵ自己相関係数、ＳＵ相互相関係数を読出し、ＳＵ自己相関係数、ＳＵ相互相関係数の加算に基づき設定する。ここで求めた差分値は、後続の処理で再利用可能なようにバイアス係数差分値記憶部１０９７に格納する。
　正規方程式生成部１０９１は、この処理で算出された乗算係数、バイアス係数を読み込み、分割領域に対する正規方程式を生成する。ここで、該当する分割領域は、水平方向に左右分割を行う場合は、左側領域であり、垂直方向に上下分割を行う場合は、上側領域である。そして、算出された乗算係数、バイアス係数を各々、乗算係数記憶部１０９４、バイアス係数記憶部１０９５に格納する。正規方程式求解処理部１０９２は、正規方程式生成部１０９１で生成された正規方程式の解を求め、補間フィルタ係数として格納する。予測誤差電力算出処理部１０９３は、符号化対象画像、参照画像、動きベクトル関連情報、正規方程式求解処理部１０９２で算出された補間フィルタ係数を読み込み、同補間フィルタ係数を用いた場合の予測誤差電力を算出する。
　正規方程式生成部１１０１は、乗算係数記憶部１１０４から乗算係数を読み込み、さらに、乗算係数差分値記憶部１０９６から乗算係数の差分値を読み込み、前者から後者を減算し、正規方程式の構築に必要な乗算係数として出力する。また、正規方程式１１０１は、バイアス係数記憶部１１０５からバイアス係数を読み込み、さらに、バイアス係数差分値記憶部１０９７からバイアス係数の差分値を読み込み、前者から後者を減算し、正規方程式の構築に必要なバイアス係数として出力する。この処理で算出された乗算係数、バイアス係数を読み込み、分割領域に対する正規方程式を生成する。ここで、該当する分割領域は、水平方向に左右分割を行う場合は、右側領域であり、垂直方向に上下分割を行う場合は、下側領域である。
　算出された乗算係数、バイアス係数を各々、乗算係数記憶部１１０４、バイアス係数記憶部１１０５に格納する。正規方程式求解処理部１１０２は、正規方程式生成部１１０１で生成された正規方程式の解を求め、補間フィルタ係数として格納する。予測誤差電力算出処理部１１０３は、符号化対象画像、参照画像、動きベクトル関連情報、正規方程式求解処理部１１０２で算出された補間フィルタ係数を読み込み、同補間フィルタ係数を用いた場合の予測誤差電力を算出する。
　次に、図２を参照して、図１に示す領域分割適応補間フィルタ（ＲＢＡＩＦ）の処理動作を説明する。図２は、図１に示す領域分割適応補間フィルタ（ＲＢＡＩＦ）の処理動作を示すフローチャートである。まず、予測画像生成部１０３は、参照画像記憶部１０１からフレーム間予測に用いる参照画像を読み込む（ステップＳ１）。続いて、予測画像生成部１０３は、符号化対象画像に対して、参照画像を用いた動き推定処理を行なった結果得られる動きベクトル関連情報を動きベクトル関連情報記憶部１０２から読み込む（ステップＳ２）。そして、動き補償画面間予測処理に基づき、入力画像に対する予測画像を生成する（ステップＳ３）。
　次に、ＳＵ自己相関係数算出部１１１１は、生成された予測画像を入力として読み込み、フレーム内の全ＳＵ（ｓｅｇｍｅｎｔａｔｉｏｎ　ｕｎｉｔ）に対して、式（７）のαｖ（ｎ，ｍ，ｃｉ），αｈ（ｎ，ｍ，ｃｉ）の定義に基づきＳＵ自己相関係数を算出し、算出結果を格納する（ステップＳ３１）。続いて、ＳＵ相互相関係数算出部１１１２は、符号化対象画像、予測画像を入力として読み込み、フレーム内の全ＳＵに対して、式（７）のβｖ（ｎ，ｍ），βｈ（ｎ，ｍ）の定義に基づきＳＵ相互相関係数を算出し、算出結果を格納する（ステップＳ３２）。
　次に、分割領域設定部１０４は、分割領域を設定し、設定情報を正規方程式生成部１０９１へ出力するとともに、分割位置情報記憶部１０７３に格納する。分割方法としては、画面内を水平分割し上側領域と下側領域の２領域に分割する、もしくは、画面内を垂直分割し左側領域と右側領域の２領域に分割するといった方法があげられる。このとき、分割位置を示す情報は、別途、与えられるものとする。また、以下では、分離型のフィルタを対象として、フィルタ係数を最適化する手順を示すが、非分離型のフィルタについても同様に行える。また、以下では、水平方向の補間フィルタ係数、垂直方向の補間フィルタ係数の順に導出する。もちろん、この導出順序は逆にすることも可能である。
　次に、正規方程式生成部１０９１は、乗算係数記憶部１０９４に格納されている乗算係数（式（１９）、式（２０）におけるＡｖ（０，ｋｘ－１，０，Ｈ／Δ－１，ｃｉ），Ａｈ（０，ｋｘ－１，０，Ｈ／Δ－１，ｃｊ））を読み込み、同係数と正規方程式の構築に必要な乗算係数の差分値（式（１９）、式（２０）における
Figure JPOXMLDOC01-appb-M000021
）を算出し、格納されている乗算係数及び差分値を加算し、正規方程式の構築に必要な乗算係数として出力する（ステップＳ４１）。差分値の算出には、ＳＵ自己相関係数記憶部１１１３、ＳＵ相互相関係数記憶部１１１４に格納されたＳＵ自己相関係数、ＳＵ相互相関係数を読出し、ＳＵ自己相関係数、ＳＵ相互相関係数の加算に基づき設定する。ここで求めた差分値は、後続の処理で再利用可能なように乗算係数差分値記憶部１０９６に格納する。
　次に、正規方程式生成部１０９１は、バイアス係数記憶部１０９５に格納されているバイアス係数（式（１９）、式（２０）におけるＢｖ（０，ｋｘ－１，０，Ｈ／Δ－１），Ｂｈ（０，ｋｘ－１，０，Ｈ／Δ－１））を読み込み、同係数と正規方程式の構築に必要なバイアス係数の差分値（式（１９）、式（２０）における
Figure JPOXMLDOC01-appb-M000022
）を算出し、格納されているバイアス係数及び差分値を加算し、正規方程式の構築に必要なバイアス係数として出力する（ステップＳ４２）。差分値の算出には、ＳＵ自己相関係数記憶部１１１３、ＳＵ相互相関係数記憶部１１１４に格納されたＳＵ自己相関係数、ＳＵ相互相関係数を読出し、ＳＵ自己相関係数、ＳＵ相互相関係数の加算に基づき設定する。ここで求めた差分値は、後続の処理で再利用可能なようにバイアス係数差分値記憶部１０９７に格納する。
　次に、正規方程式生成部１０９１は、算出された乗算係数、バイアス係数を読み込み、分割領域に対する正規方程式として、式（１９）、式（２０）を生成する（ステップＳ４３）。ここで、該当する分割領域は、水平方向に左右分割を行う場合は、左側領域であり、垂直方向に上下分割を行う場合は、上側領域である。そして、正規方程式生成部１０９１は、算出された乗算係数、バイアス係数をそれぞれ乗算係数記憶部１０９４、バイアス係数記憶部１０９５に格納する（ステップＳ４４）。
　次に、正規方程式求解処理部１０９２は、正規方程式生成部１０９１によって生成された正規方程式の解を求め、補間フィルタ係数としてフィルタ係数記憶部１０７２に格納する（ステップＳ５）。続いて、予測誤差電力算出処理部１０９３は、正規方程式求解処理部１０９２において算出された補間フィルタ係数を用いた場合の予測誤差電力を算出する（ステップＳ６）。
　次に、正規方程式生成部１１０１は、乗算係数記憶部１１０４に格納されている乗算係数、乗算係数差分値記憶部１０９６に格納した差分値を読み込み、格納されている乗算係数（式（２１）式（２２）におけるＡｖ（ｋｘ，Ｗ／Δ－１，０，Ｈ／Δ－１，ｃｉ），Ａｈ（ｋｘ，Ｗ／Δ－１，０，Ｈ／Δ－１，ｃｊ））から差分値を減算し、正規方程式の構築に必要な乗算係数として出力する（ステップ７１）。
　次に、正規方程式生成部１１０１は、バイアス係数記憶部１１０５に格納されているバイアス係数、バイアス係数差分値記憶部１０９７に格納した差分値を読み込み、格納されているバイアス係数（式（２１）式（２２）におけるＢｖ（ｋｘ，Ｗ／Δ－１，０，Ｈ／Δ－１），Ｂｈ（ｋｘ，Ｗ／Δ－１，０，Ｈ／Δ－１））から差分値を減算し、正規方程式の構築に必要なバイアス係数として出力する（ステップＳ７２）。
　次に、正規方程式生成部１１０１は、算出された乗算係数、バイアス係数を読み込み、分割領域に対する正規方程式として、式（２１）式（２２）を生成する（ステップＳ７３）。ここで、該当する分割領域は、水平方向に左右分割を行う場合は、右側領域であり、垂直方向に上下分割を行う場合は、下側領域である。そして、正規方程式生成部１１０１は、算出された乗算係数、バイアス係数をそれぞれ乗算係数記憶部１１０４、バイアス係数記憶部１１０５に格納する（ステップＳ７４）。
　次に、正規方程式求解処理部１１０２は、正規方程式生成部１１０１によって生成された正規方程式の解を求め、補間フィルタ係数としてフィルタ係数記憶部１０７２に格納する（ステップＳ８）。続いて、予測誤差電力算出処理部１１０３は、正規方程式求解処理部１１０２において算出された補間フィルタ係数を用いた場合の予測誤差電力を算出する（ステップＳ９）。
　次に、予測誤差電力和算出処理部１０５は、２つの予測誤差電力算出処理部１０９３、１１０３から出力された予測誤差電力を入力し、フレーム内の予測誤差電力和として、両者の加算値を算出して予測誤差電力和記憶部１０７１に記憶する（ステップＳ１０）。最小値判定部１０６は、予測誤差電力和記憶部１０７１に記憶された予測誤差和の中で最小値を与える分割位置を求め、同分割位置で分割した場合の２つの分割領域に対するフィルタ係数を格納する（ステップＳ１１）。繰返処理終了判定部１０８は、分割位置の全候補について処理したか否かを判定し、全候補について処理が終了していなければ分割領域設定部１０４に対して処理を繰り返す指示を出力する。そして、全候補について処理が終了した時点で、繰返処理終了判定部１０８は、予測誤差和を最小化する分割位置を求め、同分割位置で分割した場合の２つの分割領域に対するフィルタ係数を出力する（ステップＳ１２）。
　次に、図３を参照して、図１に示す領域分割適応補間フィルタを備える動画像符号化装置を含む動画像伝送システムの構成を説明する。図３は、動画像伝送システムの構成を示すブロック図である。図３において、動画像入力部１は、カメラ等で撮像した動画像を入力する。動画像符号化装置２は、小数画素位置の補間画素値を生成する補間フィルタとして、フレーム内を領域分割し、分割された領域毎に補間フィルタの係数を適応的に設定する領域分割対応適応フィルタ（図１に示す領域分割適応補間フィルタ）を用いて、小数画素精度に対応した動き補償フレーム間予測を行い、動画像入力部１によって入力した動画像を符号化して送信する。伝送路３は、動画像符号化装置２から送信された符号化動画像のデータを伝送する。動画像復号装置４は、伝送路３によって伝送された符号化動画像のデータを受信し、符号化動画像のデータを復号して出力する。動画像出力部５は、動画像復号装置４において復号された動画像を表示装置等へ出力する。
　次に、図３に示す動画像伝送システムの動作を説明する。動画像符号化装置２は、動画像入力部１を介して、動画像のデータを入力し、動画像のフレーム毎に符号化を行う。このとき、図１に示す領域分割適応補間フィルタによって、画像の最適な分割位置の算出が行われる。そして、動画像符号化装置２は、符号化した動画像データを伝送路３を介して動画像復号装置４に対して送信する。動画像復号装置４は、この符号化動画像データを復号し、動画像出力部５を介して、表示装置等に動画像を表示する。
　以上説明したように、小数画素精度に対応した動き補償フレーム間予測を備えた動画像符号化方式において、小数画素位置の補間画素値を生成する補間フィルタとして、フレーム内を領域分割し、分割された領域毎に補間フィルタの係数を適応的に設定する領域分割対応適応フィルタを用いる場合、予め用意された分割位置の候補の中から最適な分割位置を選択する処理において、各分割位置が規定する分割領域に対する補間フィルタ係数を求める際、同フィルタのフィルタ係数を算出するための処理として、線形連立方程式を構築し、同方程式を求解する処理を用いる場合、異なる分割領域におけるフィルタ係数算出過程において重複した演算処理を流用し、重複のない差分情報のみ新たに算出するようにしたため、最適な分割位置の算出を伴う領域分割対応適応フィルタのフィルタ算出過程において、異なる分割形状に対するフィルタ係数を算出する際に、重複した処理を省略することが可能となり、予測性能を低下させることなく、演算量の低減を図ることができる。
　なお、図１における各処理部の機能を実現するためのプログラムをコンピュータ読み取り可能な記録媒体に記録して、この記録媒体に記録されたプログラムをコンピュータシステムに読み込ませ、実行することにより領域分割対応適応フィルタ処理を行ってもよい。
　なお、ここでいう「コンピュータシステム」とは、ＯＳや周辺機器等のハードウェアを含むものとする。また、「コンピュータ読み取り可能な記録媒体」とは、フレキシブルディスク、光磁気ディスク、ＲＯＭ、ＣＤ－ＲＯＭ等の可搬媒体、コンピュータシステムに内蔵されるハードディスク等の記憶装置のことをいう。さらに「コンピュータ読み取り可能な記録媒体」とは、インターネット等のネットワークや電話回線等の通信回線を介してプログラムが送信された場合のサーバやクライアントとなるコンピュータシステム内部の揮発性メモリ（ＲＡＭ）のように、一定時間プログラムを保持しているものも含むものとする。
　また、上記プログラムは、このプログラムを記憶装置等に格納したコンピュータシステムから、伝送媒体を介して、あるいは、伝送媒体中の伝送波により他のコンピュータシステムに伝送されてもよい。ここで、プログラムを伝送する「伝送媒体」は、インターネット等のネットワーク（通信網）や電話回線等の通信回線（通信線）のように情報を伝送する機能を有する媒体のことをいう。また、上記プログラムは、前述した機能の一部を実現するためのものであってもよい。さらに、前述した機能をコンピュータシステムにすでに記録されているプログラムとの組み合わせで実現できるもの、いわゆる差分ファイル（差分プログラム）であってもよい。
　本発明に係わる動画符号化および動画複合化は、領域分割適応補間フィルタの予測性能を保持しつつ、最適な領域分割の選択に要する演算量を削減することが不可欠な用途に適用できる。
　１　　動画像入力部
　２　　動画像符号化装置
　３　　伝送路
　４　　動画像復号装置
　５　　動画像出力部
　１０１　　参照画像記憶部
　１０２　　動きベクトル関連情報記憶部
　１０３　　予測画像生成部
　１０４　　分割領域設定部
　１０５　　予測誤差電力和算出処理部
　１０６　　最小値判定部
　１０８　　繰返処理終了判定部
　１０９　　第一領域予測誤差電力算出部
　１１０　　第二領域予測誤差電力算出部
　１１１　　演算要素格納部
　１０７１　　予測誤差電力和記憶部
　１０７２　　フィルタ係数記憶部
　１０７３　　分割位置情報記憶部
　１０９１　　正規方程式生成部
　１０９２　　正規方程式求解処理部、
　１０９３　　予測誤差電力算出処理部
　１０９４　　乗算係数記憶部、
　１０９５　　バイアス係数記憶部、
　１０９６　　乗算係数差分値記憶部
　１０９７　　バイアス係数差分値記憶部
　１１０１　　正規方程式生成部
　１１０２　　正規方程式求解処理部
　１１０３　　予測誤差電力算出処理部
　１１０４　　乗算係数記憶部
　１１０５　　バイアス係数記憶部
　１１１１　　ＳＵ自己相関係数算出部
　１１１２　　ＳＵ相互相関係数算出部
　１１１３　　ＳＵ自己相関係数記憶部
　１１１４　　ＳＵ相互相関係数記憶部

Claims (8)

  1. 　小数画素位置の補間画素値を生成する補間フィルタとして、フレーム内を領域分割し、分割された領域毎に補間フィルタの係数を適応的に設定する領域分割対応適応フィルタを用いて、小数画素精度に対応した動き補償フレーム間予測を行う動画像符号化装置であって、
    　予め用意された分割位置の候補の中から最適な分割位置を選択する際に、分割位置により規定される分割領域に対する補間フィルタ係数を求めるための線形連立方程式を構築する方程式生成部と、
    　前記線形連立方程式を求解することにより前記補間フィルタ係数を求める方程式求解処理部とを備え、
    　前記方程式生成部は、異なる分割領域における前記補間フィルタ係数を算出する演算において、重複した演算処理結果を流用し、重複のない差分情報のみについて新たに演算によって算出する方程式を生成する動画像符号化装置。
  2. 　前記差分情報を算出する際に、前記領域分割の最小単位毎に必要な情報を予め算出しておき、予め算出しておいた情報を必要に応じて使用して必要な前記差分情報を算出する請求項１に記載の動画像符号化装置。
  3. 　請求項１に記載の動画像符号化装置によって符号化された動画像を復号する動画像復号装置。
  4. 　小数画素位置の補間画素値を生成する補間フィルタとして、フレーム内を領域分割し、分割された領域毎に補間フィルタの係数を適応的に設定する領域分割対応適応フィルタを用いて、小数画素精度に対応した動き補償フレーム間予測を行う動画像符号化装置における動画像符号化方法であって、
    　予め用意された分割位置の候補の中から最適な分割位置を選択する際に、分割位置により規定される分割領域に対する補間フィルタ係数を求めるための線形連立方程式を構築する方程式生成ステップと、
    　前記線形連立方程式を求解することにより前記補間フィルタ係数を求める方程式求解処理ステップとを有し、
    　前記方程式生成ステップは、異なる分割領域における前記補間フィルタ係数を算出する演算において、重複した演算処理結果を流用し、重複のない差分情報のみについて新たに演算によって算出する方程式を生成する動画像符号化方法。
  5. 　前記差分情報を算出する際に、前記領域分割の最小単位毎に必要な情報を予め算出しておき、予め算出しておいた情報を必要に応じて使用して必要な前記差分情報を算出する請求項４に記載の動画像符号化方法。
  6. 　請求項４に記載の動画像符号化方法によって符号化された動画像を復号する動画像復号方法。
  7. 　小数画素位置の補間画素値を生成する補間フィルタとして、フレーム内を領域分割し、分割された領域毎に補間フィルタの係数を適応的に設定する領域分割対応適応フィルタを用いて、小数画素精度に対応した動き補償フレーム間予測を行う動画像符号化装置上のコンピュータに符号化処理を行わせる動画像符号化プログラムであって、
    　予め用意された分割位置の候補の中から最適な分割位置を選択する際に、分割位置により規定される分割領域に対する補間フィルタ係数を求めるための線形連立方程式を構築する方程式生成ステップと、
    　前記線形連立方程式を求解することにより前記補間フィルタ係数を求める方程式求解処理ステップとを前記コンピュータに行わせ、
    　前記方程式生成ステップは、異なる分割領域における前記補間フィルタ係数を算出する演算において、重複した演算処理結果を流用し、重複のない差分情報のみについて新たに演算によって算出する方程式を生成する動画像符号化プログラム。
  8. 　請求項７に記載の動画像符号化プログラムによって符号化された動画像を復号する動画像復号プログラム。
PCT/JP2012/065045 2011-06-13 2012-06-12 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム Ceased WO2012173125A1 (ja)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201280028428.6A CN103621089A (zh) 2011-06-13 2012-06-12 动态图像编码装置、动态图像解码装置、动态图像编码方法、动态图像解码方法、动态图像编码程序及动态图像解码程序
CA 2838978 CA2838978A1 (en) 2011-06-13 2012-06-12 Video encoding device, video decoding device, video encoding method, video decoding method, video encoding program, and video decoding program
BR112013031755A BR112013031755A2 (pt) 2011-06-13 2012-06-12 dispositivo de codificação de vídeo, dispositivo de decodificação de vídeo, método de codificação de vídeo, método de decodificação de vídeo, programa de codificação de vídeo, e programa de decodificação de vídeo
EP12800560.0A EP2709362A4 (en) 2011-06-13 2012-06-12 VIDEO ENCODER, VIDEO ENCODER, VIDEO ENCODER, VIDEO ENCODER, VIDEO ENCODER, AND VIDEO ENCODER
US14/125,165 US20140119453A1 (en) 2011-06-13 2012-06-12 Video encoding device, video decoding device, video encoding method, video decoding method, video encoding program, and video decoding program
KR20137032535A KR20140007076A (ko) 2011-06-13 2012-06-12 동화상 부호화 장치, 동화상 복호 장치, 동화상 부호화 방법, 동화상 복호 방법, 동화상 부호화 프로그램 및 동화상 복호 프로그램
RU2013154600/08A RU2013154600A (ru) 2011-06-13 2012-06-12 Устройство кодирования видео, устройство декодирования видео, способ кодирования видео, способ декодирования видео, программа кодирования видео и программа декодирования видео

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2011-131127 2011-06-13
JP2011131127A JP5552093B2 (ja) 2011-06-13 2011-06-13 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム

Publications (1)

Publication Number Publication Date
WO2012173125A1 true WO2012173125A1 (ja) 2012-12-20

Family

ID=47357112

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/065045 Ceased WO2012173125A1 (ja) 2011-06-13 2012-06-12 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム及び動画像復号プログラム

Country Status (10)

Country Link
US (1) US20140119453A1 (ja)
EP (1) EP2709362A4 (ja)
JP (1) JP5552093B2 (ja)
KR (1) KR20140007076A (ja)
CN (1) CN103621089A (ja)
BR (1) BR112013031755A2 (ja)
CA (1) CA2838978A1 (ja)
RU (1) RU2013154600A (ja)
TW (1) TW201306593A (ja)
WO (1) WO2012173125A1 (ja)

Families Citing this family (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104704827B (zh) * 2012-11-13 2019-04-12 英特尔公司 用于下一代视频的内容自适应变换译码
CN116248868B (zh) * 2017-07-03 2025-11-25 汉阳大学校产学协力团 利用包含追加区域的分割单位的影像解码方法以及装置
WO2019009590A1 (ko) 2017-07-03 2019-01-10 김기백 추가 영역을 포함하는 분할 단위를 이용한 영상 복호화 방법 및 장치
JP7109558B2 (ja) 2018-02-14 2022-07-29 ホアウェイ・テクノロジーズ・カンパニー・リミテッド 適応型補間フィルタ
CN110519652B (zh) 2018-05-22 2021-05-18 华为软件技术有限公司 Vr视频播放方法、终端及服务器
WO2026012044A1 (en) * 2024-07-12 2026-01-15 Mediatek Inc. Method and apparatus of intra estimation region and intra extrapolated region for dip merge mode and eip merge mode in video coding

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011131127A (ja) 2009-12-22 2011-07-07 Toshio Konuma 廃棄有機物の低温磁気分解処理装置

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2007116551A1 (ja) * 2006-03-30 2007-10-18 Kabushiki Kaisha Toshiba 画像符号化装置及び画像符号化方法並びに画像復号化装置及び画像復号化方法
EP1983759A1 (en) * 2007-04-19 2008-10-22 Matsushita Electric Industrial Co., Ltd. Estimation of separable adaptive interpolation filters for hybrid video coding
EP2048886A1 (en) * 2007-10-11 2009-04-15 Panasonic Corporation Coding of adaptive interpolation filter coefficients
EP2141927A1 (en) * 2008-07-03 2010-01-06 Panasonic Corporation Filters for video coding
CN107295339B (zh) * 2009-07-07 2020-06-26 交互数字Vc控股公司 将协作分区编码用于基于区域的滤波器的方法及装置
US20130028538A1 (en) * 2011-07-29 2013-01-31 Simske Steven J Method and system for image upscaling

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2011131127A (ja) 2009-12-22 2011-07-07 Toshio Konuma 廃棄有機物の低温磁気分解処理装置

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
MATSUO,S. ET AL.: "CE3: Region-based adaptive interpolation filter", JOINT COLLABORATIVE TEAM ON VIDEO CODING (JCT-VC)OF ITU-T SG16 WP3 AND ISO/IEC JTC1/SC29/WG11 5TH MEETING JCTVC-E078, 18 March 2011 (2011-03-18), XP030048157 *
S. WITTMANN; T. WEDI: "Separable adaptive interpolation filter for video coding", IEEE INTERNATIONAL CONFERENCE ON IMAGE PROCESSING, 2008, pages 2500 - 2503
See also references of EP2709362A4

Also Published As

Publication number Publication date
CA2838978A1 (en) 2012-12-20
EP2709362A1 (en) 2014-03-19
JP5552093B2 (ja) 2014-07-16
JP2013005020A (ja) 2013-01-07
RU2013154600A (ru) 2015-07-20
KR20140007076A (ko) 2014-01-16
EP2709362A4 (en) 2014-09-24
BR112013031755A2 (pt) 2016-12-13
US20140119453A1 (en) 2014-05-01
CN103621089A (zh) 2014-03-05
TW201306593A (zh) 2013-02-01

Similar Documents

Publication Publication Date Title
JP7335315B2 (ja) 画像予測方法および関連装置
CN110581996B (zh) 子块解码器侧运动矢量细化
KR101369746B1 (ko) 적응적 보간 필터를 이용한 영상 부호화, 복호화 방법 및장치
JP5833757B2 (ja) 画像符号化方法、画像復号方法、画像符号化装置、画像復号装置、画像符号化プログラム、画像復号プログラム及び記録媒体
CN114073087B (zh) 基于矩阵的内预测
JP5552092B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
JP5552093B2 (ja) 動画像符号化装置、動画像符号化方法及び動画像符号化プログラム
CN101816183A (zh) 使用子像素运动估计对图像进行帧间预测编码/解码的方法和设备
US20130003841A1 (en) Joint sub-pixel interpolation filter for temporal prediction
JP5649524B2 (ja) 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
EP2704434B1 (en) Method and device for encoding video image, method and device for decoding video image, and program therefor
CN101632306B (zh) 用于运动补偿预测视频编码和解码的自适应内插方法和系统
JP2011082725A (ja) 映像符号化方法，映像符号化装置，映像復号方法，映像復号装置，映像符号化・復号方法，およびプログラム
JP5762243B2 (ja) 映像符号化方法，装置，映像復号方法，装置およびそれらのプログラム
KR101690253B1 (ko) 영상 처리 장치 및 그 방법
CN111903132A (zh) 图像处理装置和方法
CN114982228A (zh) 帧间预测方法、编码器、解码器以及计算机存储介质
KR101601848B1 (ko) 인터 예측 프레임 생성장치 및 그 생성방법, 및 거기에 이용되는 참조 프레임 보간장치 및 그 방법

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12800560

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 20137032535

Country of ref document: KR

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 2012800560

Country of ref document: EP

ENP Entry into the national phase

Ref document number: 2838978

Country of ref document: CA

WWE Wipo information: entry into national phase

Ref document number: 14125165

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2013154600

Country of ref document: RU

Kind code of ref document: A

REG Reference to national code

Ref country code: BR

Ref legal event code: B01A

Ref document number: 112013031755

Country of ref document: BR

ENP Entry into the national phase

Ref document number: 112013031755

Country of ref document: BR

Kind code of ref document: A2

Effective date: 20131210