WO2023059056A1 - 비분리 1차 변환에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체 - Google Patents

비분리 1차 변환에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체 Download PDF

Info

Publication number
WO2023059056A1
WO2023059056A1 PCT/KR2022/014977 KR2022014977W WO2023059056A1 WO 2023059056 A1 WO2023059056 A1 WO 2023059056A1 KR 2022014977 W KR2022014977 W KR 2022014977W WO 2023059056 A1 WO2023059056 A1 WO 2023059056A1
Authority
WO
WIPO (PCT)
Prior art keywords
transform
mode
current block
block
prediction
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2022/014977
Other languages
English (en)
French (fr)
Inventor
최장원
최정아
구문모
김승환
임재현
짜오지에
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
LG Electronics Inc
Original Assignee
LG Electronics Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by LG Electronics Inc filed Critical LG Electronics Inc
Priority to US18/690,669 priority Critical patent/US20250203113A1/en
Priority to EP22878877.4A priority patent/EP4415362A4/en
Priority to CN202280067472.1A priority patent/CN118056406A/zh
Publication of WO2023059056A1 publication Critical patent/WO2023059056A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/119—Adaptive subdivision aspects, e.g. subdivision of a picture into rectangular or non-rectangular coding blocks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H04N19/105—Selection of the reference unit for prediction within a chosen coding or prediction mode, e.g. adaptive choice of position and number of pixels used for prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/12—Selection from among a plurality of transforms or standards, e.g. selection between discrete cosine transform [DCT] and sub-band transform or selection between H.263 and H.264
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/157—Assigned coding mode, i.e. the coding mode being predefined or preselected to be further used for selection of another element or parameter
    • H04N19/159—Prediction type, e.g. intra-frame, inter-frame or bidirectional frame prediction
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/649—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding the transform being applied to non rectangular image segments
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • the present disclosure relates to an image encoding/decoding method, apparatus, and a recording medium for storing a bitstream, and more particularly, to an image encoding/decoding method, apparatus, and video encoding method/device based on non-separate primary transform of the present disclosure. It relates to a recording medium for storing a bitstream generated by
  • An object of the present disclosure is to provide a video encoding/decoding method and apparatus having improved encoding/decoding efficiency.
  • an object of the present disclosure is to provide a video encoding/decoding method and apparatus for performing non-separate primary transform when DIMD (Decoder Side Mode Derivation) is used in CIIP mode.
  • DIMD Decoder Side Mode Derivation
  • an object of the present disclosure is to provide a non-transitory computer readable recording medium storing a bitstream generated by an image encoding method or apparatus according to the present disclosure.
  • an object of the present disclosure is to provide a method for transmitting a bitstream generated by an image encoding method or apparatus according to the present disclosure.
  • the predetermined mode may be one of CIIP (Combined inter and intra prediction) and GPM (geometric partitioning mode).
  • the method further includes obtaining information indicating whether a non-separate primary transform is applied based on the prediction mode of the current block being a predetermined mode, and the non-separate primary transform is applied to the current block. Whether to apply the first transformation may be determined based on the obtained information.
  • a transform kernel set or transform kernel applied to the non-separate primary transform may be adaptively selected based on information about the predetermined mode.
  • information on the predetermined mode may include at least one of a CIIP weight or a CIIP intra mode.
  • the CIIP intra mode may be at least one of a planner mode, a CIIP_PDPC mode, a CIIP_DIMD mode, and a CIIP_TIMD mode.
  • information on the predetermined mode may include at least one of a GPM index, an angle index, and a distance index.
  • the step of selecting a conversion kernel for the current block includes obtaining conversion kernel selection information for the current block, wherein the conversion kernel selection information includes one or more non-separate conversion kernels. and information for selecting one conversion kernel from one or more separate conversion kernels.
  • whether to apply the non-separate primary transform to the current block may be determined further based on residual characteristics of the current block or neighboring blocks.
  • the residual characteristic may be determined based on a position of the last significant coefficient in the residual block of the current block or the number of significant coefficients in the residual block of the current block.
  • an image decoding apparatus including a memory and at least one processor, wherein the at least one processor obtains prediction information of a current block and predicts the current block based on the prediction information.
  • a mode is determined, a transform kernel for generating a residual block of the current block is selected based on the prediction mode being a predetermined mode, and a non-separate primary transform of the current block is performed using the selected transform kernel. By performing this, a residual block of the current block may be generated.
  • an image encoding method performed by an image encoding apparatus includes determining a prediction mode of a current block, and the current block based on the prediction mode being a predetermined mode. Selecting a transform kernel for encoding the residual block of the block, and encoding the residual block of the current block by performing a non-separate primary transform on the current block using the determined transform kernel. .
  • whether to apply the non-separate primary transform may be further determined based on the number of pixels included in the current block.
  • the information about the predetermined mode includes at least one of a CIIP weight or a CIIP intra mode, and the CIIP intra mode It may be at least one of planner mode, CIIP_PDPC mode, CIIP_DIMD mode, or CIIP_TIMD mode.
  • information on the predetermined mode may include at least one of a GPM index, an angle index, and a distance index.
  • an image encoding/decoding method and apparatus for performing non-separate primary transform may be provided.
  • the present disclosure may provide an image encoding/decoding method and apparatus for performing a non-separate primary transform on a block to which a Combined Inter and Intra Prediction (CIIP) mode is applied.
  • CIIP Combined Inter and Intra Prediction
  • the present disclosure may provide an image encoding/decoding method and apparatus for performing non-separate primary transform when DIMD (Decoder Side Mode Derivation) is used in CIIP mode.
  • DIMD Decoder Side Mode Derivation
  • the present disclosure may provide an image encoding/decoding method and apparatus for performing non-separate primary transform based on residual characteristics of a current block or neighboring blocks.
  • a non-transitory computer readable recording medium may be provided for storing a bitstream received and decoded by the image decoding apparatus according to the present disclosure and used for image restoration.
  • 5 is a diagram illustrating 65 directional intra prediction modes.
  • FIG. 11 is a flowchart illustrating a decoding process in which AMT is performed.
  • FIG. 13 is a flowchart illustrating a decoding process in which NSST is performed.
  • 20 is a flowchart illustrating an inverse transform method according to an embodiment of the present disclosure.
  • FIG. 23 is a diagram illustrating GPMs forming block splits symmetrical to each other.
  • 24 is a flowchart illustrating an example of a primary transform method for a block to which a predetermined mode is applied.
  • first and second are used only for the purpose of distinguishing one element from another, and do not limit the order or importance of elements unless otherwise specified. Accordingly, within the scope of the present disclosure, a first component in one embodiment may be referred to as a second component in another embodiment, and similarly, a second component in one embodiment may be referred to as a first component in another embodiment. can also be called
  • components that are distinguished from each other are intended to clearly explain each characteristic, and do not necessarily mean that the components are separated. That is, a plurality of components may be integrated to form a single hardware or software unit, or a single component may be distributed to form a plurality of hardware or software units. Accordingly, even such integrated or distributed embodiments are included in the scope of the present disclosure, even if not mentioned separately.
  • the present disclosure relates to encoding and decoding of an image, and terms used in the present disclosure may have common meanings commonly used in the technical field to which the present disclosure belongs unless newly defined in the present disclosure.
  • a “current block” may mean a block including both a luma component block and a chroma component block or a “luma block of the current block” unless explicitly described as a chroma block.
  • the luma component block of the current block may be explicitly expressed by including an explicit description of the luma component block, such as “luma block” or “current luma block”.
  • the chroma component block of the current block may be explicitly expressed by including an explicit description of the chroma component block, such as “chroma block” or “current chroma block”.
  • “/” and “,” may be interpreted as “and/or”.
  • “A/B” and “A, B” could be interpreted as “A and/or B”.
  • “A/B/C” and “A, B, C” may mean “at least one of A, B and/or C”.
  • the rendering unit 23 may render the decoded video/image.
  • the rendered video/image may be displayed through the display unit.
  • the image encoding apparatus 100 includes an image division unit 110, a subtraction unit 115, a transform unit 120, a quantization unit 130, an inverse quantization unit 140, and an inverse transform unit ( 150), an adder 155, a filtering unit 160, a memory 170, an inter prediction unit 180, an intra prediction unit 185, and an entropy encoding unit 190.
  • the inter prediction unit 180 and the intra prediction unit 185 may collectively be referred to as a “prediction unit”.
  • the transform unit 120, the quantization unit 130, the inverse quantization unit 140, and the inverse transform unit 150 may be included in a residual processing unit.
  • the residual processing unit may further include a subtraction unit 115 .
  • the image divider 110 may divide an input image (or picture or frame) input to the image encoding apparatus 100 into one or more processing units.
  • the processing unit may be called a coding unit (CU).
  • the coding unit recursively converts a coding tree unit (CTU) or a largest coding unit (LCU) according to a Quad-tree/binary-tree/ternary-tree (QT/BT/TT) structure ( It can be obtained by dividing recursively.
  • one coding unit may be divided into a plurality of deeper depth coding units based on a quad tree structure, a binary tree structure, and/or a ternary tree structure.
  • a quad tree structure may be applied first and a binary tree structure and/or ternary tree structure may be applied later.
  • a coding procedure according to the present disclosure may be performed based on a final coding unit that is not further divided.
  • the largest coding unit may be directly used as the final coding unit, and a coding unit of a lower depth obtained by dividing the largest coding unit may be used as the final cornet unit.
  • the coding procedure may include procedures such as prediction, transformation, and/or reconstruction, which will be described later.
  • the processing unit of the coding procedure may be a prediction unit (PU) or a transform unit (TU).
  • the prediction unit and the transform unit may be divided or partitioned from the final coding unit, respectively.
  • the prediction unit may be a unit of sample prediction
  • the transform unit may be a unit for deriving transform coefficients and/or a unit for deriving a residual signal from transform coefficients.
  • a prediction unit performs prediction on a processing target block (current block), and generates a predicted block including prediction samples for the current block.
  • the prediction unit may determine whether intra prediction or inter prediction is applied in units of current blocks or CUs.
  • the prediction unit may generate various types of information related to prediction of the current block and transmit them to the entropy encoding unit 190 .
  • Prediction-related information may be encoded in the entropy encoding unit 190 and output in the form of a bit stream.
  • the residual signal may not be transmitted unlike the merge mode.
  • motion vector prediction (MVP) mode motion vectors of neighboring blocks are used as motion vector predictors, and motion vector differences and motion vector predictor indicators ( indicator), the motion vector of the current block can be signaled.
  • the motion vector difference may refer to a difference between a motion vector of a current block and a motion vector predictor.
  • the SATD between the prediction sample and the reconstructed sample of the template may be calculated.
  • the first two intra prediction modes with the minimum SATD can be selected as the TIMD mode.
  • These two TIMD modes can be fused (weighted sum) with weights. This weighted intra prediction can be used to encode the current CU.
  • Position dependent intra prediction combination PDPC may be included in the TIMD derivation process. That is, the calculation of the SATD for deriving the TIMD may be performed based on the prediction block on which the PDPC is performed.
  • a 4x4 non-separate transform or an 8x8 non-separate transform can be (optionally) applied according to the block size.
  • 4x4 LFNST is applied to relatively small blocks (i.e., min (width, height) ⁇ 8)
  • 8x8 LFNST is applied to relatively large blocks (i.e., min (width, height) > 4).
  • transform setting groups are determined based on prediction modes, and the number of groups may be a total of 6 (G0 to G5). Further, G0 to G4 correspond to cases in which intra prediction is applied, and G5 may indicate transform combinations (or transform sets, transform combination sets) applied to a residual block generated by inter prediction.
  • One transform combination is a horizontal transform (or row transform) applied to the rows of the 2D block and a vertical transform (or column transform) applied to the columns. It can be made of a transform (column transform).
  • all transform setting groups may each have 4 transform combination candidates.
  • the four transform combination candidates may be selected or determined through transform combination indices of 0 to 3, and the transform combination indexes may be encoded and transmitted from the encoder to the decoder.
  • transform combination index may be referred to as an AMT index and may be expressed as amt_idx.
  • the encoding device may perform transformation on candidate transformation combinations available in the transformation group (S1020).
  • the encoding device may encode a transform combination index corresponding to the selected transform combination (S1040).
  • FIG. 12 is a flowchart illustrating an encoding process in which NSST is performed.
  • the NSST may be applied only to an upper-left 8x8 region or 4x4 region of the block, rather than to the entire block to which the primary transform is applied, for example, the TU.
  • 8x8 NSST may be applied when the block size is 8x8 or larger
  • 4x4 NSST may be applied when the block size is smaller than 8x8.
  • the 4x4 NSST may be applied to each 4x4 block. Both the 8x8 NSST and the 4x4 NSST conform to the transformation set configuration described above, the 8x8 NSST may have 64 input data and 64 output data, and the 4x4 NSST may have 16 inputs and 16 outputs.
  • Givens rotation layer can be configured by grouping 32 or 8 Givens rotations.
  • output data for one Givens rotation layer may be transferred as input data for the next Givens rotation layer through permutation (or shuffling).
  • permutation patterns are regularly defined, and in the case of 4x4 NSST, four Gibbons rotation layers and corresponding permutations form one round. 4x4 NSST is performed by 2 rounds, and 8x8 NSST is performed by 4 rounds. Different rounds may use the same permutation pattern, but with different given rotation angles applied. Therefore, it is necessary to store angle data for all given rotations that make up each transformation.
  • Givens rotation layers and permutations applied in forward NSST may be applied in reverse order, and a negative (-) value may be added to each Givens rotation angle.
  • the RT applied to the upper left 8x8 block of the transform coefficient block to which the primary transform is applied may be referred to as 8x8 RST.
  • the forward 8x8 RST has the form of a 16x64 matrix
  • the backward 8x8 RST has the form of a 64x16 matrix.
  • the transformation set configuration shown in Table 10 can also be applied to the 8x8 RST. That is, an 8x8 RST may be determined according to the transform set in Table 10. Since one transform set consists of two or three transforms according to the intra prediction mode, one of up to four transforms can be selected, including the case where the secondary transform is not applied (one transform is the identity may correspond to a matrix).
  • index 0 can be assigned to an identity matrix, that is, a case where a quadratic transformation is not applied
  • the syntax element corresponding to the NSST index is signaled for each transform coefficient block, so that the applied transform can be designated. That is, for the 8x8 upper left block through the NSST index, 8x8 NSST can be designated in the case of NSST, and 8x8 RST can be designated in the RST configuration.
  • 17 shows a process of performing reverse scans from the 64th to the 17th according to the reverse scan order.
  • the upper left 4x4 region becomes a region of interest (ROI) region filled with valid transform coefficients, and the remaining regions are vacated.
  • the area to be emptied may be filled with a value of 0 as a default. If it is assumed that a valid transform coefficient other than 0 is found in an area other than the ROI area of FIG. 17, it is certain that 8x8 RST is not applied, and thus NSST index coding can be omitted. Conversely, if a non-zero transform coefficient is not found in an area other than the ROI of FIG. 17 (ie, if the area other than the ROI is filled with 0), there is a possibility that an 8x8 RST has been applied, so the NSST index can be coded. Since such conditional NSST index coding needs to check whether a non-zero transform coefficient exists, it can be performed after the residual coding process.
  • the primary conversion may be performed based on the MTS scheme.
  • transformation from the spatial domain to the frequency domain is applied to the residual signal (or residual block) based on DCT type 2, DST type 7, and DCT type 8, so that transform coefficients (or 1 difference transform coefficients) may be generated.
  • DCT type 2, DST type 7, and DCT type 8 may be referred to as a transform type, a transform kernel, or a transform core. Examples of basis functions for DCT type 2, DST type 7, and DCT type 8 are as described above with reference to Table 4. However, as an example, the embodiments of the present disclosure may be applied to a case where the configuration of the existing MTS kernel is different, that is, to a case including other types of DCT/DST or transform skip.
  • the existing MTS has a form in which one kernel is applied in the horizontal direction and one kernel is applied in the vertical direction as a separation transformation.
  • a non-separative transform kernel provides higher encoding/decoding efficiency than a separative transform kernel, but a non-separate transform method is not used in a conventional primary transform.
  • the first transform may be performed based on a non-separate transform kernel.
  • a primary transform based on a non-separable transform kernel may be referred to as a non-separable primary transform or a non-separable core transform.
  • the non-separate primary transform may replace at least one of the existing MTS candidates or may be added as a new MTS candidate.
  • DCT type 2 and non-separate primary transform may be used as MTS candidates, and non-separate primary transforms may be used as MTS candidates in addition to DCT type 2, DST type 7, and DCT type 8. .
  • the trTypeVer value may also be constrained to have a value indicating non-separate primary transform. For example, if the value of trTypeHor in Table 12 is 3, the value of trTypeVer cannot be between 0 and 2 and is only forced to 3.
  • non-separate primary transformation may be added as an option separate from the above-described MTS scheme.
  • the non-separate primary transform may be used as an independent transform candidate without being included in the MTS candidate.
  • a predetermined first flag e.g., nspt_flag
  • a second flag e.g., mts_flag
  • 16x1 transform coefficient vector via Equation 5 can be derived, and the may be reconstructed into 4x4 blocks according to a scan order (eg, horizontal, vertical, diagonal, or pre-determined/saved scan order).
  • a scan order eg, horizontal, vertical, diagonal, or pre-determined/saved scan order.
  • this is just one example, and various non-separate transform calculation methods optimized to reduce the computational complexity of the non-separate primary transform may be used.
  • the secondary transform unit 1812 may generate (secondary) transform coefficients (C) by applying a secondary transform to the (primary) transform coefficients (B).
  • the LFNST described above may be applied as a secondary transform.
  • (secondary) transform coefficients (C) may be encoded through quantization and entropy encoding processes, and may be used to generate a bitstream.
  • the (inverse) secondary transform unit 1321 applies a (inverse) secondary transform to the inverse quantized (secondary) transform coefficients (C') to obtain (first) (inverse) transform coefficients (B').
  • the (inverse) secondary transformation may correspond to an inverse process of the secondary transformation performed by the transform unit 1810 .
  • the (inverse) primary transform unit 1822 may generate residual samples A′ by applying a (inverse) primary transform to the (primary) (inverse) transform coefficients B′.
  • 19 is a flowchart illustrating a conversion method according to an embodiment of the present disclosure.
  • the conversion method of FIG. 19 may be performed by the video encoding apparatus of FIG. 2 .
  • steps S1910 to S1930 may be performed by the conversion unit 120 .
  • the video encoding apparatus may generate (secondary) transform coefficients by applying a secondary transform to the (primary) transform coefficients (S1930). .
  • a bitstream may be generated based on (secondary) transform coefficients.
  • the image decoding apparatus may generate residual samples by applying a non-separate primary inverse transform to the (primary) transform coefficients (S2030). All (first-order) transform coefficients can be modified by a non-separate first-order inverse transform.
  • the non-separate first-order inverse transform may have a reduced transform (RT) form in which the number of output coefficients is greater than the number of input coefficients.
  • 21 is a flowchart illustrating a subblock non-separating primary transform/inverse transform method according to an embodiment of the present disclosure.
  • the video encoding/decoding apparatus may determine whether a predetermined subblock transform/inverse transform condition is satisfied (S2110).
  • the video encoding/decoding apparatus may determine whether a subblock transform/inverse transform condition is satisfied based on a result of comparing the size of an input block with a predetermined threshold.
  • the threshold may include a first threshold of 4x4 size and a second threshold of 8x8 size. Specifically, when the size of the input block is larger than the first threshold and smaller than the second threshold, the video encoding/decoding apparatus may determine that the subblock transform/inverse transform condition is satisfied. Also, when the size of the input block is greater than the second threshold, the image encoding/decoding apparatus may determine that the subblock transformation/inverse transformation condition is satisfied.
  • the video encoding/decoding apparatus may apply non-separate primary transform/inverse transform to the input block or each subblock (S2130).
  • non-separate primary transform/inverse transform When non-separate primary transform/inverse transform is applied to the entire input block, the non-separate transform matrix may be determined based on the width and height of the input block.
  • non-separate primary transform/inverse transform when non-separate primary transform/inverse transform is applied to each subblock, the non-separate transform matrix may be determined based on the width and height of each subblock.
  • 22A and 22B are diagrams for explaining a subblock-based non-separation primary transform process.
  • 22A and 22B show a non-separate primary transform, that is, a forward non-separate primary transform process at the encoder stage.
  • FIG. 22A shows the case where the size of the input block is 8x4 or 4x8, and FIG. 22B shows the case where the size of the input block is 16x8 or 8x16.
  • regions marked with thick lines represent regions to which non-separate primary transform is applied.
  • a 16x8 input block may be divided into two 8x8 subblocks Sb1 and Sb2.
  • an 8x8 non-separate primary transform may be applied to each of the subblocks Sb1 and Sb2.
  • a 64x64 non-separate primary transform matrix may be applied to the first subblock Sb1 to generate 64 (primary) transform coefficients.
  • a 64x64 non-separate primary transform matrix may be applied to the second subblock Sb2 to generate 64 (primary) transform coefficients.
  • different non-separate primary transform matrices may be applied to each subblock.
  • a 16x16 non-separating primary transform matrix may be applied to the first sub-block Sb1 and a 16x8 non-separating primary transform matrix may be applied to the second sub-block Sb2.
  • a region in the second subblock Sb2 in which (primary) transform coefficients are not generated may be filled with a value of 0 (ie, zero out).
  • An embodiment according to the present disclosure may determine whether to apply a non-separate primary transform to a block to which the CIIP mode is applied and/or determine a non-separate primary transform kernel set. According to an embodiment of the present disclosure, when various conversion kernels exist, a conversion kernel set and/or a conversion kernel for a current conversion block may be selected based on the CIIP mode.
  • the primary transform method for the current block may be adaptively selected as in the following example.
  • condition for the block size and/or shape for determining whether to apply the primary transform is not limited to the above example.
  • specific numerical values related to the number of pixels of the current block may be changed.
  • non-separate primary transform may be performed on a block predicted in CIIP mode.
  • the transform kernel of the non-separate primary transform may be selected from n transform kernel sets and k transform kernels in each set.
  • n and k may be adaptively changed.
  • a transform kernel set and/or a transform kernel for the current transform block may be selected based on CIIP weights and/or CIIP intra predictor information.
  • the information on the CIIP intra predictor may be information indicating a specific detailed mode for generating the CIIP intra predictor.
  • the specific detailed mode may mean, for example, an existing planner mode, a PDPC blending mode, a mode using DIMD for CIIP, and/or a mode using TIMD for CIIP, which will be described later.
  • Information about the CIIP intra predictor may be referred to as "CIIP intra mode" in this disclosure.
  • Selection/determination from multiple conversion kernels within a single set of conversion kernels may be performed adaptively or based on signaled kernel selection information.
  • a set of multiple conversion kernels may be selected based on the weight value of CIIP as shown in Table 13 and/or Table 14.
  • a set of multiple conversion kernels may be selected based on the weight value of CIIP as shown in Table 13 and/or Table 14. Also, selection from a plurality of conversion kernels in the set may be performed adaptively or based on signaled kernel selection information.
  • a PDPC blending mode in which CIIP mode is combined with PDPC may be applied.
  • selection of a transform kernel set and/or transform kernel to be applied to the non-separate primary transform of the current block may be selected/determined based on the generated predictor type and/or CIIP weight value.
  • the type of predictor may mean whether it is a predictor obtained based on the existing CIIP mode (Normal) or a predictor obtained based on the PDPC blending mode.
  • the primary transform method for the CIIP-predicted current block may be adaptively selected as in the following example.
  • a normal mode as one of the CIIP intra modes to which the existing planner mode is applied when predicting the screen of the CIIP.
  • a case in which PDPC is applied during intra-prediction of CIIP may be referred to as a PDPC blending mode or a CIIP_PDPC mode as one of CIIP intra modes.
  • Selection/determination from multiple conversion kernels within a single set of conversion kernels may be performed adaptively or based on signaled kernel selection information.
  • a plurality of conversion kernel sets may be selected based on the weight value of CIIP and the CIIP intra mode as shown in Table 15 and/or Table 16. Selection from a plurality of transform kernels in the set may be performed adaptively or based on signaled kernel selection information.
  • the CIIP intra mode and CIIP weight are grouped into n sets, and k conversion kernels may be included in each set.
  • the number of CIIP intra modes and CIIP weights and their grouping method are not limited to the above examples. For example, if determined based on the width and/or height of the input block, the number of sets and the number of transformation kernels within the set may vary depending on the width and/or height of the block.
  • DIMD Decoder side mode derivation
  • TIMD Tempor-based intra mode derivation
  • the CIIP intra prediction signal may be generated through a PDPC weight-based prediction mode and/or DIMD/TIMD in addition to the above-described planar intra prediction mode.
  • a transform kernel set and/or a transform kernel may be adaptively selected based on the generated predictor type. More specifically, when the PDPC blending mode and/or TIMD/DIMD are available, the primary transform method for the CIIP-predicted current block may be adaptively selected as in the following example.
  • Selection/determination from multiple conversion kernels within a single set of conversion kernels may be performed adaptively or based on signaled kernel selection information.
  • existing DCT type 2, DST type 7, and DCT type 8 can be used.
  • a non-separate primary transform can be applied to a block to which GPM is applied.
  • non-separate primary transform may be used in addition to the existing DCT type 2, DST type 7, and DCT type 8.
  • one or more kernels of existing DCT type 2, DST type 7, and DCT type 8 may be replaced with a non-separate primary transform.
  • the primary transform method for the current block may be adaptively selected as in the following example.
  • non-separate primary transform is always applied. In other cases, non-separate primary conversion is not applied.
  • a non-separate primary transform may be performed on a block predicted by GPM.
  • the transform kernel of the non-separate primary transform may be selected from n transform kernel sets and k transform kernels in each set.
  • n and k may be adaptively changed.
  • GPM may perform prediction by generating 64 block partitions as shown in Table 18 based on various angle indices and distance indices.
  • Table 18 shows the 64 GPM block partition indices.
  • the transform kernel of the non-separate primary transform for the current block to which GPM is applied may be selected or determined by at least one of the following examples.
  • a plurality of transform kernel sets may be selected based on GPM index, angle index, or distance index as shown in Table 19, Table 20, and/or Table 21. Also, selection from a plurality of conversion kernels in the set may be performed adaptively or based on signaled kernel selection information.
  • GPM shapes are grouped into n sets, and k transform kernels may be included in each set.
  • the number of GPM shapes and their grouping method are not limited to the above-described examples. For example, if determined based on the width and/or height of the input block, the number of sets and/or the number of transformation kernels within the set may vary depending on the width and/or height of the block.
  • FIG. 24 is a flowchart illustrating an example of a primary transform method for a block to which a predetermined mode is applied according to the present disclosure.
  • the method of FIG. 24 may be performed by an image encoding apparatus and/or an image decoding apparatus for transforming and/or inversely transforming a residual block of a current block.
  • the prediction mode of the current block is a predetermined mode (S2401).
  • the predetermined mode may be a CIIP mode or GPM as described above.
  • the predetermined mode is not limited thereto.
  • a non-separate primary transform (NSPT) may be applied to the current block (step S2402).
  • the non-separate primary transform (NSPT) may not be applied to the current block.
  • a transform according to a method other than the non-separate primary transform according to the present disclosure eg, conventional separative transform
  • the primary transform may be omitted.
  • non-separate primary transform when it is determined that non-separate primary transform is not applied to the current block, as described above, other methods other than non-separate primary transform (e.g., conventional non-separate primary transform) It is obvious to those skilled in the art that the conversion according to the separation conversion) may be performed or the first conversion may be omitted, even if not separately described. According to the example shown in FIG. 24 , since whether to apply the non-separate primary transform is determined according to the prediction mode of the current block, the encoding apparatus does not need to separately transmit a flag on whether to apply the non-separate primary transform.
  • a flag (ex, 1 bit flag, e.g., ciip_nspt_mode, gpm_nspt_mode) indicating whether non-separate primary transform is applied is transmitted from the encoding device to the decoding device can be sent to
  • the apparatus for encoding an image determines whether or not to apply non-separate primary transform to transform the current block, and transmits the flag information about this to bits. It can be encoded as a stream.
  • the video decoding apparatus parses (decodes) the flag information from the bitstream, and performs non-separation 1 for transforming the current block based on the flag information. It is possible to determine whether or not to apply a difference transform.
  • the video encoding apparatus and/or the video decoding apparatus based on size and/or shape conditions of the current block It is possible to determine whether to apply the non-separate primary transform to the current block.
  • FIG. 25 is a flowchart illustrating a non-separate primary transform application method according to a block size in a predetermined mode.
  • the method of FIG. 25 may be performed by an image encoding apparatus and/or an image decoding apparatus for transforming and/or inversely transforming a residual block of a current block.
  • the predetermined mode may be a CIIP mode or GPM as described above. However, the predetermined mode is not limited thereto. If it is determined in step S2501 that the prediction mode of the current block is a predetermined mode (Yes in S2501), it may be determined whether the size and/or shape of the current block satisfies a predetermined condition (S2502). .
  • the predetermined condition may be, for example, whether the number of pixels of the current block is within a predetermined range, is less than (below) a predetermined threshold value, or is greater than (exceeds) a predetermined threshold value.
  • the predetermined condition may be whether the number of pixels in the current block is 16 or more and less than 1024.
  • the predetermined condition is not limited to the above example.
  • specific numerical values related to the number of pixels of the current block may be changed.
  • a predetermined condition 'YES' in S2502
  • NSPT non-separate primary transform
  • the encoding apparatus since whether to apply non-separate primary transform is determined according to whether a predetermined condition is satisfied, the encoding apparatus does not need to separately transmit a flag on whether to apply non-separate primary transform.
  • a flag (ex. 1 bit flag, e.g., ciip_nspt_mode, gpm_nspt_mode) may be transmitted from the encoding device to the decoding device.
  • the prediction mode of the current block is a predetermined mode (CIIP mode or GPM)
  • the size and/or shape of the current block is a predetermined condition (ex. the number of pixels of the current block is 16 or more).
  • the prediction mode of the current block is a predetermined mode (CIIP mode or GPM)
  • the size and/or shape of the current block is a predetermined condition (eg, the number of pixels of the current block is 16 or more, 1024 number) is satisfied
  • the flag information is parsed (decoded) from the bitstream, and based on the flag information, it is possible to determine whether or not to apply non-separate primary transform to transform the current block.
  • both separative transform and non-separate transform may be included when the primary transform is applied. That is, when applying a transform from the spatial domain to the frequency domain, both separative transform and non-separate transform may be applied.
  • the primary conversion method based on the separation transformation includes DCT type 2, DST type 7, DCT type 8, DCT type 5, DST type 4, DST type 1, IDT (identity transform), or other transformations that are not based on non-separation transformation. (e.g. conversion skip) may be included.
  • various signaling methods (hereinafter, a first method) in a case where a non-separate transform kernel is one and the number of separate transforms are multiple will be described below.
  • a non-separate transform may be set to a transformation index of '0', and an index of a separative transform may start from 1.
  • transformation index 0 represents non-separate transformation
  • transformation indices 1 to 5 represent predefined separation transformation methods. Therefore, conversion index values from 0 to 5 may be signaled from the encoding device to the decoding device, and through the decoded corresponding index value, it is possible to know whether non-separate transform or separative transform is used, and which separative transform is used. can do.
  • M predefined maximum index value
  • the separative transformation indexes are assigned from 0 to 5 in a predetermined order, but '3' can be determined except for In this case, an index value from 0 to 5 may be signaled from the encoding device to the decoding device, and it is possible to know whether non-separate transform or separative transform is used through the corresponding decoded index value. It can be determined whether or not it has been used.
  • the encoding device may first signal whether or not non-separate transformation is performed through a flag indicating whether or not non-separate transformation is performed.
  • a flag indicating whether non-separation transformation is 0, an index of separation transformation may be additionally signaled.
  • a value of a flag indicating whether non-separate transformation may be coded by predicting a probability through a context coded bin.
  • the context model for probabilistic prediction may be constructed using the size of a block, the shape of a block, an intra prediction mode, or information on previously coded blocks.
  • the conversion index value (or separate conversion index value) described above can be binarized through FLC (fixed length code) or TBC (truncated binary code), and in this case, it is treated as context coding (ie, context coded bin). solution coding) or bypass coding (i.e., coding treated as a bypass coded bin).
  • the conversion index is expressed through truncated unary (TU) binarization and coded by predicting the probability of occurrence through context coding (i.e., coding treated as context coded bins), or bypass coding (i.e., bypass coded It can be coded with the same probability through coding by treating it as a bin.
  • TU truncated unary
  • the encoding device may first signal whether non-separate transformation is performed through a flag indicating non-separate transformation.
  • a flag indicating non-separate transform is 1
  • a non-separate transform kernel index may be additionally signaled
  • a separate transform index may be additionally signaled.
  • the non-separate transform kernel index value or the separate transform index value may be binarized through FLC (fixed length code) or TBC (truncated binary code), in which case context coding or bypass coding It can be coded through
  • the non-separate transform kernel index value or the separate transform index value is expressed through truncated unary (TU) binarization and coded by predicting the probability of occurrence through context coding, or the same through bypass coding It can be coded probabilistically.
  • the flag indicating the non-separate transformation may be coded by predicting a probability through a context coded bin.
  • the context model for probability prediction may use block size, block shape, intra prediction mode, or information on previously coded blocks.
  • the encoding device may signal a transformation index at once without separately signaling a flag indicating whether non-separate transformation occurs. If there are N non-separate transform kernels and M available separable transforms, if the transform index value is 0 to N-1, it represents N non-separate transform kernels (0 to N-1), and the transform index value is In the case of N to N+M-1, the separation conversion index 0 to (M-1) may be indicated.
  • a method of mapping a separable transform index available from a transform index and a non-separate transform kernel may be variously applied in a predefined form other than the above-described case.
  • the encoding device may determine the transform to be applied in the horizontal direction and the vertical direction through a given separate transform index value according to a predetermined rule.
  • the separate transform index may be separately divided into a horizontal separate transform index and a vertical separate transform index and transmitted, and a transform designated by each index may be applied to a corresponding direction.
  • the encoding apparatus determines the characteristics of the residual of the current block or neighboring blocks. It is possible to adaptively apply a non-separate primary transform using For a block having low residual signal energy, that is, a block having a small number of residual coefficients, it is more efficient to use one non-separate transform kernel than to use multiple non-separate transform kernels. In this case, the encoding device can obtain more efficient compression performance by reducing bit consumption for signaling the non-separate transformation kernel.
  • a block having a high residual signal energy that is, a block having a large number of residual coefficients
  • the encoding apparatus can reduce computational complexity (reduction of power consumption) through the method proposed in the present disclosure.
  • the encoding apparatus performs non-separation primary on a block to which the CIIP mode is applied and/or a block to which the GPM is applied, using the position of the last significant coefficient (last non-zero coefficient) of the current block or neighboring blocks. Transformations can be applied adaptively.
  • the position of the last significant coefficient in a block can be an important clue for identifying the residual characteristics of a block. In general, the closer the position of the last effective coefficient within a block is to the top-left pixel of a block, the distribution of pixel values in the spatial domain is constant, and the farther the position of the last effective coefficient within a block is from the top-left pixel of a block, the more spatial it is.
  • lastScanPos is defined as one-dimensional position information that identifies the position of the last effective coefficient in a block
  • lastScanPos is set to 0 for the top-left pixel position
  • lastScanPos can have a large value as it moves toward the bottom-right pixel of the block.
  • the lastScanPos value may be derived based on a syntax value (e.g., last_sig_coeff_x_prefix, last_sig_coeff_y_prefix, last_sig_coeff_x_suffix, last_sig_coeff_y_suffix) signaling the position information of the last significant coefficient, or the scan order of coefficients or coefficient scans predetermined according to the block size. They may be assigned in reverse order.
  • a syntax value e.g., last_sig_coeff_x_prefix, last_sig_coeff_y_prefix, last_sig_coeff_x_suffix, last_sig_coeff_y_suffix
  • the encoding apparatus may vary the number of non-separate transform kernels by dividing a range using lastScanPos information of a current block or a neighboring block. For example, in case of using two ranges, the encoding device selects one ratio when the value of lastScanPos of the current block or neighboring blocks is less than or equal to the first threshold (when the position of the last effective coefficient is close to the top-left pixel of the block).
  • a disjoint transformation kernel is used, otherwise multiple non-disjoint transformation kernels may be used.
  • the non-separate transform is not applied and only the separative transform (eg DCT-2) is applied. Otherwise, one or more non-separate transform kernels are applied. can be used.
  • the encoding device may use only non-separate transform, or may use both separative transform and non-separate transform simultaneously.
  • the encoding device uses one non-separate transformation kernel when the value of lastScanPos of the current block or neighboring blocks is less than or equal to the second threshold, and the value of lastScanPos is greater than the second threshold. If the value of lastScanPos is greater than the third threshold, N non-separate conversion kernels may be used. In this case, if the effective coefficient in the current block exists only in the top-left pixel, that is, the DC position, the above method is not applied, and a separation transformation (ex. DCT-2) or a separate transformation method may be applied.
  • experimentally determined values may be used for the first threshold, the second threshold, the third threshold, and the number of threshold ranges, and may be adaptively changed and applied to the size of the current block.
  • the encoding apparatus adaptively applies a non-separate primary transform to a block to which the CIIP mode is applied and/or a block to which the GPM is applied using the number of non-zero coefficients of the current block or neighboring blocks. can do.
  • the number of last significant coefficients in a block can be an important clue to determine the residual characteristics of a block. In general, the smaller the number of non-zero coefficients in a block, the more constant the distribution of pixel values in the spatial domain, and the greater the number of non-zero coefficients in a block, the higher the variance of pixel values in the spatial domain.
  • the encoding device uses this to efficiently determine whether non-separate primary transform is applied to a block to which CIIP mode is applied and/or a block to which GPM is applied.
  • numSigCoeff is defined as the number of valid coefficients in a block
  • the numSigCoeff value may be derived based on a syntax value (eg, sig_coeff_flag or/and sb_coded_flag) signaling whether or not a valid coefficient is valid, or may be calculated through a separate counter.
  • the number of non-separate transform kernels may be varied by dividing a range using numSigCoeff information of a current block or a neighboring block. For example, when using two ranges, the encoding device uses one non-separate transform kernel when the value of numSigCoeff of the current block or neighboring blocks is less than the fourth threshold (when the number of effective coefficients in the block is small), otherwise If not, there may be a method of using multiple non-separate transformation kernels.
  • the non-separate transform is not applied and only the separative transform (eg DCT-2) is applied. Otherwise, one or a plurality of non-separate transform kernels There may be a way to use .
  • the encoding apparatus may use only non-separation transform or may use both separative transform and non-separate transform simultaneously.
  • the encoding device uses one non-separate transformation kernel when the value of numSigCoeff of the current block or neighboring blocks is less than or equal to the fifth threshold, and if the value of numSigCoeff of the current block or neighboring blocks is greater than the fifth threshold, If the value of 6 is less than or equal to the threshold, K non-separate transform kernels may be used, and if the value of numSigCoeff is greater than the sixth threshold, L non-separate transform kernels may be used. In this case, if the effective coefficient in the current block exists only in the top-left pixel, that is, the DC position, the above method is not applied, and a separation transform (eg, DCT-2) or a separate predetermined transform method can be applied.
  • a separation transform eg, DCT-2
  • experimentally determined values may be used for the fourth threshold, the fifth threshold, the sixth threshold, and the number of threshold ranges, and may be adaptively changed and applied to the size of the current block.
  • numSigCoeff based on numSigCoeff, whether or not to perform non-separate primary transform on the current block can be determined.
  • This embodiment can be combined with other embodiments of the present disclosure.
  • a determination process based on numSigCoeff may be added to the embodiment of FIG. 24 or the embodiment of FIG. 25 .
  • the determination process (S2401, S2501 or S2502) in the embodiment of FIG. 24 or 25 may be partially replaced.
  • both the determination regarding numSigCoeff and the determination regarding lastScanPos may be performed in addition or alternatively to other embodiments of the present disclosure.
  • syntaxes related to residuals may be parsed prior to syntax related to non-separate transform information (whether non-separate transform is applied and/or non-separate transform index information).
  • non-separate transform is applied and/or a method for signaling non-separate transform index information according to the present disclosure may follow the 'transform index signaling method in non-separate primary transform'. More specifically, the first method is used when there is one non-separate primary transform kernel of the current block determined according to the above method, and the second method is used when there are multiple primary non-separate primary transform kernels of the current block determined according to the above method. can be applied.
  • non-separate primary transform kernel of the current block determined according to the above method is 0 (when non-separate primary transform is not applied), information related to non-separate primary transform (flag whether primary non-separate transform is applied or not, etc.) ex. 1 bit flag, e.g., ciip_nspt_mode, gpm_nspt_mode) may not be transmitted.
  • 26 is a flowchart illustrating an image encoding method according to an embodiment of the present disclosure.
  • the video encoding method of FIG. 26 may be performed by the video encoding apparatus of FIG. 2 .
  • step S2604 may be performed by the conversion unit 120 .
  • the video encoding apparatus may determine the prediction mode of the current block (S2601).
  • the video encoding apparatus may determine the prediction mode of the current block through various methods such as RD-cost comparison.
  • the video encoding apparatus may encode the determined prediction mode into a bitstream as prediction information.
  • the video encoding device may determine whether the prediction mode is a predetermined mode (S2602).
  • the predetermined mode may be a CIIP mode or GPM.
  • the image encoding apparatus may select a transform kernel for encoding the residual block of the current block (S2603).
  • the selected transform kernel may be a non-separate primary transform kernel.
  • the video encoding apparatus may encode a residual block of the current block by performing a non-separate primary transform on the current block using the transform kernel (S2604).
  • the video encoding apparatus determines whether to apply non-separate primary transform to the current block based on the prediction mode of the current block being a predetermined mode, and encodes information indicating this.
  • the video encoding apparatus may encode transform kernel selection information for the current block to signal the transform kernel selected for the current block.
  • the conversion kernel selection information may be information for selecting one conversion kernel from one or more non-separate conversion kernels and one or more separate conversion kernels.
  • whether to apply the non-separate primary transform to the current block may be determined further based on residual characteristics of the current block or neighboring blocks.
  • the residual characteristic may be determined based on the position of the last significant coefficient in the residual block of the current block or the number of significant coefficients in the residual block of the current block.
  • FIG. 27 is a flowchart illustrating an image decoding method according to an embodiment of the present disclosure.
  • the video decoding method of FIG. 27 may be performed by the video decoding apparatus of FIG. 3 .
  • the video decoding apparatus may obtain prediction information of the current block (S2701). Specifically, the video decoding apparatus may parse (decode) information (prediction information) related to the prediction mode of the current block from the bitstream.
  • decode decode information
  • the video decoding apparatus may determine whether the prediction mode is a predetermined mode (S2703). Based on the prediction mode of the current block being a predetermined mode, the video decoding apparatus may select a transform kernel for the current block (S2704).
  • the selected transform kernel may be a non-separate primary transform kernel for generating a residual block of the current block.
  • the predetermined mode may be one of CIIP mode or GPM.
  • the video decoding apparatus may generate a residual block of the current block by performing a non-separate primary transform on the current block using the transform kernel (S2705).
  • the video decoding apparatus may obtain information indicating whether to apply non-separate primary transform to the current block based on the prediction mode of the current block being a predetermined mode. Whether to apply the non-separate primary transform to the current block may be determined based on the obtained information.
  • the video decoding apparatus may obtain transform kernel selection information for the current block in order to select a transform kernel for the current block.
  • the conversion kernel selection information may be information for selecting one conversion kernel from one or more non-separate conversion kernels and one or more separate conversion kernels.
  • whether to apply the non-separate primary transform to the current block may be determined further based on residual characteristics of the current block or neighboring blocks.
  • the residual characteristic may be determined based on the position of the last significant coefficient in the residual block of the current block or the number of significant coefficients in the residual block of the current block.
  • an efficient signaling method can be provided in all cases where various types of transforms are applicable.
  • Exemplary methods of this disclosure are presented as a series of operations for clarity of explanation, but this is not intended to limit the order in which steps are performed, and each step may be performed concurrently or in a different order, if desired.
  • other steps may be included in addition to the exemplified steps, other steps may be included except for some steps, or additional other steps may be included except for some steps.
  • an image encoding device or an image decoding device that performs a predetermined operation may perform an operation (step) for confirming an execution condition or situation of the corresponding operation (step). For example, if it is described that a predetermined operation is performed when a predetermined condition is satisfied, the video encoding apparatus or the video decoding apparatus performs an operation to check whether the predetermined condition is satisfied, and then performs the predetermined operation.
  • the video decoding apparatus and the video encoding apparatus to which the embodiments of the present disclosure are applied are real-time communication devices such as multimedia broadcasting transmitting and receiving devices, mobile communication terminals, home cinema video devices, digital cinema video devices, monitoring cameras, video conversation devices, and video communication.
  • mobile streaming devices storage media, camcorders, video-on-demand (VoD) service providing devices, OTT video (Over the top video) devices, Internet streaming service providing devices, three-dimensional (3D) video devices, video telephony video devices, and medical It may be included in a video device or the like, and may be used to process a video signal or a data signal.
  • OTT over the top video
  • video devices may include game consoles, Blu-ray players, Internet-connected TVs, home theater systems, smart phones, tablet PCs, digital video recorders (DVRs), and the like.
  • FIG. 28 is a diagram exemplarily illustrating a content streaming system to which an embodiment according to the present disclosure may be applied.
  • a content streaming system to which an embodiment of the present disclosure is applied may largely include an encoding server, a streaming server, a web server, a media storage, a user device, and a multimedia input device.
  • the encoding server compresses content input from multimedia input devices such as smart phones, cameras, camcorders, etc. into digital data to generate a bitstream and transmits it to the streaming server.
  • multimedia input devices such as smart phones, cameras, and camcorders directly generate bitstreams
  • the encoding server may be omitted.
  • the bitstream may be generated by an image encoding method and/or an image encoding apparatus to which an embodiment of the present disclosure is applied, and the streaming server may temporarily store the bitstream in a process of transmitting or receiving the bitstream.
  • the streaming server transmits multimedia data to a user device based on a user request through a web server, and the web server may serve as a medium informing a user of what kind of service is available.
  • the web server transmits it to the streaming server, and the streaming server can transmit multimedia data to the user.
  • the content streaming system may include a separate control server, and in this case, the control server may play a role of controlling commands/responses between devices in the content streaming system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • Discrete Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상 부호화/복호화 방법 및 장치가 제공된다. 본 개시에 따른 영상 복호화 방법은, 현재 블록의 예측 정보를 획득하는 단계, 상기 예측 정보에 기반하여 상기 현재 블록의 예측 모드를 결정하는 단계, 상기 예측 모드가 소정의 모드임에 기반하여 상기 현재 블록의 잔차 블록을 생성하기 위한 변환 커널을 선택하는 단계 및 선택된 상기 변환 커널을 이용하여 상기 현재 블록에 대한 비분리 1차 변환을 수행함으로써 상기 현재 블록위 잔차 블록을 생성하는 단계를 포함할 수 있다.

Description

비분리 1차 변환에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
본 개시는 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체에 관한 것으로서, 보다 상세하게는 비분리 1차 변환에 기반한 영상 부호화/복호화 방법, 장치 및 본 개시의 영상 부호화 방법/장치에 의해 생성된 비트스트림을 저장하는 기록 매체에 관한 것이다.
최근 HD(High Definition) 영상 및 UHD(Ultra High Definition) 영상과 같은 고해상도, 고품질의 영상에 대한 수요가 다양한 분야에서 증가하고 있다. 영상 데이터가 고해상도, 고품질이 될수록 기존의 영상 데이터에 비해 상대적으로 전송되는 정보량 또는 비트량이 증가하게 된다. 전송되는 정보량 또는 비트량의 증가는 전송 비용과 저장 비용의 증가를 초래한다.
이에 따라, 고해상도, 고품질 영상의 정보를 효과적으로 전송하거나 저장하고, 재생하기 위한 고효율의 영상 압축 기술이 요구된다.
본 개시는 부호화/복호화 효율이 향상된 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 비분리 1차 변환을 수행하는 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 CIIP(Combined Inter and Intra Prediction) 모드가 적용된 블록에 비분리 1차 변환을 수행하는 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 GPM(Geometric Partitioning Mode)이 적용된 블록에 비분리 1차 변환을 수행하는 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 CIIP 모드에서 DIMD(Decoder Side Mode Derivation)가 사용될 경우 비분리 1차 변환을 수행하는 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 CIIP 모드에서 TIMD(Templeate-based Intra Mode Derivation)가 사용될 경우 비분리 1차 변환을 수행하는 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 분리 변환과 비분리 1차 변환을 모두 포함하는 경우 인덱스 시그널링 방법을 제공하는 것을 목적으로 한다.
또한, 본 개시는 현재 블록 또는 주변 블록의 잔차 특성을 기반으로 비분리 1차 변환을 수행하는 영상 부호화/복호화 방법 및 장치를 제공하는 것을 목적으로 한다.
또한, 본 개시는 본 개시에 따른 영상 부호화 방법 또는 장치에 의해 생성된 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.
또한, 본 개시는 본 개시에 따른 영상 복호화 장치에 의해 수신되고 복호화되어 영상의 복원에 이용되는 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.
또한, 본 개시는 본 개시에 따른 영상 부호화 방법 또는 장치에 의해 생성된 비트스트림을 전송하는 방법을 제공하는 것을 목적으로 한다.
본 개시에서 이루고자 하는 기술적 과제들은 이상에서 언급한 기술적 과제들로 제한되지 않으며, 언급하지 않은 또 다른 기술적 과제들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
본 개시의 일 실시예에 따르면, 영상 복호화 장치에 의해 수행되는 영상 복호화 방법으로서, 상기 영상 복호화 방법은, 현재 블록의 예측 정보를 획득하는 단계, 상기 예측 정보에 기반하여 상기 현재 블록의 예측 모드를 결정하는 단계, 상기 예측 모드가 소정의 모드임에 기반하여 상기 현재 블록의 잔차 블록을 생성하기 위한 변환 커널을 선택하는 단계 및 선택된 상기 변환 커널을 이용하여 상기 현재 블록에 대한 비분리 1차 변환을 수행함으로써 상기 현재 블록의 잔차 블록을 생성하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 상기 소정의 모드는 CIIP(Combined inter and intra prediction) 또는 GPM(geometric partitioning mode) 중 하나일 수 있다.
본 개시의 일 실시예에 따르면, 상기 비분리 1차 변환을 적용할 지 여부는 상기 현재 블록에 포함된 화소의 개수에 더 기반하여 결정될 수 있다.
본 개시의 일 실시예에 따르면, 상기 현재 블록의 예측 모드가 소정의 모드임에 기반하여, 비분리 1차 변환 적용 여부를 나타내는 정보를 획득하는 단계를 더 포함하고, 상기 현재 블록에 상기 비분리 1차 변환을 적용할 지 여부는 상기 획득된 정보에 기반하여 결정될 수 있다.
본 개시의 일 실시예에 따르면, 상기 비분리 1차 변환에 적용되는 변환 커널 세트 또는 변환 커널은 상기 소정의 모드에 관한 정보에 기반하여 적응적으로 선택될 수 있다.
본 개시의 일 실시예에 따르면, 상기 소정의 모드가 CIIP 모드인 것에 기반하여, 상기 소정의 모드에 관한 정보는 CIIP 가중치(weight) 또는 CIIP 인트라 모드 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 상기 CIIP 인트라 모드는 플래너 모드, CIIP_PDPC 모드, CIIP_DIMD 모드 또는 CIIP_TIMD 모드 중 적어도 하나일 수 있다.
본 개시의 일 실시예에 따르면, 상기 소정의 모드가 GPM 모드인 것이 기반하여, 상기 소정의 모드에 관한 정보는 GPM 인덱스, Angle 인덱스 또는 Distance 인덱스 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 상기 현재 블록에 대한 변환 커널을 선택하는 단계는 상기 현재 블록에 대한 변환 커널 선택 정보를 획득하는 단계를 포함하고, 상기 변환 커널 선택 정보는 하나 이상의 비분리 변환 커널 및 하나 이상의 분리 변환 커널들로부터 하나의 변환 커널을 선택하기 위한 정보일 수 있다.
본 개시의 일 실시예에 따르면, 상기 현재 블록에 비분리 1차 변환을 적용할 지 여부는 상기 현재 블록 또는 주변 블록의 잔차 특성에 더 기반하여 결정될 수 있다.
본 개시의 일 실시예에 따르면, 상기 잔차 특성은 상기 현재 블록의 잔차 블록 내 마지막 유효 계수의 위치 또는 상기 현재 블록의 잔차 블록 내 유효 계수의 개수에 기반하여 결정될 수 있다.
본 개시의 일 실시예에 따르면, 메모리 및 적어도 하나의 프로세서를 포함하는 영상 복호화 장치로서, 상기 적어도 하나의 프로세서는, 현재 블록의 예측 정보를 획득하고, 상기 예측 정보에 기반하여 상기 현재 블록의 예측 모드를 결정하고, 상기 예측 모드가 소정의 모드임에 기반하여 상기 현재 블록의 잔차 블록을 생성하기 위한 변환 커널을 선택하고, 선택된 상기 변환 커널을 이용하여 상기 현재 블록에 대한 비분리 1차 변환을 수행함으로써 상기 현재 블록의 잔차 블록을 생성할 수 있다.
본 개시의 일 실시예에 따르면, 영상 부호화 장치에 의해 수행되는 영상 부호화 방법으로서, 상기 영상 부호화 방법은, 현재 블록의 예측 모드를 결정하는 단계, 상기 예측 모드가 소정의 모드임에 기반하여 상기 현재 블록의 잔차 블록을 부호화하기 위한 변환 커널을 선택하는 단계 및 결정된 상기 변환 커널을 이용하여 상기 현재 블록에 대한 비분리 1차 변환을 수행함으로써 상기 현재 블록의 잔차 블록을 부호화하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 상기 소정의 모드는 CIIP(Combined inter and intra prediction) 또는 GPM(geometric partitioning mode) 중 하나일 수 있다.
본 개시의 일 실시예에 따르면, 상기 비분리 1차 변환을 적용할 지 여부는 상기 현재 블록에 포함된 화소의 개수에 더 기반하여 결정될 수 있다.
본 개시의 일 실시예에 따르면, 상기 비분리 1차 변환에 적용되는 변환 커널 세트 또는 변환 커널은 상기 소정의 모드에 관한 정보에 기반하여 적응적으로 선택될 수 있다.
본 개시의 일 실시예에 따르면, 상기 소정의 모드가 CIIP 모드인 것에 기반하여, 상기 소정의 모드에 관한 정보는 CIIP 가중치(weight) 또는 CIIP 인트라 모드 중 적어도 하나를 포함하고, 상기 CIIP 인트라 모드는 플래너 모드, CIIP_PDPC 모드, CIIP_DIMD 모드 또는 CIIP_TIMD 모드 중 적어도 하나일 수 있다.
본 개시의 일 실시예에 따르면, 상기 소정의 모드가 GPM 모드인 것이 기반하여, 상기 소정의 모드에 관한 정보는 GPM 인덱스, Angle 인덱스 또는 Distance 인덱스 중 적어도 하나를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독가능한 기록 매체에 있어서, 상기 영상 부호화 방법은, 현재 블록의 예측 모드를 결정하는 단계, 상기 예측 모드가 소정의 모드임에 기반하여 상기 현재 블록의 잔차 블록을 부호화하기 위한 변환 커널을 선택하는 단계 및 결정된 상기 변환 커널을 이용하여 상기 현재 블록에 대한 비분리 1차 변환을 수행함으로써 상기 현재 블록의 잔차 블록을 부호화하는 단계를 포함할 수 있다.
본 개시의 일 실시예에 따르면, 영상 부호화 방법에 의해 생성된 비트스트림을 전송하는 방법에 있어서, 상기 영상 부호화 방법은, 현재 블록의 예측 모드를 결정하는 단계, 상기 예측 모드가 소정의 모드임에 기반하여 상기 현재 블록의 잔차 블록을 부호화하기 위한 변환 커널을 선택하는 단계 및 결정된 상기 변환 커널을 이용하여 상기 현재 블록에 대한 비분리 1차 변환을 수행함으로써 상기 현재 블록의 잔차 블록을 부호화하는 단계를 포함할 수 있다.
본 개시에 따르면, 부호화/복호화 효율이 향상된 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 비분리 1차 변환을 수행하는 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 개시는 CIIP(Combined Inter and Intra Prediction) 모드가 적용된 블록에 비분리 1차 변환을 수행하는 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 개시는 GPM(Geometric Partitioning Mode)이 적용된 블록에 비분리 1차 변환을 수행하는 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 개시는 CIIP 모드에서 DIMD(Decoder Side Mode Derivation)가 사용될 경우 비분리 1차 변환을 수행하는 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 개시는 CIIP 모드에서 TIMD(Templeate-based Intra Mode Derivation)가 사용될 경우 비분리 1차 변환을 수행하는 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 개시는 분리 변환과 비분리 1차 변환을 모두 포함하는 경우 인덱스 시그널링 방법이 제공될 수 있다.
또한, 본 개시는 현재 블록 또는 주변 블록의 잔차 특성을 기반으로 비분리 1차 변환을 수행하는 영상 부호화/복호화 방법 및 장치가 제공될 수 있다.
또한, 본 개시에 따르면, 본 개시에 따른 영상 부호화 방법 또는 장치에 의해 생성된 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능한 기록 매체가 제공될 수 있다.
또한, 본 개시에 따르면, 본 개시에 따른 영상 복호화 장치에 의해 수신되고 복호화되어 영상의 복원에 이용되는 비트스트림을 저장하는 비일시적 컴퓨터 판독 가능한 기록 매체가 제공될 수 있다.
또한, 본 개시에 따르면, 본 개시에 따른 영상 부호화 방법 또는 장치에 의해 생성된 비트스트림을 전송하는 방법이 제공될 수 있다.
본 개시에서 얻을 수 있는 효과는 이상에서 언급한 효과들로 제한되지 않으며, 언급하지 않은 또 다른 효과들은 아래의 기재로부터 본 개시가 속하는 기술분야에서 통상의 지식을 가진 자에게 명확하게 이해될 수 있을 것이다.
도 1은 본 개시에 따른 실시예가 적용될 수 있는 비디오 코딩 시스템을 개략적으로 나타내는 도면이다.
도 2는 본 개시에 따른 실시예가 적용될 수 있는 영상 부호화 장치를 개략적으로 나타내는 도면이다.
도 3은 본 개시에 따른 실시예가 적용될 수 있는 영상 복호화 장치를 개략적으로 나타내는 도면이다.
도 4a 내지 도 4d는 다양한 예측 모드에 적용되는 PDPC에서 정의되는 참조 샘플을 나타내는 도면들이다.
도 5는 65개의 방향성 인트라 예측 모드를 도시한 도면이다.
도 6은 CIIP 가중치 유도 과정에서 쓰이는 상측 주변 블록 및 좌측 주변 블록을 도시한 도면이다.
도 7은 PDPC를 이용한 CIIP 모드 적용 방법의 흐름도이다.
도 8은 GPM 분할의 예시를 도시한 도면이다.
도 9는 LFNST 적용 방법을 설명하기 위한 도면이다.
도 10은 AMT가 수행되는 인코딩 과정을 나타낸 흐름도이다.
도 11은 AMT가 수행되는 디코딩 과정을 나타낸 흐름도이다.
도 12는 NSST가 수행되는 인코딩 과정을 나타낸 흐름도이다.
도 13은 NSST가 수행되는 디코딩 과정을 나타낸 흐름도이다.
도 14 및 도 15는 NSST 수행 방법을 설명하기 위한 도면들이다.
도 16 및 도 17은 RST 수행 방법을 설명하기 위한 도면들이다.
도 18은 본 개시의 일 실시예에 따른 변환 및 역변환 과정을 설명하기 위한 도면이다.
도 19는 본 개시의 일 실시예에 따른 변환 방법을 나타낸 흐름도이다.
도 20은 본 개시의 일 실시예에 따른 역변환 방법을 나타낸 흐름도이다.
도 21은 본 개시의 일 실시예에 따른 서브블록 비분리 1차 변환/역변환 방법을 나타낸 흐름도이다.
도 22a 내지 도 22b는 인코더 단에서의 비분리 1차 변환, 즉 순방향 비분리 1차 변환 과정을 나타낸다.
도 23은 서로 대칭된 블록 split을 이루는 GPM을 예시한 도면이다.
도 24는 소정의 모드가 적용된 블록에 대한 1차 변환 방법의 일 예를 나타낸 흐름도이다.
도 25는 소정의 모드가 적용된 블록에서 소정의 조건에 따른 비분리 1차 변환 적용 방법을 나타낸 흐름도이다.
도 26은 본 개시의 일 실시예에 따른 영상 부호화 방법을 나타내는 흐름도이다.
도 27은 본 개시의 일 실시예에 따른 영상 복호화 방법을 나타내는 흐름도이다.
도 28은 본 개시에 따른 실시예가 적용될 수 있는 컨텐츠 스트리밍 시스템을 예시적으로 나타낸 도면이다.
이하에서는 첨부한 도면을 참고로 하여 본 개시의 실시예에 대하여 본 개시가 속하는 기술 분야에서 통상의 지식을 가진 자가 용이하게 실시할 수 있도록 상세히 설명한다. 그러나, 본 개시는 여러 가지 상이한 형태로 구현될 수 있으며 여기에서 설명하는 실시예에 한정되지 않는다.
본 개시의 실시예를 설명함에 있어서 공지 구성 또는 기능에 대한 구체적인 설명이 본 개시의 요지를 흐릴 수 있다고 판단되는 경우에는 그에 대한 상세한 설명은 생략한다. 그리고, 도면에서 본 개시에 대한 설명과 관계없는 부분은 생략하였으며, 유사한 부분에 대해서는 유사한 도면 부호를 붙였다.
본 개시에 있어서, 어떤 구성요소가 다른 구성요소와 "연결", "결합" 또는 "접속"되어 있다고 할 때, 이는 직접적인 연결관계뿐만 아니라, 그 중간에 또 다른 구성요소가 존재하는 간접적인 연결관계도 포함할 수 있다. 또한 어떤 구성요소가 다른 구성요소를 "포함한다" 또는 "가진다"고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성요소를 배제하는 것이 아니라 또 다른 구성요소를 더 포함할 수 있는 것을 의미한다.
본 개시에 있어서, 제1, 제2 등의 용어는 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용되며, 특별히 언급되지 않는 한 구성요소들간의 순서 또는 중요도 등을 한정하지 않는다. 따라서, 본 개시의 범위 내에서 일 실시예에서의 제1 구성요소는 다른 실시예에서 제2 구성요소라고 칭할 수도 있고, 마찬가지로 일 실시예에서의 제2 구성요소를 다른 실시예에서 제1 구성요소라고 칭할 수도 있다.
본 개시에 있어서, 서로 구별되는 구성요소들은 각각의 특징을 명확하게 설명하기 위함이며, 구성요소들이 반드시 분리되는 것을 의미하지는 않는다. 즉, 복수의 구성요소가 통합되어 하나의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있고, 하나의 구성요소가 분산되어 복수의 하드웨어 또는 소프트웨어 단위로 이루어질 수도 있다. 따라서, 별도로 언급하지 않더라도 이와 같이 통합된 또는 분산된 실시예도 본 개시의 범위에 포함된다.
본 개시에 있어서, 다양한 실시예에서 설명하는 구성요소들이 반드시 필수적인 구성요소들은 의미하는 것은 아니며, 일부는 선택적인 구성요소일 수 있다. 따라서, 일 실시예에서 설명하는 구성요소들의 부분 집합으로 구성되는 실시예도 본 개시의 범위에 포함된다. 또한, 다양한 실시예에서 설명하는 구성요소들에 추가적으로 다른 구성요소를 포함하는 실시예도 본 개시의 범위에 포함된다.
본 개시는 영상의 부호화 및 복호화에 관한 것으로서, 본 개시에서 사용되는 용어는, 본 개시에서 새롭게 정의되지 않는 한 본 개시가 속한 기술 분야에서 통용되는 통상의 의미를 가질 수 있다.
본 개시에서 "비디오(video)"는 시간의 흐름에 따른 일련의 영상(image)들의 집합을 의미할 수 있다.
본 개시에서 "픽처(picture)"는 일반적으로 특정 시간대의 하나의 영상을 나타내는 단위를 의미하며, 슬라이스(slice)/타일(tile)은 픽처의 일부를 구성하는 부호화 단위로서, 하나의 픽처는 하나 이상의 슬라이스/타일로 구성될 수 있다. 또한, 슬라이스/타일은 하나 이상의 CTU(coding tree unit)를 포함할 수 있다.
본 개시에서 "픽셀(pixel)" 또는 "펠(pel)"은 하나의 픽처(또는 영상)를 구성하는 최소의 단위를 의미할 수 있다. 또한, 픽셀에 대응하는 용어로서 "샘플(sample)"이 사용될 수 있다. 샘플은 일반적으로 픽셀 또는 픽셀의 값을 나타낼 수 있으며, 루마(luma) 성분의 픽셀/픽셀값만을 나타낼 수도 있고, 크로마(chroma) 성분의 픽셀/픽셀값만을 나타낼 수도 있다.
본 개시에서 "유닛(unit)"은 영상 처리의 기본 단위를 나타낼 수 있다. 유닛은 픽처의 특정 영역 및 해당 영역에 관련된 정보 중 적어도 하나를 포함할 수 있다. 유닛은 경우에 따라서 "샘플 어레이", "블록(block)" 또는 "영역(area)" 등의 용어와 혼용하여 사용될 수 있다. 일반적인 경우, MxN 블록은 M개의 열과 N개의 행으로 이루어진 샘플들(또는 샘플 어레이) 또는 변환 계수(transform coefficient)들의 집합(또는 어레이)을 포함할 수 있다.
본 개시에서 "현재 블록"은 "현재 코딩 블록", "현재 코딩 유닛", "부호화 대상 블록", "복호화 대상 블록" 또는 "처리 대상 블록" 중 하나를 의미할 수 있다. 예측이 수행되는 경우, "현재 블록"은 "현재 예측 블록" 또는 "예측 대상 블록"을 의미할 수 있다. 변환(역변환)/양자화(역양자화)가 수행되는 경우, "현재 블록"은 "현재 변환 블록" 또는 "변환 대상 블록"을 의미할 수 있다. 필터링이 수행되는 경우, "현재 블록"은 "필터링 대상 블록"을 의미할 수 있다.
본 개시에서 "현재 블록"은 크로마 블록이라는 명시적인 기재가 없는 한 루마 성분 블록과 크로마 성분 블록을 모두 포함하는 블록 또는 "현재 블록의 루마 블록"을 의미할 수 있다. 현재 블록의 루마 성분 블록은 명시적으로 "루마 블록" 또는 "현재 루마 블록"과 같이 루마 성분 블록이라는 명시적인 기재를 포함하여 표현될 수 있다. 또한, 현재 블록의 크로마 성분 블록은 명시적으로 "크로마 블록" 또는 "현재 크로마 블록"과 같이 크로마 성분 블록이라는 명시적인 기재를 포함하여 표현될 수 있다.
본 개시에서 "/"와 ","는 "및/또는"으로 해석될 수 있다. 예를 들어, "A/B"와 "A, B"는 "A 및/또는 B"로 해석될 수 있다. 또한, "A/B/C"와 "A, B, C"는 "A, B 및/또는 C 중 적어도 하나"를 의미할 수 있다.
본 개시에서 "또는"은 "및/또는"으로 해석될 수 있다. 예를 들어, "A 또는 B"는, 1) "A" 만을 의미하거나 2) "B" 만을 의미하거나, 3) "A 및 B"를 의미할 수 있다. 또는, 본 개시에서 "또는"은 "추가적으로 또는 대체적으로(additionally or alternatively)"를 의미할 수 있다.
본 개시에서 "적어도 하나의 A, B 및 C"는 "오직 A", "오직 B", "오직 C", 또는 "A, B 및 C의 임의의 모든 조합"를 의미할 수 있다. 또한, "적어도 하나의 A, B 또는 C"나 "적어도 하나의 A, B 및/또는 C"는 "적어도 하나의 A, B 및 C"를 의미할 수 있다.
본 개시에서 사용되는 괄호는 "예를 들어"를 의미할 수 있다. 예를 들어, "예측(인트라 예측)"으로 표시된 경우, "예측"의 일례로 "인트라 예측"이 제안된 것일 수 있다. 달리 표현하면 본 개시의 "예측"은 "인트라 예측"으로 제한되지 않고, "인트라 예측"이 "예측"의 일례로 제안될 것일 수 있다. 또한, "예측(즉, 인트라 예측)"으로 표시된 경우에도, "예측"의 일례로 "인트라 예측"이 제안된 것일 수 있다.
비디오 코딩 시스템 개요
도 1은 본 개시에 따른 실시예가 적용될 수 있는 비디오 코딩 시스템을 개략적으로 나타내는 도면이다.
일 실시예에 따른 비디오 코딩 시스템은 부호화 장치(10) 및 복호화 장치(20)를 포함할 수 있다. 부호화 장치(10)는 부호화된 비디오(video) 및/또는 영상(image) 정보 또는 데이터를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 복호화 장치(20)로 전달할 수 있다.
일 실시예예 따른 부호화 장치(10)는 비디오 소스 생성부(11), 부호화부(12), 전송부(13)를 포함할 수 있다. 일 실시예에 따른 복호화 장치(20)는 수신부(21), 복호화부(22) 및 렌더링부(23)를 포함할 수 있다. 상기 부호화부(12)는 비디오/영상 부호화부라고 불릴 수 있고, 상기 복호화부(22)는 비디오/영상 복호화부라고 불릴 수 있다. 전송부(13)는 부호화부(12)에 포함될 수 있다. 수신부(21)는 복호화부(22)에 포함될 수 있다. 렌더링부(23)는 디스플레이부를 포함할 수도 있고, 디스플레이부는 별개의 디바이스 또는 외부 컴포넌트로 구성될 수도 있다.
비디오 소스 생성부(11)는 비디오/영상의 캡쳐, 합성 또는 생성 과정 등을 통하여 비디오/영상을 획득할 수 있다. 비디오 소스 생성부(11)는 비디오/영상 캡쳐 디바이스 및/또는 비디오/영상 생성 디바이스를 포함할 수 있다. 비디오/영상 캡쳐 디바이스는 예를 들어, 하나 이상의 카메라, 이전에 캡쳐된 비디오/영상을 포함하는 비디오/영상 아카이브 등을 포함할 수 있다. 비디오/영상 생성 디바이스는 예를 들어 컴퓨터, 타블렛 및 스마트폰 등을 포함할 수 있으며 (전자적으로) 비디오/영상을 생성할 수 있다. 예를 들어, 컴퓨터 등을 통하여 가상의 비디오/영상이 생성될 수 있으며, 이 경우 관련 데이터가 생성되는 과정으로 비디오/영상 캡쳐 과정이 갈음될 수 있다.
부호화부(12)는 입력 비디오/영상을 부호화할 수 있다. 부호화부(12)는 압축 및 부호화 효율을 위하여 예측, 변환, 양자화 등 일련의 절차를 수행할 수 있다. 부호화부(12)는 부호화된 데이터(부호화된 비디오/영상 정보)를 비트스트림(bitstream) 형태로 출력할 수 있다.
전송부(13)는 비트스트림 형태로 출력된 부호화된 비디오/영상 정보 또는 데이터를 획득할 수 있으며, 이를 파일 또는 스트리밍 형태로 디지털 저장매체 또는 네트워크를 통하여 복호화 장치(20)의 수신부(21) 또는 다른 외부 객체로 전달할 수 있다. 디지털 저장 매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장 매체를 포함할 수 있다. 전송부(13)는 미리 정해진 파일 포맷을 통하여 미디어 파일을 생성하기 위한 엘리먼트를 포함할 수 있고, 방송/통신 네트워크를 통한 전송을 위한 엘리먼트를 포함할 수 있다. 전송부(13)는 부호화부(120)와는 별개의 전송 장치로 구비될 수 있으며, 이 경우 전송 장치는 비트스트림 형태로 출력된 부호화된 비디오/영상 정보 또는 데이터를 획득하는 적어도 하나의 프로세서와 이를 파일 또는 스트리밍 형태로 전달하는 전송부를 포함할 수 있다. 이 수신부(21)는 상기 저장매체 또는 네트워크로부터 상기 비트스트림을 추출/수신하여 복호화부(22)로 전달할 수 있다.
복호화부(22)는 부호화부(12)의 동작에 대응하는 역양자화, 역변환, 예측 등 일련의 절차를 수행하여 비디오/영상을 복호화할 수 있다.
렌더링부(23)는 복호화된 비디오/영상을 렌더링할 수 있다. 렌더링된 비디오/영상은 디스플레이부를 통하여 디스플레이될 수 있다.
영상 부호화 장치 개요
도 2는 본 개시에 따른 실시예가 적용될 수 있는 영상 부호화 장치를 개략적으로 도시한 도면이다.
도 2에 도시된 바와 같이, 영상 부호화 장치(100)는 영상 분할부(110), 감산부(115), 변환부(120), 양자화부(130), 역양자화부(140), 역변환부(150), 가산부(155), 필터링부(160), 메모리(170), 인터 예측부(180), 인트라 예측부(185) 및 엔트로피 인코딩부(190)를 포함할 수 있다. 인터 예측부(180) 및 인트라 예측부(185)는 합쳐서 "예측부"라고 지칭될 수 있다. 변환부(120), 양자화부(130), 역양자화부(140), 역변환부(150)는 레지듀얼(residual) 처리부에 포함될 수 있다. 레지듀얼 처리부는 감산부(115)를 더 포함할 수도 있다.
영상 부호화 장치(100)를 구성하는 복수의 구성부들의 전부 또는 적어도 일부는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어, 인코더 또는 프로세서)로 구현될 수 있다. 또한 메모리(170)는 DPB(decoded picture buffer)를 포함할 수 있고, 디지털 저장 매체에 의하여 구현될 수 있다.
영상 분할부(110)는 영상 부호화 장치(100)에 입력된 입력 영상(또는, 픽쳐, 프레임)을 하나 이상의 처리 유닛(processing unit)으로 분할할 수 있다. 일 예로, 상기 처리 유닛은 코딩 유닛(coding unit, CU)이라고 불릴 수 있다. 코딩 유닛은 코딩 트리 유닛(coding tree unit, CTU) 또는 최대 코딩 유닛(largest coding unit, LCU)을 QT/BT/TT (Quad-tree/binary-tree/ternary-tree) 구조에 따라 재귀적으로(recursively) 분할함으로써 획득될 수 있다. 예를 들어, 하나의 코딩 유닛은 쿼드 트리 구조, 바이너리 트리 구조 및/또는 터너리 트리 구조를 기반으로 하위(deeper) 뎁스의 복수의 코딩 유닛들로 분할될 수 있다. 코딩 유닛의 분할을 위해, 쿼드 트리 구조가 먼저 적용되고 바이너리 트리 구조 및/또는 터너리 트리 구조가 나중에 적용될 수 있다. 더 이상 분할되지 않는 최종 코딩 유닛을 기반으로 본 개시에 따른 코딩 절차가 수행될 수 있다. 최대 코딩 유닛이 바로 최종 코딩 유닛으로 사용될 수 있고, 최대 코딩 유닛을 분할하여 획득한 하위 뎁스의 코딩 유닛이 최종 코닛 유닛으로 사용될 수도 있다. 여기서 코딩 절차라 함은 후술하는 예측, 변환 및/또는 복원 등의 절차를 포함할 수 있다. 다른 예로, 상기 코딩 절차의 처리 유닛은 예측 유닛(PU: Prediction Unit) 또는 변환 유닛(TU: Transform Unit)일 수 있다. 상기 예측 유닛 및 상기 변환 유닛은 각각 상기 최종 코딩 유닛으로부터 분할 또는 파티셔닝될 수 있다. 상기 예측 유닛은 샘플 예측의 단위일 수 있고, 상기 변환 유닛은 변환 계수를 유도하는 단위 및/또는 변환 계수로부터 레지듀얼 신호(residual signal)를 유도하는 단위일 수 있다.
예측부(인터 예측부(180) 또는 인트라 예측부(185))는 처리 대상 블록(현재 블록)에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부는 현재 블록 또는 CU 단위로 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있다. 예측부는 현재 블록의 예측에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(190)로 전달할 수 있다. 예측에 관한 정보는 엔트로피 인코딩부(190)에서 인코딩되어 비트스트림 형태로 출력될 수 있다.
인트라 예측부(185)는 현재 픽처 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 상기 참조되는 샘플들은 인트라 예측 모드 및/또는 인트라 예측 기법에 따라 상기 현재 블록의 주변(neighbor)에 위치할 수 있고, 또는 떨어져서 위치할 수도 있다. 인트라 예측 모드들은 복수의 비방향성 모드와 복수의 방향성 모드를 포함할 수 있다. 비방향성 모드는 예를 들어 DC 모드 및 플래너 모드(Planar 모드)를 포함할 수 있다. 방향성 모드는 예측 방향의 세밀한 정도에 따라, 예를 들어 33개의 방향성 예측 모드 또는 65개의 방향성 예측 모드를 포함할 수 있다. 다만, 이는 예시로서 설정에 따라 그 이상 또는 그 이하의 개수의 방향성 예측 모드들이 사용될 수 있다. 인트라 예측부(185)는 주변 블록에 적용된 예측 모드를 이용하여, 현재 블록에 적용되는 예측 모드를 결정할 수도 있다.
인터 예측부(180)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기반하여 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 상기 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 상기 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측 등) 정보를 더 포함할 수 있다. 인터 예측의 경우, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 상기 참조 블록을 포함하는 참조 픽처와 상기 시간적 주변 블록을 포함하는 참조 픽처는 동일할 수도 있고, 서로 다를 수도 있다. 상기 시간적 주변 블록은 동일 위치 참조 블록(collocated reference block), 동일 위치 CU(colCU) 등의 이름으로 불릴 수 있다. 상기 시간적 주변 블록을 포함하는 참조 픽처는 동일 위치 픽처(collocated picture, colPic)라고 불릴 수 있다. 예를 들어, 인터 예측부(180)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 상기 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출하기 위하여 어떤 후보가 사용되는지를 지시하는 정보를 생성할 수 있다. 다양한 예측 모드를 기반으로 인터 예측이 수행될 수 있으며, 예를 들어 스킵 모드와 머지 모드의 경우에, 인터 예측부(180)는 주변 블록의 움직임 정보를 현재 블록의 움직임 정보로 이용할 수 있다. 스킵 모드의 경우, 머지 모드와 달리 레지듀얼 신호가 전송되지 않을 수 있다. 움직임 정보 예측(motion vector prediction, MVP) 모드의 경우, 주변 블록의 움직임 벡터를 움직임 벡터 예측자(motion vector predictor)로 이용하고, 움직임 벡터 차분(motion vector difference) 및 움직임 벡터 예측자에 대한 지시자(indicator)를 부호화함으로써 현재 블록의 움직임 벡터를 시그널링할 수 있다. 움직임 벡터 차분은 현재 블록의 움직임 벡터와 움직임 벡터 예측자 간의 차이를 의미할 수 있다.
예측부는 후술하는 다양한 예측 방법 및/또는 예측 기법을 기반으로 예측 신호를 생성할 수 있다. 예를 들어, 예측부는 현재 블록의 예측을 위해 인트라 예측 또는 인터 예측을 적용할 수 있을 뿐 아니라, 인트라 예측과 인터 예측을 동시에 적용할 수 있다. 현재 블록의 예측을 위해 인트라 예측과 인터 예측을 동시에 적용하는 예측 방법은 combined inter and intra prediction (CIIP)라고 불릴 수 있다. 또한, 예측부는 현재 블록의 예측을 위해 인트라 블록 카피(intra block copy, IBC)를 수행할 수도 있다. 인트라 블록 카피는 예를 들어 SCC(screen content coding) 등과 같이 게임 등의 컨텐츠 영상/동영상 코딩을 위하여 사용될 수 있다. IBC는 현재 블록으로부터 소정의 거리만큼 떨어진 위치의 현재 픽처 내 기복원된 참조 블록을 이용하여 현재 블록을 예측하는 방법이다. IBC가 적용되는 경우, 현재 픽처 내 참조 블록의 위치는 상기 소정의 거리에 해당하는 벡터(블록 벡터)로서 부호화될 수 있다. IBC는 기본적으로 현재 픽처 내에서 예측을 수행하나, 현재 픽처 내에서 참조 블록을 도출하는 점에서, 인터 예측과 유사하게 수행될 수 있다. 즉 IBC는 본 개시에서 설명되는 인터 예측 기법들 중 적어도 하나를 이용할 수 있다.
예측부를 통해 생성된 예측 신호는 복원 신호를 생성하기 위해 이용되거나 레지듀얼 신호를 생성하기 위해 이용될 수 있다. 감산부(115)는 입력 영상 신호(원본 블록, 원본 샘플 어레이)로부터 예측부에서 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)를 감산하여 레지듀얼 신호(residual signal, 잔여 블록, 잔여 샘플 어레이)를 생성할 수 있다. 생성된 레지듀얼 신호는 변환부(120)로 전송될 수 있다.
변환부(120)는 레지듀얼 신호에 변환 기법을 적용하여 변환 계수들(transform coefficients)을 생성할 수 있다. 예를 들어, 변환 기법은 DCT(Discrete Cosine Transform), DST(Discrete Sine Transform), KLT(Karhunen-Loeve Transform), GBT(Graph-Based Transform), 또는 CNT(Conditionally Non-linear Transform) 중 적어도 하나를 포함할 수 있다. 여기서, GBT는 픽셀 간의 관계 정보를 그래프로 표현한다고 할 때 이 그래프로부터 얻어진 변환을 의미한다. CNT는 이전에 복원된 모든 픽셀(all previously reconstructed pixel)을 이용하여 예측 신호를 생성하고 그에 기반하여 획득되는 변환을 의미한다. 변환 과정은 정사각형의 동일한 크기를 갖는 픽셀 블록에 적용될 수도 있고, 정사각형이 아닌 가변 크기의 블록에도 적용될 수 있다.
양자화부(130)는 변환 계수들을 양자화하여 엔트로피 인코딩부(190)로 전송할 수 있다. 엔트로피 인코딩부(190)는 양자화된 신호(양자화된 변환 계수들에 관한 정보)를 인코딩하여 비트스트림으로 출력할 수 있다. 상기 양자화된 변환 계수들에 관한 정보는 레지듀얼 정보라고 불릴 수 있다. 양자화부(130)는 계수 스캔 순서(scan order)를 기반으로 블록 형태의 양자화된 변환 계수들을 1차원 벡터 형태로 재정렬할 수 있고, 상기 1차원 벡터 형태의 양자화된 변환 계수들을 기반으로 상기 양자화된 변환 계수들에 관한 정보를 생성할 수도 있다.
엔트로피 인코딩부(190)는 예를 들어 지수 골롬(exponential Golomb), CAVLC(context-adaptive variable length coding), CABAC(context-adaptive binary arithmetic coding) 등과 같은 다양한 인코딩 방법을 수행할 수 있다. 엔트로피 인코딩부(190)는 양자화된 변환 계수들 외 비디오/이미지 복원에 필요한 정보들(예를 들어 신택스 요소들(syntax elements)의 값 등)을 함께 또는 별도로 인코딩할 수도 있다. 인코딩된 정보(ex. 인코딩된 비디오/영상 정보)는 비트스트림 형태로 NAL(network abstraction layer) 유닛 단위로 전송 또는 저장될 수 있다. 상기 비디오/영상 정보는 어댑테이션 파라미터 세트(APS), 픽처 파라미터 세트(PPS), 시퀀스 파라미터 세트(SPS) 또는 비디오 파라미터 세트(VPS) 등 다양한 파라미터 세트에 관한 정보를 더 포함할 수 있다. 또한 상기 비디오/영상 정보는 일반 제한 정보(general constraint information)를 더 포함할 수 있다. 본 개시에서 언급된 시그널링 정보, 전송되는 정보 및/또는 신택스 요소들은 상술한 인코딩 절차를 통하여 인코딩되어 상기 비트스트림에 포함될 수 있다.
상기 비트스트림은 네트워크를 통하여 전송될 수 있고, 또는 디지털 저장매체에 저장될 수 있다. 여기서 네트워크는 방송망 및/또는 통신망 등을 포함할 수 있고, 디지털 저장매체는 USB, SD, CD, DVD, 블루레이, HDD, SSD 등 다양한 저장매체를 포함할 수 있다. 엔트로피 인코딩부(190)로부터 출력된 신호를 전송하는 전송부(미도시) 및/또는 저장하는 저장부(미도시)가 영상 부호화 장치(100)의 내/외부 엘리먼트로서 구비될 수 있고, 또는 전송부는 엔트로피 인코딩부(190)의 구성요소로서 구비될 수도 있다.
양자화부(130)로부터 출력된 양자화된 변환 계수들은 레지듀얼 신호를 생성하기 위해 이용될 수 있다. 예를 들어, 양자화된 변환 계수들에 역양자화부(140) 및 역변환부(150)를 통해 역양자화 및 역변환을 적용함으로써 레지듀얼 신호(레지듀얼 블록 or 레지듀얼 샘플들)를 복원할 수 있다.
가산부(155)는 복원된 레지듀얼 신호를 인터 예측부(180) 또는 인트라 예측부(185)로부터 출력된 예측 신호에 더함으로써 복원(reconstructed) 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)를 생성할 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다. 가산부(155)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽처의 인터 예측을 위하여 사용될 수도 있다.
한편 픽처 인코딩 및/또는 복원 과정에서 LMCS(luma mapping with chroma scaling)가 적용될 수도 있다.
필터링부(160)는 복원 신호에 필터링을 적용하여 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어 필터링부(160)는 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 상기 수정된 복원 픽처를 메모리(170), 구체적으로 메모리(170)의 DPB에 저장할 수 있다. 상기 다양한 필터링 방법은 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset), 적응적 루프 필터(adaptive loop filter), 양방향 필터(bilateral filter) 등을 포함할 수 있다. 필터링부(160)는 각 필터링 방법에 대한 설명에서 후술하는 바와 같이 필터링에 관한 다양한 정보를 생성하여 엔트로피 인코딩부(190)로 전달할 수 있다. 필터링에 관한 정보는 엔트로피 인코딩부(190)에서 인코딩되어 비트스트림 형태로 출력될 수 있다.
메모리(170)에 전송된 수정된 복원 픽처는 인터 예측부(180)에서 참조 픽처로 사용될 수 있다. 영상 부호화 장치(100)는 이를 통하여 인터 예측이 적용되는 경우, 영상 부호화 장치(100)와 영상 복호화 장치에서의 예측 미스매치를 피할 수 있고, 부호화 효율도 향상시킬 수 있다.
메모리(170) 내 DPB는 인터 예측부(180)에서의 참조 픽처로 사용하기 위해 수정된 복원 픽처를 저장할 수 있다. 메모리(170)는 현재 픽처 내 움직임 정보가 도출된(또는 인코딩된) 블록의 움직임 정보 및/또는 이미 복원된 픽처 내 블록들의 움직임 정보를 저장할 수 있다. 상기 저장된 움직임 정보는 공간적 주변 블록의 움직임 정보 또는 시간적 주변 블록의 움직임 정보로 활용하기 위하여 인터 예측부(180)에 전달될 수 있다. 메모리(170)는 현재 픽처 내 복원된 블록들의 복원 샘플들을 저장할 수 있고, 인트라 예측부(185)에 전달할 수 있다.
영상 복호화 장치 개요
도 3은 본 개시에 따른 실시예가 적용될 수 있는 영상 복호화 장치를 개략적으로 도시한 도면이다.
도 3에 도시된 바와 같이, 영상 복호화 장치(200)는 엔트로피 디코딩부(210), 역양자화부(220), 역변환부(230), 가산부(235), 필터링부(240), 메모리(250), 인터 예측부(260) 및 인트라 예측부(265)를 포함하여 구성될 수 있다. 인터 예측부(260) 및 인트라 예측부(265)를 합쳐서 "예측부"라고 지칭될 수 있다. 역양자화부(220), 역변환부(230)는 레지듀얼 처리부에 포함될 수 있다.
영상 복호화 장치(200)를 구성하는 복수의 구성부들의 전부 또는 적어도 일부는 실시예에 따라 하나의 하드웨어 컴포넌트(예를 들어 디코더 또는 프로세서)로 구현될 수 있다. 또한 메모리(170)는 DPB를 포함할 수 있고, 디지털 저장 매체에 의하여 구현될 수 있다.
비디오/영상 정보를 포함하는 비트스트림을 수신한 영상 복호화 장치(200)는 도 2의 영상 부호화 장치(100)에서 수행된 프로세스에 대응하는 프로세스를 수행하여 영상을 복원할 수 있다. 예를 들어, 영상 복호화 장치(200)는 영상 부호화 장치에서 적용된 처리 유닛을 이용하여 디코딩을 수행할 수 있다. 따라서 디코딩의 처리 유닛은 예를 들어 코딩 유닛일 수 있다. 코딩 유닛은 코딩 트리 유닛이거나 또는 최대 코딩 유닛을 분할하여 획득될 수 있다. 그리고, 영상 복호화 장치(200)를 통해 디코딩 및 출력된 복원 영상 신호는 재생 장치(미도시)를 통해 재생될 수 있다.
영상 복호화 장치(200)는 도 2의 영상 부호화 장치로부터 출력된 신호를 비트스트림 형태로 수신할 수 있다. 수신된 신호는 엔트로피 디코딩부(210)를 통해 디코딩될 수 있다. 예를 들어, 엔트로피 디코딩부(210)는 상기 비트스트림을 파싱하여 영상 복원(또는 픽처 복원)에 필요한 정보(예를 들어, 비디오/영상 정보)를 도출할 수 있다. 상기 비디오/영상 정보는 어댑테이션 파라미터 세트(APS), 픽처 파라미터 세트(PPS), 시퀀스 파라미터 세트(SPS) 또는 비디오 파라미터 세트(VPS) 등 다양한 파라미터 세트에 관한 정보를 더 포함할 수 있다. 또한 상기 비디오/영상 정보는 일반 제한 정보(general constraint information)를 더 포함할 수 있다. 영상 복호화 장치는 영상을 디코딩하기 위해 상기 파라미터 세트에 관한 정보 및/또는 상기 일반 제한 정보를 추가적으로 이용할 수 있다. 본 개시에서 언급된 시그널링 정보, 수신되는 정보 및/또는 신택스 요소들은 상기 디코딩 절차를 통하여 디코딩됨으로써 상기 비트스트림으로부터 획득될 수 있다. 예를 들어, 엔트로피 디코딩부(210)는 지수 골롬 부호화, CAVLC 또는 CABAC 등의 코딩 방법을 기초로 비트스트림 내 정보를 디코딩하고, 영상 복원에 필요한 신택스 엘리먼트의 값, 레지듀얼에 관한 변환 계수의 양자화된 값들을 출력할 수 있다. 보다 상세하게, CABAC 엔트로피 디코딩 방법은, 비트스트림에서 각 구문 요소에 해당하는 빈을 수신하고, 디코딩 대상 구문 요소 정보와 주변 블록 및 디코딩 대상 블록의 디코딩 정보 혹은 이전 단계에서 디코딩된 심볼/빈의 정보를 이용하여 문맥(context) 모델을 결정하고, 결정된 문맥 모델에 따라 빈(bin)의 발생 확률을 예측하여 빈의 산술 디코딩(arithmetic decoding)을 수행하여 각 구문 요소의 값에 해당하는 심볼을 생성할 수 있다. 이때, CABAC 엔트로피 디코딩 방법은 문맥 모델 결정 후 다음 심볼/빈의 문맥 모델을 위해 디코딩된 심볼/빈의 정보를 이용하여 문맥 모델을 업데이트할 수 있다. 엔트로피 디코딩부(210)에서 디코딩된 정보 중 예측에 관한 정보는 예측부(인터 예측부(260) 및 인트라 예측부(265))로 제공되고, 엔트로피 디코딩부(210)에서 엔트로피 디코딩이 수행된 레지듀얼 값, 즉 양자화된 변환 계수들 및 관련 파라미터 정보는 역양자화부(220)로 입력될 수 있다. 또한, 엔트로피 디코딩부(210)에서 디코딩된 정보 중 필터링에 관한 정보는 필터링부(240)로 제공될 수 있다. 한편, 영상 부호화 장치로부터 출력된 신호를 수신하는 수신부(미도시)가 영상 복호화 장치(200)의 내/외부 엘리먼트로서 추가적으로 구비될 수 있고, 또는 수신부는 엔트로피 디코딩부(210)의 구성요소로서 구비될 수도 있다.
한편, 본 개시에 따른 영상 복호화 장치는 비디오/영상/픽처 복호화 장치라고 불릴 수 있다. 상기 영상 복호화 장치는 정보 디코더(비디오/영상/픽처 정보 디코더) 및/또는 샘플 디코더(비디오/영상/픽처 샘플 디코더)를 포함할 수도 있다. 상기 정보 디코더는 엔트로피 디코딩부(210)를 포함할 수 있고, 상기 샘플 디코더는 역양자화부(220), 역변환부(230), 가산부(235), 필터링부(240), 메모리(250), 인터 예측부(260) 및 인트라 예측부(265) 중 적어도 하나를 포함할 수 있다.
역양자화부(220)에서는 양자화된 변환 계수들을 역양자화하여 변환 계수들을 출력할 수 있다. 역양자화부(220)는 양자화된 변환 계수들을 2차원의 블록 형태로 재정렬할 수 있다. 이 경우 상기 재정렬은 영상 부호화 장치에서 수행된 계수 스캔 순서에 기반하여 수행될 수 있다. 역양자화부(220)는 양자화 파라미터(예를 들어 양자화 스텝 사이즈 정보)를 이용하여 양자화된 변환 계수들에 대한 역양자화를 수행하고, 변환 계수들(transform coefficient)을 획득할 수 있다.
역변환부(230)에서는 변환 계수들를 역변환하여 레지듀얼 신호(레지듀얼 블록, 레지듀얼 샘플 어레이)를 획득할 수 있다.
예측부는 현재 블록에 대한 예측을 수행하고, 상기 현재 블록에 대한 예측 샘플들을 포함하는 예측된 블록(predicted block)을 생성할 수 있다. 예측부는 엔트로피 디코딩부(210)로부터 출력된 상기 예측에 관한 정보를 기반으로 상기 현재 블록에 인트라 예측이 적용되는지 또는 인터 예측이 적용되는지 결정할 수 있고, 구체적인 인트라/인터 예측 모드(예측 기법)를 결정할 수 있다.
예측부가 후술하는 다양한 예측 방법(기법)을 기반으로 예측 신호를 생성할 수 있음은 영상 부호화 장치(100)의 예측부에 대한 설명에서 언급된 바와 동일하다.
인트라 예측부(265)는 현재 픽처 내의 샘플들을 참조하여 현재 블록을 예측할 수 있다. 인트라 예측부(185)에 대한 설명은 인트라 예측부(265)에 대해서도 동일하게 적용될 수 있다.
인터 예측부(260)는 참조 픽처 상에서 움직임 벡터에 의해 특정되는 참조 블록(참조 샘플 어레이)을 기반으로, 현재 블록에 대한 예측된 블록을 유도할 수 있다. 이때, 인터 예측 모드에서 전송되는 움직임 정보의 양을 줄이기 위해 주변 블록과 현재 블록 간의 움직임 정보의 상관성에 기반하여 움직임 정보를 블록, 서브블록 또는 샘플 단위로 예측할 수 있다. 상기 움직임 정보는 움직임 벡터 및 참조 픽처 인덱스를 포함할 수 있다. 상기 움직임 정보는 인터 예측 방향(L0 예측, L1 예측, Bi 예측 등) 정보를 더 포함할 수 있다. 인터 예측의 경우에, 주변 블록은 현재 픽처 내에 존재하는 공간적 주변 블록(spatial neighboring block)과 참조 픽처에 존재하는 시간적 주변 블록(temporal neighboring block)을 포함할 수 있다. 예를 들어, 인터 예측부(260)는 주변 블록들을 기반으로 움직임 정보 후보 리스트를 구성하고, 수신한 후보 선택 정보를 기반으로 상기 현재 블록의 움직임 벡터 및/또는 참조 픽처 인덱스를 도출할 수 있다. 다양한 예측 모드(기법)를 기반으로 인터 예측이 수행될 수 있으며, 상기 예측에 관한 정보는 상기 현재 블록에 대한 인터 예측의 모드(기법)를 지시하는 정보를 포함할 수 있다.
가산부(235)는 획득된 레지듀얼 신호를 예측부(인터 예측부(260) 및/또는 인트라 예측부(265) 포함)로부터 출력된 예측 신호(예측된 블록, 예측 샘플 어레이)에 더함으로써 복원 신호(복원 픽처, 복원 블록, 복원 샘플 어레이)를 생성할 수 있다. 스킵 모드가 적용된 경우와 같이 처리 대상 블록에 대한 레지듀얼이 없는 경우, 예측된 블록이 복원 블록으로 사용될 수 있다. 가산부(155)에 대한 설명은 가산부(235)에 대해서도 동일하게 적용될 수 있다. 가산부(235)는 복원부 또는 복원 블록 생성부라고 불릴 수 있다. 생성된 복원 신호는 현재 픽처 내 다음 처리 대상 블록의 인트라 예측을 위하여 사용될 수 있고, 후술하는 바와 같이 필터링을 거쳐서 다음 픽처의 인터 예측을 위하여 사용될 수도 있다.
필터링부(240)는 복원 신호에 필터링을 적용하여 주관적/객관적 화질을 향상시킬 수 있다. 예를 들어 필터링부(240)는 복원 픽처에 다양한 필터링 방법을 적용하여 수정된(modified) 복원 픽처를 생성할 수 있고, 상기 수정된 복원 픽처를 메모리(250), 구체적으로 메모리(250)의 DPB에 저장할 수 있다. 상기 다양한 필터링 방법은 예를 들어, 디블록킹 필터링, 샘플 적응적 오프셋(sample adaptive offset), 적응적 루프 필터(adaptive loop filter), 양방향 필터(bilateral filter) 등을 포함할 수 있다.
메모리(250)의 DPB에 저장된 (수정된) 복원 픽처는 인터 예측부(260)에서 참조 픽쳐로 사용될 수 있다. 메모리(250)는 현재 픽처 내 움직임 정보가 도출된(또는 디코딩된) 블록의 움직임 정보 및/또는 이미 복원된 픽처 내 블록들의 움직임 정보를 저장할 수 있다. 상기 저장된 움직임 정보는 공간적 주변 블록의 움직임 정보 또는 시간적 주변 블록의 움직임 정보로 활용하기 위하여 인터 예측부(260)에 전달할 수 있다. 메모리(250)는 현재 픽처 내 복원된 블록들의 복원 샘플들을 저장할 수 있고, 인트라 예측부(265)에 전달할 수 있다.
본 명세서에서, 영상 부호화 장치(100)의 필터링부(160), 인터 예측부(180) 및 인트라 예측부(185)에서 설명된 실시예들은 각각 영상 복호화 장치(200)의 필터링부(240), 인터 예측부(260) 및 인트라 예측부(265)에도 동일 또는 대응되도록 적용될 수 있다.
인트라 예측 모드/타입 기반 예측 샘플 도출
인코딩 장치/디코딩 장치의 예측부는 현재 블록의 주변 참조 샘플들 중 상기 현재 블록의 인트라 예측 모드에 따른 참조 샘플을 도출할 수 있고, 상기 참조 샘플을 기반으로 상기 현재 블록의 예측 샘플을 생성할 수 있다.
예를 들어, 현재 블록의 주변(neighboring) 참조 샘플들의 평균(average) 혹은 인터폴레이션(interpolation)을 기반으로 예측 샘플을 유도할 수 있고, (ii) 현재 블록의 주변 참조 샘플들 중 예측 샘플에 대하여 특정 (예측) 방향에 존재하는 참조 샘플을 기반으로 상기 예측 샘플을 유도할 수도 있다. (i)의 경우는 비방향성 모드 또는 비각도 모드, (ii)의 경우는 방향성(directional) 모드 또는 각도(angular) 모드라고 불릴 수 있다. 또한, 상기 주변 참조 샘플들 중 상기 현재 블록의 예측 샘플을 기준으로 상기 현재 블록의 인트라 예측 모드의 예측 방향의 반대 방향에 위치하는 상기 제2 주변 샘플과 상기 제1 주변 샘플과의 보간을 통하여 상기 예측 샘플이 생성될 수도 있다. 상술한 경우는 선형 보간 인트라 예측(Linear interpolation intra prediction, LIP) 이라고 불릴 수 있다. 또한, 필터링된 주변 참조 샘플들을 기반으로 상기 현재 블록의 임시 예측 샘플을 도출하고, 상기 기존의 주변 참조 샘플들, 즉, 필터링되지 않은 주변 참조 샘플들 중 상기 인트라 예측 모드에 따라 도출된 적어도 하나의 참조 샘플과 상기 임시 예측 샘플을 가중합(weighted sum)하여 상기 현재 블록의 예측 샘플을 도출할 수도 있다. 상술한 경우는 PDPC(Position dependent intra prediction) 라고 불릴 수 있다. 또한, 현재 블록의 주변 다중 참조 샘플 라인 중 가장 예측 정확도가 높은 참조 샘플 라인을 선택하여 해당 라인에서 예측 방향에 위치하는 참조 샘플을 이용하여 예측 샘플을 도출하고 이 때, 사용된 참조 샘플 라인을 디코딩 장치에 지시(시그널링)하는 방법으로 인트라 예측 부호화를 수행할 수 있다. 상술한 경우는 multi-reference line intra prediction (MRL) 또는 MRL 기반 인트라 예측이라고 불릴 수 있다. 또한, 현재 블록을 수직 또는 수평의 서브파티션들로 나누어 동일한 인트라 예측 모드를 기반으로 인트라 예측을 수행하되, 상기 서브파티션 단위로 주변 참조 샘플들을 도출하여 이용할 수 있다. 즉, 이 경우 현재 블록에 대한 인트라 예측 모드가 상기 서브파티션들에 동일하게 적용되되, 상기 서브파티션 단위로 주변 참조 샘플을 도출하여 이용함으로써 경우에 따라 인트라 예측 성능을 높일 수 있다. 이러한 예측 방법은 intra sub-partitions (IPS) 또는 IPS 기반 인트라 예측이라고 불릴 수 있다. 구체적인 내용에 대하여는 후술한다. 또한, 예측 샘플을 기준으로 한 예측 방향이 주변 참조 샘플들 사이를 가리키는 경우, 즉, 예측 방향이 분수 샘플 위치를 가리키는 경우, 해당 에측 방향 주변(해당 분수 샘플 위치 주변)에 위치한 복수의 참조 샘플들의 보간을 통하여 예측 샘플의 값을 도출할 수도 있다.
상술한 인트라 예측 방법들은 인트라 예측 모드와 구분하여 인트라 예측 타입이라고 불릴 수 있다. 상기 인트라 예측 타입은 인트라 예측 기법 또는 부가 인트라 예측 모드 등 다양한 용어로 불릴 수 있다. 예를 들어 상기 인트라 예측 타입(또는 부가 인트라 예측 모드 등)은 상술한 LIP, PDPC, MRL, ISP 중 적어도 하나를 포함할 수 있다. 상기 인트라 예측 타입에 관한 정보는 인코딩 장치에서 인코딩되어 비트스트림에 포함되어 디코딩 장치로 시그널링될 수 있다. 상기 인트라 예측 타입에 관한 정보는 각 인트라 예측 타입의 적용 여부를 가리키는 플래그 정보 또는 여러 인트라 예측 타입 중 하나를 지시하는 인덱스 정보 등 다양한 형태로 구현될 수 있다.
상술한 인트라 예측 모드 도출을 위한 MPM list는 상기 인트라 예측 타입에 따라 다르게 구성될 수 있다. 또는 상기 MPM list는 상기 인트라 예측 타입에 무관하게 공통적으로 구성될 수 있다.
PDPC(Position dependent intra prediction) 개요
PDPC는 상기 PDPC에 대한 필터를 기반으로 필터링을 수행하여 필터링된 참조 샘플들을 도출하고, 상기 현재 블록의 인트라 예측 모드 및 상기 필터링된 참조 샘플들을 기반으로 상기 현재 블록의 임시 예측 샘플을 도출하고, 상기 기존의 참조 샘플들, 즉, 필터링되지 않은 참조 샘플들 중 상기 인트라 예측 모드에 따라 도출된 적어도 하나의 참조 샘플과 상기 임시 예측 샘플을 가중합(weighted sum)하여 상기 현재 블록의 예측 샘플을 도출하는 인트라 예측 방법을 나타낼 수 있다. 여기서, 상기 기정의된 필터는 5개의 7탭(tap) 필터들 중 하나일 수 있다. 또는 상기 기정의된 필터는 3탭 필터, 5탭 필터 및 7탭 필터 중 하나일 수 있다. 상기 3탭 필터, 상기 5탭 필터 및 상기 7탭 필터는 각각 3개의 필터 계수 (filter coefficient)를 갖는 필터, 5개의 필터 계수를 갖는 필터, 7개의 필터 계수를 갖는 필터를 나타낼 수 있다.
예를 들어, 인트라 플래너 모드의 예측 결과는 PDPC에 의하여 추가로 수정될 수 있다.
또는, 일 예로, 상기 PDPC는 별도의 시그널링없이 인트라 플래너 모드, 인트라 DC 모드, 수평 인트라 예측 모드, 수직 인트라 예측 모드, 좌하단(bottom left) 방향의 인트라 예측 모드(즉, 2번 인트라 예측 모드) 및 상기 좌하단 방향의 인트라 예측 모드에 인접한 8개의 방향성 인트라 예측 모드, 우상단(top-right) 방향의 인트라 예측 모드 및 상기 우상단 방향의 인트라 예측 모드에 인접한 8개의 방향성 인트라 예측 모드에 적용될 수 있다.
구체적으로, 상기 PDPC 가 적용되는 경우, 인트라 예측 모드 및 참조 샘플들의 선형 조합(linear combination)을 기반으로 예측되는 (x,y) 좌표의 예측 샘플은 다음의 수학식과 같이 도출될 수 있다.
Figure PCTKR2022014977-appb-img-000001
여기서,
Figure PCTKR2022014977-appb-img-000002
및
Figure PCTKR2022014977-appb-img-000003
는 (x,y)좌표의 현재 샘플의 상측 및 좌측에 위치하는 상측 참조 샘플 및 좌측 참조 샘플을 나타내고,
Figure PCTKR2022014977-appb-img-000004
는 상기 현재 블록의 좌상단 코너에 위치하는 좌상단 참조 샘플을 나타낸다.
한편, PDPC 가 인트라 플래너 모드, 인트라 DC 모드, 수평 인트라 예측 모드 및 수직 인트라 예측 모드에 적용되는 경우, 기존 HEVC의 DC 모드 바운더리 필터 또는 수직/수평 모드 에지 필터 등과 같은 추가적인 바운더리 필터들이 필요하지 않을 수 있다.
도 4a 내지 도 4d는 다양한 예측 모드에 적용되는 PDPC에서 정의되는 참조 샘플들(
Figure PCTKR2022014977-appb-img-000005
,
Figure PCTKR2022014977-appb-img-000006
,
Figure PCTKR2022014977-appb-img-000007
)을 나타낸다.
한편, 상기 PDPC의 가중치들은 예측 모드들을 기반으로 도출될 수 있다. 상기 PDPC의 가중치들은 다음의 표 1와 같이 도출될 수 있다.
Prediction modes wT wL wTL
Diagonal top-right 16 >> ( ( y<<1 ) >> shift) 16 >> ( ( x<<1 ) >> shift) 0
Diagonal bottom-left 16 >> ( ( y<<1 ) >> shift ) 16 >> ( ( x<<1 ) >> shift ) 0
Adjacent diagonal top-right 32 >> ( ( y<<1 ) >> shift ) 0 0
Adjacent diagonal bottom-left 0 32 >> ( ( x<<1 ) >> shift ) 0
위치에 따른 인트라 예측 조합(position dependent intra prediction combination, PDPC)은 예측 모드에 따라 참조 샘플을 사용하여 예측 샘플을 생성한 후, 주변의 참조 샘플을 사용하여 예측 샘플을 개선한다. PDPC는 모든 인트라 예측 모드에 적용되는 대신, 도 5의 65개의 방향성 인트라 예측 모드를 기준으로 하여 Planar, DC, 2 (우하단 방향 모드) VDIA (좌상단 방향 모드), Hor (수평 방향 모드), Ver (수직 방향 모드), 2 모드의 주변 모드들(3번 모드 ~ 10번 모드), VDIA 모드의 주변 모드들(58번 모드 ~ 65번 모드)에 제한적으로 적용된다. 또한 현재 부호화하고자 하는 블록 내의 모든 예측 샘플에 적용되는 대신, 블록의 크기를 고려하여 가변적으로 적용된다.
DIMD(Decoder side intra mode derivation) 개요
DIMD에서 인트라 예측은 플래너(Planar) 모드와 두 개의 angular 모드의 가중 평균으로부터 유도될 수 있다. 두 개의 angular 모드는 현재 블록의 주변 픽셀들로부터 계산된 HoG(Histogram of Gradient)에 의해 선택될 수 있다. 두 개의 angular 모드가 선택되면, 선택된 두 개의 예측자 및 플래너 예측자가 계산되고, 이후 현재 블록의 최종 예측자로서 상기 두 개의 예측자 및 플래너 예측자의 가중 평균값이 사용될 수 있다. 가중치를 결정하기 위하여 HoG의 해당 진폭이 두 개의 angular 모드 각각에 대해 사용될 수 있다.
유도된 인트라 모드는 인트라 MPM 1차 리스트에 포함될 수 있다. 따라서, DIMD 과정은 MPM 리스트가 생성되기 전에 수행될 수 있다. DIMD 블록의 1차로 유도된 인트라 모드는 블록과 함께 저장될 수 있고, 이웃 블록들의 MPM 리스트를 구성하기 위해 사용될 수 있다.
TIMD(Template-base intra mode derivation) 개요
MPM 내의 각각의 인트라 예측 모드에 대하여 예측 샘플과 템플릿의 복원된 샘플 사이의 SATD가 계산될 수 있다. 최소 SATD를 갖는 처음 두개의 인트라 예측 모드가 TIMD 모드로 선택될 수 있다. 이 두개의 TIMD 모드는 가중치와 함께 융합(가중합)될 수 있다. 이러한 가중 인트라 예측이 현재 CU를 부호화하기 위해 사용될 수 있다. PDPC(position dependent intra prediction combination)는 TIMD의 유도 과정에 포함될 수 있다. 즉, TIMD를 유도하기 위한 SATD의 계산은 PDPC가 수행된 예측 블록을 기반으로 수행될 수 있다.
선택된 두 가지 모드의 비용(costMode1, costMode2)은 임계값과 비교되고, 테스트에서 비용 인자 2가 다음과 같이 적용될 수 있다.
costMode2 < 2*costMode1
만약 위의 조건이 참이면, 융합이 적용되고, 그렇지 않으면 오직 mode 1이 사용될 수 있다.
모드의 가중치는 다음과 같이 그들의 SATD 비용에 의해 계산될 수 있다.
weight1 = costMode2/(costMode1+ costMode2)
weight2 = 1 - weight1
움직임 정보 도출(derivation of motion information) 일반
현재 블록의 움직임 정보를 이용하여 인터 예측을 수행할 수 있다. 인코딩 장치는 움직임 추정(motion estimation) 절차를 통하여 현재 블록에 대한 최적의 움직임 정보를 도출할 수 있다. 예를 들어, 인코딩 장치는 현재 블록에 대한 원본 픽처 내 원본 블록을 이용하여 상관성이 높은 유사한 참조 블록을 참조 픽처 내의 정해진 탐색 범위 내에서 분수 픽셀 단위로 탐색할 수 있고, 이를 통하여 움직임 정보를 도출할 수 있다. 블록의 유사성은 위상(phase) 기반 샘플 값들의 차를 기반으로 도출할 수 있다. 예를 들어, 블록의 유사성은 현재 블록(또는 현재 블록의 템플릿)과 참조 블록(또는 참조 블록의 템플릿) 간 SAD를 기반으로 계산될 수 있다. 이 경우 탐색 영역 내 SAD가 가장 작은 참조 블록을 기반으로 움직임 정보를 도출할 수 있다. 도출된 움직임 정보는 인터 예측 모드 기반으로 여러 방법에 따라 디코딩 장치로 시그널링될 수 있다.
CIIP(Combined inter and intra prediction) 개요
현재 블록에 대해 CIIP를 적용할 수 있다. 현재 블록에 CIIP가 적용되었는지를 나타내기 위한 추가적인 플래그(예: ciip_flag)가 전송될 수 있다. 예를 들어, CU가 머지(merge) 모드로 부호화된 경우, 만약 CU가 적어도 64개의 루마 샘플(즉, CU width x CU height가 64 이상인 경우)을 포함하고 CU width와 CU height 모두 128 루마 샘플보다 작으면, 현재 CU에 CIIP 모드가 적용되었는지를 나타내는 추가적인 플래그가 전송될 수 있다. 이름에서 알 수 있듯이, CIIP 예측은 인터 예측 신호와 인트라 예측 신호를 결합한 것이다. CIIP 모드의 인터 예측 신호 P_inter는 일반 머지 모드에 적용되는 인터 예측 과정과 같은 과정을 이용하여 유도될 수 있으며, 인트라 예측 신호 P_intra는 플래너(plarnar) 모드를 사용하는 일반적인 인트라 예측 과정에 따라 유도될 수 있다. 이후, 인트라 예측 신호 및 인터 예측 신호는 가중 평균을 이용하여 결합될 수 있다. 여기서, 가중치는 다음과 같이 상측 주변 블록(610)및 좌측 주변 블록(620)의 부호화 모드에 의해 계산될 수 있다(도 6참고).
인트라 예측에 상측 주변 블록이 이용가능한 경우, isIntraTop은 1의 값을 가지고, 그렇지 않으면 0이고,
인트라 예측에 좌측 주변 블록이 이용가능한 경우, isIntraLeft는 1의 값을 가지고, 그렇지 않으면 0이다.
(isIntraTop + isIntraLeft)가 2인 경우, wt는 3이고,
그렇지 않으면, (isIntraTop + isIntraLeft)가 1인 경우, wt는 2이고,
그렇지 않으면, wt는 1이다.
CIIP 예측은 다음과 같이 계산된다.
Figure PCTKR2022014977-appb-img-000008
CIIP with PDPC blending 개요
CIIP 모드는 PDPC와 결합하여 확장될 수 있다. 확장된 모드(CIIP_PDPC)에서, 일반적인 머지 모드의 예측은 상측 복원 샘플(
Figure PCTKR2022014977-appb-img-000009
) 및 좌측 복원 샘플(
Figure PCTKR2022014977-appb-img-000010
)을 이용하여 개선될 수 있다. 이 개선은 PDPC 스킴을 이어받은(inherit) 것일 수 있다. CIIP_PDPC 모드의 예측의 흐름도는 도 7과 같이 나타낼 수 있다. 여기서,
Figure PCTKR2022014977-appb-img-000011
및
Figure PCTKR2022014977-appb-img-000012
은 PDPC에 정의된 블록의 샘플 위치에 따른 가중치이다.
CIIP_PDPC 모드는 CIIP 모드와 함께 시그널링될 수 있다. CIIP 플래그가 참인 경우, CIIP_PDPC 사용 여부를 나타내기 위해 다른 플래그, 예컨대, CIIP_PDPC 플래그가 추가로 시그널링될 수 있다.
도 7에 도시된 바와 같이, CIIP의 인터 예측 신호 predInter(x, y)는 MV data를 입력으로 하는 인터 예측 과정(730)에 의해 생성될 수 있다. 이때 MV data는 기존의 CIIP 모드와 같이 일반 머지 모드에 기반하여 획득된 움직임 정보일 수 있다.
또한, CIIP의 인트라 예측 신호 predPdpc(x, y)는 플래너 모드(intrapred = 0)에 따른 인트라 예측 과정(710)을 수행하여 생성된 블록에 PDPC(720)를 적용함으로써 생성될 수 있다.
최종적으로, predInter(x, y)와 predPdpc(x, y)에 기반하여 아래의 수식에 따라 예측 블록 내 (x, y) 좌표의 예측 샘플 PCIIP_PDPC (x, y)이 유도될 수 있다.
Figure PCTKR2022014977-appb-img-000013
GPM(Geometric partitioning mode) 개요
GPM은 하나의 인터 예측 모드로서 제공될 수 있다. GPM 모드는 일반 머지 모드, MMVD 모드, CIIP 모드 및 서브블록 머지 모드를 포함하는 다른 머지 모드와 함께 한 종류의 머지 모드로 CU level 플래그를 사용하여 시그널링될 수 있다. 8x64 및 64x8을 제외한 각각의 가능한 CU 크기
Figure PCTKR2022014977-appb-img-000014
(m, n
Figure PCTKR2022014977-appb-img-000015
{3
Figure PCTKR2022014977-appb-img-000016
6})에 대해 GPM 모드에 의한 총 64개의 파티션이 지원될 수 있다.
도 8은 GPM 분할의 예시를 도시한다. 도 8을 참고하면, GPM을 사용할 때, CU는 기하학적으로 위치한 직선에 의해 두 파티션으로 나뉜다. 분할선의 위치는 특정 파티션의 각도 및 오프셋 파라미터로부터 유도될 수 있다. CU에 있는 기하학적 파티션의 각 파티션은 모션 벡터를 사용하여 인터 예측될 수 있다. 각 파티션에 대해 오직 단방향 예측만 허용될 수 있다. 즉, 각 부분은 하나의 모션 벡터와 하나의 참조 인덱스를 가질 수 있다. 단방향 예측 모션 제한은 기존의 양방향 예측과 동일하게 각 CU에 대해 2개의 모션 보상 예측만 필요하다는 것을 보장하기 위해 적용될 수 있다.
현재 CU에 GPM이 사용되면 기하학적 분할의 분할 모드를 나타내는 기하학적 분할 인덱스(angular 및 오프셋)와 두 개의 머지 인덱스(각 파티션당 하나씩)가 추가로 시그널링될 수 있다. 최대 GPM 후보 크기의 수는 SPS에서 명시적으로 시그널링되며, GPM 머지 인덱스에 대한 신택스 이진화를 특정할 수 있다. 기하학적 파티션의 각 부분에 대한 예측 후, 기하학적 파티션 에지를 따르는(along) 샘플값은 적응적 가중치를 사용하는 blending 과정에 의해 조정될 수 있다. 이는 전체 CU에 대한 예측 신호이며, 변환 및 양자화 프로세스는 다른 예측 모드와 마찬가지로 전체 CU에 대해 적용될 수 있다.
변환/역변환 개요
상술한 바와 같이 인코딩 장치는 인트라/인터/IBC 예측 등을 통하여 예측된 블록(예측 샘플들)을 기반으로 레지듀얼 블록(레지듀얼 샘플들)을 도출할 수 있고, 도출된 레지듀얼 샘플들에 변환 및 양자화를 적용하여 양자화된 변환 계수들을 도출할 수 있다. 양자화된 변환 계수들에 대한 정보(레지듀얼 정보)는 레지듀얼 코딩 신택스에 포함되어 인코딩 후 비트스트림 형태로 출력될 수 있다. 디코딩 장치는 상기 비트스트림으로부터 상기 (양자화된) 변환 계수들에 대한 정보(레지듀얼 정보)를 획득하고, 디코딩하여 양자화된 변환 계수들을 도출할 수 있다. 디코딩 장치는 양자화된 변환 계수들을 기반으로 역양자화/역변환을 거쳐서 레지듀얼 샘플들을 도출할 수 있다. 상술한 바와 같이 상기 양자화/역양자화 및/또는 변환/역변환 중 적어도 하나는 생략될 수 있다. 상기 양자화/역양자화가 생략되는 경우, 상기 양자화된 변환 계수는 변환 계수라고 불릴 수 있다. 상기 변환/역변환이 생략되는 경우, 상기 변환 계수는 계수 또는 레지듀얼 계수라고 불릴 수도 있고, 또는 표현의 통일성을 위하여 변환 계수라고 여전히 불릴 수도 있다. 상기 변환/역변환의 생략 여부는 transform_skip_flag를 기반으로 시그널링될 수 있다.
또한, 본 개시에서 양자화된 변환 계수 및 변환 계수는 각각 변환 계수 및 스케일링된(scaled) 변환 계수라고 지칭될 수 있다. 이 경우 레지듀얼 정보는 변환 계수(들)에 관한 정보를 포함할 수 있고, 상기 변환 계수(들)에 관한 정보는 레지듀얼 코딩 신택스를 통하여 시그널링될 수 있다. 상기 레지듀얼 정보(또는 상기 변환 계수(들)에 관한 정보)를 기반으로 변환 계수들이 도출될 수 있고, 상기 변환 계수들에 대한 역변환(스케일링)을 통하여 스케일링된 변환 계수들이 도출될 수 있다. 상기 스케일링된 변환 계수들에 대한 역변환(변환)을 기반으로 레지듀얼 샘플들이 도출될 수 있다. 이는 본 개시의 다른 부분에서도 마찬가지로 적용/표현될 수 있다.
상기 변환/역변환은 변환 커널(들)을 기반으로 수행될 수 있다. 예를 들어 본 개시에 따르면 MTS(multiple transform selection) 스킴(scheme)이 적용될 수 있다. 이 경우 다수의 변환 커널 세트들 중 일부가 선택되어 현재 블록에 적용될 수 있다. 변환 커널은 변환 매트릭스, 변환 타입 등 다양한 용어로 불릴 수 있다. 예를 들어, 변환 커널 세트는 수직 방향 변환 커널(수직 변환 커널) 및 수평 방향 변환 커널(수평 변환 커널)의 조합을 나타낼 수 있다.
예를 들어, MTS 인덱스 정보(또는, mts_idx 신택스 요소)가 상기 변환 커널 세트들 중 하나를 지시하기 위하여 인코딩 장치에서 생성/인코딩되어 디코딩 장치로 시그널링될 수 있다. 예를 들어 MTS 인덱스 정보의 값에 따른 변환 커널 세트는 표 2와 같이 도출될 수 있다.
Figure PCTKR2022014977-appb-img-000017
표 2는 tu_mts_idx[ x0 ][ y0 ]에 따른 tyTypeHor 및 trTypeVer 값들을 나타낸다.
상기 변환 커널 세트는 예를 들어, cu_sbt_horizontal_flag 및 cu_sbt_pos_flag를 기반으로 표 3과 같이 결정될 수도 있다.
Figure PCTKR2022014977-appb-img-000018
표 3은 cu_sbt_horizontal_flag 및 cu_sbt_pos_flag에 따른 tyTypeHor 및 trTypeVer 값들을 나타낸다. 여기서, 1과 같은 cu_sbt_horizontal_flag는 현재 코딩 유닛이 2개의 변환 블록들로 수평 분할됨을 나타낼 수 있다. 이와 달리, 0과 같은 cu_sbt_horizontal_flag는 현재 코딩 유닛이 2개의 변환 블록들로 수직 분할됨을 나타낼 수 있다. 또한, 1과 같은 cu_sbt_pos_flag는 현재 코딩 유닛 내 제1 변환 유닛의 신택스 요소들 tu_cbf_luma, tu_cbf_cb 및 tu_cbf_cr이 비트스트림 내에 존재하지 않음을 나타낼 수 있다. 이와 달리, 0과 같은 cu_sbt_pos_flag는 현재 코딩 유닛 내 제2 변환 유닛의 신택스 요소들 tu_cbf_luma, tu_cbf_cb 및 tu_cbf_cr이 비트스트림 내에 존재하지 않음을 나타낼 수 있다.
한편, 표 2 및 표 3에서, trTypeHor는 수평 방향 변환 커널을 나타낼 수 있고, trTypeVer는 수직 방향 변환 커널을 나타낼 수 있다. trTypeHor/trTypeVer 값 0은 DCT2를 나타낼 수 있고, trTypeHor/trTypeVer 값 1은 DST7을 나타낼 수 있고, trTypeHor/trTypeVer 값 2는 DCT8을 나타낼 수 있다. 다만 이는 예시로서, 약속에 의하여 다른 값이 다른 DCT/DST에 매핑될 수도 있다.
표 4는 상술한 DCT2, DCT8, DST7에 대한 기저 함수들(basis functions)을 예시적으로 나타낸다.
Figure PCTKR2022014977-appb-img-000019
본 개시에서 상기 MTS 기반 변환은 1차 변환(primary transform)으로 적용되고, 2차 변환(secondary transform)이 더 적용될 수 있다. 상기 2차 변환은 상기 1차 변환이 적용된 계수 블록의 좌상단 wxh 영역의 계수들에 대하여만 적용될 수도 있으며, RST(reduced secondary transform)라고 불릴 수 있다. 예를 들어, 상기 w 및/또는 h는 4 또는 8일 수 있다. 변환에서 레지듀얼 블록에 상기 1차 변환 및 상기 2차 변환이 순차적으로 적용될 수 있고, 역변환에서는 변환 계수들에 역 2차 변환 및 역 1차 변환이 순차적으로 적용될 수 있다. 상기 2차 변환(RST 변환)은 low frequency coefficients transform (LFCT) 또는 low frequency non-separable transform (LFNST)이라고 불릴 수 있다. 상기 역 2차 변환은 역 LFCT 또는 역 LFNST라고 불릴 수 있다.
도 9는 LFNST 적용 방법을 설명하기 위한 도면이다.
도 9를 참조하면, LFNST는 인코더단에서는 순방향(forward) 1차 변환(911) 및 양자화(913) 사이, 디코더단에서는 역양자화(921) 및 역방향(inverse) 1차 변환(또는, 1차 역변환)(923) 사이에 적용될 수 있다.
LFNST에서는 4x4 비분리 변환 또는 8x8 비분리 변환이 블록 크기에 따라 (선택적으로) 적용될 수 있다. 예를 들어, 비교적 작은 블록들(i.e., min (width, height) < 8)에 대해서는 4x4 LFNST가 적용되고, 비교적 큰 블록들(i.e., min (width, height) > 4)에 대해서는 8x8 LFNST가 적용될 수 있다. 도 4에서는 예시적으로, 16개의 입력 계수들에 대하여 4x4 순방향 LFNST가 적용되고, 64개의 입력 계수들에 대하여 8x8 순방향 LFNST가 적용됨이 도시된다. 또한, 도 4에서는 예시적으로, 8개의 입력 계수들에 대하여 4x4 역방향 LFNST가 적용되고, 16개의 입력 계수들에 대하여 8x8 역방향 LFNST가 적용될 수 있음이 도시된다.
LFNST에서는 총 4개의 변환 세트들과 각각의 변환 세트마다 2개의 비분리 변환 행렬들(커널들)이 이용될 수 있다. 인트라 예측 모드에서 변환 세트로의 매핑은 표 5와 같이 미리 정의될 수 있다.
Figure PCTKR2022014977-appb-img-000020
표 5를 참조하면, 현재 블록에 대하여 81 내지 83의 예측 모드 번호를 갖는(i.e., 81≤IntraPredMode≤83) 3개의 CCLM 모드들이 이용되는 경우, 현재 크로마 블록에 대하여 변환 세트 0이 선택될 수 있다. 각각의 변환 세트에 대하여, 선택된 비분리 2차 변환 후보가 명시적으로 시그널링된 LFNST 인덱스에 의해 추가로 지정될 수 있다. 해당 인덱스는 변환 계수들 이후 Intra CU 당 한 번씩 비트스트림 내에서 시그널링될 수 있다.
한편, 상기 변환/역변환은 CU 또는 TU 단위로 수행될 수 있다. 즉, 상기 변환/역변환은 CU 내의 레지듀얼 샘플들 또는 TU 내의 레지듀얼 샘플들에 대하여 적용될 수 있다. CU 사이즈와 TU 사이즈가 같을 수 있고, 또는 CU 영역 내에 복수의 TU가 존재할 수도 있다. 한편, CU 사이즈라 함은 일반적으로 루마 성분(샘플) CB 사이즈를 나타낼 수 있다. TU 사이즈라 함은 일반적으로 루마 성분(샘플) TB 사이즈를 나타낼 수 있다. 크로마 성분(샘플) CB 또는 TB 사이즈는 컬러 포멧(크로마 포멧, e.g., 4:4:4, 4:2:2, 4:2:0 등)에 따른 성분비에 따라 루마 성분(샘플) CB 또는 TB 사이즈를 기반으로 도출될 수 있다. 상기 TU 사이즈는 maxTbSize를 기반으로 도출될 수 있다. 예를 들어, 상기 CU 사이즈가 상기 maxTbSize보다 큰 경우, 상기 CU로부터 상기 maxTbSize의 복수의 TU(TB)들이 도출되고, 상기 TU(TB) 단위로 변환/역변환이 수행될 수 있다. 상기 maxTbSize는 ISP 등 다양한 인트라 예측 타입의 적용 여부 판단 등에 고려될 수 있다. 상기 maxTbSize에 대한 정보는 미리 결정될 수도 있고, 또는 인코딩 장치에서 생성 및 인코딩되어 디코딩 장치로 시그널링될 수 있다.
전술한 바와 같이 변환은 레지듀얼 블록들에 적용될 수 있다. 이는, 최대한 레지듀얼 블록들을 무상관화(decorrelate)하고, 저주파수에 계수들을 집중시키며, 블록의 끝단에 제로 테일(zero tail)을 만들기 위함이다. JEM 소프트웨어에서 변환 파트는 2개의 주요 기능들, 즉 코어 변환 및 2차 변환을 포함한다. 코어 변환은 레지듀얼 블록의 모든 행들과 열들에 적용되는 DCT(discrete cosine transform) 및 DST(discrete sine transform) 변환 패밀리들로 구성된다. 이후 2차 변환이 코어 변환의 출력의 좌상측 코너에 추가적으로 적용될 수 있다. 유사하게 2차 역변환과 코어 역변환 순으로 역변환이 적용될 수 있다. 구체적으로, 2차 역변환이 계수 블록의 좌상측 코너에 적용될 수 있다. 이후 코어 역변환이 2차 역변환의 출력의 행들 및 열들에 적용된다. 코어 변환/역변환은 1차 변환/역변환으로 지칭될 수 있다.
AMT(Adaptive multiple core transform) 개요
기존의 DCT-2와 4x4 DST-7에 더하여, 적응적(또는 명시적) 다중 변환(adaptive multiple transform 또는 explicit multiple transform)(AMT 또는 EMT) 기법이 인터 및 인트라 코딩된 블록에 대한 레지듀얼 코딩을 위해 이용될 수 있다. 이하 AMT 및 EMT를 혼용해서 사용하기로 한다. AMT에서는 기존의 변환들 이외에 DCT/DST 패밀리들로부터 선택된 복수의 변환들이 이용될 수 있다. JEM에서 새롭게 도입된 변환 행렬들은 DST-7, DCT-8, DST-1 및 DCT-5이다. AMT에서 이용되는 DST/DCT의 기저 함수들은 표 6과 같다.
Figure PCTKR2022014977-appb-img-000021
EMT는 64보다 작거나 같은 너비 및 높이를 갖는 CU들에 적용될 수 있고, EMT가 적용되는지 여부는 CU 레벨 플래그에 의해 제어될 수 있다. 예를 들어, CU 레벨 플래그가 0이면, DCT-2가 잔차(residue)를 인코딩하기 위해 CU에 적용된다. EMT가 적용되는 CU 내 루마 코딩 블록에 대하여, 2개의 추가적인 플래그들이 이용될 수평 및 수직 변환을 식별하기 위해 시그널링될 수 있다. JEM에서 블록의 레지듀얼은 변환 스킵 모드로 코딩될 수 있다. 인트라 레지듀얼 코딩의 경우, 다른 인트라 예측 모드들의 다른 레지듀얼 통계들로 인하여, 모드-의존적 변환 후보 선택 프로세스가 이용될 수 있다. 예를 들어, 3개의 변환 서브셋들이 표 7과 같이 정의될 수 있고, 표 8과 같이 인트라 예측 모드에 기반하여 변환 서브셋이 선택될 수 있다.
Figure PCTKR2022014977-appb-img-000022
Figure PCTKR2022014977-appb-img-000023
서브셋 컨셉과 함께, 변환 서브셋은 CU-레벨 EMT_CU_flag가 1인 CU의 인트라 예측 모드를 이용하여 표 7에 기반하여 최초 식별될 수 있다. 이후, 수평(EMT_TU_horizontal_flag) 및 수직 (EMT_TU_vertical_flag) 변환 각각에 대하여, 식별된 변환 서브셋 내의 2개의 변환 후보들 중 하나가 표 8에 따라 플래그들을 이용한 명시적 시그널링에 기반하여 선택될 수 있다.
Figure PCTKR2022014977-appb-img-000024
표 9는 AMT가 적용되는 변환 설정 그룹(transform configuration group)을 나타낸다.
표 9를 참조하면, 변환 설정 그룹들은 예측 모드에 기반하여 결정되고 그룹의 개수는 총 6개(G0~G5)일 수 있다. 그리고, G0~G4는 인트라 예측이 적용되는 경우에 해당하고 G5는 인터 예측에 의해 생성된 잔차 블록에 적용되는 변환 조합들(또는 변환 셋, 변환 조합 셋)을 나타낼 수 있다.
하나의 변환 조합은 해당 2D 블록의 행(row)들에 적용되는 수평 변환(horizontal transform)(또는 행 변환(row transform))과 열(column)들에 적용되는 수직 변환(vertical transoform)(또는 열 변환(column transform))으로 이루어질 수 있다.
여기서, 모든 변환 설정 그룹들은 각 4개의 변환 조합 후보들을 가질 수 있다. 4개의 변환 조합 후보들은 0~3의 변환 조합 인덱스를 통해 선택 또는 결정될 수 있으며, 인코더에서 디코더로 변환 조합 인덱스를 인코딩하여 전송할 수 있다.
일 예로, 인트라 예측을 통해 획득된 잔차 데이터(또는 잔차 신호)는 인트라 예측 모드에 따라 그 통계적 특성이 각기 다를 수 있다. 따라서, 표 9와 같이 인트라 예측 별로 일반적인 코사인 변환이 아닌 다른 변환들이 적용될 수 있다. 본 개시에서, 변환 타입은, 예를 들어 DCT-Type 2, DCT-II, DCT-2와 같이 표기될 수 있다.
표9는 35개의 인트라 예측 모드를 사용하는 경우와 67개의 인트라 예측 모드를 사용하는 경우를 나타낸다. 각 인트라 예측 모드 열에서 구분된 변환 설정 그룹 별로 복수개의 변환 조합들이 적용될 수 있다. 예를 들어, 복수개의 변환 조합들은 4개의 (행 방향 변환, 열 방향 변환) 조합으로 구성될 수 있다. 구체적 예로, 그룹 0에서는 행(수평) 방향과 열(수직) 방향 모두 DST-7과 DCT-5가 적용될 수 있어 총 4개의 조합이 가능하다.
각 인트라 예측 모드에 대해 총 4개의 변환 커널 조합이 적용될 수 있으므로, 그 중 하나를 선택하기 위한 변환 조합 인덱스가 변환 단위(transform unit)마다 전송될 수 있다. 본 개시에서, 변환 조합 인덱스는 AMT 인덱스(AMT index)로 지칭될 수 있으며, amt_idx로 표현될 수 있다.
또한, 표 9에서 제시된 변환 커널들 이외에도, 잔차 신호의 특성상 행 방향과 열 방향 모두에 대해 DCT-2가 최적인 경우가 발생할 수 있다. 따라서, 코딩 유닛마다 AMT 플래그를 정의함으로써 적응적으로 변환이 적용될 수 있다. 여기서, AMT 플래그가 0이면 행 방향과 열 방향 모두에 대해 DCT-2가 적용되고, AMT 플래그가 1이면 AMT 인덱스를 통해 4개의 조합 중 하나가 선택 또는 결정될 수 있다.
일 예로, AMT 플래그가 0인 경우 하나의 변환 단위에 대해 변환 계수의 개수가 3보다 작으면 표 9의 변환 커널들이 적용되지 않고 행 방향과 열 방향에 대해 모두 DST-7이 적용될 수 있다.
일 예로, 변환 계수 값들을 먼저 파싱하여 변환 계수의 개수가 3보다 작으면, AMT 인덱스가 파싱되지 않고 DST-7이 적용됨으로써 부가 정보 전송량이 감소될 수 있다.
일 예로, AMT는 변환 단위의 너비와 높이가 모두 32 이하일 경우에만 적용될 수 있다.
일 예로, 표 9는 오프라인 트레이닝(off-line training)을 통해 기설정될 수 있다.
일 예로 AMT 인덱스는 수평 변환과 수직 변환의 조합을 동시에 가리킬 수 있는 하나의 인덱스로 정의될 수 있다. 또는, AMT 인덱스는 별도의 수평 변환 인덱스와 수직 변환 인덱스로 정의될 수 있다.
도 10은 AMT가 수행되는 인코딩 과정을 나타낸 흐름도이다.
AMT는 1차 변환이나 2차 변환에 관계없이 적용될 수 있다. 즉, 둘 중 어느 한쪽에만 적용되어야 한다는 제약이 없으며, 둘다 적용될 수 있다. 여기서, 1차 변환은 잔차 블록을 맨 처음에 변환하기 위한 변환을 의미할 수 있고, 2차 변환은 1차 변환의 결과로 생성된 블록에 대해 변환을 적용하기 위한 변환을 의미할 수 있다.
먼저, 인코딩 장치는 현재 블록에 대응되는 변환 그룹을 결정할 수 있다(S1010). 여기서, 상기 변환 그룹은 표 9를 참조하여 전술한 변환 그룹을 의미할 수 있으나, 이에 한정되지 않으며 다른 변환 조합들로 구성될 수도 있다.
인코딩 장치는 상기 변환 그룹 내 이용가능한 후보 변환 조합들에 대해 변환을 수행할 수 있다(S1020).
상기 변환 수행 결과, 인코딩 장치는 RD(Rate Distortion) 비용이 가장 작은 변환 조합을 결정 또는 선택할 수 있다(S1030).
인코딩 장치는 상기 선택된 변환 조합에 대응되는 변환 조합 인덱스를 인코딩할 수 있다(S1040).
도 11은 AMT가 수행되는 디코딩 과정을 나타낸 흐름도이다.
먼저, 디코딩 장치는 현재 블록을 위한 변환 그룹을 결정할 수 있다(S1110).
디코딩 장치는 변환 조합 인덱스를 파싱할 수 있다(S1120). 여기서, 상기 변환 조합 인덱스는 상기 변환 그룹 내 복수 개의 변환 조합들 중 어느 하나에 대응될 수 있다. 변환 그룹을 결정하는 단계(S1110) 및 변환 조합 인덱스를 파싱하는 단계(S1120)는 동시에 수행될 수도 있다.
디코딩 장치는 상기 변환 조합 인덱스에 대응되는 변환 조합을 유도할 수 있다(S1130). 여기서, 상기 변환 조합은 표 9를 참조하여 전술한 변환 조합을 의미할 수 있으나, 이에 한정되지 않는다. 즉, 다른 변환 조합에 의한 구성도 가능하다.
디코딩 장치는 상기 변환 조합에 기초하여 현재 블록에 대해 역변환을 수행할 수 있다(S1140). 상기 변환 조합이 행 변환과 열 변환으로 구성된 경우, 행 변환을 먼저 적용한 후 열 변환을 적용할 수 있다. 다만, 본 과정은 이에 한정되지 않으며, 반대로 적용될 수도 있다.
2차 변환 및 NSST 인덱스 코딩 개요
2차 변환/역변환을 위해, 모드 의존적 비분리 2차 변환(mode-dependent non-separable secondary transform, MDNSST)이 적용될 수 있다. 저복잡도를 유지하기 위하여, MDNSST는 1차 변환 이후 저주파 계수들에 대해서만 적용될 수 있다. 변환 계수 블록의 너비(width, W) 및 높이(height, H)가 모두 8보다 크거나 같으면, 8x8 비분리 2차 변환이 변환 계수 블록의 좌상측 8x8 영역에 적용된다. 이와 달리, 너비 또는 높이가 8보다 작은 경우, 4x4 비분리 2차 변환이 적용되고, 4x4 비분리 2차 변환은 변환 계수 블록의 좌상측 min(8, W) x min(8, H)에 수행될 수 있다. 여기서, min(A, B)는 A와 B 중에서 더 작은 값을 출력하는 함수이다.
4x4 및 8x8 블록 사이즈 모두에 대하여, 총 35x3개의 비분리 2차 변환이 있을 수 있다. 여기서, 35는 인트라 예측 모드에 의해 특정되는 변환 세트들의 개수를 의미하고, 3은 각각의 인트라 예측 모드에 대한 NSST 후보의 개수를 의미할 수 있다. 인트라 예측 모드로부터 변환 세트로의 매핑은 표 10과 같이 정의될 수 있다.
Figure PCTKR2022014977-appb-img-000025
변환 세트 중에서 변환 커널을 지시하기 위하여, NSST 인덱스(NSST idx)가 코딩될 수 있다. NSST가 적용되지 않으면, 0의 값을 갖는 NSST 인덱스가 시그널링될 수 있다.
2차 변환(e.g., MDNSST)은 변환 스킵 모드로 코딩된 블록에 대해서는 적용되지 않는다. MDNSST 인덱스가 CU에 대해 시그널링되고 0이 아니면, MDNSST는 CU 내에서 변환 스킵 모드로 코딩된 성분의 블록에 대해서는 사용되지 않는다. 계수 코딩과 NSST 인덱스 코딩을 포함한 전반적인 코딩 구조가 도 11 및 도 12에 도시된다. CBF(coded block flag)가 계수 코딩 및 NSST 코딩 여부를 결정하기 위하여 인코딩된다. 도 11 및 도 12에서, CBF 플래그는 루마 블록 cbf 플래그(cbf_luma flag) 또는 크로마 블록 cbf 플래그(cbf_cb flag 또는 cbf_cr flag)를 나타낼 수 있다. CBF 플래그가 1일 때 변환 계수들이 코딩된다.
도 12는 NSST가 수행되는 인코딩 과정을 나타낸 흐름도이다.
도 12를 참조하면, 인코딩 장치는 CBF 플래그가 1인지 여부를 확인한다(S1210). CBF 플래그가 0인 경우(S1210의 'NO'), 인코딩 장치는 변환 계수 인코딩 및 NSST 인덱스 인코딩을 수행하지 않는다. 이와 달리, CBF 플래그가 1인 경우(S1210의 'YES'), 인코딩 장치는 변환 계수에 대한 인코딩을 수행한다(S1220). 이후, 인코딩 장치는 NSST 인덱스 코딩 여부를 결정하고(S1230), NSST 인덱스 코딩을 수행한다(S1240). NSST 인덱스 코딩이 적용되지 않는 경우(S1230의 'NO'), 인코딩 장치는 NSST를 적용하지 않은 상태로 변환 절차를 종료하고 이후의 단계(e.g., 양자화)를 수행할 수 있다.
도 13은 NSST가 수행되는 디코딩 과정을 나타낸 흐름도이다.
도 13을 참조하면, 디코딩 장치는 CBF 플래그가 1인지 여부를 확인할 수 있다(S1310). CBF 플래그가 0인 경우(S1310의 'NO'), 디코딩 장치는 변환 계수 디코딩 및 NSST 인덱스 디코딩을 수행하지 않는다. 이와 달리, CBF 플래그가 1인 경우(S1310의 'YES'), 디코딩 장치는 변환 계수에 대한 디코딩을 수행한다(S1320). 이후, 디코딩 장치는 NSST 인덱스 코딩 여부를 결정하고(S1330), NSST 인덱스를 파싱할 수 있다(S1340).
NSST는 1차 변환이 적용된 블록, 예컨대 TU 전체에 대해 적용되는 것이 아니라 블록의 좌상측 8x8 영역 또는 4x4 영역에 대해서만 적용될 수 있다. 일 예로, 블록의 크기가 8x8 이상인 경우 8x8 NSST가 적용되고, 8x8 미만인 경우 4x4 NSST가 적용될 수 있다. 또한, 8x8 NSST가 적용되는 경우 4x4 블록들 별로 4x4 NSST가 적용될 수 있다. 8x8 NSST와 4x4 NSST 모두 상술한 변환 세트 구성에 따르며, 8x8 NSST는 64개의 입력 데이터와 64개의 출력 데이터를 갖고, 4x4 NSST는 16개의 입력과 16개의 출력을 가질 수 있다.
도 14 및 도 15는 NSST 수행 방법을 설명하기 위한 도면들이다. 도 14는 기븐스 회전(Givens rotation)을 나타내고, 도 15은 기븐스 회전 레이어와 치환(permutation)들로 구성된 4x4 NSST의 라운드(round) 구성을 나타낸다.
8x8 NSST와 4x4 NSST 모두 기븐스 회전들의 계층적 조합으로 구성될 수 있다. 하나의 기븐스 회전에 해당하는 행렬은 수학식 1과 같으며 행렬 곱을 다이어그램으로 표현하면 도 14와 같다.
Figure PCTKR2022014977-appb-img-000026
도 14에 도시된 바와 같이, 2개의 입력 데이터 xm 및 xn에 대하여 수학식 1의 행렬을 적용하여 2개의 출력 데이터 tm 및 tn이 획득될 수 있다.
하나의 기븐스 회전은 2개의 데이터를 회전시키는 것이기 때문에, 64개의 데이터(8x8 NSST의 경우) 또는 16개의 데이터(4x4 NSST의 경우)를 처리하기 위해서는 각각 32개 또는 8개의 기븐스 회전이 필요하다. 따라서, 32개 또는 8개의 기븐스 회전을 묶음으로 하여 기븐스 회전 레이어가 구성될 수 있다.
도 15에 도시된 바와 같이, 하나의 기븐스 회전 레이어에 대한 출력 데이터가 치환(또는, 셔플링)을 통해 다음 기븐스 회전 레이어에 대한 입력 데이터로 전달될 수 있다. 도 10과 같이 치환되는 패턴은 규칙적으로 정의되며, 4x4 NSST의 경우 4개의 기븐스 회전 레이어 및 대응되는 치환들이 하나의 라운드를 형성한다. 4x4 NSST는 2번의 라운드에 의해 수행되고, 8x8 NSST는 4번의 라운드에 의해 수행된다. 서로 다른 라운드들은 동일한 치환 패턴을 사용하지만 적용되는 기븐스 회전 각도들은 각각 다를 수 있다. 따라서, 각 변환을 구성하는 모든 기븐스 회전에 대한 각도 데이터를 저장할 필요가 있다.
마지막 단계로, 기븐스 회전 레이어들을 거쳐 출력된 데이터에 대해 최종적으로 한번의 치환이 더 수행될 수 있으며, 해당 치환에 관한 정보는 변환마다 별도로 저장될 수 있다. 순방향 NSST의 경우 해당 치환은 가장 나중에 수행될 수 있고, 역방향 NSST의 경우 해당 치환의 역과정(즉, 역방향 치환 또는 역치환)이 가장 먼저 수행될 수 있다.
역방향 NSST의 경우 순방향 NSST에서 적용되었던 기븐스 회전 레이어들과 치환들이 역순으로 적용될 수 있으며, 각 기븐스 회전 각도에 대해서는 마이너스(-) 값이 부가될 수 있다.
RST(Reduced Secondary Transform) 개요
도 16 및 도 17는 RST 수행 방법을 설명하기 위한 도면들이다.
하나의 변환을 나타내는 직교(orthogonal) 행렬이 NxN 형태를 갖는다고 가정할 때, RT(reduced transform)는 N개의 변환 기저 벡터들 중에서 R개만을 남긴다(R < N). 변환 계수를 생성하는 순방향 RT에 대한 행렬은 수학식 2와 같이 정의될 수 있다.
Figure PCTKR2022014977-appb-img-000027
역방향 RT에 대한 행렬은 순방향 RT 행렬의 전치(transpose) 행렬이 되므로, 순방향 RT와 역방향 RT의 적용을 도식화하면 도 16의 (a) 및 (b)와 같을 수 있다.
1차 변환이 적용된 변환 계수 블록의 좌상단 8x8 블록에 대해 적용되는 RT는 8x8 RST로 지칭될 수 있다. 수학식 2에서 R의 값을 16으로 두었을 때, 순방향 8x8 RST는 16x64 행렬 형태를 가지며, 역방향 8x8 RST는 64x16 행렬 형태를 가진다. 8x8 RST에 대해서도 표 10과 같은 변환 세트 구성이 적용될 수 있다. 즉, 표 10에서의 변환 세트에 따라 8x8 RST가 결정될 수 있다. 하나의 변환 세트는 인트라 예측 모드에 따라 2개 또는 3개의 변환들로 구성되므로, 2차 변환을 적용하지 않는 경우까지 포함하여 최대 4개의 변환들 중 하나가 선택될 수 있다(하나의 변환은 항등 행렬에 해당할 수 있음). 4개의 변환들에 대해 각각 0, 1, 2, 3의 인덱스를 부여한다고 가정할 때(예를 들어, 0번 인덱스는 항등 행렬, 즉, 2차 변환이 적용되지 않는 경우로 할당될 수 있음), NSST 인덱스에 해당하는 신택스 요소가 변환 계수 블록마다 시그널링됨으로써 적용되는 변환이 지정될 수 있다. 즉, NSST 인덱스를 통해 8x8 좌상단 블록에 대하여, NSST의 경우는 8x8 NSST가 지정될 수 있고, RST 구성에서는 8x8 RST가 지정될 수 있다.
상술한 수학식 2와 같은 순방향 8x8 RST를 적용하게 되면 16개의 유효한 변환 계수가 생성되므로, 8x8 영역을 구성하는 64개의 입력 데이터가 16개의 출력 데이터로 축소된다고 볼 수 있으며, 2차원 영역 관점에서 보면 1/4만큼의 영역에만 유효한 변환 계수가 채워지게 된다. 따라서, 순방향 8x8 RST를 적용하여 획득된 16개의 출력 데이터는 도 12에서의 좌상단 영역에 채워지게 된다.
도 17은 역방향 스캔 순서에 따라 64번째부터 17번째까지의 역방향 스캔을 수행하는 과정을 나타낸다.
도 17에서 좌상단 4x4 영역이 유효한 변환 계수가 채워지는 ROI(region of interest) 영역이 되고, 나머지 영역은 비워진다. 비워지는 영역에는 0의 값이 디폴트(default)로 채워질 수 있다. 만약, 도 17의 ROI 영역 이외의 영역에서 0이 아닌 유효한 변환 계수가 발견되었다고 하면, 8x8 RST가 적용되지 않은 것이 확실하므로 NSST 인덱스 코딩이 생략될 수 있다. 반대로, 도 17의 ROI 영역 이외의 영역에서 0이 아닌 변환 계수가 발견되지 않으면(즉, ROI 이외의 영역이 0으로 채워진 경우), 8x8 RST가 적용되었을 가능성이 있으므로 NSST 인덱스가 코딩될 수 있다. 이와 같은 조건적 NSST 인덱스 코딩은 0이 아닌 변환 계수의 존재 유무를 체크할 필요가 있으므로, 레지듀얼 코딩 과정 이후에 수행될 수 있다.
본 개시에서 NSST/RT/RST는 통칭하여 LFNST라고 불릴 수 있고, NSST 인덱스 또는 (R)ST 인덱스는 통칭하여 LFNST 인덱스라고 불릴 수 있다. LFNST는 변환 계수 블록의 좌상단 영역에 위치한 저주파 변환 계수들에 대하여 변환 커널(변환 매트릭스 또는 변환 매트릭스 커널)에 기반한 비분리 변환 형식으로 적용될 수 있다.
도 18은 본 개시의 일 실시예에 따른 변환 및 역변환 과정을 설명하기 위한 도면이다. 도 18에서, 변환부(1810)는 도 2의 변환부(120)에 대응할 수 있고, 역변환부(1820)는 도 2의 역변환부(150) 또는 도 3의 역변환부(230)에 대응할 수 있다.
도 18을 참조하면, 변환부(1810)는 1차 변환부(1811) 및 2차 변환부(1812)를 포함할 수 있다.
1차 변환부(1811)는 잔차 샘플들(A)에 대하여 1차 변환을 적용하여 (1차) 변환 계수들(B)을 생성할 수 있다. 본 개시에서, 1차 변환은 코어 변환(core transform)으로 지칭될 수 있다.
1차 변환은 MTS 스킴에 기반하여 수행될 수 있다. 기존의 MTS가 적용되는 경우, DCT 타입 2, DST 타입 7 및 DCT 타입 8 등을 기반으로 잔차 신호(또는 잔차 블록)에 대하여 공간 도메인에서 주파수 도메인으로의 변환이 적용되어 변환 계수들(또는, 1차 변환 계수들)이 생성될 수 있다. 여기서, DCT 타입 2, DST 타입 7 및 DCT 타입 8 등은 변환 타입, 변환 커널 또는 변환 코어로 불릴 수 있다. DCT 타입 2, DST 타입 7 및 DCT 타입 8에 대한 기저 함수들의 일 예는 표 4를 참조하여 전술한 바와 같다. 다만, 이는 예시로서 본 개시의 실시예들은 기존의 MTS 커널의 구성이 다른 경우에도 적용될 수 있으며, 즉 다른 타입의 DCT/DST나 변환 skip을 포함하는 경우에도 적용될 수 있다.
기존의 MTS는 분리 변환으로서 수평 방향으로 하나의 커널을 적용하고, 수직 방향으로 하나의 커널을 적용하는 형태를 갖는다. 일반적으로 비분리 변환 커널이 분리 변환 커널보다 더 높은 부호화/복호화 효율을 제공하는 것으로 알려져 있으나, 종래의 1차 변환에서는 비분리 변환 방법을 사용하고 있지 않다.
이에, 본 개시의 실시예들에 따르면, 1차 변환은 비분리 변환 커널에 기반하여 수행될 수 있다. 본 개시에서, 비분리 변환 커널에 기반한 1차 변환은 비분리 1차 변환(non-separable primary transform) 또는 비분리 코어 변환(non-separable core transform)으로 불릴 수 있다.
비분리 1차 변환은 기존의 MTS 후보들 중 적어도 하나를 대체하거나 또는 새로운 MTS 후보로서 추가될 수 있다. 예를 들어, DCT 타입 2와 비분리 1차 변환만이 MTS 후보로 이용될 수도 있고, DCT 타입 2, DST 타입 7 및 DCT 타입 8에 추가로 비분리 1차 변환이 MTS 후보로 이용될 수도 있다.
비분리 1차 변환이 MTS 후보에 포함됨에 따라, 전술한 표 2의 MTS 인덱스(e.g., tu_mts_idx[ x0 ][ y0 ]) 테이블은 예컨대 표 11 또는 표 12와 수정될 수 있다.
Figure PCTKR2022014977-appb-img-000028
Figure PCTKR2022014977-appb-img-000029
표 11 및 표 12에서, trTypeHor는 수평 방향 변환 커널을 나타낼 수 있고, trTypeVer는 수직 방향 변환 커널을 나타낼 수 있다. trTypeHor/trTypeVer 값 0은 DCT 타입 2를 나타낼 수 있고, trTypeHor/trTypeVer 값 1은 DST 타입 7을 나타낼 수 있으며, trTypeHor/trTypeVer 값 2는 DCT 타입 8을 나타낼 수 있다. 또한, trTypeHor/trTypeVer 값 3은 비분리 1차 변환을 나타낼 수 있다. 다만 이는 하나의 예시일 뿐, 본 개시의 실시예들이 이에 한정되는 것은 아니다.
비분리 1차 변환은 수평 방향 변환 및 수직 방향 변환이 분리되지 않는 속성을 가지므로, 비분리 1차 변환의 변환 커널은 수평 방향 및 수직 방향에 대하여 반드시 동일할 것을 요한다. 이에 본 개시의 일 실시예에 따르면, trTypeHor가 비분리 1차 변환을 나타내는 값을 갖는 경우, trTypeVer 값 또한 비분리 1차 변환을 지시하는 값을 갖도록 강제될 수 있다(constraint). 예를 들어, 표 12에서 trTypeHor 값이 3이면, trTypeVer 값은 0 내지 2일 수 없으며 오직 3으로 강제된다.
한편, 실시예에 따라, 비분리 1차 변환은 상술한 MTS 스킴과는 별도의 옵션으로 추가될 수도 있다. 예를 들어, 비분리 1차 변환은 MTS 후보에 포함되지 않고 독립된 하나의 변환 후보로서 이용될 수도 있다. 이 경우, 비분리 1차 변환의 적용 여부를 나타내기 위하여 소정의 제1 플래그(e.g., nspt_flag)가 시그널링될 수 있으며, MTS 적용 여부를 나타내는 제2 플래그(e.g., mts_flag)는 제1 플래그가 0인 경우(즉, 비분리 1차 변환이 적용되지 않음을 나타내는 경우)에만 시그널링될 수 있다.
비분리 1차 변환은, 예컨대 4x4 블록을 입력으로 하여 다음과 같이 수행될 수 있다. 4x4 입력 블록 X의 일 예는 수학식 3과 같다.
Figure PCTKR2022014977-appb-img-000030
입력 블록 X를 벡터 형태로 표현하면 수학식 4와 같이 나타낼 수 있다.
Figure PCTKR2022014977-appb-img-000031
이 경우, 비분리 1차 변환은 수학식 5와 같이 계산될 수 있다.
Figure PCTKR2022014977-appb-img-000032
여기서,
Figure PCTKR2022014977-appb-img-000033
는 변환 계수 벡터를 나타내고, T는 16x16 비분리 변환 행렬을 나타내며, 연산자
Figure PCTKR2022014977-appb-img-000034
는 행렬과 벡터의 곱셈을 의미한다.
수학식 5를 통해 16x1 변환 계수 벡터
Figure PCTKR2022014977-appb-img-000035
가 도출될 수 있으며, 상기
Figure PCTKR2022014977-appb-img-000036
는 스캔 순서(e.g., 수평, 수직, 대각(diagonal), 또는 미리 정해진/저장된 스캔 순서)에 따라 4x4 블록으로 재구성될 수 있다. 다만 이는 하나의 예시일 뿐이며, 비분리 1차 변환의 계산 복잡도를 감소시키기 위해 최적화된 다양한 비분리 변환 계산법들이 이용될 수도 있다.
이와 같이 본 개시의 실시예들에 따르면, 1차 변환부(1811)는 잔차 샘플들(A)에 대하여 비분리 1차 변환을 적용하여 (1차) 변환 계수들(B)을 생성할 수 있다.
2차 변환부(1812)는 (1차) 변환 계수들(B)에 대하여 2차 변환을 적용하여 (2차) 변환 계수들(C)를 생성할 수 있다. 일 예에서, 2차 변환으로서 전술한 LFNST가 적용될 수 있다. 그리고, (2차) 변환 계수들(C)은 양자화 및 엔트로피 인코딩 과정을 통해 부호화되어, 비트스트림을 생성하는 데 이용될 수 있다.
다음으로, 역변환부(1320)는 (역) 2차 변환부(1321) 및 (역) 1차 변환부(1822)를 포함할 수 있다.
(역) 2차 변환부(1321)는 역양자화된 (2차) 변환 계수들(C')에 대하여 (역) 2차 변환을 적용하여 (1차) (역) 변환 계수들(B')을 생성할 수 있다. 여기서, (역) 2차 변환은 변환부(1810)에 의해 수행된 2차 변환의 역과정에 해당할 수 있다.
(역) 1차 변환부(1822)는 (1차) (역) 변환 계수들(B')에 대하여 (역) 1차 변환을 적용하여 잔차 샘플들(A')을 생성할 수 있다.
본 개시의 실시예들에 따르면, (역) 1차 변환은 비분리 1차 역변환을 포함할 수 있다. 비분리 1차 역변환은 MTS 후보로 포함되거나 또는 독립된 역변환 후보로서 제공될 수 있다. 비분리 1차 역변환은 비분리 1차 변환의 역과정에 해당하며, 그 구체적 내용은 비분리 1차 변환과 관련해 상술한 바와 같다.
도 19는 본 개시의 일 실시예에 따른 변환 방법을 나타낸 흐름도이다.
도 19의 변환 방법은 도 2의 영상 부호화 장치에 의해 수행될 수 있다. 예를 들어, 단계 S1910 내지 단계 S1930은 변환부(120)에 의해 수행될 수 있다.
도 19를 참조하면, 영상 부호화 장치는 잔차 샘플들에 대하여 비분리 1차 변환을 적용하여, (1차) 변환 계수들을 생성할 수 있다(S1910). 비분리 1차 변환에 의해 잔차 블록 내의 모든 잔차 샘플들이 수정될 수 있다. 일 실시예에서, 비분리 1차 변환은 출력 계수들의 개수가 입력 샘플들의 개수보다 작은 RT(reduced transform) 형태를 가질 수 있다. 이 경우, 출력 계수들이 생성되지 않은 모든 영역에 대하여 제로 아웃이 수행될 수 있다.
영상 부호화 장치는 (1차) 변환 계수들에 대하여 2차 변환을 적용할지 여부를 결정할 수 있다(S1920). 2차 변환은 비분리 2차 변환, 예컨대 NSST 또는 RST일 수 있다. 일 실시예에서, 영상 부호화 장치는 1차 변환된 레지듀얼 변환 계수에 기반하여 2차 변환의 적용 여부를 결정할 수 있다. 예를 들어, 2차 변환 적용 대상 영역에 포함된 비-제로 레지듀얼 변환 계수들의 개수가 소정의 임계치 이상인 경우, 영상 부호화 장치는 2차 변환이 적용되는 것으로 결정할 수 있다. 이와 달리, 2차 변환 적용 대상 영역에 포함된 비-제로 레지듀얼 변환 계수들의 개수가 소정의 임계치 미만인 경우, 영상 부호화 장치는 2차 변환이 적용되지 않은 것으로 결정할 수 있다. 2차 변환의 적용 여부에 관한 정보는 소정의 신택스 요소(e.g., sps_lfnst_enabled_flag, lfnst_idx 등)로서 부호화될 수 있다.
2차 변환이 적용되는 것으로 결정된 경우(S1920의 'YES'), 영상 부호화 장치는 (1차) 변환 계수들에 대하여 2차 변환을 적용하여 (2차) 변환 계수들을 생성할 수 있다(S1930). 이 경우, (2차) 변환 계수들에 기반하여 비트스트림이 생성될 수 있다.
이와 달리, 2차 변환이 적용되지 않는 것으로 결정된 경우(S1920의 'NO'), 영상 부호화 장치는 (1차) 변환 계수들에 대하여 2차 변환을 수행하지 않을 수 있다. 이 경우, (1차) 변환 계수들에 기반하여 비트스트림이 생성될 수 있다.
도 20은 본 개시의 일 실시예에 따른 역변환 방법을 나타낸 흐름도이다.
도 20의 역변환 방법은 도 2의 영상 부호화 장치 또는 도 3의 영상 복호화 장치에 의해 수행될 수 있다. 예를 들어, 단계 S2010 내지 단계 S2030은 도 2의 역변환부(150) 또는 도 3의 역변환부(230)에 의해 수행될 수 있다. 이하, 설명의 편의를 위해 영상 복호화 장치를 기준으로 설명하기로 한다.
도 20을 참조하면, 영상 복호화 장치는 비트스트림으로부터 획득된 변환 계수들에 대하여 2차 역변환을 적용할지 여부를 결정할 수 있다(S2010). 2차 역변환은 비분리 2차 역변환, 예컨대 NSST 또는 RST일 수 있다. 일 실시예에서, 영상 복호화 장치는 비트스트림으로부터 획득되는 소정의 신택스 요소(e.g., sps_lfnst_enabled_flag, lfnst_idx 등)에 기반하여 2차 역변환의 적용 여부를 결정할 수 있다. 예를 들어, lfnst_idx가 제1 값(e.g., 0)을 갖는 경우, 영상 복호화 장치는 2차 역변환이 적용되지 않는 것으로 결정할 수 있다. 이와 달리, lfnst_idx가 제1 값(e.g., 0)과는 다른 값을 갖는 경우, 영상 복호화 장치는 2차 역변환이 적용되는 것으로 결정할 수 있다.
2차 역변환이 적용되는 것으로 결정된 경우(S2010의 'YES'), 영상 복호화 장치는 비트스트림으로부터 획득된 변환 계수들에 대하여 2차 역변환을 적용하여 (1차) 변환 계수들을 생성할 수 있다(S2020). 이 경우, 비트스트림으로부터 획득된 변환 계수들은 (2차) 변환 계수들에 대응할 수 있다.
이와 달리, 2차 역변환이 적용되지 않는 것으로 결정된 경우(S2010의 'NO'), 영상 복호화 장치는 비트스트림으로부터 획득된 변환 계수들에 대하여 2차 역변환을 수행하지 않을 수 있다. 이 경우, 비트스트림으로부터 획득된 변환 계수들은 (1차) 변환 계수들에 대응할 수 있다.
영상 복호화 장치는 (1차) 변환 계수들에 대하여 비분리 1차 역변환을 적용하여 잔차 샘플들을 생성할 수 있다(S2030). 비분리 1차 역변환에 의해 모든 (1차) 변환 계수들이 수정될 수 있다. 일 실시예에서, 비분리 1차 역변환은 출력 계수들의 개수가 입력 계수들의 개수보다 큰 RT(reduced transform) 형태를 가질 수 있다.
서브블록 기반 비분리 1차 변환
일 실시예에서, 상대적으로 큰 입력 블록에 대하여 해당 블록의 너비와 높이에 맞는 비분리 1차 변환을 적용하지 않고, 해당 블록을 서브블록들로 분할한 후, 각각의 서브블록의 너비와 높이에 맞는 비분리 변환 행렬을 이용하여 비분리 1차 변환을 적용할 수 있다. 예를 들어, 4x8 블록에 대하여 비분리 1차 변환을 적용하는 경우, 4x8 블록을 공간영역에서 2개의 4x4 서브블록들로 수평 분할하고, 각 각의 4x4 서브블록에 대하여 4x4 블록 단위의 비분리 1차 변환을 적용할 수 있다. 또는, 16x8 블록에 대하여 비분리 1차 변환을 적용하는 경우, 16x8 블록을 공간영역에서 2개의 8x8 서브블록들로 수직 분할하고, 각각의 8x8 서브블록에 대하여 8x8 블록 단위의 비분리 1차 변환을 적용할 수 있다.
도 21은 본 개시의 일 실시예에 따른 서브블록 비분리 1차 변환/역변환 방법을 나타낸 흐름도이다.
도 21의 변환 방법은 도 2의 영상 부호화 장치에 의해 수행될 수 있다. 예를 들어, 단계 S2110 내지 단계 S2130은 변환부(120)에 의해 수행될 수 있다. 또한, 도 21의 역변환 방법은 도 2의 영상 부호화 장치 또는 도 3의 영상 복호화 장치에 의해 수행될 수 있다. 예를 들어, 단계 S2110 내지 단계 S2130은 도 2의 역변환부(150) 또는 도 3의 역변환부(230)에 의해 수행될 수 있다.
도 21을 참조하면, 영상 부호화/복호화 장치는 소정의 서브블록 변환/역변환 조건이 충족되는지 여부를 결정할 수 있다(S2110). 일 실시예에서, 영상 부호화/복호화 장치는 입력 블록의 크기를 소정의 임계치와 비교한 결과에 기반하여 서브블록 변환/역변환 조건의 충족 여부를 결정할 수 있다. 여기서, 임계치는 4x4 크기의 제1 임계치 및 8x8 크기의 제2 임계치를 포함할 수 있다. 구체적으로, 입력 블록의 크기가 제1 임계치보다 크고 제2 임계치보다 작은 경우, 영상 부호화/복호화 장치는 서브블록 변환/역변환 조건이 충족되는 것으로 결정할 수 있다. 또한, 입력 블록의 크기가 제2 임계치보다 큰 경우, 영상 부호화/복호화 장치는 서브블록 변환/역변환 조건이 충족되는 것으로 결정할 수 있다.
서브블록 변환 조건이 충족되는 경우(S2110의 'YES'), 영상 부호화/복호화 장치는 입력 블록을 분할하여 복수의 서브블록들을 획득할 수 있다(S2120). 예를 들어, 영상 부호화/복호화 장치는 8x4 블록을 수직 분할하여 2개의 4x4 서브블록들을 획득할 수 있다. 또는, 영상 부호화/복호화 장치는 8x16 블록을 수평 분할하여 2개의 8x8 서브블록들을 획득할 수 있다.
이와 달리, 서브블록 변환 조건이 충족되지 않는 경우(S2110의 'NO'), 영상 부호화/복호화 장치는 입력 블록을 분할하지 않을 것을 결정하고, 단계 S2130으로 진행할 수 있다.
그리고, 영상 부호화/복호화 장치는 입력 블록 또는 각각의 서브블록에 대하여 비분리 1차 변환/역변환을 적용할 수 있다(S2130). 입력 블록 전체에 대하여 비분리 1차 변환/역변환을 적용하는 경우, 비분리 변환 행렬은 입력 블록의 너비 및 높이를 기준으로 결정될 수 있다. 이와 달리, 각각의 서브블록에 대하여 비분리 1차 변환/역변환을 적용하는 경우, 비분리 변환 행렬은 각각의 서브블록의 너비 및 높이를 기준으로 결정될 수 있다.
도 22a 및 도 22b는 서브블록 기반 비분리 1차 변환 과정을 설명하기 위한 도면들이다.
도 22a 및 도 22b는 인코더 단에서의 비분리 1차 변환, 즉 순방향 비분리 1차 변환 과정을 나타낸다.
도 22a는 입력 블록의 크기가 8x4 또는 4x8인 경우를 나타내고, 도 22b는 입력 블록의 크기가 16x8 또는 8x16인 경우를 나타낸다.
도 22a 및 도 22b에서, 굵은 선으로 표시된 영역은 비분리 1차 변환이 적용되는 영역을 나타낸다.
먼저 도 22a의 (a)를 참조하면, 8x4 입력 블록은 2개의 4x4 서브블록들(Sb1, Sb2)로 분할될 수 있다. 그리고, 각각의 서브블록(Sb1, Sb2)에 대하여 4x4 비분리 1차 변환이 적용될 수 있다. 구체적으로, 제1 서브블록(Sb1)에 대하여 16x16 비분리 1차 변환 행렬이 적용되어 16개의 (1차) 변환 계수들이 생성될 수 있다. 또한, 제2 서브블록(Sb2)에 대하여 16x16 비분리 1차 변환 행렬이 적용되어 16개의 (1차) 변환 계수들이 생성될 수 있다.
도 22a의 (b)를 참조하면, 4x8 입력 블록은 2개의 4x4 서브블록들(Sb3, Sb4)로 분할될 수 있다. 그리고, 각각의 서브블록(Sb3, Sb4)에 대하여 4x4 비분리 1차 변환이 적용될 수 있다. 구체적으로, 제3 서브블록(Sb3)에 대하여 16x16 비분리 1차 변환 행렬이 적용되어 16개의 (1차) 변환 계수들이 생성될 수 있다. 또한, 제4 서브블록(Sb4)에 대하여 16x16 비분리 1차 변환 행렬이 적용되어 16개의 (1차) 변환 계수들이 생성될 수 있다.
다음으로 도 22b의 (a)를 참조하면, 16x8 입력 블록은 2개의 8x8 서브블록들(Sb1, Sb2)로 분할될 수 있다. 그리고, 각각의 서브블록(Sb1, Sb2)에 대하여 8x8 비분리 1차 변환이 적용될 수 있다. 구체적으로, 제1 서브블록(Sb1)에 대하여 64x64 비분리 1차 변환 행렬이 적용되어 64개의 (1차) 변환 계수들이 생성될 수 있다. 또한, 제2 서브블록(Sb2)에 대하여 64x64 비분리 1차 변환 행렬이 적용되어 64개의 (1차) 변환 계수들이 생성될 수 있다.
도 22b의 (b)를 참조하면, 8x16 입력 블록은 2개의 8x8 서브블록들(Sb3, Sb4)로 분할될 수 있다. 그리고, 각각의 서브블록(Sb3, Sb4)에 대하여 8x8 비분리 1차 변환이 적용될 수 있다. 구체적으로, 제3 서브블록(Sb3)에 대하여 64x64 비분리 1차 변환 행렬이 적용되어 16개의 (1차) 변환 계수들이 생성될 수 있다. 또한, 제4 서브블록(Sb4)에 대하여 64x64 비분리 1차 변환 행렬이 적용되어 16개의 (1차) 변환 계수들이 생성될 수 있다.
한편, 실시예에 따라, 각각의 서브블록에 대하여 상이한 비분리 1차 변환 행렬이 적용될 수도 있다. 예를 들어, 도 22a에서, 제1 서브블록(Sb1)에 대해서는 16x16 비분리 1차 변환 행렬이 적용되고, 제2 서브블록(Sb2)에 대해서는 16x8 비분리 1차 변환 행렬이 적용될 수도 있다. 이 경우, 제2 서브블록(Sb2)에서 (1차) 변환 계수들이 생성되지 않은 영역은 0 값으로 채워질 수 있다(즉, 제로 아웃(zero out)).
CIIP(Combined Inter and Intra Prediction)에 비분리 1차 변환 적용
본 개시에 따른 일 실시예는 CIIP 모드가 적용된 블록에 대해 비분리 1차 변환을 적용할지 여부 및/또는 비분리 1차 변환 커널 세트를 결정할 수 있다. 본 개시의 일 실시예에 따르면, 다양한 변환 커널이 존재할 때 CIIP 모드를 기반으로 현재 변환 블록에 대한 변환 커널 세트 및/또는 변환 커널을 선택할 수 있다.
현재 블록에 CIIP 모드가 적용된 경우 기존의 DCT 타입 2, DST 타입 7, DCT 타입 8이 이용될 수 있다. 본 실시예에서는 비분리 1차 변환을 CIIP모드가 적용된 블록에 적용할 수 있다. 예컨대, CIIP 모드가 적용된 블록에 대해 비분리 1차 변환을 적용할 경우, DCT 타입 2와 비분리 1차 변환만이 사용될 수 있다. 또는, 기존의 DCT 타입 2, DST 타입 7, DCT 타입 8에 추가로 비분리 1차 변환이 사용될 수도 있다. 또는, 기존의 DCT 타입 2, DST 타입 7, DCT 타입 8 중 하나 이상의 커널이 비분리 1차 변환으로 대체될 수도 있다. 또한 현재 블록의 크기 및/또는 형태 조건에 기반하여 CIIP 모드가 적용된 블록에 대해 비분리 1차 변환을 적용할지 여부를 결정할 수 있다. 보다 구체적으로 현재 블록의 예측 모드가 CIIP 모드일 경우, 현재 블록에 대한 1차 변환 방법은 다음의 예시와 같이 적응적으로 선택될 수 있다.
- 항상 비분리 1차 변환을 적용
- 비분리 1차 변환이 적용되는지 여부를 나타내는 정보에 기반하여 결정(ex, 1 bit flag, e.g., ciip_nspt_mode)
- 현재 블록의 화소 개수에 기반하여 결정(ex, 현재 블록의 화소 개수가 16개 이상, 1024개 미만일 경우 항상 비분리 1차 변환을 적용). 그 외의 경우에는 비분리 1차 변환 미적용
- 현재 블록의 화소 개수에 기반하여 비분리 1차 변환 적용 여부를 나타내는 정보를 시그널링(ex, 현재 블록의 화소 개수가 16개 이상, 1024개 미만일 경우 비분리 1차 변환 적용 여부를 나타내는 정보에 기반하여 1차 변환 방법 결정). 그 외의 경우에는 비분리 1차 변환 미적용
위의 예시에서, 1차 변환 적용 여부를 결정하기 위한 블록 크기 및/또는 형태에 관한 조건은 상술한 예시로 한정되지 않는다. 예컨대, 현재 블록의 화소 개수에 관한 구체적인 수치는 변경될 수 있다.
상술한 바와 같이, 본 개시의 일 실시예에 따르면, CIIP 모드로 예측된 블록에 대해 비분리 1차 변환이 수행될 수 있다. 이 때, 비분리 1차 변환의 변환 커널은 n개의 변환 커널 세트와 각 세트 내에 k 개의 변환 커널들로부터 선택될 수 있다. 이 때, n, k는 적응적으로 변경될 수 있다. 예컨대, 다양한 비분리 1차 변환 커널이 존재할 때, CIIP 가중치 및/또는 CIIP 인트라 예측자에 관한 정보를 기반으로 현재 변환 블록에 대한 변환 커널 세트 및/또는 변환 커널이 선택될 수 있다. 여기서, CIIP 인트라 예측자에 관한 정보는 CIIP의 인트라 예측자를 생성하기 위한 구체적인 세부 모드를 나타내는 정보일 수 있다. 상기 구체적인 세부 모드는, 예컨대, 기존의 플래너 모드, PDPC blending 모드, 후술하는 CIIP에 DIMD를 사용하는 모드 및/또는 CIIP에 TIMD를 사용하는 모드 등을 의미할 수 있다. CIIP 인트라 예측자에 관한 정보는 본 개시에서 "CIIP 인트라 모드"로 지칭될 수도 있다.
구체적으로, CIIP 모드는 플래너(planar) 인트라 예측 모드로 생성된 예측값과 머지(merge) 인터 예측 모드로 생성된 예측값의 가중합(weighted sum)을 통해 예측을 수행하는 모드이다. 따라서, 생성된 예측자(predictor) 종류 및/또는 CIIP weight에 기반하여 변환 커널 세트 및/또는 변환 커널을 적응적으로 선택할 수 있다. 보다 구체적으로, CIIP 모드로 예측된 현재 블록에 대한 비분리 1차 변환의 변환 커널은 적어도 아래의 예시 중 하나에 의해 선택되거나 결정될 수 있다.
- 단일 변환 커널 세트 내 단일 변환 커널을 사용. 즉, 단일 비분리 1차 변환 커널이 사용될 수 있다.
- 단일 변환 커널 세트 내 복수의 변환 커널로부터 선택/결정. 복수의 변환 커널로부터의 선택은 적응적으로 수행되거나, 시그널링된 커널 선택 정보에 기반하여 수행될 수 있다.
- 복수 변환 커널 세트와 세트 내 단일 변환 커널로부터 선택/결정. 이 때, 복수 변환 커널 세트는 표 13 및/또는 표 14의 예시와 같이 CIIP의 weight 값에 기반하여 선택될 수 있다.
- 복수 변환 커널 세트와 세트 내 복수 변환 커널로부터 선택/결정. 이 때, 복수 변환 커널 세트는 표 13 및/또는 표 14의 예시와 같이 CIIP의 weight 값에 기반하여 선택될 수 있다. 또한, 세트 내 복수의 변환 커널로부터의 선택은 적응적으로 수행되거나, 시그널링된 커널 선택 정보에 기반하여 수행될 수 있다.
Figure PCTKR2022014977-appb-img-000037
Figure PCTKR2022014977-appb-img-000038
표 13은 CIIP weight에 기반한 비분리 1차 변환 커널 세트(TrSetIdx, n=3) 선택 방법의 예시이다. 또한, 표 14는 CIIP weight에 기반한 비분리 1차 변환 커널 세트(TrSetIdx, n=2) 선택 방법의 예시이다.
상술한 바와 같이, CIIP 모드에 PDPC를 결합한 PDPC blending 모드가 적용될 수 있다. 이 경우, 현재 블록의 비분리 1차 변환에 적용될 변환 커널 세트 및/또는 변환 커널의 선택은 생성된 predictor의 종류 및/또는 CIIP weight값에 기반하여 선택/결정될 수 있다. 이 때, predictor의 종류는 기존의 CIIP 모드(Normal)에 기반하여 획득된 predictor인지 PDPC blending 모드에 기반하여 획득된 predictor인지를 의미하는 것일 수 있다. 본 개시의 다른 실시예에 따르면, PDPC blending 모드가 가용한 경우, CIIP 예측된 현재 블록에 대한 1차 변환 방법은 다음의 예시와 같이 적응적으로 선택될 수 있다. 본 개시에서, CIIP의 화면 내 예측 시 기존의 플래너 모드가 적용되는 CIIP 인트라 모드의 하나로서 Normal 모드로 지칭할 수 있다. 또한, CIIP의 화면 내 예측 시 PDPC가 적용되는 경우를 CIIP 인트라 모드의 하나로서 PDPC blending 모드 또는 CIIP_PDPC 모드로 지칭할 수 있다.
- 단일 변환 커널 세트 내 단일 변환 커널을 사용. 즉, 단일 비분리 1차 변환 커널이 사용될 수 있다.
- 단일 변환 커널 세트 내 복수의 변환 커널로부터 선택/결정. 복수의 변환 커널로부터의 선택은 적응적으로 수행되거나, 시그널링된 커널 선택 정보에 기반하여 수행될 수 있다.
- 복수 변환 커널 세트와 세트 내 단일 변환 커널로부터 선택/결정. 이 때, 복수 변환 커널 세트는 표 15 및/또는 표 16의 예시와 같이 CIIP의 weight 값 및 CIIP 인트라 mode에 기반하여 선택될 수 있다.
- 복수 변환 커널 세트와 세트 내 복수 변환 커널로부터 선택/결정. 이 때, 복수 변환 커널 세트는 표 15 및/또는 표 16의 예시와 같이 CIIP의 weight 값 및 CIIP 인트라 mode에 기반하여 선택될 수 있다. 세트 내 복수의 변환 커널로부터의 선택은 적응적으로 수행되거나, 시그널링된 커널 선택 정보에 기반하여 수행될 수 있다.
Figure PCTKR2022014977-appb-img-000039
Figure PCTKR2022014977-appb-img-000040
표 15는 CIIP 인트라 mode에 기반한 비분리 1차 변환 커널 세트(TrSetIdx, n=2) 선택 방법의 예시이다. 또한, 표 16은 CIIP 인트라 mode 및 CIIP weight에 기반한 비분리 1차 변환 커널 세트(TrSetIdx, n=6) 선택 방법의 예시이다.
상술한 바와 같이, CIIP 인트라 mode 및 CIIP weight를 사용하는 경우 CIIP 인트라 mode 및 CIIP weight를 n개의 세트로 그룹화하고, 각 세트 내에 k개의 변환 커널들이 포함될 수도 있다. 본 개시에서는 CIIP 인트라 mode 및 CIIP weight의 수와 그 그룹핑 방법은 상술한 예시에 한정되지 않는다. 예를 들어, 입력 블록의 너비 및/또는 높이를 기반으로 결정되는 경우, 세트의 수 및 세트 내 변환 커널의 수는 블록의 너비 및/또는 높이에 따라 달라질 수 있다.
이하에서는, CIIP의 화면 내 예측 시 DIMD(Decoder side mode derivation) 또는 TIMD(Template-based intra mode derivation)가 사용될 경우, 비분리 1차 변환을 적용하는 다양한 실시예를 설명한다. 본 개시에서, CIIP의 화면 내 예측 시 DIMD가 사용되는 경우를 CIIP 인트라 모드의 하나로서 CIIP_DIMD 모드로 지칭할 수 있다. 또한, CIIP의 화면 내 예측 시 TIMD가 사용되는 경우를 CIIP 인트라 모드의 하나로서 CIIP_TIMD 모드로 지칭할 수 있다.
CIIP의 인트라 예측 신호는 상술한 planar 인트라 예측 모드 외에 PDPC weight 기반의 예측 모드 및/또는 DIMD/TIMD를 통해 생성될 수 있다. 본 개시에 따르면, 생성된 predictor 종류에 기반하여 변환 커널 세트 및/또는 변환 커널을 적응적으로 선택할 수 있다. 보다 구체적으로, PDPC blending 모드 및/또는 TIMD/DIMD가 가용한 경우, CIIP 예측된 현재 블록에 대한 1차 변환 방법은 다음의 예시와 같이 적응적으로 선택될 수 있다.
- 단일 변환 커널 세트 내 단일 변환 커널을 사용. 즉, 단일 비분리 1차 변환 커널이 사용될 수 있다.
- 단일 변환 커널 세트 내 복수의 변환 커널로부터 선택/결정. 복수의 변환 커널로부터의 선택은 적응적으로 수행되거나, 시그널링된 커널 선택 정보에 기반하여 수행될 수 있다.
- 복수 변환 커널 세트와 세트 내 단일 변환 커널로부터 선택/결정. 이 때, 복수 변환 커널 세트는 표 17의 예시와 같이 CIIP 인트라 mode에 기반하여 선택될 수 있다.
- 복수 변환 커널 세트와 세트 내 복수 변환 커널로부터 선택/결정. 이 때, 복수 변환 커널 세트는 표 17의 예시와 같이 CIIP 인트라 mode에 기반하여 선택될 수 있다. 또한, 세트 내 복수의 변환 커널로부터의 선택은 적응적으로 수행되거나, 시그널링된 커널 선택 정보에 기반하여 수행될 수 있다.
Figure PCTKR2022014977-appb-img-000041
표 17은 CIIP 인트라 mode에 기반한 비분리 1차 변환 커널 세트(TrSetIdx, n=4) 선택 방법을 예시한다.
싱술한 바와 같이, CIIP 인트라 mode 및 CIIP weight를 사용하는 경우 CIIP 인트라 mode 및 CIIP weight를 n개의 세트로 그룹화하고, 각 세트 내에 k개의 변환 커널들이 포함될 수도 있다. 본 개시에서는 CIIP 인트라 mode 및 CIIP weight의 수와 그 그룹핑 방법은 상술한 예시에 한정되지 않는다. 예를 들어, 입력 블록의 너비 및/또는 높이를 기반으로 결정되는 경우, 세트의 수 및 세트 내 변환 커널의 수는 블록의 너비 및/또는 높이에 따라 달라질 수 있다.
GPM(Geometric Partitioning Mode)에 비분리 1차 변환 적용
이하에서, GPM 모드로 예측된 블록에 대해 비분리 1차 변환을 적용하는 다양한 실시예를 설명한다.
본 개시에 따른 일 실시예는 GPM (geometric partitioning mode)이 적용된 블록에 대해 비분리 1차 변환을 적용할 지 여부 및/또는 비분리 1차 변환 커널 세트를 결정할 수 있다. 본 개시의 일 실시예에 따르면, 다양한 변환 커널이 존재할 때, GPM를 기반으로 현재 변환 블록에 대한 변환 커널 세트 및/또는 변환 커널을 선택할 수 있다.
현재 블록에 GPM이 적용된 경우 기존의 DCT 타입 2, DST 타입 7, DCT 타입 8이 이용될 수 있다. 본 실시예에서는 비분리 1차 변환을 GPM이 적용된 블록에 적용할 수 있다. 예컨대, GPM이 적용된 블록에 대해 비분리 1차 변환을 적용할 경우, DCT 타입 2와 비분리 1차 변환만이 사용될 수 있다. 또는, 기존의 DCT 타입 2, DST 타입 7, DCT 타입 8에 추가로 비분리 1차 변환이 사용될 수도 있다. 또는, 기존의 DCT 타입 2, DST 타입 7, DCT 타입 8 중 하나 이상의 커널이 비분리 1차 변환으로 대체될 수도 있다. 또한 현재 블록의 크기 및/또는 형태 조건에 기반하여 GPM이 적용된 블록에 대해 비분리 1차 변환을 적용할지 여부를 결정할 수 있다. 보다 구체적으로 현재 블록의 예측 모드가 GPM일 경우, 현재 블록에 대한 1차 변환 방법은 다음의 예시와 같이 적응적으로 선택될 수 있다.
- 항상 비분리 1차 변환을 적용
- 비분리 1차 변환이 적용되는지 여부를 나타내는 정보에 기반하여 결정(ex, 1 bit flag, e.g., gpm_nspt_mode)
- 현재 블록의 화소 개수에 기반하여 결정(ex, 현재 블록의 화소 개수가 16개 이상, 1024개 미만일 경우 항상 비분리 1차 변환을 적용). 그 외의 경우에는 비분리 1차 변환 미적용
- 현재 블록의 화소 개수에 기반하여 비분리 1차 변환 적용 여부를 나타내는 정보를 시그널링(ex, 현재 블록의 화소 개수가 16개 이상, 1024개 미만일 경우 비분리 1차 변환 적용 여부를 나타내는 정보에 기반하여 1차 변환 방법 결정) 그 외의 경우에는 비분리 1차 변환 미적용
위의 예시에서, 1차 변환 적용여부를 결정하기 위한 블록 크기 및/또는 형태에 관한 조건은 상술한 예시로 한정되지 않는다. 예컨대, 현재 블록의 화소 개수에 관한 구체적인 수치는 변경될 수 있다.
상술한 바와 같이, 본 개시의 일 실시예에 따르면, GPM으로 예측된 블록에 대해 비분리 1차 변환이 수행될 수 있다. 이 때, 비분리 1차 변환의 변환 커널은 n개의 변환 커널 세트와 각 세트 내에 k 개의 변환 커널들로부터 선택될 수 있다. 이 때, n, k는 적응적으로 변경될 수 있다. 예컨대, GPM은 다양한 angle index 및 distance index에 기반하여 표 18에 보여지는 바와 같이 64개의 block partition을 생성하여 예측을 수행할 수 있다.
Figure PCTKR2022014977-appb-img-000042
표 18은 64개의 GPM 블록 파티션 인덱스를 나타낸다.
따라서, 생성된 블록 분할 형태(block partition shape)에 기반하여 변환 커널 세트 및 변환 커널을 적응적으로 선택할 수 있다. 보다 구체적으로, GPM이 적용된 현재 블록에 대한 비분리 1차 변환의 변환 커널은 적어도 아래의 예시 중 하나에 의해 선택되거나 결정될 수 있다.
- 단일 변환 커널 세트 내 단일 변환 커널을 사용. 즉, 단일 비분리 1차 변환 커널이 사용될 수 있다.
- 단일 변환 커널 세트 내 복수의 변환 커널로부터 선택/결정. 복수의 변환 커널로부터의 선택은 적응적으로 수행되거나, 시그널링된 커널 선택 정보에 기반하여 수행될 수 있다.
- 복수 변환 커널 세트와 세트 내 단일 변환 커널로부터 선택/결정. 이 때, 복수 변환 커널 세트는 표 19, 표 20 및/또는 표 21의 예시와 같이 GPM index, angle index 및/또는 distance index에 기반하여 선택될 수 있다.
- 복수 변환 커널 세트와 세트 내 복수 변환 커널로부터 선택/결정. 이 때, 복수 변환 커널 세트는 표 19, 표 20 및/또는 표 21의 예시와 같이 GPM index, angle index 또는 distance index에 기반하여 선택될 수 있다. 또한, 세트 내 복수의 변환 커널로부터의 선택은 적응적으로 수행되거나, 시그널링된 커널 선택 정보에 기반하여 수행될 수 있다.
Figure PCTKR2022014977-appb-img-000043
Figure PCTKR2022014977-appb-img-000044
Figure PCTKR2022014977-appb-img-000045
표 19는 GPM 인덱스에 기반한 비분리 1차 변환 커널 세트(TrSetIdx, n=4) 선택 방법을 예시한다. 표 20은 angle 인덱스에 기반한 비분리 1차 변환 커널 세트(TrSetIdx, n=10) 선택 방법을 예시한다. 표 21은 distance 인덱스에 기반한 비분리 1차 변환 커널 세트(TrSetIdx, n=4) 선택 방법을 예시한다.
상술한 바와 같이, GPM shape을 n개의 세트로 그룹화하고, 각 세트 내에 k개의 변환 커널들이 포함될 수도 있으며, 본 개시에서는 GPM shape의 수및 그 그룹핑 방법이 상술한 예시에 한정되지 않는다. 예를 들어, 입력 블록의 너비 및/또는 높이를 기반으로 결정되는 경우, 세트의 수 및/또는 세트 내 변환 커널의 수를 블록의 너비 및/또는 높이에 따라 달리할 수 있다.
본 개시의 다른 실시예에서, 대칭을 이루는 블록 분할(block split)에 대해서는 동일한 변환 커널 세트를 뒤바꿔서(transpose) 사용하는 방법을 제안한다. 도 23을 참고하면, GPM을 이용하여 block split을 수행할 경우 서로 다른 두 GPM index를 갖으며, 대칭되는 split을 갖는 경우가 발생할 수 있다. 따라서, 본 발명에서는 비분리 1차 변환 커널 세트 구성에 있어 대칭되는 GPM index에 대해서는 입력 데이터를 뒤바꿔서 동일한 1차 변환 커널 세트를 사용하는 방법을 제안한다. 예를 들어, GPM index 11번에 사용되는 1차 변환 커널 세트를 (입력 데이터가 뒤바뀐) GPM index 44번에 동일하게 사용할 수 있다. 입력 데이터를 transpose한다는 것은 2차원 블록 데이터 MxN에 대해 행이 열이 되고 열이 행이 되어 NxM 데이터를 구성하는 것을 의미한다.
도 24는 본 개시에 따라 소정의 모드가 적용된 블록에 대한 1차 변환 방법의 일 예를 나타낸 흐름도를 도시한다. 도 24의 방법은 현재 블록의 잔차 블록에 대한 변환 및/또는 역변환을 위해 영상 부호화 장치 및/또는 영상 복호화 장치에서 수행될 수 있다.
도 24를 참고하면, 현재 블록의 예측 모드가 소정의 모드인지 여부를 판단할 수 있다(S2401). 여기서, 소정의 모드는 상술한 바와 같이, CIIP 모드 또는 GPM일 수 있다. 그러나, 상기 소정의 모드는 이에 한정되지 않는다. 단계 S2401에서 현재 블록의 예측 모드가 소정의 모드인 것으로 판단된 경우(S2401에서 Yes), 현재 블록에 대해 비분리 1차 변환(NSPT)을 적용할 수 있다(S2402). 단계 S2401에서 현재 블록의 예측 모드가 소정의 모드가 아닌 것으로 판단된 경우, 현재 블록에 대해 비분리 1차 변환(NSPT)을 적용하지 않을 수 있다. 이 경우, 현재 블록에 대해서는 본 개시에 따른 비분리 1차 변환 이외의 다른 방법(예컨대, 종래의 분리 변환)에 따른 변환이 수행되거나 또는 1차 변환이 생략될 수 있다.
후술하는 본 개시의 다양한 실시예에서, 현재 블록에 대해 비분리 1차 변환이 적용되지 않는 것으로 결정되는 경우, 상술한 바와 같이, 현재 블록에 대해 비분리 1차 변환 이외의 다른 방법(예컨대, 종래의 분리 변환)에 따른 변환이 수행되거나 또는 1차 변환이 생략될 수 있음은 별도의 기재가 없더라도 당업자에게 자명하다. 도 24에 도시된 예에 따르면, 비분리 1차 변환의 적용 여부는 현재 블록의 예측 모드에 따라 결정되므로, 부호화 장치는 비분리 1차 변환 적용 여부에 관한 플래그를 별도로 전송할 필요가 없다.
본 개시의 다른 실시예에 따르면, 현재 블록의 예측 모드가 소정의 모드인 경우, 비분리 1차 변환 적용 여부를 나타내는 플래그(ex, 1 bit flag, e.g., ciip_nspt_mode, gpm_nspt_mode)가 부호화 장치로부터 복호화 장치에 전송될 수 있다. 예컨대, 영상 부호화 장치는 현재 블록의 예측 모드가 소정의 모드(CIIP 모드 또는 GPM)인 경우, 현재 블록의 변환을 위해 비분리 1차 변환을 적용할지 여부를 결정하고, 이에 관한 상기 플래그 정보를 비트스트림으로 부호화할 수 있다. 영상 복호화 장치는 현재 블록의 예측 모드가 소정의 모드(CIIP 모드 또는 GPM)인 경우, 비트스트림으로부터 상기 플래그 정보를 파싱(복호화)하고, 상기 플래그 정보에 기반하여 현재 블록의 변환을 위해 비분리 1차 변환을 적용할지 여부를 결정할 수 있다.
본 개시의 또 다른 실시예에 따르면, 영상 부호화 장치 및/또는 영상 복호화 장치는 현재 블록의 예측 모드가 소정의 모드(CIIP 모드 또는 GPM)인 경우, 현재 블록의 크기 및/또는 형태 조건에 기반하여 현재 블록에 대해 비분리 1차 변환을 적용할 지 여부를 결정할 수 있다.
도 25는 소정의 모드에서 블록 크기에 따른 비분리 1차 변환 적용 방법을 나타낸 흐름도를 도시한다. 도 25의 방법은 현재 블록의 잔차 블록에 대한 변환 및/또는 역변환을 위해 영상 부호화 장치 및/또는 영상 복호화 장치에서 수행될 수 있다.
도 25를 참고하면, 현재 블록의 예측 모드가 소정의 모드인지 여부를 판단할 수 있다(S2501). 여기서, 소정의 모드는 상술한 바와 같이, CIIP 모드 또는 GPM일 수 있다. 그러나, 상기 소정의 모드는 이에 한정되지 않는다. 단계 S2501에서 현재 블록의 예측 모드가 소정의 모드인 것으로 판단된 경우(S2501에서 Yes), 현재 블록의 크기 및/또는 형태에 관한 조건이 소정의 조건을 만족하는지 여부를 판단할 수 있다(S2502). 상기 소정의 조건은, 예컨대, 현재 블록의 화소 개수가 소정의 범위에 포함되는지 또는 소정의 임계값 이하(미만)인지 또는 소정의 임계값 이상(초과)인지에 관한 것일 수 있다. 예컨대, 상기 소정의 조건은, 현재 블록의 화소 개수가 16개 이상, 1024개 미만인지의 여부일 수 있다. 그러나, 상기 소정의 조건은 상술한 예시로 한정되지 않는다. 예컨대, 현재 블록의 화소 개수에 관한 구체적인 수치는 변경될 수 있다. 단계 S2502에서 현재 블록의 크기 및/또는 형태에 관한 조건이 소정의 조건을 만족하는 경우(S2502의 'YES'), 현재 블록에 대해 비분리 1차 변환(NSPT)을 적용할 수 있다(S2503). 도 25에 도시된 예에 따르면, 비분리 1차 변환 적용 여부는 소정의 조건을 만족하는지에 따라 결정되므로, 부호화 장치는 비분리 1차 변환 적용 여부에 관한 플래그를 별도로 전송할 필요가 없다.
본 개시의 다른 실시예에 따르면, 현재 블록의 크기 및/또는 형태에 관한 조건이 소정의 조건을 만족하는 경우, 비분리 1차 변환 적용 여부를 나타내는 플래그(ex. 1 bit flag, e.g., ciip_nspt_mode, gpm_nspt_mode)가 부호화 장치로부터 복호화 장치에 전송될 수 있다. 예컨대, 영상 부호화 장치는 현재 블록의 예측 모드가 소정의 모드(CIIP 모드 또는 GPM)이고, 현재 블록의 크기 및/또는 형태에 관한 조건이 소정의 조건(ex. 현재 블록의 화소 개수가 16개 이상, 1024개 미만인 경우)을 만족하는 경우, 현재 블록의 변환을 위해 비분리 1차 변환을 적용할지 여부를 결정하고, 이에 관한 상기 플래그 정보를 비트스트림으로 부호화할 수 있다. 영상 복호화 장치는 현재 블록의 예측 모드가 소정의 모드(CIIP 모드 또는 GPM)이고, 현재 블록의 크기 및/또는 형태에 관한 조건이 소정의 조건(ex. 현재 블록의 화소 개수가 16개 이상, 1024개 미만인 경우)을 만족하는 경우, 비트스트림으로부터 상기 플래그 정보를 파싱(복호화)하고, 상기 플래그 정보에 기반하여 현재 블록의 변환을 위해 비분리 1차 변환을 적용할지 여부를 결정할 수 있다.
비분리 1차 변환에서 변환 인덱스 시그널링 방법
이하에서는 본 개시에 따른 비분리 1차 변환과 관련한 시그널링 방법의 다양한 실시예를 설명한다.
본 개시에 따른 일 실시예에서는 1차 변환 적용 시 분리 변환과 비분리 변환을 모두 포함할 수 있다. 즉, 공간 도메인에서 주파수 도메인으로 변환을 적용할 때 분리 변환과 비분리 변환이 모두 적용될 수 있다. 분리 변환 기반의 1차 변환 방법으로는 DCT 타입 2, DST 타입 7, DCT 타입 8, DCT 타입 5, DST 타입 4, DST 타입 1, IDT(identity transform) 또는 그 이외의 비분리 변환 기반이 아닌 변환(예: 변환 skip)들이 포함될 수 있다. 분리 변환의 경우 여러 개의 선택 가능한 변환들이 존재하며, 비분리 변환의 경우 분리 변환에 비해 계산적 복잡도나 메모리 요구량이 더 클 수 있기 때문에 선택가능한 비분리 변환의 수가 하나일 수 있으며 그 이상일 수도 있다.
본 개시의 일 실시예에 따라, 비분리 변환의 커널이 하나이며, 분리 변환의 수가 다수인 경우의 다양한 시그널링 방법(이하, 제1 방법)에 대해 이하 설명한다.
(a) 일 예에 따르면, 비분리 변환이 변환 인덱스 '0'으로 설정되고, 분리 변환의 인덱스가 1부터 시작될 수 있다. 예를 들어, 5가지의 분리 변환 방법이 있는 경우 변환 인덱스 0은 비분리 변환을 나타내며, 변환 인덱스 1부터 5까지는 미리 정의된 분리 변환 방법을 나타낼 수 있다. 따라서, 0부터 5까지의 변환 인덱스값이 부호화 장치에서 복호화 장치에 시그널링될 수 있고, 복호된 해당 인덱스값을 통해서 비분리 변환 또는 분리 변환 사용 여부를 알 수 있으며, 어떤 분리 변환이 사용되었는지를 판별할 수 있다.
(b) 다른 예로, 비분리 변환 인덱스가 미리 정의된 'N'으로 설정되고, 분리 변환 인덱스가 0부터 시작되어 미리 정의된 최대 인덱스값(M)까지 N을 제외하고 순서에 따라 정의될 수 있다(단, M >= N). 예를 들어, 이용 가능한 분리 변환 방법이 5개고, 비분리 변환의 인덱스를 3 (예: N=3)으로 정의한 경우, 분리 변환의 인덱스는 0부터 5까지 미리 정해진 순서에 따라 할당하되 '3'을 제외하고 결정될 수 있다. 이 경우, 0부터 5까지 가능한 인덱스값이 부호화 장치에서 복호화 장치에 시그널링될 수 있고, 복호된 해당 인덱스값을 통해서 비분리 변환 또는 분리 변환 사용여부를 알 수 있으며, 분리 변환인 경우 어떤 분리 변환이 사용되었는지를 판별할 수 있다.
(c) 또 다른 실시예로, 부호화 장치는 비분리 변환 여부를 나타내는 플래그를 통해 먼저 비분리 변환 여부를 시그널링할 수 있다. 비분리 변환 여부를 나타내는 플래그가 0인 경우, 추가적으로 분리 변환의 인덱스가 시그널링될 수 있다. 비분리 변환 여부를 나타내는 플래그의 값은 컨텍스트 코딩 빈(context coded bin)을 통해 확률을 예측하여 코딩할 수 있다. 이 때, 확률 예측을 위한 컨텍스트 모델은 블록의 크기, 블록의 모양, 인트라 예측 모드, 또는 이전에 코딩된 블록들의 정보 등을 이용하여 구성될 수 있다.
(d) 위에서 상술한 변환 인덱스 값(또는 분리 변환 인덱스값)은 FLC(fixed length code) 또는 TBC (truncated binary code)를 통해서 이진화될 수 있으며 이 경우 컨텍스트 코딩 (context coding, 즉 context coded bin으로 취급해 코딩) 또는 바이패스 코딩(bypass coding, 즉 bypass coded bin으로 취급해 코딩)을 통해서 코딩될 수 있다. 또는, 변환 인덱스가 truncated unary (TU) 이진화를 통해 표현되고 컨텍스트 코딩(context coding, 즉 context coded bin으로 취급해 코딩)을 통해서 발생 확률을 예측하여 코딩되거나, 바이패스 코딩(bypass coding, 즉 bypass coded bin으로 취급해 코딩)을 통해서 동일한 확률로 코딩될 수 있다.
본 개시의 다른 실시예에 따라, 비분리 변환의 커널이 2개 이상이며, 분리 변환의 수가 다수인 경우의 다양한 시그널링 방법(이하, 제2 방법)에 대해 이하 설명한다.
(a) 일 예에 따르면, 부호화 장치는 비분리 변환을 나타내는 플래그를 통해 먼저 비분리 변환 여부를 시그널링할 수 있다. 비분리 변환을 나타내는 플래그가 1인 경우, 비분리 변환 커널 인덱스가 추가적으로 시그널링될 수 있으며, 비분리 변환을 나타내는 플래그가 0인 경우 분리 변환 인덱스가 추가로 시그널링될 수 있다. 이 때, 비분리 변환 커널 인덱스값 또는 분리 변환 인덱스값은 FLC (fixed length code) 또는 TBC (truncated binary code)를 통해서 이진화될 수 있으며 이 경우 컨텍스트 코딩(context coding) 또는 바이패스 코딩(bypass coding)을 통해서 코딩될 수 있다. 또는, 비분리 변환 커널 인덱스값 또는 분리 변환 인덱스값은 truncated unary (TU) 이진화를 통해 표현되고 컨텍스트 코딩(context coding)을 통해서 발생 확률을 예측하여 코딩되거나, 바이패스 코딩(bypass coding)을 통해서 동일 확률로 코딩될 수 있다. 또한 비분리 변환을 나타내는 플래그는 컨텍스트 코딩 빈(context coded bin)을 통해서 확률을 예측하여 코딩할 수 있다. 이 때 확률 예측을 위한 컨텍스트 모델은 블록의 크기, 블록의 모양, 인트라 예측모드, 또는 이전에 코딩된 블록들의 정보 등을 이용할 수 있다.
(b) 다른 예로, 부호화 장치는 비분리 변환 여부를 나타내는 플래그를 별도로 시그널링 하지 않고, 변환 인덱스를 한 번에 시그널링할 수 있다. 만약 비분리 변환 커널이 N개이며, 이용 가능한 분리 변환이 M개인 경우, 변환 인덱스값이 0 부터 N-1인 경우 N개의 비분리 변환 커널 (0 ~ N-1)을 나타내고, 변환 인덱스값이 N 부터 N+M-1인 경우 분리 변환 인덱스 0부터 (M-1)을 나타낼 수 있다. 변환 인덱스로부터 이용가능한 분리 변환 인덱스와 비분리 변환 커널을 매핑하는 방법은 상술한 경우 외에도 미리 정의된 형태로 다양하게 적용될 수 있다.
상술한 실시예들에 따라 분리 변환 인덱스를 정의할 때, 부호화 장치는 주어진 분리 변환 인덱스 값을 통해서 수평 방향과 수직 방향에 적용할 변환을 미리 정해진 규칙에 따라 결정할 수 있다. 또는, 분리 변환 인덱스가 수평 방향 분리 변환 인덱스와 수직 방향 분리 변환 인덱스로 별도로 나뉘어져 전송되고, 각 인덱스가 지정하는 변환이 해당 방향에 적용될 수도 있다.
잔차 특성을 이용한 비분리 1차 변환 방법
이하에서는 잔차 신호의 특성을 이용하여 비분리 1차 변환을 수행하는 본 개시에 따른 다양한 실시예를 설명한다.
본 개시의 일 실시예에 따르면, CIIP 모드가 적용된 블록에서의 비분리 1차 변환 적용 및 GPM이 적용된 블록에서의 비분리 1차 변환 적용 시, 부호화 장치는 현재 블록 또는 주변 블록의 잔차의 특성을 이용하여 적응적으로 비분리 1차 변환을 적용할 수 있다. 낮은 잔차 신호 에너지를 갖는 블록, 즉 잔여 계수의 수가 적은 블록은 다수의 비분리 변환 커널을 사용하는 것보다 하나의 비분리 변환 커널을 사용하는 것이 효율적이다. 이 경우 부호화 장치는 비분리 변환 커널을 시그널링하기 위한 비트 소모를 줄임으로써 더 효율적인 압축 성능을 얻을 수 있다. 이에 반해, 높은 잔차 신호 에너지를 갖는 블록, 즉 잔여 계수의 수가 많은 블록은 다양한 특성을 가질 수 있으므로 추가적인 시그널링을 할지라도 다수의 비분리 변환 커널을 사용하는 것이 효율적이다. 또한, 비분리 변환의 경우 분리 변환에 비해 계산적 복잡도나 메모리 요구량이 더 크기 때문에 부호화 장치는 본 개시에서 제안하는 방법을 통해 계산적 복잡도(전력 소모 감소)를 줄일 수 있다.
본 개시의 일 실시예에 따라, 부호화 장치는 현재 블록 또는 주변 블록의 마지막 유효 계수(마지막 0이 아닌 계수)의 위치를 이용하여 CIIP 모드가 적용된 블록 및/또는 GPM이 적용된 블록에 비분리 1차 변환을 적응적으로 적용할 수 있다. 블록 내 마지막 유효 계수의 위치는 블록의 잔차 특성을 파악하는 중요한 단서가 될 수 있다. 일반적으로 블록 내에서 마지막 유효 계수의 위치가 블록의 top-left pixel과 가까울수록 공간 도메인에서 화소값의 분포는 일정하고, 블록 내에서 마지막 유효 계수의 위치가 블록의 top-left pixel과 멀수록 공간 도메인에서 화소값의 variance가 높은 특성을 갖는다. 특히, CIIP 모드 및 GPM은 화면 간 예측으로 블록 내 고주파 계수의 값이 작기 때문에 이를 이용하여 CIIP 모드가 적용된 블록 및/또는 GPM이 적용된 블록에 비분리 1차 변환을 적용할지 여부를 효율적으로 결정할 수 있다. lastScanPos를 블록 내 마지막 유효 계수 위치를 식별하는 1차원 위치 정보라 정의할 때, top-left pixel 위치는 lastScanPos가 0으로 설정되고, 블록의 bottom-right pixel로 갈수록 lastScanPos는 큰 값을 가질 수 있다. 복호화 장치에서 lastScanPos 값은 마지막 유효 계수의 위치 정보를 시그널링하는 신택스 값(예: last_sig_coeff_x_prefix, last_sig_coeff_y_prefix, last_sig_coeff_x_suffix, last_sig_coeff_y_suffix)을 기반으로 도출될 수도 있고, 블록 크기에 따라 미리 정해진 계수의 스캔 순서 또는 계수의 스캔 순서의 역순으로 할당될 수도 있다.
본 개시의 일 실시예에 따르면, 부호화 장치는 현재 블록 또는 주변 블록의 lastScanPos 정보를 이용해 range를 나누어 비분리 변환 커널의 수를 달리할 수 잇다. 예를 들어, 두 개의 range를 사용하는 경우 부호화 장치는 현재 블록 또는 주변 블록의 lastScanPos의 값이 제1 임계값 이하이면(마지막 유효 계수의 위치가 블록의 top-left pixel과 가까운 경우) 하나의 비분리 변환 커널을 사용하고, 그렇지 않은 경우 복수의 비분리 변환 커널을 사용할 수 있다. 다른 예로, 현재 블록 또는 주변 블록의 lastScanPos의 값이 제1 임계값 이하이면 비분리 변환은 적용되지 않고 분리 변환(예: DCT-2)만을 적용하며, 그렇지 않을 경우 하나 혹은 복수의 비분리 변환 커널을 사용할 수 있다. 또 다른 예로, 부호화 장치는 현재 블록 또는 주변 블록의 lastScanPos의 값이 제1 임계값 이상일 경우 비분리 변환만 사용할 수도 있으며, 분리 변환과 비분리 변환을 동시에 사용할 수도 있다. 또 다른 예로, 세 개의 range를 사용하는 경우, 부호화 장치는 현재 블록 또는 주변 블록의 lastScanPos의 값이 제2 임계값 이하이면 1개의 비분리 변환 커널을 사용하고, lastScanPos 값이 제2 임계값 보다 크고 제3 임계값 이하이면 M개의 비분리변환 커널을 사용하고, lastScanPos의 값이 제3 임계값 보다 큰 경우 N개의 비분리 변환 커널을 사용할 수 있다. 이 때, 현재 블록 내 유효 계수가 top-left pixel, 즉 DC 위치에만 존재하는 경우 상기 방법은 적용되지 않고, 분리변환(ex. DCT-2) 또는 별도의 정해진 변환 방법이 적용될 수 있다.
본 실시예에서 제1 임계값, 제2 임계값, 제3 임계값 및 임계값 range 개수는 실험적으로 정해진 값을 사용할 수 있으며, 현재 블록의 크기에 적응적으로 변화하여 적용할 수 있다.
상술한 바와 같이, lastScanPos에 기반하여 현재 블록에 대해 비분리 1차 변환을 수행할 지 여부가 판단될 수 있다. 본 실시예는 본 개시의 다른 실시예들과 결합될 수 있다. 예컨대, lastScanPos에 기반한 판단 과정은 도 24의 실시예 또는 도 25의 실시예에 부가될 수 있다. 또는 도 24의 실시예 또는 도 25의 실시예에서의 판단 과정(S2401, S2501 또는 S2502)을 일부 대체할 수도 있다.
본 개시의 다른 실시예에 따르면, 부호화 장치는 현재 블록 또는 주변 블록의 0이 아닌 계수의 수를 이용하여 CIIP 모드가 적용된 블록 및/또는 GPM이 적용된 블록에 비분리 1차 변환을 적응적으로 적용할 수 있다. 블록 내 마지막 유효 계수의 수는 블록의 잔차 특성을 파악하는 중요한 단서가 될 수 있다. 일반적으로 블록 내에서 0이 아닌 계수의 수가 적을수록 공간 도메인에서 화소값의 분포는 일정하고, 블록 내에서 0이 아닌 계수의 수가 많을수록 공간 도메인에서 화소값의 variance가 높은 특성을 갖는다. 특히, CIIP 모드 및 GPM은 화면 간 예측으로 블록 내의 대부분의 계수가 0이기 때문에 부호화 장치는 이를 이용하여 CIIP 모드가 적용된 블록 및/또는 GPM이 적용된 블록에 비분리 1차 변환이 적용되는지 여부를 효율적으로 결정할 수 있다. numSigCoeff를 블록 내 유효 계수의 수라 정의할 때, numSigCoeff 값은 유효 계수 여부를 시그널링 하는 신택스 값 (예: sig_coeff_flag 또는/및 sb_coded_flag)을 기반으로 도출될 수도 있고, 별도의 카운터를 통해 계산될 수도 있다. 본 개시에서는 현재 블록 또는 주변 블록의 numSigCoeff 정보를 이용해 range를 나누어 비분리 변환 커널의 수를 달리할 수 있다. 일 예로, 두 개의 range를 사용하는 경우 부호화 장치는 현재 블록 또는 주변 블록의 numSigCoeff의 값이 제4 임계값 이하이면(블록내 유효 계수의 수가 적은 경우) 하나의 비분리 변환 커널을 사용하고, 그렇지 않은 경우 복수의 비분리 변환 커널을 사용하는 방법이 있을 수 있다. 다른 예로, 현재 블록 또는 주변 블록의 numSigCoeff의 값이 제4 임계값 이하이면 비분리 변환은 적용되지 않고 분리 변환(예: DCT-2)만을 적용하며, 그렇지 않은 경우 하나 혹은 복수의 비분리 변환 커널을 사용하는 방법이 있을 수 있다. 또 다른 예로, 현재 블록 또는 주변 블록의 numSigCoeff의 값이 제4 임계값 이상일 경우 부호화 장치는 비분리 변환만 사용할 수도 있으며, 분리 변환과 비분리 변환을 동시에 사용할 수도 있다. 또 다른 예로, 세 개의 range를 사용하는 경우 부호화 장치는 현재 블록 또는 주변 블록의 numSigCoeff의 값이 제5 임계값 이하이면 1개의 비분리 변환 커널을 사용하고, numSigCoeff 값이 제5 임계값보다 크고 제6 임계값 이하이면 K개의 비분리 변환 커널을 사용하고, numSigCoeff의 값이 제6 임계값보다 큰 경우 L개의 비분리 변환 커널을 사용할 수 있다. 이 때, 현재 블록 내 유효 계수가 top-left pixel, 즉 DC 위치에만 존재하는 경우 상기 방법은 적용되지 않고, 분리 변환(예: DCT-2) 또는 별도의 정해진 변환 방법을 적용할 수 있다.
본 실시예에서 제4 임계값, 제5 임계값, 제6 임계값 및 임계값 range 개수는 실험적으로 정해진 값을 사용할 수 있으며, 현재 블록의 크기에 적응적으로 변화하여 적용할 수 있다.
상술한 바와 같이, numSigCoeff 에 기반하여 현재 블록에 대해 비분리 1차 변환을 수행할 지 여부가 판단될 수 있다. 본 실시예는 본 개시의 다른 실시예들과 결합될 수 있다. 예컨대, numSigCoeff에 기반한 판단 과정은 도 24의 실시예 또는 도 25의 실시예에 부가될 수 있다. 또는 도 24의 실시예 또는 도 25의 실시예에서의 판단 과정(S2401, S2501 또는 S2502)을 일부 대체할 수도 있다. 또는 현재 블록에 대해 비분리 1차 변환을 적용할지 여부를 결정하기 위해, 본 개시의 다른 실시예들에 부가적으로 또는 대체적으로, numSigCoeff에 관한 판단과 lastScanPos에 관한 판단이 모두 수행될 수도 있다.
복호화 장치에서 잔차에 관한 신택스들은 비분리 변환 정보에 관한 신택스(비분리 변환 적용 여부 및/또는 비분리 변환 인덱스 정보)에 선행해 파싱될 수 있다. 본 개시에 따른 비분리 변환 적용 여부 및/또는 비분리 변환 인덱스 정보 시그널링 방법은 상기 '비분리 1차 변환에서 변환 인덱스 시그널링 방법'을 따를 수 있다. 보다 구체적으로, 상술한 방법에 따라 결정된 현재 블록의 비분리 1차 변환 커널이 1개인 경우 제1 방법을, 상술한 방법에 따라 결정된 현재 블록의 1차 비분리 변환 커널이 다수개인 경우 제2 방법을 적용할 수 있다. 상술한 방법에 따라 결정된 현재 블록의 비분리 1차 변환 커널이 0개인 경우 (비분리 1차 변환이 적용되지 않을 경우), 비분리 1차 변환 관련 정보(1차 비분리 변환 적용 유무 flag 등, ex. 1 bit flag, e.g., ciip_nspt_mode, gpm_nspt_mode)는 전송되지 않을 수 있다.
이하, 도 26 및 도 27을 참조하여, 본 개시의 일 실시예에 따른 영상 부호화/복호화 방법을 상세하게 설명하기로 한다.
도 26은 본 개시의 일 실시예에 따른 영상 부호화 방법을 나타내는 흐름도이다.
도 26의 영상 부호화 방법은 도 2의 영상 부호화 장치에 의해 수행될 수 있다. 예를 들어, 단계 S2604는 변환부(120)에 의해 수행될 수 있다.
도 26을 참조하면, 영상 부호화 장치는 현재 블록의 예측 모드를 결정할 수 있다(S2601).
일 실시예에서, 영상 부호화 장치는 RD-cost 비교 등의 다양한 방법을통해 현재 블록의 예측 모드를 결정할 수 있다. 영상 부호화 장치는 결정된 예측 모드를 예측 정보로서 비트스트림에 부호화할 수 있다.
영상 부호화 장치는 상기 예측 모드가 소정의 모드인지 여부를 판단할 수 있다(S2602). 예컨대, 상기 소정의 모드는 CIIP 모드 또는 GPM일 수 있다. 현재 블록의 예측 모드가 소정의 모드인 경우(S2602의 'YES'), 영상 부호화 장치는 현재 블록의 잔차 블록을 부호화하기 위한 변환 커널을 선택할 수 있다(S2603). 이 때, 선택된 변환 커널은 비분리 1차 변환 커널일 수 있다.
그리고, 영상 부호화 장치는 상기 변환 커널을 이용하여 현재 블록에 대한 비분리 1차 변환을 수행함으로써 상기 현재 블록의 잔차 블록을 부호화할 수 있다(S2604).
상술한 바와 같이, 일 실시예에서, 상기 비분리 1차 변환을 적용할지 여부는 상기 현재 블록에 포함된 화소의 개수에 더 기반하여 결정될 수 있다. 예컨대, 상기 현재 블록에 포함된 화소의 개수가 16개 이상, 1024개 미만인 경우 비분리 1차 변환을 적용할 수 있으며, 현재 블록에 포함된 화소의 개수는 상술한 예시로 한정되지 않는다.
또한, 일 실시예에서, 영상 부호화 장치는, 상기 현재 블록의 예측 모드가 소정의 모드임에 기반하여 현재 블록에 대해 비분리 1차 변환을 적용할 지 여부를 결정하고, 이를 나타내는 정보를 부호화할 수 있다.
일 실시예에서, 상기 비분리 1차 변환에 적용되는 변환 커널 세트 또는 변환 커널은 상기 소정의 모드에 관한 정보에 기반하여 적응적으로 선택될 수 있다. 예컨대, 상기 소정의 모드가 CIIP 모드인 경우, 상기 소정의 모드에 관한 정보는 CIIP 가중치 또는 CIIP 인트라 모드 중 적어도 하나를 포함할 수 있다. 여기서, 상기 CIIP 인트라 모드는 플래너 모드, CIIP_PDPC 모드, CIIP_DIMD 모드 또는 CIIP_TIMD 모드 중 적어도 하나일 수 있다. 이와 달리, 상기 소정의 모드가 GPM 모드인 것에 기반하여 상기 소정의 모드에 관한 정보는 GPM 인덱스, Angle 인덱스 또는 Distance 인덱스 중 적어도 하나일 수 있다.
일 실시예에서, 영상 부호화 장치는 상기 현재 블록에 대해 선택된 변환 커널을 시그널링하기 위해, 상기 현재 블록에 대한 변환 커널 선택 정보를 부호화할 수 있다. 상기 변환 커널 선택 정보는 하나 이상의 비분리 변환 커널 및 하나 이상의 분리 변환 커널들로부터 하나의 변환 커널을 선택하기 위한 정보일 수 있다.
일 실시예에서, 상기 현재 블록에 비분리 1차 변환을 적용할 지 여부는 상기 현재 블록 또는 주변 블록의 잔차 특성에 더 기반하여 결정될 수 있다. 이 때, 상기 잔차 특성은 상기 현재 블록의 잔차 블록 내 마지막 유효 계수의 위치 또는 상기 현재 블록의 잔차 블록 내 유효 계수의 개수에 기반하여 결정될 수 있다.
도 27은 본 개시의 일 실시예에 따른 영상 복호화 방법을 나타내는 흐름도이다.
도 27의 영상 복호화 방법은 도 3의 영상 복호화 장치에 의해 수행될 수 있다.
도 27을 참조하면, 영상 복호화 장치는 현재 블록의 예측 정보를 획득할 수 있다(S2701). 구체적으로, 영상 복호화 장치는 현재 블록의 예측 모드와 관련된 정보(예측 정보)를 비트스트림으로부터 파싱(복호화)할 수 있다.
그리고, 영상 복호화 장치는 상기 예측 정보에 기반하여 상기 현재 블록의 예측 모드를 결정할 수 있다(S2702).
그리고, 영상 복호화 장치는 상기 예측 모드가 소정의 모드인지 여부를 판단할 수 있다(S2703). 현재 블록의 예측 모드가 소정의 모드인 것에 기반하여 영상 복호화 장치는 현재 블록에 대한 변환 커널을 선택할 수 있다(S2704). 이 때, 선택된 변환 커널은 현재 블록의 잔차 블록을 생성하기 위한 비분리 1차 변환 커널일 수 있다.
일 실시예에서, 상기 소정의 모드는 CIIP 모드 또는 GPM 중 하나일 수 있다.
그리고, 영상 복호화 장치는 상기 변환 커널을 이용하여 현재 블록에 대한 비분리 1차 변환을 수행함으로써 상기 현재 블록의 잔차 블록을 생성할 수 있다(S2705).
상술한 바와 같이, 일 실시예에서, 상기 비분리 1차 변환을 적용할지 여부는 상기 현재 블록에 포함된 화소의 개수에 더 기반하여 결정될 수 있다. 예컨대, 상기 현재 블록에 포함된 화소의 개수가 16개 이상, 1024개 미만인 경우 비분리 1차 변환을 적용할 수 있으며, 현재 블록에 포함된 화소의 개수는 상술한 예시로 한정되지 않는다.
또한, 일 실시예에서, 영상 복호화 장치는 상기 현재 블록의 예측 모드가 소정의 모드임에 기반하여 현재 블록에 대해 비분리 1차 변환을 적용할 지 여부를 나타내는 정보를 획득할 수 있다. 상기 현재 블록에 상기 비분리 1차 변환을 적용할지 여부는 상기 획득된 정보에 기반하여 결정될 수 있다.
일 실시예에서, 상기 비분리 1차 변환에 적용되는 변환 커널 세트 또는 변환 커널은 상기 소정의 모드에 관한 정보에 기반하여 적응적으로 선택될 수 있다. 예컨대, 상기 소정의 모드가 CIIP 모드인 경우, 상기 소정의 모드에 관한 정보는 CIIP 가중치 또는 CIIP 인트라 모드 중 적어도 하나를 포함할 수 있다. 여기서, 상기 CIIP 인트라 모드는 플래너 모드, CIIP_PDPC 모드, CIIP_DIMD 모드 또는 CIIP_TIMD 모드 중 적어도 하나일 수 있다. 이와 달리, 상기 소정의 모드가 GPM 모드인 것에 기반하여 상기 소정의 모드에 관한 정보는 GPM 인덱스, Angle 인덱스 또는 Distance 인덱스 중 적어도 하나일 수 있다.
일 실시예에서, 상기 영상 복호화 장치는 상기 현재 블록에 대한 변환 커널을 선택하기 위하여, 상기 현재 블록에 대한 변환 커널 선택 정보를 획득할 수 있다. 상기 변환 커널 선택 정보는 하나 이상의 비분리 변환 커널 및 하나 이상의 분리 변환 커널들로부터 하나의 변환 커널을 선택하기 위한 정보일 수 있다.
일 실시예에서, 상기 현재 블록에 비분리 1차 변환을 적용할 지 여부는 상기 현재 블록 또는 주변 블록의 잔차 특성에 더 기반하여 결정될 수 있다. 이 때, 상기 잔차 특성은 상기 현재 블록의 잔차 블록 내 마지막 유효 계수의 위치 또는 상기 현재 블록의 잔차 블록 내 유효 계수의 개수에 기반하여 결정될 수 있다.
본 개시의 실시예들에 따르면, 소정의 예측 모드 또는 다양한 조건에기반하여 비분리 1차 변환을 적응적/선택적으로 적용할 수 있게 됨으로써, 부호화 효율을 향상시킬 수 있는 효과가 있다.
또한, 본 개시의 비분리 1차 변환 관련 정보의 시그널링 방법에 따르면, 다양한 형태의 변환이 적용 가능한 모든 경우에 있어서, 효율적인 시그널링 방법이 제공될 수 있다.
본 개시의 예시적인 방법들은 설명의 명확성을 위해서 동작의 시리즈로 표현되어 있지만, 이는 단계가 수행되는 순서를 제한하기 위한 것은 아니며, 필요한 경우에는 각각의 단계가 동시에 또는 상이한 순서로 수행될 수도 있다. 본 개시에 따른 방법을 구현하기 위해서, 예시하는 단계에 추가적으로 다른 단계를 포함하거나, 일부의 단계를 제외하고 나머지 단계를 포함하거나, 또는 일부의 단계를 제외하고 추가적인 다른 단계를 포함할 수도 있다.
본 개시에 있어서, 소정의 동작(단계)을 수행하는 영상 부호화 장치 또는 영상 복호화 장치는 해당 동작(단계)의 수행 조건이나 상황을 확인하는 동작(단계)을 수행할 수 있다. 예컨대, 소정의 조건이 만족되는 경우 소정의 동작을 수행한다고 기재된 경우, 영상 부호화 장치 또는 영상 복호화 장치는 상기 소정의 조건이 만족되는지 여부를 확인하는 동작을 수행한 후, 상기 소정의 동작을 수행할 수 있다.
본 개시의 다양한 실시예는 모든 가능한 조합을 나열한 것이 아니고 본 개시의 대표적인 양상을 설명하기 위한 것이며, 다양한 실시예에서 설명하는 사항들은 독립적으로 적용되거나 또는 둘 이상의 조합으로 적용될 수도 있다.
또한, 본 개시의 다양한 실시예는 하드웨어, 펌웨어(firmware), 소프트웨어, 또는 그들의 결합 등에 의해 구현될 수 있다. 하드웨어에 의한 구현의 경우, 하나 또는 그 이상의 ASICs(Application Specific Integrated Circuits), DSPs(Digital Signal Processors), DSPDs(Digital Signal Processing Devices), PLDs(Programmable Logic Devices), FPGAs(Field Programmable Gate Arrays), 범용 프로세서(general processor), 컨트롤러, 마이크로 컨트롤러, 마이크로 프로세서 등에 의해 구현될 수 있다.
또한, 본 개시의 실시예가 적용된 영상 복호화 장치 및 영상 부호화 장치는 멀티미디어 방송 송수신 장치, 모바일 통신 단말, 홈 시네마 비디오 장치, 디지털 시네마 비디오 장치, 감시용 카메라, 비디오 대화 장치, 비디오 통신과 같은 실시간 통신 장치, 모바일 스트리밍 장치, 저장 매체, 캠코더, 주문형 비디오(VoD) 서비스 제공 장치, OTT 비디오(Over the top video) 장치, 인터넷 스트리밍 서비스 제공 장치, 3차원(3D) 비디오 장치, 화상 전화 비디오 장치, 및 의료용 비디오 장치 등에 포함될 수 있으며, 비디오 신호 또는 데이터 신호를 처리하기 위해 사용될 수 있다. 예를 들어, OTT 비디오(Over the top video) 장치로는 게임 콘솔, 블루레이 플레이어, 인터넷 접속 TV, 홈시어터 시스템, 스마트폰, 태블릿 PC, DVR(Digital Video Recoder) 등을 포함할 수 있다.
도 28은 본 개시에 따른 실시예가 적용될 수 있는 컨텐츠 스트리밍 시스템을 예시적으로 나타낸 도면이다.
도 28에 도시된 바와 같이, 본 개시의 실시예가 적용된 컨텐츠 스트리밍 시스템은 크게 인코딩 서버, 스트리밍 서버, 웹 서버, 미디어 저장소, 사용자 장치 및 멀티미디어 입력 장치를 포함할 수 있다.
상기 인코딩 서버는 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들로부터 입력된 컨텐츠를 디지털 데이터로 압축하여 비트스트림을 생성하고 이를 상기 스트리밍 서버로 전송하는 역할을 한다. 다른 예로, 스마트폰, 카메라, 캠코더 등과 같은 멀티미디어 입력 장치들이 비트스트림을 직접 생성하는 경우, 상기 인코딩 서버는 생략될 수 있다.
상기 비트스트림은 본 개시의 실시예가 적용된 영상 부호화 방법 및/또는 영상 부호화 장치에 의해 생성될 수 있고, 상기 스트리밍 서버는 상기 비트스트림을 전송 또는 수신하는 과정에서 일시적으로 상기 비트스트림을 저장할 수 있다.
상기 스트리밍 서버는 웹 서버를 통한 사용자 요청에 기반하여 멀티미디어 데이터를 사용자 장치에 전송하고, 상기 웹 서버는 사용자에게 어떠한 서비스가 있는지를 알려주는 매개체 역할을 할 수 있다. 사용자가 상기 웹 서버에 원하는 서비스를 요청하면, 상기 웹 서버는 이를 스트리밍 서버에 전달하고, 상기 스트리밍 서버는 사용자에게 멀티미디어 데이터를 전송할 수 있다. 이때, 상기 컨텐츠 스트리밍 시스템은 별도의 제어 서버를 포함할 수 있고, 이 경우 상기 제어 서버는 상기 컨텐츠 스트리밍 시스템 내 각 장치 간 명령/응답을 제어하는 역할을 수행할 수 있다.
상기 스트리밍 서버는 미디어 저장소 및/또는 인코딩 서버로부터 컨텐츠를 수신할 수 있다. 예를 들어, 상기 인코딩 서버로부터 컨텐츠를 수신하는 경우, 상기 컨텐츠를 실시간으로 수신할 수 있다. 이 경우, 원활한 스트리밍 서비스를 제공하기 위하여 상기 스트리밍 서버는 상기 비트스트림을 일정 시간동안 저장할 수 있다.
상기 사용자 장치의 예로는, 휴대폰, 스마트 폰(smart phone), 노트북 컴퓨터(laptop computer), 디지털방송용 단말기, PDA(personal digital assistants), PMP(portable multimedia player), 네비게이션, 슬레이트 PC(slate PC), 태블릿 PC(tablet PC), 울트라북(ultrabook), 웨어러블 디바이스(wearable device, 예를 들어, 워치형 단말기 (smartwatch), 글래스형 단말기 (smart glass), HMD(head mounted display)), 디지털 TV, 데스크탑 컴퓨터, 디지털 사이니지 등이 있을 수 있다.
상기 컨텐츠 스트리밍 시스템 내 각 서버들은 분산 서버로 운영될 수 있으며, 이 경우 각 서버에서 수신하는 데이터는 분산 처리될 수 있다.
본 개시의 범위는 다양한 실시예의 방법에 따른 동작이 장치 또는 컴퓨터 상에서 실행되도록 하는 소프트웨어 또는 머신-실행가능한 명령들(예를 들어, 운영체제, 애플리케이션, 펌웨어(firmware), 프로그램 등), 및 이러한 소프트웨어 또는 명령 등이 저장되어 장치 또는 컴퓨터 상에서 실행 가능한 비-일시적 컴퓨터-판독가능 매체(non-transitory computer-readable medium)를 포함한다.
본 개시에 따른 실시예는 열상을 부호화/복호화하는데 이용될 수 있다.

Claims (20)

  1. 영상 복호화 장치에 의해 수행되는 영상 복호화 방법으로서, 상기 영상 복호화 방법은,
    현재 블록의 예측 정보를 획득하는 단계;
    상기 예측 정보에 기반하여 상기 현재 블록의 예측 모드를 결정하는 단계;
    상기 예측 모드가 소정의 모드임에 기반하여 상기 현재 블록의 잔차 블록을 생성하기 위한 변환 커널을 선택하는 단계; 및
    선택된 상기 변환 커널을 이용하여 상기 현재 블록에 대한 비분리 1차 변환을 수행함으로써 상기 현재 블록의 잔차 블록을 생성하는 단계를 포함하는
    영상 복호화 방법.
  2. 제1항에 있어서,
    상기 소정의 모드는 CIIP(Combined inter and intra prediction) 또는 GPM(geometric partitioning mode) 중 하나인
    영상 복호화 방법.
  3. 제1항에 있어서,
    상기 비분리 1차 변환을 적용할 지 여부는 상기 현재 블록에 포함된 화소의 개수에 더 기반하여 결정되는
    영상 복호화 방법.
  4. 제1항에 있어서,
    상기 현재 블록의 예측 모드가 소정의 모드임에 기반하여, 비분리 1차 변환 적용 여부를 나타내는 정보를 획득하는 단계를 더 포함하고,
    상기 현재 블록에 상기 비분리 1차 변환을 적용할 지 여부는 상기 획득된 정보에 기반하여 결정되는
    영상 복호화 방법.
  5. 제1항에 있어서,
    상기 비분리 1차 변환에 적용되는 변환 커널 세트 또는 변환 커널은 상기 소정의 모드에 관한 정보에 기반하여 적응적으로 선택되는
    영상 복호화 방법.
  6. 제5항에 있어서,
    상기 소정의 모드가 CIIP 모드인 것에 기반하여, 상기 소정의 모드에 관한 정보는 CIIP 가중치(weight) 또는 CIIP 인트라 모드 중 적어도 하나를 포함하는
    영상 복호화 방법.
  7. 제6항에 있어서,
    상기 CIIP 인트라 모드는 플래너 모드, CIIP_PDPC 모드, CIIP_DIMD 모드 또는 CIIP_TIMD 모드 중 적어도 하나인 영상 복호화 방법.
  8. 제5항에 있어서,
    상기 소정의 모드가 GPM 모드인 것이 기반하여, 상기 소정의 모드에 관한 정보는 GPM 인덱스, Angle 인덱스 또는 Distance 인덱스 중 적어도 하나를 포함하는
    영상 복호화 방법.
  9. 제1항에 있어서,
    상기 현재 블록에 대한 변환 커널을 선택하는 단계는 상기 현재 블록에 대한 변환 커널 선택 정보를 획득하는 단계를 포함하고,
    상기 변환 커널 선택 정보는 하나 이상의 비분리 변환 커널 및 하나 이상의 분리 변환 커널들로부터 하나의 변환 커널을 선택하기 위한 정보인
    영상 복호화 방법.
  10. 제1항에 있어서,
    상기 현재 블록에 비분리 1차 변환을 적용할 지 여부는 상기 현재 블록 또는 주변 블록의 잔차 특성에 더 기반하여 결정되는
    영상 복호화 방법.
  11. 제10항에 있어서,
    상기 잔차 특성은 상기 현재 블록의 잔차 블록 내 마지막 유효 계수의 위치 또는 상기 현재 블록의 잔차 블록 내 유효 계수의 개수에 기반하여 결정되는
    영상 복호화 방법.
  12. 메모리 및 적어도 하나의 프로세서를 포함하는 영상 복호화 장치로서,
    상기 적어도 하나의 프로세서는,
    현재 블록의 예측 정보를 획득하고,
    상기 예측 정보에 기반하여 상기 현재 블록의 예측 모드를 결정하고,
    상기 예측 모드가 소정의 모드임에 기반하여 상기 현재 블록의 잔차 블록을 생성하기 위한 변환 커널을 선택하고,
    선택된 상기 변환 커널을 이용하여 상기 현재 블록에 대한 비분리 1차 변환을 수행함으로써 상기 현재 블록의 잔차 블록을 생성하는
    영상 복호화 장치.
  13. 영상 부호화 장치에 의해 수행되는 영상 부호화 방법으로서, 상기 영상 부호화 방법은,
    현재 블록의 예측 모드를 결정하는 단계;
    상기 예측 모드가 소정의 모드임에 기반하여 상기 현재 블록의 잔차 블록을 부호화하기 위한 변환 커널을 선택하는 단계; 및
    결정된 상기 변환 커널을 이용하여 상기 현재 블록에 대한 비분리 1차 변환을 수행함으로써 상기 현재 블록의 잔차 블록을 부호화하는 단계를 포함하는
    영상 부호화 방법.
  14. 제13항에 있어서,
    상기 소정의 모드는 CIIP(Combined inter and intra prediction) 또는 GPM(geometric partitioning mode) 중 하나인
    영상 부호화 방법.
  15. 제13항에 있어서,
    상기 비분리 1차 변환을 적용할 지 여부는 상기 현재 블록에 포함된 화소의 개수에 더 기반하여 결정되는
    영상 부호화 방법.
  16. 제13항에 있어서,
    상기 비분리 1차 변환에 적용되는 변환 커널 세트 또는 변환 커널은 상기 소정의 모드에 관한 정보에 기반하여 적응적으로 선택되는
    영상 부호화 방법.
  17. 제16항에 있어서,
    상기 소정의 모드가 CIIP 모드인 것에 기반하여, 상기 소정의 모드에 관한 정보는 CIIP 가중치(weight) 또는 CIIP 인트라 모드 중 적어도 하나를 포함하고,
    상기 CIIP 인트라 모드는 플래너 모드, CIIP_PDPC 모드, CIIP_DIMD 모드 또는 CIIP_TIMD 모드 중 적어도 하나인
    영상 부호화 방법.
  18. 제16항에 있어서,
    상기 소정의 모드가 GPM 모드인 것이 기반하여, 상기 소정의 모드에 관한 정보는 GPM 인덱스, Angle 인덱스 또는 Distance 인덱스 중 적어도 하나를 포함하는
    영상 부호화 방법.
  19. 영상 부호화 방법에 의해 생성된 비트스트림을 저장하는 컴퓨터 판독가능한 기록 매체에 있어서, 상기 영상 부호화 방법은,
    현재 블록의 예측 모드를 결정하는 단계;
    상기 예측 모드가 소정의 모드임에 기반하여 상기 현재 블록의 잔차 블록을 부호화하기 위한 변환 커널을 선택하는 단계; 및
    결정된 상기 변환 커널을 이용하여 상기 현재 블록에 대한 비분리 1차 변환을 수행함으로써 상기 현재 블록의 잔차 블록을 부호화하는 단계를 포함하는
    컴퓨터 판독가능한 기록 매체.
  20. 영상 부호화 방법에 의해 생성된 비트스트림을 전송하는 방법에 있어서, 상기 영상 부호화 방법은,
    현재 블록의 예측 모드를 결정하는 단계;
    상기 예측 모드가 소정의 모드임에 기반하여 상기 현재 블록의 잔차 블록을 부호화하기 위한 변환 커널을 선택하는 단계; 및
    결정된 상기 변환 커널을 이용하여 상기 현재 블록에 대한 비분리 1차 변환을 수행함으로써 상기 현재 블록의 잔차 블록을 부호화하는 단계를 포함하는
    비트스트림 전송 방법.
PCT/KR2022/014977 2021-10-05 2022-10-05 비분리 1차 변환에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체 Ceased WO2023059056A1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
US18/690,669 US20250203113A1 (en) 2021-10-05 2022-10-05 Non-separable primary transform-based image encoding/decoding method and device, and recording medium for storing bitstream
EP22878877.4A EP4415362A4 (en) 2021-10-05 2022-10-05 IMAGE ENCODING/DECODING METHOD AND DEVICE BASED ON NON-SEPARABLE PRIMARY TRANSFORM, AND RECORDING MEDIUM FOR STORING BIT STREAM
CN202280067472.1A CN118056406A (zh) 2021-10-05 2022-10-05 基于不可分离主变换的图像编码/解码方法和设备及存储比特流的记录介质

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US202163252155P 2021-10-05 2021-10-05
US63/252,155 2021-10-05
US202163272673P 2021-10-27 2021-10-27
US63/272,673 2021-10-27

Publications (1)

Publication Number Publication Date
WO2023059056A1 true WO2023059056A1 (ko) 2023-04-13

Family

ID=85803575

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2022/014977 Ceased WO2023059056A1 (ko) 2021-10-05 2022-10-05 비분리 1차 변환에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체

Country Status (3)

Country Link
US (1) US20250203113A1 (ko)
EP (1) EP4415362A4 (ko)
WO (1) WO2023059056A1 (ko)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024222411A1 (en) * 2023-04-28 2024-10-31 Mediatek Inc. Entropy coding transform blocks
WO2025150799A1 (ko) * 2024-01-08 2025-07-17 주식회사 엘엑스 세미콘 변환 기반 영상 코딩 방법 및 그 장치
WO2025157235A1 (en) * 2024-01-24 2025-07-31 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
WO2025199802A1 (zh) * 2024-03-27 2025-10-02 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
WO2025223526A1 (en) * 2024-04-24 2025-10-30 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
WO2025237222A1 (en) * 2024-05-13 2025-11-20 Mediatek Inc. Methods and apparatus for adaptively determining transform type in image and video coding systems

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024540026A (ja) * 2021-10-25 2024-10-31 エルジー エレクトロニクス インコーポレイティド 不分離１次変換設計方法及び装置
CN119013989A (zh) * 2022-04-12 2024-11-22 Oppo广东移动通信有限公司 解码方法、编码方法、解码器以及编码器
WO2024071680A1 (ko) * 2022-09-29 2024-04-04 현대자동차주식회사 분리 불가능한 1차 변환 기반 비디오 코딩을 위한 방법 및 장치

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180103252A1 (en) * 2016-10-12 2018-04-12 Qualcomm Incorporated Primary transform and secondary transform in video coding
WO2021108027A1 (en) * 2019-11-27 2021-06-03 Tencent America LLC Method and apparatus for video coding
KR20210118196A (ko) * 2019-03-11 2021-09-29 엘지전자 주식회사 Ibc 모드를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
AU2018204786B2 (en) * 2018-06-29 2025-05-29 Canon Kabushiki Kaisha Method, apparatus and system for encoding and decoding a transformed block of video samples
KR20250067947A (ko) * 2018-09-02 2025-05-15 엘지전자 주식회사 영상 신호를 처리하기 위한 방법 및 장치
KR20200141700A (ko) * 2019-06-11 2020-12-21 주식회사 엑스리스 비디오 신호 처리 방법 및 장치
US11259016B2 (en) * 2019-06-30 2022-02-22 Tencent America LLC Method and apparatus for video coding
JP7402016B2 (ja) * 2019-11-06 2023-12-20 オッポ広東移動通信有限公司 画像復号装置及び画像符号化装置
CN114600455B (zh) * 2019-11-26 2025-10-17 韩国电子通信研究院 图像编码/解码方法和设备以及存储比特流的记录介质
WO2023051637A1 (en) * 2021-09-29 2023-04-06 Beijing Bytedance Network Technology Co., Ltd. Method, device, and medium for video processing
US11997258B2 (en) * 2021-09-29 2024-05-28 Qualcomm Incorporated Candidate lists of multiple reference lines for video coding
US12114014B2 (en) * 2021-10-01 2024-10-08 Tencent America LLC Secondary transforms for compound inter-intra prediction modes

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20180103252A1 (en) * 2016-10-12 2018-04-12 Qualcomm Incorporated Primary transform and secondary transform in video coding
KR20210118196A (ko) * 2019-03-11 2021-09-29 엘지전자 주식회사 Ibc 모드를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021108027A1 (en) * 2019-11-27 2021-06-03 Tencent America LLC Method and apparatus for video coding

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
See also references of EP4415362A4 *
X. LI (ALIBABA-INC), R.-L. LIAO (ALIBABA-INC), J. CHEN (ALIBABA-INC), Y. YE (ALIBABA): "EE2-3.1: Combination of CIIP and DIMD/TIMD", 136. MPEG MEETING; 20211011 - 20211015; ONLINE; (MOTION PICTURE EXPERT GROUP OR ISO/IEC JTC1/SC29/WG11), 30 September 2021 (2021-09-30), XP030297692 *
Y. KIDANI (KDDI), H. KATO (KDDI), K. KAWAMURA (KDDI): "AHG12: GPM with inter and intra prediction", 23. JVET MEETING; 20210707 - 20210716; TELECONFERENCE; (THE JOINT VIDEO EXPLORATION TEAM OF ISO/IEC JTC1/SC29/WG11 AND ITU-T SG.16 ), 9 July 2021 (2021-07-09), XP030296067 *

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2024222411A1 (en) * 2023-04-28 2024-10-31 Mediatek Inc. Entropy coding transform blocks
WO2025150799A1 (ko) * 2024-01-08 2025-07-17 주식회사 엘엑스 세미콘 변환 기반 영상 코딩 방법 및 그 장치
WO2025157235A1 (en) * 2024-01-24 2025-07-31 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
WO2025199802A1 (zh) * 2024-03-27 2025-10-02 Oppo广东移动通信有限公司 编解码方法、码流、编码器、解码器以及存储介质
WO2025223526A1 (en) * 2024-04-24 2025-10-30 Douyin Vision Co., Ltd. Method, apparatus, and medium for video processing
WO2025237222A1 (en) * 2024-05-13 2025-11-20 Mediatek Inc. Methods and apparatus for adaptively determining transform type in image and video coding systems

Also Published As

Publication number Publication date
US20250203113A1 (en) 2025-06-19
EP4415362A1 (en) 2024-08-14
EP4415362A4 (en) 2025-10-22

Similar Documents

Publication Publication Date Title
WO2023059056A1 (ko) 비분리 1차 변환에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2020060364A1 (ko) 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치
WO2020226424A1 (ko) Mip 및 lfnst를 수행하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2019235797A1 (ko) 축소된 변환을 이용하여 비디오 신호를 처리하는 방법 및 장치
WO2020050665A1 (ko) 비디오 신호의 부호화/복호화 방법 및 이를 위한 장치
WO2020009434A1 (ko) 이차 변환을 기반으로 비디오 신호를 처리하는 방법 및 장치
WO2016195460A1 (ko) 화면 내 예측에 대한 부호화/복호화 방법 및 장치
WO2021054796A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020251330A1 (ko) 단순화된 mpm 리스트 생성 방법을 활용하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2020013541A1 (ko) 비디오 신호를 처리하기 위한 방법 및 장치
WO2020060244A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2018101685A1 (ko) 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장한 기록 매체
WO2020050668A1 (ko) 영상 신호를 처리하기 위한 방법 및 장치
WO2020213931A1 (ko) 레지듀얼 계수의 차분 부호화를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2023282625A1 (ko) 비분리 1차 변환에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 저장하는 기록 매체
WO2021060844A1 (ko) 팔레트 모드를 이용한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021096290A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021172914A1 (ko) 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
WO2020141904A1 (ko) 영상 신호 부호화/복호화 방법 및 이를 위한 장치
WO2020159316A1 (ko) 이차 변환에 기반한 영상 코딩 방법 및 그 장치
WO2020251328A1 (ko) 인트라 예측 모드 변환에 기반한 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021096293A1 (ko) 변환에 기반한 영상 코딩 방법 및 그 장치
WO2021006697A1 (ko) 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치
WO2021060847A1 (ko) 컬러 포맷에 기반하여 분할 모드를 결정하는 영상 부호화/복호화 방법, 장치 및 비트스트림을 전송하는 방법
WO2021040410A1 (ko) 레지듀얼 코딩에 대한 영상 디코딩 방법 및 그 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 22878877

Country of ref document: EP

Kind code of ref document: A1

WWE Wipo information: entry into national phase

Ref document number: 202280067472.1

Country of ref document: CN

WWE Wipo information: entry into national phase

Ref document number: 202417034888

Country of ref document: IN

WWE Wipo information: entry into national phase

Ref document number: 2022878877

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2022878877

Country of ref document: EP

Effective date: 20240506

WWP Wipo information: published in national office

Ref document number: 18690669

Country of ref document: US