WO2009049533A1 - Procédé de codage et de décodage vidéo et codec correspondant basé sur le mode de saut de mouvement - Google Patents

Procédé de codage et de décodage vidéo et codec correspondant basé sur le mode de saut de mouvement Download PDF

Info

Publication number
WO2009049533A1
WO2009049533A1 PCT/CN2008/072622 CN2008072622W WO2009049533A1 WO 2009049533 A1 WO2009049533 A1 WO 2009049533A1 CN 2008072622 W CN2008072622 W CN 2008072622W WO 2009049533 A1 WO2009049533 A1 WO 2009049533A1
Authority
WO
WIPO (PCT)
Prior art keywords
macroblock
block
current
image
view
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/CN2008/072622
Other languages
English (en)
French (fr)
Inventor
Sixin Lin
Haitao Yang
Yilin Chang
Junyan Huo
Shan Gao
Lianhuan Xiong
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to EP08839871A priority Critical patent/EP2207351A4/en
Publication of WO2009049533A1 publication Critical patent/WO2009049533A1/zh
Priority to US12/761,200 priority patent/US20100220791A1/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/46—Embedding additional information in the video signal during the compression process
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/503—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving temporal prediction
    • H04N19/51—Motion estimation or motion compensation
    • H04N19/513—Processing of motion vectors
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/597—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding specially adapted for multi-view video sequence encoding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/60—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding
    • H04N19/61—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using transform coding in combination with predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards

Definitions

  • Video codec method based on motion skip mode and codec thereof
  • the present invention relates to the field of video codec technology, and more particularly to a video codec method based on a motion skip mode and a codec thereof.
  • multi-view video coding can be realized simply by independently encoding and transmitting each view video signal. This process is called video simulcast.
  • Video simulcast only uses the time correlation inside each view video signal, and the amount of data obtained increases linearly with the increase of the number of viewpoints, thus resulting in low coding efficiency.
  • the current research focus of multi-view video coding technology is how to make full use of the correlation between different view views to further remove redundant information in different view videos, thereby improving the coding efficiency of multi-view video.
  • MSM motion skip mode
  • Mot ion Ski p Mode Mot ion Ski p Mode
  • the macroblock motion information referred to above includes a macroblock division mode of 16x16 blocks, each of the macroblocks
  • MSM is mainly divided into two processes:
  • MMI Macro block Motion Inf orbit
  • FIG. 1 it is a schematic diagram of the derivation process of the existing GDV.
  • a macroblock of 16x16 pixels is used as a basic unit, and is set as an anchor frame in the MVC, that is, a global disparity vector GDV between the coded image inside the block in FIG. 1 and the inter-view reference image, and the GDV will be encoded and transmitted.
  • the global disparity vectors GDV A and GDV B of the anchor frames ImgA and ImgB may be respectively used, and the global disparity vector GDV eur of the non-anchor frame Imgcur is derived according to the following formula (1).
  • P0C A , P0C B and P0C eur are respectively image serial numbers of a set of multi-view videos with ImgA, ImgB and Imgcur having the same time coordinate.
  • GDV GDV, + ⁇ x (GDV B - GDV A ) Formula ( 1 )
  • POC B - POC after determining that the current encoded image Imgcur global disparity vector GDV ⁇ , can Imgcur each macroblock ⁇ ⁇ the view-point reference video image corresponding to the macro block MB cor the determination GD ⁇ "is determined according to, and ⁇ ⁇ macroblock using the motion information as the motion information of the macroblock ⁇ ⁇ , in order motion information of the macroblock MB rar for subsequent motion compensation, and to find the corresponding reference frame for prediction process corresponding macro block in the view, to give residue
  • the difference data, the last calculation of the macroblock MB eM uses the overhead of the MSM mode RDCos tMBcur, MSM. If the calculated overhead RDCos tMBcur of the macroblock MB eM is smaller than the corresponding mode overhead of other macroblocks, the MSM is selected as the The final mode of the macroblock MBcur.
  • the current coded image has two inter-view reference images. If one of the inter-view reference images cannot provide valid macroblock motion information for the current macroblock ⁇ ⁇ ⁇ 3 ⁇ 4 in the coded frame, then another reference between the inter-view reference images is used.
  • the macroblock motion information is used to measure whether the MSM mode is the final mode of the current macroblock ⁇ ⁇ . As shown in FIG.
  • the encoding end needs to add a flag (mot i on_ sk i p_f lag ) to the code stream of the macroblock level, and if the flag is 1, it indicates The current macroblock uses the MSM mode.
  • the MSM selects the used macroblock motion information from the motion information of all the inter-view reference images in a fixed priority selection order.
  • the macroblock motion information of the low priority inter-view reference image cannot be effectively utilized.
  • the prior art has correspondingly improved the MSM, and proposes that each macroblock in the current coded image is based on the principle of using the MSM mode cost and the rate distortion cost RDCos tMBcur RDCos t, between all viewpoints.
  • the improved MSM scheme can flexibly select macroblock motion information for the current macroblock in the case where the current coded picture has a plurality of inter-view reference pictures, thereby improving the efficiency of the MVC.
  • both the existing MSM technology and the improved MSM technology are based on a 16 ⁇ 16 pixel macroblock as a basic unit for deriving the GDV and deriving the reference image.
  • the macroblock motion information of the corresponding position so there is a possibility that the global disparity vector GDV between the current encoded image and the inter-view reference image cannot be accurately obtained, and the macroblock of the corresponding position of the current encoded macroblock in the inter-view reference image cannot be accurately obtained.
  • the problem of motion information is based on a 16 ⁇ 16 pixel macroblock as a basic unit for deriving the GDV and deriving the reference image.
  • Embodiments of the present invention provide a video encoding and decoding method based on a motion skip mode and a codec thereof, so as to more accurately obtain macroblock motion information of a corresponding position of a current reference macroblock in a reference image between viewpoints, thereby improving motion skipping.
  • the coding efficiency of the mode is a function of the mode.
  • An embodiment of the present invention provides a multi-view video coding method based on a motion skip mode, including: deriving a pointing of a disparity vector of a current image relative to a view reference image according to a block smaller than 16 ⁇ 16 pixels as a basic unit. Determining a corresponding reference block of the current macroblock to be encoded in the view reference image; and referring to the motion information of the macroblock where the determined corresponding reference block is located, encoding the current macroblock to be encoded.
  • the embodiment of the present invention further provides a multi-view video decoding method based on a motion skip mode, including: deriving a pointing of a disparity vector of a current image relative to a view reference image according to a block smaller than 16 x 16 pixels as a basic unit. And determining a corresponding reference block of the current macroblock to be decoded in the view reference image; and referring to the motion information of the macro block where the corresponding reference block is derived, deriving the current macroblock to be decoded.
  • the embodiment of the present invention further provides a multi-view video encoder based on a motion skip mode, comprising: a parallax for deriving a current image relative to a view reference image according to a block smaller than 16 ⁇ 16 pixels as a basic unit. Point of vector, determining a unit of the corresponding reference block of the current macroblock to be encoded in the view reference image; a unit for encoding the current macroblock to be encoded with reference to the motion information of the macroblock in which the determined corresponding reference block is located.
  • the embodiment of the present invention further provides a multi-view video decoder based on a motion skip mode, comprising: a parallax for deriving a current image relative to a view reference image according to a block smaller than 16 ⁇ 16 pixels as a basic unit. Point of the vector, a unit for determining a corresponding reference block of the current macroblock to be decoded in the view reference image; a unit for decoding the current macroblock to be decoded by referring to the motion information of the macroblock in which the corresponding reference block is derived.
  • An embodiment of the present invention further provides a multi-view video coding method based on a motion skip mode, including: according to each view reference image of a current image, according to a block smaller than 16 x 16 pixels a basic unit, deriving a direction of a global disparity vector of the current image relative to the view reference image, determining a corresponding reference block of the current macroblock to be encoded in each view reference image; and determining, according to the determined current macroblock to be encoded, at each view reference image
  • the motion information of the macroblock in which the corresponding reference block is located is used to perform motion skip mode coding measurement on the current macroblock to be coded; according to the respective measurement results, an optimal one is selected from each macroblock according to the rate distortion performance optimal criterion. And referring to the motion information of the selected macroblock, encoding the current macroblock to be encoded, and carrying the view reference image flag where the selected macroblock is located in the encoded code stream.
  • the embodiment of the present invention further provides a multi-view video decoding method based on a motion skip mode, including: decoding a view reference image flag carried in a received coded stream; and using a block smaller than 16 x 16 pixels as a basic unit, Deriving a reference of a disparity vector of the current image relative to the disparity vector of the view reference image, determining a corresponding reference block in the view reference image of the acquired view reference image flag identifier of the currently to be decoded macroblock; referring to the determined macroblock of the corresponding reference block Motion information, decoding the current macroblock to be decoded.
  • An embodiment of the present invention further provides a multi-view video encoder based on a motion skip mode, including: used to derive a current current reference image for a current image according to a block smaller than 16 ⁇ 16 pixels as a basic unit. Determining, with respect to the pointing of the disparity vector of the view reference image, a unit of the corresponding reference block of the current macroblock to be encoded in each view reference image; for determining a corresponding reference in the respective view reference image based on the determined current macroblock to be encoded a motion information of a macroblock in which the block is located, a unit for performing motion skip mode coding measurement on the current macroblock to be coded; for selecting an optimal one of each macroblock according to the respective measurement result according to the rate distortion performance optimal criterion a unit of a macroblock; a unit for referring to the motion information of the selected macroblock, encoding a current macroblock to be encoded, and carrying the view reference image flag where the selected macroblock is located in the encoded code stream.
  • An embodiment of the present invention further provides a multi-view video decoder based on a motion skip mode, including: a unit for decoding a view reference image flag carried in a received coded stream; for using a ratio based on a ratio of 16 ⁇ 16 pixels
  • the block is used as a basic unit, and the orientation of the obtained current image relative to the disparity vector of the viewpoint reference image is derived, and the viewpoint reference image of the currently acquired macroblock to be acquired is determined.
  • a unit of the corresponding reference block in the view reference image the unit for decoding the current macroblock to be decoded with reference to the motion information of the macro block in which the determined corresponding reference block is located.
  • the embodiment of the present invention further provides a multi-view video coding method based on a motion skip mode, including: deriving a direction of a disparity vector of a current image relative to a view reference image according to a block smaller than 16 x 16 pixels as a basic unit.
  • the embodiment of the present invention further provides a multi-view video decoding method based on a motion skip mode, including: deriving a pointing of a disparity vector of a current image relative to a view reference image according to a block smaller than 16 x 16 pixels as a basic unit. Determining a corresponding reference block of the current macroblock to be decoded in the view reference image; decoding the offset information carried in the received coded stream; and deviating from the determined corresponding reference block according to the offset information The corresponding offset is obtained by shifting the corresponding offset, and the current macroblock to be decoded is decoded by referring to the motion information of the obtained macroblock.
  • the embodiment of the present invention further provides a multi-view video encoder based on a motion skip mode, comprising: a parallax for deriving a current image relative to a view reference image according to a block smaller than 16 ⁇ 16 pixels as a basic unit.
  • Point of vector determining a unit of a corresponding reference block of the current macroblock to be encoded in the view reference image; for using motion information of each macroblock composed of each basic unit block within a prescribed range of the determined corresponding reference block periphery And a unit for performing motion skip mode coding measurement on the current macroblock to be coded; and, according to the respective measurement result, selecting an optimal macroblock unit from a range defined by the reference block according to a rate distortion performance optimal criterion And means for encoding the current macroblock to be encoded with reference to the motion information of the selected macroblock.
  • the embodiment of the present invention further provides a multi-view video decoder based on a motion skip mode, including: a current image derived according to a block smaller than 16 ⁇ 16 pixels as a basic unit. Determining, with respect to the pointing of the disparity vector of the view reference image, a unit of the corresponding reference block of the current macroblock to be decoded in the view reference image; means for decoding the offset information carried in the received coded stream; And according to the offset information, offsetting a corresponding offset in the determined corresponding reference block to obtain a corresponding macroblock, and a unit for decoding the current macroblock to be decoded by referring to motion information of the obtained macroblock. .
  • An embodiment of the present invention further provides a multi-view video coding method based on a motion skip mode, including: performing, for each view reference image of a current image: deriving a current current based on a block smaller than 16 x 16 pixels as a basic unit Determining, with respect to the pointing of the disparity vector of the view reference image, a corresponding reference block of the current macroblock to be encoded in the view reference image; using each macro of each basic unit block within a prescribed range of the determined corresponding reference block periphery Motion information of the block, performing motion skip mode measurement on the current macroblock to be coded; according to the respective measurement results, selecting an optimal macroblock from a predetermined range around the reference block according to a rate distortion performance optimal criterion; The motion information of the macroblock selected in each view reference image is subjected to motion skip mode coding measurement for the current macroblock to be coded; according to the respective measurement results, the rate distortion performance optimal criterion is used in each view reference image. Select an optimal macroblock from the selected
  • the current macroblock to be encoded is encoded with reference to the motion information of the selected macroblock, and the view reference image flag in which the selected macroblock is located is carried in the encoded code stream.
  • the embodiment of the present invention further provides a multi-view video decoding method based on a motion skip mode, including: decoding a view reference image flag carried in a received coded stream; and using a block smaller than 16 x 16 pixels as a basic unit, Deriving a reference of a disparity vector of the current image with respect to the disparity vector of the view reference image, determining a corresponding reference block in the view reference image of the acquired view reference image flag identifier of the currently to be decoded macroblock; decoding the received code stream to carry Offset information; according to the offset information, offsetting the corresponding offset in the determined corresponding reference block to obtain a corresponding macroblock, and referring to the motion information of the obtained macroblock, to be currently decoded
  • the macro block is decoded.
  • the embodiment of the invention further provides a multi-view video encoder based on a motion skip mode, comprising: a reference image for each view of the current image, according to a ratio based on a ratio of 16 X 16 pixels Determining, as a basic unit, a direction of a disparity vector of the current image relative to the view reference image, determining a unit of the corresponding reference block of the current macroblock to be encoded in the view reference image; The motion information of each macroblock consisting of each basic unit block, the unit for performing motion skip mode measurement on the current macroblock to be coded; for using the rate measurement performance optimal criterion according to the respective measurement results a unit for selecting an optimal macroblock within a predetermined range of the reference block; a unit for performing motion skip mode coding measurement on the currently to-be-coded macroblock using motion information of the macroblock selected in each view reference image And selecting, according to the respective measurement results, a unit of an optimal macroblock from among macroblocks selected in each view reference image according to a rate distortion performance optimal
  • An embodiment of the present invention further provides a multi-view video decoder based on a motion skip mode, including: a unit for decoding a view reference image flag carried in a received coded stream; for using a ratio based on a ratio of 16 ⁇ 16 pixels a block as a basic unit, deriving a direction of a disparity vector of the current image relative to the view reference image, and determining a unit of the corresponding reference block in the view reference image of the acquired view reference image flag identifier of the currently to be decoded macroblock; And a unit for decoding the offset information carried in the received coded stream, configured to: according to the offset information, offset the corresponding offset in the determined corresponding reference block to obtain a corresponding macroblock, and Referring to the motion information of the obtained macroblock, a unit that decodes the current macroblock to be decoded.
  • the embodiment of the present invention further provides a video coding method based on a motion skip mode, including: deriving a direction of a motion vector of a current image relative to an adjacent frame image according to a block smaller than 16 ⁇ 16 pixels as a basic unit. Determining a corresponding reference block of the current to-be-coded macroblock in the adjacent frame image; and encoding the current to-be-coded macroblock with reference to the motion information of the determined macroblock in which the corresponding reference block is located.
  • the embodiment of the present invention further provides a video decoding method based on a motion skip mode, including: deriving a direction of a motion vector of a current image relative to an adjacent frame image according to a block smaller than 16 ⁇ 16 pixels as a basic unit.
  • the embodiment of the present invention further provides a video encoder based on a motion skip mode, comprising: a method for deriving a motion vector of a current image relative to an adjacent frame image according to a block smaller than 16 ⁇ 16 pixels as a basic unit. Pointing to, determining, by the unit of the corresponding reference block of the current to-be-coded macroblock in the adjacent frame image; means for encoding the current macroblock to be encoded with reference to the motion information of the macroblock in which the determined corresponding reference block is located.
  • the embodiment of the present invention further provides a video decoder based on a motion skip mode, comprising: a method for deriving a motion vector of a current image relative to an adjacent frame image according to a block smaller than 16 ⁇ 16 pixels as a basic unit. And a unit for determining a corresponding reference block of the current macroblock to be decoded in the adjacent frame image; a unit for decoding the current macroblock to be decoded by referring to the motion information of the macroblock in which the determined corresponding reference block is located.
  • the embodiment of the present invention further provides a video coding method based on a motion skip mode, including: deriving a direction of a motion vector of a current image relative to an adjacent frame image according to a block smaller than 16 ⁇ 16 pixels as a basic unit.
  • the motion skip mode is measured; according to the respective measurement results, an optimal macroblock is selected from a range defined by the reference block according to a rate distortion performance optimal criterion; and the current to-be-coded macro is referenced to the motion information of the selected macroblock.
  • the block is encoded.
  • the embodiment of the present invention further provides a video decoding method based on a motion skip mode, including: deriving a direction of a motion vector of a current image relative to an adjacent frame image according to a block smaller than 16 ⁇ 16 pixels as a basic unit. Determining a corresponding reference block of the current to-be-decoded macroblock in the adjacent frame image; decoding the offset information carried in the received encoded code stream; and deviating from the determined corresponding reference block according to the offset information The corresponding offset is obtained by shifting the corresponding offset, and the current macroblock to be decoded is decoded by referring to the motion information of the obtained macroblock.
  • the embodiment of the present invention further provides a video encoder based on a motion skip mode, comprising: a method for deriving a current image relative to a phase according to a block smaller than 16 ⁇ 16 pixels as a basic unit. Pointing the motion vector of the adjacent frame image, determining a unit of the corresponding reference block of the current macroblock to be encoded in the adjacent frame image; for using each of the basic unit blocks within the specified range around the determined corresponding reference block a unit for performing motion skip mode measurement on the current macroblock to be coded according to the motion information of the macroblocks; and selecting, according to the respective measurement results, an optimal one from a predetermined range around the reference block according to a rate distortion performance optimal criterion a unit of a macroblock; a unit for encoding a current macroblock to be encoded with reference to motion information of the selected macroblock.
  • the embodiment of the present invention further provides a video decoder based on a motion skip mode, comprising: a method for deriving a motion vector of a current image relative to an adjacent frame image according to a block smaller than 16 ⁇ 16 pixels as a basic unit. And a unit for determining a corresponding reference block of the current macroblock to be decoded in the adjacent frame image; a unit for decoding the offset information carried in the received encoded code stream; and for using the offset information, And offsetting the corresponding offset in the determined corresponding reference block to obtain a corresponding macroblock, and referring to the motion information of the obtained macroblock, a unit that decodes the current macroblock to be decoded.
  • the GDV is deduced by using a block smaller than 16 16 pixels as a basic unit, and the derivation of the macroblock motion information in the reference image between the inter-view reference pictures of the currently coded macroblock, so that the current coding can be obtained more accurately.
  • the global disparity vector GDV between the image and the inter-view reference image, and the macroblock motion information of the corresponding position in the inter-view reference image of the currently encoded macroblock are more accurately obtained.
  • a specified macroblock motion information search area is given in the viewpoint reference image, and the corresponding macroblock motion information can be more accurately found in the inter-view reference image for each macroblock in the encoded image, thereby improving the MVC. Coding efficiency;
  • the embodiment of the present invention achieves full use of motion information in all inter-view reference images by finding the best-performing macroblock motion information among the plurality of inter-view reference images. , thereby further improving the coding efficiency of MVC.
  • 1 is a schematic diagram of a derivation process of a conventional GDV
  • 2 is a schematic diagram of a coded image having two reference images between viewpoints
  • FIG. 3 is a schematic diagram of a derivation process of reference picture macroblock motion information between views according to an embodiment of the present invention
  • FIG. 4a is a schematic diagram of a first combination mode of a reference macroblock according to an embodiment of the present invention
  • 4b is a schematic diagram of a second combination mode of a reference macroblock according to an embodiment of the present invention.
  • 4c is a schematic diagram of a third combination mode of a reference macroblock in an embodiment of the present invention.
  • 4d is a schematic diagram of a fourth combination mode of a reference macroblock in an embodiment of the present invention.
  • the solution of the embodiment of the present invention is applied to the video coding standard H.264/AVC and the joint multi-view video coding model based on the H.264/AVC standard (JMVM, the motion information of the Joint Mul t iview Video image macroblock includes macroblocks. Type, reference picture index (Ref ldx ) and motion vector (mv ), etc.
  • JMVM the motion information of the Joint Mul t iview Video image macroblock includes macroblocks. Type, reference picture index (Ref ldx ) and motion vector (mv ), etc.
  • the MSM mode in the prior art uses 16 ⁇ 16 image blocks as a basic unit, and uses macroblock motion information of each macro block as a whole.
  • the embodiment proposes to use an image block smaller than 16 ⁇ 16 pixels as a basic unit, and the following embodiment is explained by using an 8 ⁇ 8 pixel block as a basic unit, but it is not excluded that other blocks smaller than 16 ⁇ 16 pixels are implemented as basic units.
  • the motion information of 4 spatially adjacent 8x8 image blocks can be combined to form a new 16x16 pixel size macroblock motion information, thereby obtaining more candidate macroblock motion information, thereby effectively improving
  • the implementation precision of MSM. Meta therefore, in order to maintain the consistency of the operation precision, it is necessary to derive the global based on the image block of 8x8 size. Difference vector GDV.
  • deriving the global disparity vector GDV based on the 8x8 pixel size can only roughly reflect the depth features of the main image object in the image scene, so based on the derived GDV, the corresponding macroblock in the inter-view reference image of the current coded macroblock is found. The accuracy of the motion information needs to be further improved.
  • the embodiment of the present invention proposes to locate the search range of an adjacent view centering on the image block pointed by the GDV, and perform MSM on the current coded image block based on the motion information of each macro block in the search range respectively.
  • the coding measures, and selects one of the optimal macroblocks according to the rate-distortion performance optimal criterion, and uses the motion information of the selected macroblock as the motion information of the corresponding macroblock in the inter-view reference image of the current coded macroblock.
  • the corresponding macroblock of the current coded macroblock in the inter-view reference image can be accurately found, and the motion information of the optimal macroblock is used to perform MSM coding measurement processing on the current coded macroblock, thereby greatly improving the MVC. Coding efficiency.
  • the offset position information of the used macroblock in the reference image needs to be written into the encoded code stream of the current coded macroblock.
  • a plurality of inter-view reference images are always sorted according to a fixed priority.
  • the macroblock motion information in the higher priority inter-view reference image is preferentially used.
  • the current coded block will match more accurate macroblock motion information in the lower priority inter-view reference image, or there is a lower priority inter-view reference image. More accurate macroblock motion information may be provided.
  • the pre-coded image when specifically coding each of the macroblocks, respectively, uses the optimal macroblock motion information in the inter-view reference image of the macroblock to perform MSM encoding measurement processing on the current macroblock, and according to the rate distortion
  • the performance optimal criterion selects an optimal macroblock from which the motion information of the selected macroblock is used as the macroblock motion information finally used by the currently coded macroblock, and in the process of encoding the current macroblock, the selected macroblock is selected.
  • the reference picture flag information in which the macro block is located is written to the coded code stream.
  • Step 1 Before encoding the current image, using the image block of 8 x 8 pixels as a basic unit, the global disparity vector GDV of the current image and the inter-view reference image block is calculated according to the following formula (2).
  • Equation (3) Ir is the reference image, Ic is the current encoded image, w and h are the width and height of the image; i, j represents the horizontal and vertical coordinates of the pixel in the image; y takes the integer pixel value, indicating Ir and The global disparity of integer pixel precision between Ic.
  • the global disparity vector GDV value calculated above requires encoding transmission, so it is necessary to modify the slice level syntax in the encoded code stream.
  • JMVM when the encoded image has only two inter-view reference images, one is assumed to be in the reference list L0 and the other is in the reference list L1, so al-dis arity-blk-10 is added in the slice-level syntax [ Compldx] and global _dis par ty_blk_ 11 [compldx] two syntax elements respectively representing the global disparity vector of the encoded image and the reference list L 0 and the inter-view reference image in the reference list L 1 , as shown in the global disparity vector GDV in Table 1 below. It is derived based on an image block of 8x8 pixels.
  • Step 2 deriving the macroblock motion information of the current coded macroblock in the reference image between the viewpoints.
  • the inter-view reference image is divided into 8x8 pixel image block sets, and is based on 8x8 image blocks.
  • the unit describes the reference image coordinates.
  • FIG. 3 it is a schematic diagram of a derivation process of reference picture macroblock motion information between views according to an embodiment of the present invention, wherein a solid line indicates a macroblock partition of a size of 16 ⁇ 16 pixels, and a dashed line indicates an image block partition of an 8 ⁇ 8 pixel size, in the reference image.
  • the shaded area is a preset macroblock motion information search range SR8 based on 8x8 pixel size.
  • the top left 8x8 block position between the reference viewpoint image block corresponding to the 8x8 pixel size based on the GDV derived image block obtained, determined according to the currently encoded macro block MB k are denoted as 0 ⁇ 3 ⁇ 4 ⁇ (reference block).
  • new macroblock motion information MM/ is synthesized in the 16x16 image block indicated by each offset coordinate point (x, y) in the above-mentioned search range SR8. S , thereby obtaining all candidate macroblock motion information of the currently coded macroblock
  • MM 0Smt ⁇ MM OSmk (x, y) ⁇ x, ye [-2, 2] ⁇ If the macroblock motion information in the reference picture searches for a macroblock ⁇ 3 ⁇ 4 ' in the range SR8 and a macroblock identified by the solid line The division is coincident. As shown in FIG. 4a, the macroblock motion information of the macroblock can be directly used as the corresponding macroblock motion information of the current coded macroblock MBk in the inter-view reference image. Otherwise, the original macroblock motion information in the inter-view reference image needs to be split, and the corresponding macroblock motion information of the current coded macroblock MBk in the inter-view reference image is obtained based on the recombination of the split image block, as shown in FIG. 4 b, Figure 4c and Figure 4d.
  • the macroblock mode needs to be re-specified according to the combination of the relevant original macroblock mode and the new macroblock motion information.
  • the macroblock mode reassignment process is based on the original macroblock boundary. For example, for the macroblock motion information combination manner in FIG. 4b, according to the respective motion modes mod and mod of the left macroblock MB L and the right macroblock 3 ⁇ 4, the combined macroblock is redesignated according to the combination rule in Table 2 below. Sport mode mode.
  • the symbols SKIP, 16x16, 16x8, 8x16, 8x8 and INTRA used in Table 2 correspond to the skip mode in the H.264/AVC standard, 16x16 inter prediction mode, 16x8 inter prediction mode, 8x16 inter prediction mode, 8x8, respectively. Inter prediction mode and intra prediction mode.
  • the macroblock mode allocation rules in the remaining macroblock motion information combination modes can be derived by analogy.
  • the macroblock motion information combination mode implementation mode enables the codec terminal to specify a range around the reference block.
  • the innermost traversal to an optimal macroblock motion information is used as a reference for encoding the current macroblock, so that the MVC efficiency can also be improved.
  • Step three based on all the candidate macroblock motion information MW obtained in the above step 2.
  • S respectively performing MSM encoding measurement processing on the current coded macroblock by using each candidate macroblock motion information, and selecting the optimal macroblock motion information as the current coded macroblock according to the rate distortion performance optimization criterion, in the inter-viewpoint reference image Corresponding to the macroblock motion information, and recording the offset of the selected macroblock motion information relative to ⁇ , denoted as OS MBk .
  • Step 4 when the current image has multiple inter-view reference images, repeat the above three steps for each inter-view reference image of the current image, and based on each optimal macroblock motion information selected in all inter-view reference images Performing MSM encoding measurement processing on the current coded macroblock, and selecting an optimal macroblock motion information according to the rate distortion performance optimization criterion, as the current coded macroblock, the corresponding macroblock motion information in the reference image between the viewpoints, and Record the position of the selected best macroblock 03 ⁇ 4, and the reference mark of the reference image between the viewpoints where the selected macroblock is located.
  • Step 5 for each of the currently coded macroblocks MBk , the tag information obtained in step 3 and step 4 above (including Etc.) Write the encoded code stream. If it is a block of 8 ⁇ 8 size as a basic unit for GDV derivation and derivation of reference image macroblock motion information between viewpoints, it can also be marked in the coded stream to mark MSM processing based on 8 ⁇ 8 pixels. The size of the block is carried out, of course, the size of the basic unit block used by the codec can be negotiated in advance.
  • motion_skip_flag which is used to mark the GDV derivation with the block of 8 ⁇ 8 size as the basic unit and the reference block macroblock motion information derivation between the viewpoints
  • motion_info-off set.blk [compldx] the flag for the inter-view reference picture in the selected position of the macroblock motion information 03 ⁇ 4 3 ⁇ 4
  • motion_ref-view-dir when the flag has a plurality of inter-view reference picture in the current image, the selected viewpoint Reference image mark.
  • the decoding process at the decoder side is as follows:
  • Step 1 parsing the MSM mode related syntax elements from the received code stream, and the specific possible package Including global _dis pari ty_blk_ 10 [compldx] ,
  • Step 2 If the motion_skip_flag obtained by the parsing is 1, it can be determined that the encoding end is encoded by the motion skip mode, and in the motion skip mode, the block of 8 ⁇ 8 size is used as the basic unit for GDV derivation and It is derived from the reference image macroblock motion information between the viewpoints.
  • the selected inter-view reference image when the current image has multiple inter-view reference images is determined, and according to the corresponding reference image in the determined reference image GDV (global_disparity_blk_10 or global_disparity_blk_ll) and the parsed syntax element motion_info_off set_blk [compldx] determine the position of the macroblock motion information selected in the inter-view reference image, and finally derive the current image block using the same method as the encoding end.
  • Corresponding macroblock motion information in the inter-view reference image as the macroblock motion information referenced by the currently decoded macroblock.
  • Step 3 Decode the current coded macroblock by using the derived macroblock motion information.
  • the macroblock mode allocation rules used in deriving the macroblock motion information as shown in the above FIGS. 4a to 4d may also have various variations. If the macroblock motion information can be directly constructed according to the position indicated by the global disparity vector GDV, if the position OS MBt of the global disparity vector GDV is in the upper right corner of a macroblock, the right block and the right macroblock of the macroblock are used. The left block constructs a new macroblock as the macroblock motion information to be used, as shown in Figure 4b. At this time, it is not necessary to transmit the offset information of the recombined macroblock and the position block indicated by the global disparity vector GDV.
  • the embodiment of the present invention can also be applied to a single-view reference image video codec, in which a position of a current coded image in a view reference image is uniquely specified in a single-view reference image video codec process, and only at the current to be coded
  • the skip mode can be used for encoding processing.
  • the current macroblock motion information to be encoded may also be input based on all the combined macroblock motion information in the search range determined in the view image.
  • the line motion skip mode coding measurement process selects an optimal macroblock motion information from the rate distortion performance optimization criterion as the reference macroblock motion information for encoding the current macroblock to be coded, and moves the selected macroblock motion.
  • the position information of the information in the viewpoint image is written into the encoded code stream.
  • the MSM-based video encoding and decoding scheme proposed by the embodiment of the present invention can be extended from multi-view video coding parallel to single-view video coding, and a shiftable skip mode portion is added in the original skip mode.
  • Improve the coding efficiency which is embodied in:
  • the derivation of the GDV is performed using a block smaller than 16 x 16 pixels as a basic unit, and the derivation of macroblock motion information in the reference image between the inter-view reference pictures of the currently coded macroblock, the current coded image can be obtained more accurately.
  • the global disparity vector GD V between the reference image and the inter-view reference image, and the macroblock motion information of the corresponding position in the inter-view reference image of the currently encoded macroblock are more accurately obtained.
  • a smaller block can be used as a basic unit for deriving the GDV, and a derivation of the macroblock motion information of the currently coded macroblock in the inter-view reference image, for example, 4 x 4, 2
  • the block of the size of ⁇ 2 is subjected to the above-described derivation and the like as a basic unit.
  • the corresponding macroblock motion information can be accurately found in the inter-view reference image for each macroblock in the encoded image, thereby improving the coding efficiency of the MVC;
  • the embodiment of the present invention achieves full use of all inter-view reference images by finding the best-performing macroblock motion information among the plurality of inter-view reference images. Motion information, which further improves the coding efficiency of MVC.
  • the macroblock motion information combination mode proposed according to the embodiment of the present invention can also improve the coding efficiency of the MVC.
  • the second, third and fourth improvement points proposed by the solution of the embodiment of the present invention can be combined with the improvement point one according to the specific implementation situation on the basis of the first improvement point. use.
  • a person skilled in the art can understand that all or part of the process of implementing the above embodiment method can be completed by a computer program to instruct related hardware, and the program can be stored in a computer readable storage medium. In execution, the flow of an embodiment of the methods as described above may be included.
  • the storage medium may be a magnetic disk, an optical disk, a Read-Only Memory (ROM), or a Random Acces s Memory (RAM).
  • embodiments of the present invention also provide several forms of encoders and decoders.
  • the encoder provided by the embodiment of the present invention may include: determining, according to a block smaller than 16 ⁇ 16 pixels, a direction of the disparity vector of the current image relative to the view reference image. a unit of a corresponding reference block of a current macroblock to be encoded in a view reference image; a unit for encoding a current macroblock to be encoded with reference to motion information of a macroblock in which the determined corresponding reference block is located.
  • the encoder provided by the embodiment of the present invention may further include: for each view reference image for the current image, according to a block smaller than 16 x 16 pixels as a basic unit, the derived current image is compared with respect to Determining, by the pointing of the disparity vector of the view reference image, a unit of a corresponding reference block of the current macroblock to be encoded in each view reference image; a macro for determining a corresponding reference block in each view reference image based on the determined current to-be-coded macroblock a motion information of the block, a unit for performing motion skip mode coding measurement on the current macroblock to be coded; for selecting an optimal macroblock from each macroblock according to the respective measurement result according to the rate distortion performance optimal criterion And a unit for referring to the motion information of the selected macroblock, encoding a current macroblock to be encoded, and carrying the view reference image flag where the selected macroblock is located in the encoded code stream.
  • the encoder provided by the embodiment of the present invention may further include: a direction for deriving a disparity vector of the current image relative to the view reference image according to a block smaller than 16 ⁇ 16 pixels as a basic unit. Determining a unit of a corresponding reference block of the current macroblock to be encoded in the view reference image; for using the motion information of each macroblock composed of each basic unit block within a predetermined range of the determined corresponding reference block periphery, Coded macroblock for motion skip mode coding measurement a unit for selecting an optimal macroblock from a range defined by the reference block according to the rate measurement performance optimal criterion according to the respective measurement results; for referring to the motion information of the selected macroblock, A unit that encodes a current macroblock to be encoded.
  • the encoder provided by the embodiment of the present invention may further include: for each view reference image for the current image, according to a block smaller than 16 x 16 pixels as a basic unit, the derived current image is relative Determining, by the pointing of the disparity vector of the view reference image, a unit of the corresponding reference block of the current macroblock to be encoded in the view reference image; for each of the basic unit blocks within the specified range of the use of the determined corresponding reference block periphery The motion information of the macroblocks, the unit for performing the motion skip mode measurement on the current macroblock to be coded; and, according to the respective measurement results, selecting an optimal one from the predetermined range around the reference block according to the rate distortion performance optimal criterion a unit of a macroblock; a unit for performing motion skip mode coding measurement on a current macroblock to be coded using motion information of a macroblock selected in each view reference image; Rate Distortion Performance Optimal Criteria Select one of the macroblocks selected from each viewpoint reference image a unit of
  • the encoder provided by the embodiment of the present invention may further include: a direction for deriving a motion vector of the current image relative to an adjacent frame image according to a block smaller than 16 ⁇ 16 pixels as a basic unit. And determining, by the unit, the unit of the corresponding reference block in the adjacent frame image of the current macroblock to be encoded; the unit for encoding the current macroblock to be encoded by referring to the motion information of the macroblock in which the determined corresponding reference block is located.
  • the encoder provided by the embodiment of the present invention may further include: a direction for deriving a motion vector of the current image relative to an adjacent frame image according to a block smaller than 16 ⁇ 16 pixels as a basic unit. Determining a unit of a corresponding reference block of the current macroblock to be encoded in the adjacent frame image; for using the motion information of each macroblock composed of each basic unit block within a predetermined range of the determined corresponding reference block periphery a unit for performing motion skip mode measurement on the macroblock to be coded; for determining a range from the reference block periphery according to the rate measurement performance optimal criterion according to the respective measurement result A unit for selecting an optimal macroblock; a unit for encoding a current macroblock to be encoded with reference to motion information of the selected macroblock.
  • the decoder provided by the embodiment of the present invention includes: a direction for deriving a disparity vector of the current image relative to the view reference image according to a block smaller than 1 6 x 16 pixels as a basic unit, determining a unit of the corresponding reference block of the current macroblock to be decoded in the view reference image; a unit for decoding the current macroblock to be decoded, with reference to the motion information of the macroblock in which the corresponding reference block is derived.
  • the decoder provided by the embodiment of the present invention includes: a unit for decoding a view reference image flag carried in the received coded stream; and is configured to use a block smaller than 16 ⁇ 16 pixels as a basic unit. Deriving a direction of a disparity vector of the current image with respect to the disparity vector of the view reference image, determining a unit of the corresponding reference block in the view reference image of the acquired view reference image flag identifier of the currently to be decoded macroblock; a corresponding reference for the reference determination The motion information of the macroblock in which the block is located, the unit that decodes the current macroblock to be decoded.
  • the decoder provided by the embodiment of the present invention includes: a direction for deriving a disparity vector of a current image relative to a view reference image according to a block smaller than 16 6 pixels as a basic unit, determining a unit of a corresponding reference block of a current macroblock to be decoded in a view reference image; a unit for decoding offset information carried in the received coded stream; for determining the offset information according to the The offset corresponding to the offset in the corresponding reference block obtains the corresponding macroblock, and the unit that decodes the current macroblock to be decoded with reference to the motion information of the obtained macroblock.
  • the decoder provided by the embodiment of the present invention includes: a unit for decoding a view reference image flag carried in the received coded stream; and is configured to use a block smaller than 16 ⁇ 16 pixels as a basic unit. Deriving a direction of a disparity vector of the current image relative to the disparity vector of the view reference image, determining a unit of the corresponding reference block in the view reference image of the acquired view reference image flag identifier of the currently to be decoded macro block; for decoding the received code a unit of offset information carried in the code stream; configured to offset, according to the offset information, a corresponding offset in the determined corresponding reference block a unit that decodes the current macroblock to be decoded, to the corresponding macroblock, and the motion information of the obtained macroblock.
  • the decoder provided by the embodiment of the present invention includes: a direction for deriving a motion vector of a current image relative to an adjacent frame image according to a block smaller than a 16 6 pixel as a basic unit. a unit for determining a corresponding reference block of the current macroblock to be decoded in the adjacent frame image; a unit for decoding the current macroblock to be decoded with reference to the motion information of the macroblock in which the determined corresponding reference block is located.
  • the decoder provided by the embodiment of the present invention includes: a direction for deriving a motion vector of a current image relative to an adjacent frame image according to a block smaller than a 16 6 pixel as a basic unit. a unit for determining a corresponding reference block of a current macroblock to be decoded in an adjacent frame image; a unit for decoding offset information carried in the received encoded code stream; for using the offset information, Determining the offset corresponding to the offset in the corresponding reference block to obtain a corresponding macroblock, and referring to the motion information of the obtained macroblock, the unit that decodes the current macroblock to be decoded.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Description

基于运动跳跃模式的视频编解码方法及其编解码器 技术领域
本发明涉及视频编解码技术领域， 更具体的涉及一种基于运动跳跃模式 的视频编解码方法及其编解码器。
背景技术
随着多媒体通信技术的发展， 人们不再满足于传统的固定视点视觉以及
2D平面视觉， 在娱乐、 教育、 观光和外科医学等许多应用领域中出现了对自 由视点视频和 3D视频的需求。 例如能够由观看者选择视角的自由视点电视 ( FTV, Free view-po int Te levi s ion ), 以及为处于不同位置观看者播放不 同视角视频的立体视觉电视（ 3DTV, 3 Dimens iona l Te levi s ion )0 上述应用 都要求使用多个摄像机在不同的空间位置上以不同的角度同时获取同一场景 的视频信号， 并有效的对所获得的一组视频信号进行压缩编码和传输。 所获 得的这一组视频被称为多视点视频， 而对它们进行压缩编码这一过程则被称 为多视点视频编码（MVC, Mul t i-view Video Coding )。 显然多视点视频编码 技术是实现上述所有自由视点视频类和 3D视频类应用的一项关键技术。
在多视点视频编码技术中， 可以简单的通过对每一视点视频信号独立的 编码传输来实现多视点视频编码， 这个过程称为视频联播。 视频联播仅仅利 用了每一视点视频信号内部的时间相关性， 所得到的数据量随视点数量增加 而线性增长， 所以导致编码效率较低。 当前多视点视频编码技术的研究重点 在于如何充分利用不同视点视图之间的相关性， 进一步去除不同视点视频中 的冗余信息， 从而提高多视点视频的编码效率。
为了提高多视点视频的编码效率， 目前提出了运动跳跃模式（ MSM, Mot ion Ski p Mode )用于多视点间的预测， MSM技术利用相邻视点视图中运动的高度 相似性， 将相邻视点视图中的运动信息直接用于当前视点视图的编码， 这样 可以省去编码图像中某些宏块运动信息所需的比特开销， 从而提高了 MVC的压 缩效率。
上述所指的宏块运动信息包括 16x16块的宏块划分模式， 宏块中每一个
8x8像素精度的块分割模式， 宏块中每一个 8x8块的参考图像索引， 以及宏块 中每一个 4x4块的运动矢量。 MSM主要分为两个处理过程：
1 )推导全局视差矢量（GDV, Globa l Di s par i ty Vector );
2 )推导参考图像中对应位置的宏块运动信息（MMI , Macro block Mot ion Inf orma t ion )。
如图 1所示， 为现有 GDV的推导过程示意图。 首先将 16x16像素的宏块作为 基本单元， 设定为 MVC中的锚定帧， 也就是图 1中方框内部的编码图像与视点 间参考图像间的全局视差矢量 GDV, 该 GDV将被编码传输。 可以分别使用锚定 帧 ImgA与 ImgB的全局视差矢量 GDVA与 GDVB, 依据下述公式（1 )推导非锚定帧 Imgcur的全局视差矢量 GDVeur。 其中 P0CA, P0CB与 P0Ceur分别为一组多视点视频 中与 ImgA, ImgB与 Imgcur具有相同时间坐标的图像序列号。
POC - POC,
GDV„r = GDV, + ■x (GDVB - GDVA) 公式（ 1 )
POCB - POC 在确定当前编码图像 Imgcur的全局视差矢量 GDV ^之后， 可以根据该确定 的 GD ^„确定 Imgcur中每一个宏块 ΜΒεΜ在视点间参考视频图像中的对应宏块 MBcor, 并使用 ΜΒεΜ的宏块运动信息作为 ΜΒεΜ的宏块运动信息， 以此运动信息对 宏块 MBrar作后续的运动补偿，并在视图内找到对应参考帧的对应宏块作预测处 理， 得到残差数据， 最后计算该宏块 MBeM使用该 MSM模式的开销 RDCos tMBcur, MSM。若计算得到的该宏块 MBeM的开销 RDCos tMBcur小于其它宏块的对应模式开 销， 则 MSM被选定为该宏块 MBcur的最终模式。
假设当前编码图像有两个视点间参考图像， 若其中一个视点间参考图像 无法为编码帧中当前宏块 ΜΒεΜ·¾供有效的宏块运动信息时，则使用另一个视点 间参考图像中的宏块运动信息来衡量 MSM模式是否为该当前宏块 ΜΒεΜ的最终模 式。 如图 2所示， 为编码图像有两个视点间参考图像时的示意图， 位于 S1 /T2 位置的图像 B 3 , 首先使用 S 0/T2位置的图像 B2推导当前宏块 MBcM的宏块运动信 息， 若 B2中对应宏块使用帧内模式编码， 则进而转而使用位于 S2/T2位置的图 像 B2推导当前宏块 MBcur的宏块运动信息。
为了使解码端能够获知图像中每一个宏块是否使用了 MSM模式， 编码端需 要在宏块级的编码码流中加入标记（mot i on_ sk i p_f lag ), 若该标志为 1 , 则 标明当前宏块使用了 MSM模式。
如上述图 2所示情况， 若当前编码图像有多个视点间参考图像时， MSM会 按照固定的优先级选择顺序从所有视点间参考图像的运动信息中选择所使用 的宏块运动信息， 因此导致不能有效的利用低优先级视点间参考图像的宏块 运动信息。 针对这种情况， 现有技术对 MSM进行了相应改进， 提出为当前编码 图像中的每一个宏块， 依据使用 MSM模式的开销即率失真代价 RDCos tMBcur RDCos t最优的原则， 在所有视点间参考图像中对应宏块的宏块运动信息中选 择最佳宏块运动信息， 并在编码图像中的每一个宏块编码码流中添加视点间 参考图像选择标志， 以通过该标志通知解码器端当前宏块的宏块运动信息所 属的视点间参考图像信息。
该改进的 MSM方案能够在当前编码图像具有多个视点间参考图像的情况 下， 灵活的选择用于当前宏块的宏块运动信息， 从而可以提高 MVC的效率。
但是， 在实现本发明的过程中， 发明人发现： 无论是现有的 MSM技术还是 改进后的 MSM技术， 均是以 16 X 16像素的宏块作为基本单元来进行推导 GDV, 以及推导参考图像中对应位置的宏块运动信息， 因此这样存在不能准确的得 到当前编码图像与视点间参考图像间的全局视差矢量 GDV、 以及不能准确得到 当前编码宏块在视点间参考图像中对应位置的宏块运动信息的问题。
此外， 由于 GDV准确度较低， 这样使用 GDV并不能够准确的找到当前编码 图像中每一宏块在视点间参考图像中的对应宏块， 因此从 GD V指向的对应宏块 中得到的宏块运动信息准确度相应也就比较低。 发明内容
本发明实施例提供一种基于运动跳跃模式的视频编解码方法及其编解码 器， 以更为准确的得到当前编码宏块在视点间参考图像中对应位置的宏块运 动信息， 从而提高运动跳跃模式的编码效率。
本发明实施例提出一种基于运动跳跃模式的多视点视频编码方法， 包括： 按照基于比 16 X 16像素小的块作为基本单位， 推导得到的当前图像相对于视 点参考图像的视差矢量的指向， 确定当前待编码宏块在视点参考图像中的对 应参考块； 参照所述确定的对应参考块所在宏块的运动信息， 对当前待编码 宏块进行编码。
本发明实施例还提出一种基于运动跳跃模式的多视点视频解码方法， 包 括： 按照基于比 16 x 16像素小的块作为基本单位， 推导得到的当前图像相对 于视点参考图像的视差矢量的指向， 确定当前待解码宏块在视点参考图像中 的对应参考块； 参照推导得到的对应参考块所在宏块的运动信息， 对当前待 解码宏块进行解码。
本发明实施例还提出一种基于运动跳跃模式的多视点视频编码器， 包括： 用于按照基于比 16 X 1 6像素小的块作为基本单位， 推导得到的当前图像 相对于视点参考图像的视差矢量的指向， 确定当前待编码宏块在视点参考图 像中的对应参考块的单元； 用于参照所述确定的对应参考块所在宏块的运动 信息， 对当前待编码宏块进行编码的单元。
本发明实施例还提出一种基于运动跳跃模式的多视点视频解码器， 包括： 用于按照基于比 16 X 1 6像素小的块作为基本单位， 推导得到的当前图像 相对于视点参考图像的视差矢量的指向， 确定当前待解码宏块在视点参考图 像中的对应参考块的单元； 用于参照推导得到的对应参考块所在宏块的运动 信息， 对当前待解码宏块进行解码的单元。
本发明实施例还提出一种基于运动跳跃模式的多视点视频编码方法， 包 括： 针对当前图像的各个视点参考图像， 按照基于比 16 x 16像素小的块作为 基本单位， 推导得到的当前图像相对于视点参考图像的全局视差矢量的指向， 确定当前待编码宏块在各个视点参考图像中的对应参考块； 基于确定的当前 待编码宏块在各个视点参考图像中的对应参考块所在宏块的运动信息， 对当 前待编码宏块进行运动跳跃模式编码衡量； 根据所述各个衡量结果， 按照率 失真性能最优准则， 从各宏块中选择一个最优的宏块； 参照所述选择的宏块 的运动信息， 对当前待编码宏块进行编码， 并将所述选择的宏块所在的视点 参考图像标志携带在编码码流中。
本发明实施例还提出一种基于运动跳跃模式的多视点视频解码方法， 包 括： 解码接收到的编码码流中携带的视点参考图像标志； 按照基于比 16 x 16 像素小的块作为基本单位， 推导得到的当前图像相对于视点参考图像的视差 矢量的指向， 确定当前待解码宏块在获取的视点参考图像标志标识的视点参 考图像中的对应参考块； 参照确定的对应参考块所在宏块的运动信息， 对当 前待解码宏块进行解码。
本发明实施例还提出一种基于运动跳跃模式的多视点视频编码器， 包括： 用于针对当前图像的各个视点参考图像， 按照基于比 16 X 16像素小的块 作为基本单位， 推导得到的当前图像相对于视点参考图像的视差矢量的指向， 确定当前待编码宏块在各个视点参考图像中的对应参考块的单元； 用于基于 确定的当前待编码宏块在各个视点参考图像中的对应参考块所在宏块的运动 信息， 对当前待编码宏块进行运动跳跃模式编码衡量的单元； 用于根据所述 各个衡量结果， 按照率失真性能最优准则， 从各宏块中选择一个最优的宏块 的单元； 用于参照所述选择的宏块的运动信息， 对当前待编码宏块进行编码， 并将所述选择的宏块所在的视点参考图像标志携带在编码码流中的单元。
本发明实施例还提出一种基于运动跳跃模式的多视点视频解码器， 包括： 用于解码接收到的编码码流中携带的视点参考图像标志的单元； 用于按 照基于比 16 X 16像素小的块作为基本单位， 推导得到的当前图像相对于视点 参考图像的视差矢量的指向， 确定当前待解码宏块在获取的视点参考图像标 志标识的视点参考图像中的对应参考块的单元； 用于参照确定的对应参考块 所在宏块的运动信息， 对当前待解码宏块进行解码的单元。
本发明实施例还提出一种基于运动跳跃模式的多视点视频编码方法， 包 括： 按照基于比 16 x 16像素小的块作为基本单位， 推导得到的当前图像相对 于视点参考图像的视差矢量的指向， 确定当前待编码宏块在视点参考图像中 的对应参考块； 使用确定的对应参考块周边规定范围内的、 由各个基本单位 块组成的每个宏块的运动信息， 对当前待编码宏块进行运动跳跃模式编码衡 量； 根据所述各个衡量结果， 按照率失真性能最优准则从所述参考块周边规 定范围内选择一个最优的宏块； 参照所述选择的宏块的运动信息， 对当前待 编码宏块进行编码。
本发明实施例还提出一种基于运动跳跃模式的多视点视频解码方法， 包 括： 按照基于比 16 x 16像素小的块作为基本单位， 推导得到的当前图像相对 于视点参考图像的视差矢量的指向， 确定当前待解码宏块在视点参考图像中 的对应参考块； 解码接收到的编码码流中携带的偏移量信息； 按照所述偏移 量信息， 在所述确定的对应参考块中偏移对应的偏移量得到对应的宏块， 以 及参照该得到的宏块的运动信息对当前待解码宏块进行解码。
本发明实施例还提出一种基于运动跳跃模式的多视点视频编码器， 包括： 用于按照基于比 16 X 1 6像素小的块作为基本单位， 推导得到的当前图像 相对于视点参考图像的视差矢量的指向， 确定当前待编码宏块在视点参考图 像中的对应参考块的单元； 用于使用确定的对应参考块周边规定范围内的、 由各个基本单位块组成的每个宏块的运动信息， 对当前待编码宏块进行运动 跳跃模式编码衡量的单元； 用于根据所述各个衡量结果， 按照率失真性能最 优准则从所述参考块周边规定范围内选择一个最优的宏块的单元； 用于参照 所述选择的宏块的运动信息， 对当前待编码宏块进行编码的单元。
本发明实施例还提出一种基于运动跳跃模式的多视点视频解码器， 包括： 用于按照基于比 16 X 1 6像素小的块作为基本单位， 推导得到的当前图像 相对于视点参考图像的视差矢量的指向， 确定当前待解码宏块在视点参考图 像中的对应参考块的单元； 用于解码接收到的编码码流中携带的偏移量信息 的单元； 用于按照所述偏移量信息， 在所述确定的对应参考块中偏移对应的 偏移量得到对应的宏块， 以及参照该得到的宏块的运动信息对当前待解码宏 块进行解码的单元。
本发明实施例还提出一种基于运动跳跃模式的多视点视频编码方法， 包 括： 针对当前图像的每一个视点参考图像执行： 按照基于比 16 x 16像素小的 块作为基本单位， 推导得到的当前图像相对于视点参考图像的视差矢量的指 向， 确定当前待编码宏块在视点参考图像中的对应参考块； 使用确定的对应 参考块周边规定范围内的、 由各个基本单位块组成的每个宏块的运动信息， 对当前待编码宏块进行运动跳跃模式衡量； 根据所述各个衡量结果， 按照率 失真性能最优准则从所述参考块周边规定范围内选择一个最优的宏块； 使用 在每个视点参考图像中选择出的宏块的运动信息， 对当前待编码宏块进行运 动跳跃模式编码衡量； 根据所述各个衡量结果， 按照率失真性能最优准则从 在每个视点参考图像中选择出的宏块中选择一个最优的宏块；
参照该选择的宏块的运动信息对当前待编码宏块进行编码， 并将该选择 的宏块所在的视点参考图像标志携带在编码码流中。
本发明实施例还提出一种基于运动跳跃模式的多视点视频解码方法， 包 括： 解码接收到的编码码流中携带的视点参考图像标志； 按照基于比 16 x 16 像素小的块作为基本单位， 推导得到的当前图像相对于视点参考图像的视差 矢量的指向， 确定当前待解码宏块在获取的视点参考图像标志标识的视点参 考图像中的对应参考块； 解码接收到的编码码流中携带的偏移量信息； 按照 所述偏移量信息， 在所述确定的对应参考块中偏移对应的偏移量得到对应的 宏块， 以及参照该得到的宏块的运动信息， 对当前待解码宏块进行解码。
本发明实施例还提出一种基于运动跳跃模式的多视点视频编码器， 包括： 用于针对当前图像的每一个视点参考图像， 按照基于比 16 X 16像素小的 块作为基本单位， 推导得到的当前图像相对于视点参考图像的视差矢量的指 向， 确定当前待编码宏块在视点参考图像中的对应参考块的单元； 用于使用 确定的对应参考块周边规定范围内的、 由各个基本单位块组成的每个宏块的 运动信息， 对当前待编码宏块进行运动跳跃模式衡量的单元； 用于根据所述 各个衡量结果， 按照率失真性能最优准则从所述参考块周边规定范围内选择 一个最优的宏块的单元； 用于使用在每个视点参考图像中选择出的宏块的运 动信息， 对当前待编码宏块进行运动跳跃模式编码衡量的单元； 用于根据所 述各个衡量结果， 按照率失真性能最优准则从在每个视点参考图像中选择出 的宏块中选择一个最优的宏块的单元； 用于参照该选择的宏块的运动信息对 当前待编码宏块进行编码， 并将该选择的宏块所在的视点参考图像标志携带 在编码码流中的单元。
本发明实施例还提出一种基于运动跳跃模式的多视点视频解码器， 包括： 用于解码接收到的编码码流中携带的视点参考图像标志的单元； 用于按 照基于比 16 X 16像素小的块作为基本单位， 推导得到的当前图像相对于视点 参考图像的视差矢量的指向， 确定当前待解码宏块在获取的视点参考图像标 志标识的视点参考图像中的对应参考块的单元； 用于解码接收到的编码码流 中携带的偏移量信息的单元； 用于按照所述偏移量信息， 在所述确定的对应 参考块中偏移对应的偏移量得到对应的宏块， 以及参照该得到的宏块的运动 信息， 对当前待解码宏块进行解码的单元。
本发明实施例还提出一种基于运动跳跃模式的视频编码方法， 包括： 按 照基于比 16 X 16像素小的块作为基本单位， 推导得到的当前图像相对于相邻 帧图像的运动矢量的指向， 确定当前待编码宏块在相邻帧图像中的对应参考 块； 参照确定的对应参考块所在宏块的运动信息对当前待编码宏块进行编码。 本发明实施例还提出一种基于运动跳跃模式的视频解码方法， 包括： 按照基 于比 16 X 16像素小的块作为基本单位， 推导得到的当前图像相对于相邻帧图 像的运动矢量的指向， 确定当前待解码宏块在相邻帧图像中的对应参考块； 参照确定的对应参考块所在宏块的运动信息， 对当前待解码宏块进行解码。 本发明实施例还提出一种基于运动跳跃模式的视频编码器， 包括： 用于 按照基于比 16 X 16像素小的块作为基本单位， 推导得到的当前图像相对于相 邻帧图像的运动矢量的指向， 确定当前待编码宏块在相邻帧图像中的对应参 考块的单元； 用于参照确定的对应参考块所在宏块的运动信息对当前待编码 宏块进行编码的单元。
本发明实施例还提出一种基于运动跳跃模式的视频解码器， 包括： 用于 按照基于比 16 X 16像素小的块作为基本单位， 推导得到的当前图像相对于相 邻帧图像的运动矢量的指向， 确定当前待解码宏块在相邻帧图像中的对应参 考块的单元； 用于参照确定的对应参考块所在宏块的运动信息， 对当前待解 码宏块进行解码的单元。
本发明实施例还提出一种基于运动跳跃模式的视频编码方法， 包括： 按 照基于比 16 X 16像素小的块作为基本单位， 推导得到的当前图像相对于相邻 帧图像的运动矢量的指向， 确定当前待编码宏块在相邻帧图像中的对应参考 块； 使用确定的对应参考块周边规定范围内的、 由各个基本单位块组成的每 个宏块的运动信息对当前待编码宏块进行运动跳跃模式衡量； 根据所述各个 衡量结果， 按照率失真性能最优准则从所述参考块周边规定范围内选择一个 最优的宏块； 参照选择的宏块的运动信息， 对当前待编码宏块进行编码。
本发明实施例还提出一种基于运动跳跃模式的视频解码方法， 包括： 按 照基于比 16 X 16像素小的块作为基本单位， 推导得到的当前图像相对于相邻 帧图像的运动矢量的指向， 确定当前待解码宏块在相邻帧图像中的对应参考 块； 解码接收到的编码码流中携带的偏移量信息； 按照所述偏移量信息， 在 所述确定的对应参考块中偏移对应的偏移量得到对应的宏块， 以及参照该得 到的宏块的运动信息， 对当前待解码宏块进行解码。
本发明实施例还提出一种基于运动跳跃模式的视频编码器， 包括： 用于 按照基于比 16 X 16像素小的块作为基本单位， 推导得到的当前图像相对于相 邻帧图像的运动矢量的指向， 确定当前待编码宏块在相邻帧图像中的对应参 考块的单元； 用于使用确定的对应参考块周边规定范围内的、 由各个基本单 位块组成的每个宏块的运动信息对当前待编码宏块进行运动跳跃模式衡量的 单元； 用于根据所述各个衡量结果， 按照率失真性能最优准则从所述参考块 周边规定范围内选择一个最优的宏块的单元； 用于参照选择的宏块的运动信 息， 对当前待编码宏块进行编码的单元。
本发明实施例还提出一种基于运动跳跃模式的视频解码器， 包括： 用于 按照基于比 16 X 16像素小的块作为基本单位， 推导得到的当前图像相对于相 邻帧图像的运动矢量的指向， 确定当前待解码宏块在相邻帧图像中的对应参 考块的单元； 用于解码接收到的编码码流中携带的偏移量信息的单元； 用于 按照所述偏移量信息， 在所述确定的对应参考块中偏移对应的偏移量得到对 应的宏块， 以及参照该得到的宏块的运动信息， 对当前待解码宏块进行解码 的单元。
本发明实施例方案釆用比 1 6 16像素小的块作为基本单位来进行 GDV的 推导、 以及当前编码宏块在视点间参考图像中宏块运动信息的推导， 从而能 够更加准确的获得当前编码图像与视点间参考图像间的全局视差矢量 GDV、以 及更加准确得到当前编码宏块在视点间参考图像中对应位置的宏块运动信 息。
进而在视点参考图像中给出了一个规定的宏块运动信息搜索区域， 能够 为编码图像中每一个宏块在视点间参考图像中更为准确的找到对应的宏块运 动信息， 从而提高了 MVC的编码效率；
此外， 在当前图像具有多个视点间参考图像时， 本发明实施例通过在多 个视点间参考图像中找到性能最佳的宏块运动信息， 来实现充分利用所有视 点间参考图像中的运动信息， 从而进一步提高了 MVC的编码效率。
附图说明
图 1为现有 GDV的推导过程示意图； 图 2为编码图像有两个视点间参考图像时的示意图；
图 3为本发明实施例视点间参考图像宏块运动信息的推导过程示意图； 图 4a为本发明实施例中参考宏块的第一种组合模式示意图；
图 4b为本发明实施例中参考宏块的第二种组合模式示意图；
图 4c为本发明实施例中参考宏块的第三种组合模式示意图；
图 4d为本发明实施例中参考宏块的第四种组合模式示意图。
具体实施方式
下面以将本发明实施例方案应用在视频编码标准 H. 264/AVC以及基于 H. 264/AVC标准的联合多视点视频编码模型 ( JMVM, Joint Mul t iview Video 图像宏块的运动信息包括宏块类型， 参考图像索引 （Ref ldx )与运动向 量（mv )等。 现有技术中的 MSM模式以 16x16的图像块作为基本单元， 将每个 宏块的宏块运动信息作为一个整体使用。 本发明实施例提出使用比 16 X 16像 素小的图像块作为基本单元， 下述实施例以 8 X 8像素块作为基本单位来说明， 但不排除其他比 16 X 16像素小的块作为基本单位进行实施的情况， 这样可以 通过拼接 4个空间相邻的 8x8大小的图像块的运动信息组成新的 16x16像素大 小的宏块运动信息， 进而可以得到更多的备选宏块运动信息， 从而有效的提 高了 MSM的实施精度。 元， 因此为了保持运算精度的一致性， 需要基于 8x8大小的图像块来推导全局 视差矢量 GDV。
但是基于 8x8像素大小来推导全局视差矢量 GDV也仅能粗略的反映图像场 景中主要图像对象的深度特征， 因此基于该推导得到的 GDV来寻找当前编码宏 块在视点间参考图像中的对应宏块运动信息的准确度还需要进一步给以提 高。
通过进一步研究发现， 当前编码宏块在视点间参考图像中的对应宏块通 常不是 GDV指向的图像块， 但这个对应宏块却分布在 GDV指向的图像块的周围。 基于该基础， 本发明实施例提出以 GDV指向的图像块为中心， 给定一个相邻视 图的搜索范围， 分别基于这个搜索范围中的每个宏块的运动信息来对当前编 码图像块进行 MSM编码衡量， 并根据码率失真性能最优准则选取其中的一个最 优的宏块， 将该选择的宏块的运动信息作为当前编码宏块在视点间参考图像 中的对应宏块的运动信息。 这样就可以准确的找到当前编码宏块在视点间参 考图像中的对应宏块， 并使用这个最优的宏块的运动信息来对当前编码宏块 进行 MSM编码衡量处理， 从而可以大大提高 MVC的编码效率。 同理需要将使用 的宏块在参考图像中的的偏移位置信息写入当前编码宏块的编码码流中。
在当前编码图像存在多个视点间参考图像的情况下， 如上述图 2所示， 按 照现有技术中的 MSM处理方式， 总是会按照一个固定的优先级将多个视点间参 考图像排序， 并优先使用优先级较高的视点间参考图像中的宏块运动信息。 然而由于各视点间参考图像特性的差异， 可能当前编码块在较低优先级的视 点间参考图像中会匹配到更加准确的宏块运动信息， 或者说较低优先级的视 点间参考图像中有可能会提供更准确的宏块运动信息。 前编码图像， 在具体编码其中每一个宏块时， 分别使用该宏块在每一个视点 间参考图像中的最优宏块运动信息来对该当前宏块进行 MSM编码衡量处理， 并 根据率失真性能最优准则从中选择一个最佳的宏块， 将该选择的宏块的运动 信息作为当前编码宏块最终所使用的宏块运动信息， 并在编码该当前宏块过 程中， 将所选择的宏块所在的参考图像标志信息写入到编码码流。
下面将具体描述本发明实施例在编码器端与解码器端的具体实现方案。 编码器端， 编码器的编码流程如下：
步骤一， 在编码当前图像之前， 以 8 x 8像素大小的图像块作为基本单位， 按照下述公式（2 )计算当前图像与视点间参考图像块的全局视差矢量 GDV。 GDV = (x, y) = arg min {M4 (8 * x, 8 * }
u≤SR 公式 ( 2 ) 式中 SR为 8x8图像块的 GDV搜索范围， 函数 (x，y)表示使用当前 GDV得到 的残余信号能量大小， 具体定义如下述公式（3)所示：
Figure imgf000015_0001
公式 ( 3 ) 式中 Ir为参考图像， Ic为当前编码图像， w与 h是图像的宽度与高度； i, j表示图像中像素点的水平与垂直坐标； y取整像素值， 表示 Ir与 Ic间整像 素精度的全局视差。
上述计算得到的全局视差矢量 GDV值需要编码传输， 因此需要修改编码码 流中的片级语法。 例如以 JMVM为例， 当编码图像只有两个视点间参考图像时， 假设一个在参考列表 L0中， 另一个在参考列表 L1中， 因此在片级语法中加入 al-dis arity-blk-10 [compldx]与 global _dis pari ty_blk_ 11 [compldx]两个 语法元素， 分别表示编码图像与参考列表 L 0以及参考列表 L 1中的视点间参考 图像的全局视差矢量， 如下表 1中的全局视差矢量 GDV就以 8x8像素的图像块为 基本单位进行推导的。
表 1. JMVM条带级语法修改
s 1 ice-header ( ) { Descriptor f irst_mb-in_slice ue (v)
slice-type ue (v)
ic-enable u(l) if ( anchor-pic-f lag ) {
if ( s 1 ice_ type = = P | | slice— type
= = B ) {
f or ( compldx = 0; compldx < 2;
com Idx++ )
global-disparity-blk-10 se (v)
[ compldx ]
}
if ( ( s 1 ice-type = = B ) {
f or ( compldx = 0; compldx < 2;
com Idx++ )
global-disparity-blk-11 se (v)
[ compldx ]
}
}
pic_ arameter- set _id ue (v)
Frame_num u(v)
···
} 步骤二， 推导当前编码宏块在视点间参考图像中的宏块运动信息。 首先 将视点间参考图像划分为 8x8像素大小的图像块集合， 并以 8x8图像块为基本 单元描述参考图像坐标。
如图 3所示， 为本发明实施例视点间参考图像宏块运动信息的推导过程示 意图， 其中实线表示 16x16像素大小的宏块分割， 虚线表示 8x8像素大小的图 像块分割， 参考图像中的阴影区域为预先设定的基于 8x8像素大小的宏块运动 信息搜索范围 SR8。 进而根据上述基于 8x8像素大小图像块推导得到的 GDV , 确 定当前编码宏块 MBk中左上角 8x8块在视点间参考图像中对应块的位置， 记为 0<¾^ (参考块）。 然后再以 ><¾^为中心， 在上述的搜索范围 SR8中的每一个偏 移坐标点（x，y)指示的 16x16图像块中， 合成新的宏块运动信息 MM/。S , 从而 得到当前编码宏块的所有备选宏块运动信息
MM0Smt = {MMOSmk (x,y)\x,y e [-2, 2]} 若参考图像中的宏块运动信息搜索范围 SR8内某宏块 Α¾ '与实线所标识 的某个宏块划分重合， 如图 4a所示， 则可以将该宏块的宏块运动信息直接作 为当前编码宏块 MBk在视点间参考图像中的对应宏块运动信息。否则需要将视 点间参考图像中原宏块运动信息拆分， 基于对拆分后的图像块重新组合来得 到当前编码宏块 MBk在视点间参考图像中的对应宏块运动信息， 具体如图 4 b、 图 4c和图 4d所示。
其中在组合得到的宏块运动信息中， 宏块模式需要根据相关的原宏块模 式以及新宏块运动信息的组合方式重新指定。 该宏块模式重新指定过程基于 原宏块边界进行。 例如， 对于图 4b中的宏块运动信息组合方式， 根据左侧宏 块 MBL与右侧宏块 ¾各自的运动模式 mod 与 mod , 按照下述表 2中的组合 规则重新指定组合宏块的运动模式 mode。表 2中所使用符号 SKIP, 16x16, 16x8, 8x16, 8x8与 INTRA分别对应于 H. 264/AVC标准中的跳跃模式， 16x16帧间预测 模式， 16x8帧间预测模式， 8x16帧间预测模式， 8x8帧间预测模式与帧内预测 模式。
表 2. 宏块运动信息组合模式中的宏块模式分配规则 modeL modeR mode
SKIP
16x16 8x16
SKIP 8x16
16x16
SKIP
8x16
16x8 8x8
8x8
INTRA modeL
SKIP
16x16
16x8 8x16 8x8
8x8 16x8
8x8
INTRA modeL
SKIP
16x16
8x16 modeR
INTRA
16x8
8x8
INTRA INTRA
其余宏块运动信息组合模式中的宏块模式分配规则可以依此类推得到。 这里的宏块运动信息组合模式实现方式能够使编解码端在参考块周边规定范 围内遍历到一个最佳的宏块运动信息， 作为编码当前宏块的参考， 因此也可 以较好的提高 MVC效率。
步骤三， 基于上述步骤二中得到的所有备选宏块运动信息 MW。S , 分别 使用每个备选宏块运动信息对当前编码宏块进行 MSM编码衡量处理， 根据率失 真性能最优化准则选择最优的宏块运动信息作为当前编码宏块， 在视点间参 考图像中的对应宏块运动信息， 并记录该选择的宏块运动信息所在位置相对 于 ^^^的偏移， 记为 OSMBk。
步骤四， 在当前图像有多个视点间参考图像时， 针对当前图像的每一个 视点间参考图像重复上面三个步骤， 并基于在所有视点间参考图像中选取出 的各个最优宏块运动信息对当前编码宏块进行 MSM编码衡量处理， 根据率失真 性能最优化准则从中选择出一个最佳的宏块运动信息， 作为当前编码宏块， 在视点间参考图像中的对应宏块运动信息， 并记录该选取出的最佳宏块所在 位置 0¾ , 与该选择的宏块所在的视点间参考图像的标记 £ 。
步骤五， 对于每一个当前编码宏块 MBk, 将在上述步骤三、 步骤四中得到 的标记信息 （包括
Figure imgf000019_0001
等）写入编码码流。 如果是釆用以 8 X 8大小的块作为基本单元进行 GDV推导及其视点间参考图像宏块运动信息的 推导， 也可以在编码码流中进行标记， 以标记 MSM处理是基于 8 X 8像素大小的 块进行的， 当然也可以预先由编解码双方协商所釆用的基本单位块的大小。
基于上述编码处理， 对于 JMVM处理中宏块级语法的改动在下述表 3中给 出。 其中在语法中需要添加的语法元素有： motion_skip_flag, 用于标志是 釆用 8 X 8大小的块作为基本单元进行 GDV推导及其视点间参考图像宏块运动 信息推导的； motion_info-off set.blk [compldx] , 用于标志在视点间参考图 像中所选取的宏块运动信息的位置 0¾¾; motion_ref-view-dir, 用于标志在 当前图像具有多个视点间参考图像时， 所选择的视点间参考图像标记 。
表 3. JM VM宏块级语法修改 macroblock- layer () { Descriptor
if ( ！ anchor-pic-f lag ) {
mot ion-skip-f lag u (1) 1 ae (v)
if (mot ion-skip-f lag) {
f or ( compldx = 0; compldx < 2;
compIdx++ )
ue (v) 1 ae (v) mot ion-info-off set-blk [compldx]
If (num-non_anchor_ref s_10 [view. id] >0&&
num_non_anchor_ref s_ll [view. id] >0 ) u (1) 1 ae (v) mot ion_ref-view_dir
}
if (！ mot ion-skip-f lag) {
mb-type ue (v) 1 ae (v)
···
}
if ( MbPartPredMode ( mb-type, 0) !=
Intra-16xl6 ) {
coded-block-pattern me (v) 1 ae (v)
···
}
}
解码器端， 解码器端的解码流程如下：
步骤一， 从接收到的码流中解析得到 MSM模式相关语法元素， 具体可能包 括 global _dis pari ty_blk_ 10 [compldx] ,
global-dis ar ity-blk-11 [compldx] , mot ion_skip_f lag,
motion-info-offset-blk [compldx]与 mot ion—ref—view—dir。
步骤二， 若解析得到的 motion_skip_flag为 1, 可以判断出编码端是釆用 了运动跳跃模式进行编码处理的， 并在运动跳跃模式下釆用了 8 X 8大小的块 作为基本单元进行 GDV推导及其视点间参考图像宏块运动信息推导的。 因此可 以进一步根据解析得到的 mo t i on _ r e f _ V i ew_ d i r , 确定在当前图像具有多个视 点间参考图像时， 所选择的视点间参考图像， 并在该确定的参考图像内根据 对应的 GDV ( global_disparity_blk_10或 global_disparity_blk_ll )与解析 得到的语法元素 motion_info_off set_blk [compldx] , 确定在该视点间参考 图像中所选取的宏块运动信息的位置， 最后使用与编码端相同的方法推导得 到当前图像块在视点间参考图像中的对应宏块运动信息， 以作为当前解码宏 块所参照的宏块运动信息。
步骤三， 使用推导得到的宏块运动信息解码当前编码宏块。
此外， 如上述图 4a ~图 4d所示的推导宏块运动信息时所使用的宏块模式 分配规则还可以有多种变化形式。 如可以根据全局视差矢量 GDV所指的位置直 接构造所使用宏块运动信息，如果全局视差矢量 GDV所指位置 OSMBt在一个宏块 的右上角， 则用该宏块右边块和右边宏块的左边块构造新的宏块作为所要使 用的宏块运动信息， 具体如图 4b所示。 此时就不需再传送该重组宏块和全局 视差矢量 GDV所指位置块的偏移量信息。
此外本发明实施例也可以应用在单视点参考图像视频编解码中， 其中在 单视点参考图像视频编解码处理过程中， 当前编码图像在视点参考图像中的 位置唯一指定， 并且仅在当前待编码图像信号与预测图像信号的差值信号量 化后等于 0时， 才可以使用跳跃模式进行编码处理。
若本发明实施例应用到单视点图像视频编码处理中， 也可以基于视点图 像中确定的搜索范围内的所有组合后的宏块运动信息， 对当前待编码宏块进 行运动跳跃模式编码衡量处理， 并根据率失真性能最优化准则从中选择出一 个最佳的宏块运动信息， 作为编码当前待编码宏块的参考宏块运动信息， 并 将该选择的宏块运动信息在视点图像中的位置信息写入到编码码流中。
上面实施例介绍虽然都是基于 JMVM描述的， 然而本发明实施例技术方案 也可以基于其它各种多视点视频编码标准来实现， 其实现原理相似， 这里不 再赘述。
综上所述， 本发明实施例提出的基于 MSM的视频编解码方案可以从多视 点视频编码平行的推广到单视点视频编码， 在原先的跳跃模式中添加了可移 位的跳跃模式部分， 从而提高了编码效率， 具体体现在：
第一， 由于釆用比 16 x 16像素小的块作为基本单位来进行 GDV的推导、 以 及当前编码宏块在视点间参考图像中宏块运动信息的推导， 从而能够更加准 确的获得当前编码图像与视点间参考图像间的全局视差矢量 GD V、 以及更加准 确得到当前编码宏块在视点间参考图像中对应位置的宏块运动信息。 当然为 了更好的提高准确度， 可以釆用更小的块作为基本单位来进行 GDV的推导、 以 及当前编码宏块在视点间参考图像中宏块运动信息的推导， 例如以 4 x 4、 2 χ 2大小的块作为基本单位进行上述推导等处理。
第二， 能够为编码图像中每一个宏块在视点间参考图像中较为准确的找 到对应的宏块运动信息， 从而提高了 M VC的编码效率；
第三， 在当前编码图像具有多个视点间参考图像时， 本发明实施例通过 在多个视点间参考图像中找到性能最佳的宏块运动信息， 来实现充分利用所 有视点间参考图像中的运动信息， 从而进一步提高了 MVC的编码效率。
第四， 在给定的搜索范围内搜索最佳的宏块运动信息时， 依据本发明实 施例提出的宏块运动信息组合模式， 也可以较好的提高 MVC的编码效率。
当然， 本发明实施例方案所提出的上述第二、 第三和第四个改进点， 可 以在第一个改进点的基础上， 根据具体实施情况， 进行不同的排列组合与改 进点一进行结合使用。 本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流 程， 是可以通过计算机程序来指令相关的硬件来完成， 所述的程序可存储于 一计算机可读取存储介质中， 该程序在执行时， 可包括如上述各方法的实施 例的流程。其中，所述的存储介质可为磁碟、光盘、只读存储记忆体（ Read-Only Memory, ROM )或随机存储记忆体 ( Random Acces s Memory, RAM )等。
与本发明方法实施例相对应， 本发明实施例还提供了几种形式的编码器 和解码器。
第一种形式： 本发明实施例提供的编码器可以包括： 用于按照基于比 16 X 16 象素小的块作为基本单位， 推导得到的当前图像相对于视点参考图像的 视差矢量的指向， 确定当前待编码宏块在视点参考图像中的对应参考块的单 元； 用于参照所述确定的对应参考块所在宏块的运动信息， 对当前待编码宏 块进行编码的单元。
第二种形式： 本发明实施例提供的编码器还可包括： 用于针对当前图像 的各个视点参考图像， 按照基于比 16 x 16象素小的块作为基本单位， 推导得 到的当前图像相对于视点参考图像的视差矢量的指向， 确定当前待编码宏块 在各个视点参考图像中的对应参考块的单元； 用于基于确定的当前待编码宏 块在各个视点参考图像中的对应参考块所在宏块的运动信息， 对当前待编码 宏块进行运动跳跃模式编码衡量的单元； 用于根据所述各个衡量结果， 按照 率失真性能最优准则， 从各宏块中选择一个最优的宏块的单元； 用于参照所 述选择的宏块的运动信息， 对当前待编码宏块进行编码， 并将所述选择的宏 块所在的视点参考图像标志携带在编码码流中的单元。
第三种形式： 本发明实施例提供的编码器还可包括： 用于按照基于比 16 X 16 象素小的块作为基本单位， 推导得到的当前图像相对于视点参考图像的 视差矢量的指向， 确定当前待编码宏块在视点参考图像中的对应参考块的单 元； 用于使用确定的对应参考块周边规定范围内的、 由各个基本单位块组成 的每个宏块的运动信息， 对当前待编码宏块进行运动跳跃模式编码衡量的单 元； 用于根据所述各个衡量结果， 按照率失真性能最优准则从所述参考块周 边规定范围内选择一个最优的宏块的单元； 用于参照所述选择的宏块的运动 信息， 对当前待编码宏块进行编码的单元。
第四种形式： 本发明实施例提供的编码器还可包括： 用于针对当前图像 的每一个视点参考图像， 按照基于比 16 x 16象素小的块作为基本单位， 推导 得到的当前图像相对于视点参考图像的视差矢量的指向， 确定当前待编码宏 块在视点参考图像中的对应参考块的单元； 用于使用确定的对应参考块周边 规定范围内的、 由各个基本单位块组成的每个宏块的运动信息， 对当前待编 码宏块进行运动跳跃模式衡量的单元； 用于根据所述各个衡量结果， 按照率 失真性能最优准则从所述参考块周边规定范围内选择一个最优的宏块的单 元； 用于使用在每个视点参考图像中选择出的宏块的运动信息， 对当前待编 码宏块进行运动跳跃模式编码衡量的单元； 用于根据所述各个衡量结果， 按 照率失真性能最优准则从在每个视点参考图像中选择出的宏块中选择一个最 优的宏块的单元； 用于参照该选择的宏块的运动信息对当前待编码宏块进行 编码， 并将该选择的宏块所在的视点参考图像标志携带在编码码流中的单元。
第五种形式： 本发明实施例提供的编码器还可包括： 用于按照基于比 16 X 16 象素小的块作为基本单位， 推导得到的当前图像相对于相邻帧图像的运 动矢量的指向， 确定当前待编码宏块在相邻帧图像中的对应参考块的单元； 用于参照确定的对应参考块所在宏块的运动信息对当前待编码宏块进行编码 的单元。
第六种形式： 本发明实施例提供的编码器还可包括： 用于按照基于比 16 X 16 象素小的块作为基本单位， 推导得到的当前图像相对于相邻帧图像的运 动矢量的指向， 确定当前待编码宏块在相邻帧图像中的对应参考块的单元； 用于使用确定的对应参考块周边规定范围内的、 由各个基本单位块组成的每 个宏块的运动信息对当前待编码宏块进行运动跳跃模式衡量的单元； 用于根 据所述各个衡量结果， 按照率失真性能最优准则从所述参考块周边规定范围 内选择一个最优的宏块的单元； 用于参照选择的宏块的运动信息， 对当前待 编码宏块进行编码的单元。
本发明实施例提供的解码器可有以下几种形式：
第一种形式： 本发明实施例提供的解码器包括： 用于按照基于比 1 6 x 16 象素小的块作为基本单位， 推导得到的当前图像相对于视点参考图像的视差 矢量的指向， 确定当前待解码宏块在视点参考图像中的对应参考块的单元； 用于参照推导得到的对应参考块所在宏块的运动信息， 对当前待解码宏块进 行解码的单元。
第二种形式： 本发明实施例提供的解码器包括： 用于解码接收到的编码 码流中携带的视点参考图像标志的单元； 用于按照基于比 16 X 16象素小的块 作为基本单位， 推导得到的当前图像相对于视点参考图像的视差矢量的指向， 确定当前待解码宏块在获取的视点参考图像标志标识的视点参考图像中的对 应参考块的单元； 用于参照确定的对应参考块所在宏块的运动信息， 对当前 待解码宏块进行解码的单元。
第三种形式： 本发明实施例提供的解码器包括： 用于按照基于比 1 6 x 16 象素小的块作为基本单位， 推导得到的当前图像相对于视点参考图像的视差 矢量的指向， 确定当前待解码宏块在视点参考图像中的对应参考块的单元； 用于解码接收到的编码码流中携带的偏移量信息的单元； 用于按照所述偏移 量信息， 在所述确定的对应参考块中偏移对应的偏移量得到对应的宏块， 以 及参照该得到的宏块的运动信息对当前待解码宏块进行解码的单元。
第四种形式： 本发明实施例提供的解码器包括： 用于解码接收到的编码 码流中携带的视点参考图像标志的单元； 用于按照基于比 16 X 16象素小的块 作为基本单位， 推导得到的当前图像相对于视点参考图像的视差矢量的指向， 确定当前待解码宏块在获取的视点参考图像标志标识的视点参考图像中的对 应参考块的单元； 用于解码接收到的编码码流中携带的偏移量信息的单元； 用于按照所述偏移量信息， 在所述确定的对应参考块中偏移对应的偏移量得 到对应的宏块， 以及参照该得到的宏块的运动信息， 对当前待解码宏块进行 解码的单元。
第五种形式： 本发明实施例提供的解码器包括： 用于按照基于比 1 6 x 16 象素小的块作为基本单位， 推导得到的当前图像相对于相邻帧图像的运动矢 量的指向， 确定当前待解码宏块在相邻帧图像中的对应参考块的单元； 用于 参照确定的对应参考块所在宏块的运动信息， 对当前待解码宏块进行解码的 单元。
第六种形式： 本发明实施例提供的解码器包括： 用于按照基于比 1 6 x 16 象素小的块作为基本单位， 推导得到的当前图像相对于相邻帧图像的运动矢 量的指向， 确定当前待解码宏块在相邻帧图像中的对应参考块的单元； 用于 解码接收到的编码码流中携带的偏移量信息的单元； 用于按照所述偏移量信 息， 在所述确定的对应参考块中偏移对应的偏移量得到对应的宏块， 以及参 照该得到的宏块的运动信息， 对当前待解码宏块进行解码的单元。 发明的精神和范围。 甚至通过简单的概念扩展，可以利用全局深度信息和全局 视点差的简单转换来确定对应参考块.这样， 倘若本发明的这些修改和变型属 于本发明权利要求及其等同技术的范围之内， 则本发明也意图包含这些改动 和变型在内。

Claims

权利 要 求 书
1、 一种基于运动跳跃模式的多视点视频编码方法， 其特征在于， 包括： 按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图像相 对于视点参考图像的视差矢量的指向， 确定当前待编码宏块在视点参考图像中 的对应参考块；
参照所述确定的对应参考块所在宏块的运动信息， 对当前待编码宏块进行 编码。
2、 如权利要求 1所述的方法， 其特征在于， 在组成所述对应参考块所在宏 块的各个基本单位块处于参考图像中的不同宏块中时， 按照各基本单位块分别 所处的宏块模式组合该宏块。
3、 一种基于运动跳跃模式的多视点视频解码方法， 其特征在于， 包括： 按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图像相 对于视点参考图像的视差矢量的指向， 确定当前待解码宏块在视点参考图像中 的对应参考块；
参照推导得到的对应参考块所在宏块的运动信息， 对当前待解码宏块进行 解码。
4、 如权利要求 3所述的方法， 其特征在于， 在组成所述对应参考块所在宏 块的各个基本单位块处于参考图像中的不同宏块中时， 按照各基本单位块分别 所处的宏块模式组合该宏块。
5、 一种基于运动跳跃模式的多视点视频编码器， 其特征在于， 包括： 用于按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图 像相对于视点参考图像的视差矢量的指向， 确定当前待编码宏块在视点参考图 像中的对应参考块的单元；
用于参照所述确定的对应参考块所在宏块的运动信息， 对当前待编码宏块 进行编码的单元。
6、 一种基于运动跳跃模式的多视点视频解码器， 其特征在于， 包括： 用于按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图 像相对于视点参考图像的视差矢量的指向， 确定当前待解码宏块在视点参考图 像中的对应参考块的单元；
用于参照推导得到的对应参考块所在宏块的运动信息， 对当前待解码宏块 进行解码的单元。
7、 一种基于运动跳跃模式的多视点视频编码方法， 其特征在于， 包括： 针对当前图像的各个视点参考图像， 按照基于比 16 X 16象素像素小的块作 为基本单位， 推导得到的当前图像相对于视点参考图像的全局视差矢量的指向， 确定当前待编码宏块在各个视点参考图像中的对应参考块；
基于确定的当前待编码宏块在各个视点参考图像中的对应参考块所在宏块 的运动信息， 对当前待编码宏块进行运动跳跃模式编码衡量；
根据所述各个衡量结果， 按照率失真性能最优准则， 从各宏块中选择一个 最优的宏块；
参照所述选择的宏块的运动信息， 对当前待编码宏块进行编码， 并将所述 选择的宏块所在的视点参考图像标志携带在编码码流中。
8、 如权利要求 7所述的方法， 其特征在于， 在组成所述对应参考块所在宏 块的各个基本单位块处于参考图像中的不同宏块中时， 按照各基本单位块分别 所处的宏块模式组合该宏块。
9、 一种基于运动跳跃模式的多视点视频解码方法， 其特征在于， 包括： 解码接收到的编码码流中携带的视点参考图像标志；
按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图像相 对于视点参考图像的视差矢量的指向， 确定当前待解码宏块在获取的视点参考 图像标志标识的视点参考图像中的对应参考块；
参照确定的对应参考块所在宏块的运动信息， 对当前待解码宏块进行解码。
10、 如权利要求 9 所述的方法， 其特征在于， 在组成所述对应参考块所在 宏块的各个基本单位块处于参考图像中的不同宏块中时， 按照各基本单位块分 别所处的宏块模式组合该宏块。
11、 一种基于运动跳跃模式的多视点视频编码器， 其特征在于， 包括： 用于针对当前图像的各个视点参考图像， 按照基于比 16 X 16象素像素小的 块作为基本单位， 推导得到的当前图像相对于视点参考图像的视差矢量的指向， 确定当前待编码宏块在各个视点参考图像中的对应参考块的单元；
用于基于确定的当前待编码宏块在各个视点参考图像中的对应参考块所在 宏块的运动信息， 对当前待编码宏块进行运动跳跃模式编码衡量的单元；
用于根据所述各个衡量结果， 按照率失真性能最优准则， 从各宏块中选择 一个最优的宏块的单元；
用于参照所述选择的宏块的运动信息， 对当前待编码宏块进行编码， 并将 所述选择的宏块所在的视点参考图像标志携带在编码码流中的单元。
12、 一种基于运动跳跃模式的多视点视频解码器， 其特征在于， 包括： 用于解码接收到的编码码流中携带的视点参考图像标志的单元；
用于按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图 像相对于视点参考图像的视差矢量的指向， 确定当前待解码宏块在获取的视点 参考图像标志标识的视点参考图像中的对应参考块的单元；
用于参照确定的对应参考块所在宏块的运动信息， 对当前待解码宏块进行 解码的单元。
1 3、 一种基于运动跳跃模式的多视点视频编码方法， 其特征在于， 包括： 按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图像相 对于视点参考图像的视差矢量的指向， 确定当前待编码宏块在视点参考图像中 的对应参考块；
使用确定的对应参考块周边规定范围内的、 由各个基本单位块组成的每个 宏块的运动信息， 对当前待编码宏块进行运动跳跃模式编码衡量；
根据所述各个衡量结果， 按照率失真性能最优准则从所述参考块周边规定 范围内选择一个最优的宏块； 参照所述选择的宏块的运动信息， 对当前待编码宏块进行编码。
14、 如权利要求 1 3所述的方法， 其特征在于， 在组成宏块的各个基本单位 块处于参考图像中的不同宏块中时， 按照各基本单位块分别所处的宏块模式组 合该宏块。
15、 如权利要求 1 3所述的方法， 其特征在于， 还包括步骤：
将选择的宏块相对于对应参考块的偏移量信息编入到编码码流中。
16、 一种基于运动跳跃模式的多视点视频解码方法， 其特征在于， 包括： 按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图像相 对于视点参考图像的视差矢量的指向， 确定当前待解码宏块在视点参考图像中 的对应参考块；
解码接收到的编码码流中携带的偏移量信息；
按照所述偏移量信息， 在所述确定的对应参考块中偏移对应的偏移量得到 对应的宏块， 以及
参照该得到的宏块的运动信息对当前待解码宏块进行解码。
17、 如权利要求 16所述的方法， 其特征在于， 在组成所述确定的对应参考 块所在宏块的各个基本单位块处于参考图像中的不同宏块中时， 按照各基本单 位块分别所处的宏块模式组合该宏块。
18、 一种基于运动跳跃模式的多视点视频编码器， 其特征在于， 包括： 用于按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图 像相对于视点参考图像的视差矢量的指向， 确定当前待编码宏块在视点参考图 像中的对应参考块的单元；
用于使用确定的对应参考块周边规定范围内的、 由各个基本单位块组成的 每个宏块的运动信息， 对当前待编码宏块进行运动跳跃模式编码衡量的单元； 用于根据所述各个衡量结果， 按照率失真性能最优准则从所述参考块周边 规定范围内选择一个最优的宏块的单元；
用于参照所述选择的宏块的运动信息， 对当前待编码宏块进行编码的单元。
19、 一种基于运动跳跃模式的多视点视频解码器， 其特征在于， 包括： 用于按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图 像相对于视点参考图像的视差矢量的指向， 确定当前待解码宏块在视点参考图 像中的对应参考块的单元；
用于解码接收到的编码码流中携带的偏移量信息的单元；
用于按照所述偏移量信息， 在所述确定的对应参考块中偏移对应的偏移量 得到对应的宏块， 以及参照该得到的宏块的运动信息对当前待解码宏块进行解 码的单元。
20、 一种基于运动跳跃模式的多视点视频编码方法， 其特征在于， 包括： 针对当前图像的每一个视点参考图像执行：
按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图像相 对于视点参考图像的视差矢量的指向， 确定当前待编码宏块在视点参考图像中 的对应参考块；
使用确定的对应参考块周边规定范围内的、 由各个基本单位块组成的每个 宏块的运动信息， 对当前待编码宏块进行运动跳跃模式衡量；
根据所述各个衡量结果， 按照率失真性能最优准则从所述参考块周边规定 范围内选择一个最优的宏块；
使用在每个视点参考图像中选择出的宏块的运动信息， 对当前待编码宏块 进行运动跳跃模式编码衡量；
根据所述各个衡量结果， 按照率失真性能最优准则从在每个视点参考图像 中选择出的宏块中选择一个最优的宏块；
参照该选择的宏块的运动信息对当前待编码宏块进行编码， 并将该选择的 宏块所在的视点参考图像标志携带在编码码流中。
21、 如权利要求 20所述的方法， 其特征在于， 在组成宏块的各个基本单位 块处于参考图像中的不同宏块中时， 按照各基本单位块分别所处的宏块模式组 合该宏块。
22、 如权利要求 20所述的方法， 其特征在于， 还包括步骤： 将选择的该宏块， 相对当前待编码宏块在该宏块所在参考图像中的对应参 考块的偏移量信息编入到编码码流中。
23、 一种基于运动跳跃模式的多视点视频解码方法， 其特征在于， 包括： 解码接收到的编码码流中携带的视点参考图像标志；
按照基于比 1 6 X 16象素像素小的块作为基本单位， 推导得到的当前图像相 对于视点参考图像的视差矢量的指向， 确定当前待解码宏块在获取的视点参考 图像标志标识的视点参考图像中的对应参考块；
解码接收到的编码码流中携带的偏移量信息；
按照所述偏移量信息， 在所述确定的对应参考块中偏移对应的偏移量得到 对应的宏块， 以及
参照该得到的宏块的运动信息， 对当前待解码宏块进行解码。
24、 一种基于运动跳跃模式的多视点视频编码器， 其特征在于， 包括： 用于针对当前图像的每一个视点参考图像， 按照基于比 16 X 16象素像素小 的块作为基本单位， 推导得到的当前图像相对于视点参考图像的视差矢量的指 向， 确定当前待编码宏块在视点参考图像中的对应参考块的单元；
用于使用确定的对应参考块周边规定范围内的、 由各个基本单位块组成的 每个宏块的运动信息， 对当前待编码宏块进行运动跳跃模式衡量的单元； 用于根据所述各个衡量结果， 按照率失真性能最优准则从所述参考块周边 规定范围内选择一个最优的宏块的单元；
用于使用在每个视点参考图像中选择出的宏块的运动信息， 对当前待编码 宏块进行运动跳跃模式编码衡量的单元；
用于根据所述各个衡量结果， 按照率失真性能最优准则从在每个视点参考 图像中选择出的宏块中选择一个最优的宏块的单元；
用于参照该选择的宏块的运动信息对当前待编码宏块进行编码， 并将该选 择的宏块所在的视点参考图像标志携带在编码码流中的单元。
25、 一种基于运动跳跃模式的多视点视频解码器， 其特征在于， 包括： 用于解码接收到的编码码流中携带的视点参考图像标志的单元；
用于按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图 像相对于视点参考图像的视差矢量的指向， 确定当前待解码宏块在获取的视点 参考图像标志标识的视点参考图像中的对应参考块的单元；
用于解码接收到的编码码流中携带的偏移量信息的单元；
用于按照所述偏移量信息， 在所述确定的对应参考块中偏移对应的偏移量 得到对应的宏块， 以及参照该得到的宏块的运动信息， 对当前待解码宏块进行 解码的单元。
26、 一种基于运动跳跃模式的单视点视频编码方法， 其特征在于， 包括： 按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图像相 对于相邻帧图像的运动矢量的指向， 确定当前待编码宏块在相邻帧图像中的对 应参考块；
参照确定的对应参考块所在宏块的运动信息对当前待编码宏块进行编码。
27、 如权利要求 26所述的方法， 其特征在于， 在组成所述对应参考块所在 宏块的各个基本单位块处于参考图像中的不同宏块中时， 按照各基本单位块分 别所处的宏块模式组合该宏块。
28、 一种基于运动跳跃模式的单视点视频解码方法， 其特征在于， 包括： 按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图像相 对于相邻帧图像的运动矢量的指向， 确定当前待解码宏块在相邻帧图像中的对 应参考块；
参照确定的对应参考块所在宏块的运动信息， 对当前待解码宏块进行解码。
29、 如权利要求 28所述的方法， 其特征在于， 在组成所述对应参考块所在 宏块的各个基本单位块处于参考图像中的不同宏块中时， 按照各基本单位块分 别所处的宏块模式组合该宏块。
30、 一种基于运动跳跃模式的单视点视频编码器， 其特征在于， 包括： 用于按照基于比 16 X 1 6象素像素小的块作为基本单位， 推导得到的当前图 像相对于相邻帧图像的运动矢量的指向， 确定当前待编码宏块在相邻帧图像中 的对应参考块的单元；
用于参照确定的对应参考块所在宏块的运动信息对当前待编码宏块进行编 码的单元。
31、 一种基于运动跳跃模式的单视点视频解码器， 其特征在于， 包括： 用于按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图 像相对于相邻帧图像的运动矢量的指向， 确定当前待解码宏块在相邻帧图像中 的对应参考块的单元；
用于参照确定的对应参考块所在宏块的运动信息， 对当前待解码宏块进行 解码的单元。
32、 一种基于运动跳跃模式的单视点视频编码方法， 其特征在于， 包括： 按照基于比 1 6 X 16象素像素小的块作为基本单位， 推导得到的当前图像相 对于相邻帧图像的运动矢量的指向， 确定当前待编码宏块在相邻帧图像中的对 应参考块；
使用确定的对应参考块周边规定范围内的、 由各个基本单位块组成的每个 宏块的运动信息对当前待编码宏块进行运动跳跃模式衡量；
根据所述各个衡量结果， 按照率失真性能最优准则从所述参考块周边规定 范围内选择一个最优的宏块；
参照选择的宏块的运动信息， 对当前待编码宏块进行编码。
33、 如权利要求 32所述的方法， 其特征在于， 在组成宏块的各个基本单位 块处于参考图像中的不同宏块中时， 按照各基本单位块分别所处的宏块模式组 合该宏块。
34、 如权利要求 32所述的方法， 其特征在于， 还包括步骤：
将选择的该宏块相对于对应参考块的偏移量信息编入到编码码流中。
35、 一种基于运动跳跃模式的单视点视频解码方法， 其特征在于， 包括： 按照基于比 1 6 X 16象素像素小的块作为基本单位， 推导得到的当前图像相 对于相邻帧图像的运动矢量的指向， 确定当前待解码宏块在相邻帧图像中的对 应参考块；
解码接收到的编码码流中携带的偏移量信息；
按照所述偏移量信息， 在所述确定的对应参考块中偏移对应的偏移量得到 对应的宏块，
以及参照该得到的宏块的运动信息， 对当前待解码宏块进行解码。
36、 如权利要求 35所述的方法， 其特征在于， 在组成宏块的各个基本单位 块处于参考图像中的不同宏块中时， 按照各基本单位块分别所处的宏块模式组 合该宏块。
37、 一种基于运动跳跃模式的单视点视频编码器， 其特征在于， 包括： 用于按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图 像相对于相邻帧图像的运动矢量的指向， 确定当前待编码宏块在相邻帧图像中 的对应参考块的单元；
用于使用确定的对应参考块周边规定范围内的、 由各个基本单位块组成的 每个宏块的运动信息对当前待编码宏块进行运动跳跃模式衡量的单元；
用于根据所述各个衡量结果， 按照率失真性能最优准则从所述参考块周边 规定范围内选择一个最优的宏块的单元；
用于参照选择的宏块的运动信息， 对当前待编码宏块进行编码的单元。
38、 一种基于运动跳跃模式的单视点视频解码器， 其特征在于， 包括： 用于按照基于比 16 X 16象素像素小的块作为基本单位， 推导得到的当前图 像相对于相邻帧图像的运动矢量的指向， 确定当前待解码宏块在相邻帧图像中 的对应参考块的单元；
用于解码接收到的编码码流中携带的偏移量信息的单元；
用于按照所述偏移量信息， 在所述确定的对应参考块中偏移对应的偏移量 得到对应的宏块， 以及参照该得到的宏块的运动信息， 对当前待解码宏块进行 解码的单元。
PCT/CN2008/072622 2007-10-15 2008-10-09 Procédé de codage et de décodage vidéo et codec correspondant basé sur le mode de saut de mouvement Ceased WO2009049533A1 (fr)

Priority Applications (2)

Application Number Priority Date Filing Date Title
EP08839871A EP2207351A4 (en) 2007-10-15 2008-10-09 METHOD OF VIDEO CODING AND DECODING AND COPY BASED ON MOTION CRASHING MODE
US12/761,200 US20100220791A1 (en) 2007-10-15 2010-04-15 Video coding and decoding method and codex based on motion skip mode

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
CN200710180315.9 2007-10-15
CN200710180315.9A CN101415115B (zh) 2007-10-15 2007-10-15 基于运动跳跃模式的视频编解码方法及其编解码器

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US12/761,200 Continuation US20100220791A1 (en) 2007-10-15 2010-04-15 Video coding and decoding method and codex based on motion skip mode

Publications (1)

Publication Number Publication Date
WO2009049533A1 true WO2009049533A1 (fr) 2009-04-23

Family

ID=40567015

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/CN2008/072622 Ceased WO2009049533A1 (fr) 2007-10-15 2008-10-09 Procédé de codage et de décodage vidéo et codec correspondant basé sur le mode de saut de mouvement

Country Status (4)

Country Link
US (1) US20100220791A1 (zh)
EP (1) EP2207351A4 (zh)
CN (1) CN101415115B (zh)
WO (1) WO2009049533A1 (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109743577A (zh) * 2013-10-18 2019-05-10 华为技术有限公司 视频编解码中的块分割方式确定方法及相关装置

Families Citing this family (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20110007928A (ko) * 2009-07-17 2011-01-25 삼성전자주식회사 다시점 영상 부호화 및 복호화 방법과 장치
KR101483750B1 (ko) * 2009-07-24 2015-01-19 삼성전자주식회사 영상의 부호화 방법 및 장치, 영상 복호화 방법 및 장치
US8600179B2 (en) 2009-09-17 2013-12-03 Samsung Electronics Co., Ltd. Method and apparatus for encoding and decoding image based on skip mode
JP2012009934A (ja) * 2010-06-22 2012-01-12 Sony Corp 画像処理装置と画像処理方法
HUE072362T2 (hu) 2010-11-04 2025-11-28 Ge Video Compression Llc Blokkegyesítési és kihagyási módot támogató képkódolás
CN102025992B (zh) * 2010-11-23 2012-11-21 浙江大学 用于h.264视频解码系统中帧间预测过程的参考图像管理方法
KR101893559B1 (ko) * 2010-12-14 2018-08-31 삼성전자주식회사 다시점 비디오 부호화/복호화 장치 및 방법
KR20120095610A (ko) * 2011-02-21 2012-08-29 삼성전자주식회사 다시점 비디오의 부호화 방법 및 장치, 그 복호화 방법 및 장치
WO2012121052A1 (ja) * 2011-03-08 2012-09-13 ソニー株式会社 画像処理装置、画像処理方法、及び、プログラム
CN102137259B (zh) * 2011-04-13 2013-03-27 清华大学 双路立体视频的编码方法及装置
WO2012172634A1 (ja) * 2011-06-13 2012-12-20 株式会社東芝 画像符号化装置、画像復号化装置、方法およびプログラム
MX2014000159A (es) 2011-07-02 2014-02-19 Samsung Electronics Co Ltd Metodo y aparato para la codificacion de video, y metodo y aparato para la decodificacion de video acompañada por inter prediccion utilizando imagen co-localizada.
EP2753080A4 (en) * 2011-08-31 2015-04-29 Sony Corp ENCLOSURE DEVICE, ENCRYPTION METHOD, DECOMPOSITION DEVICE AND DECOMPOSITION METHOD
BR112014011425B1 (pt) 2011-11-11 2022-08-23 GE Video Compression, LLC. Codificação de multi-visualização eficiente utilizando estimativa e atualização de mapa por profundidade
EP3657796A1 (en) 2011-11-11 2020-05-27 GE Video Compression, LLC Efficient multi-view coding using depth-map estimate for a dependent view
WO2013072484A1 (en) 2011-11-18 2013-05-23 Fraunhofer-Gesellschaft zur Förderung der angewandten Forschung e.V. Multi-view coding with efficient residual handling
US9445076B2 (en) * 2012-03-14 2016-09-13 Qualcomm Incorporated Disparity vector construction method for 3D-HEVC
CN104604232A (zh) * 2012-04-30 2015-05-06 数码士控股有限公司 用于编码多视点图像的方法及装置,以及用于解码多视点图像的方法及装置
KR101638752B1 (ko) * 2012-07-27 2016-07-11 미디어텍 인크. 3ｄ 비디오 코딩에서 변이 벡터 도출을 제한하는 방법
EP4593395A3 (en) 2012-10-01 2025-10-01 GE Video Compression, LLC Scalable video coding using inter-layer prediction contribution to enhancement layer prediction
WO2014053090A1 (en) * 2012-10-03 2014-04-10 Mediatek Inc. Method and apparatus of disparity vector derivation and inter-view motion vector prediction for 3d video coding
US20150256845A1 (en) * 2012-10-22 2015-09-10 Humax Holding Co., Ltd. Method for predicting inter-view motion and method for determining interview merge candidates in 3d video
US10136143B2 (en) 2012-12-07 2018-11-20 Qualcomm Incorporated Advanced residual prediction in scalable and multi-view video coding
WO2014107853A1 (en) * 2013-01-09 2014-07-17 Mediatek Singapore Pte. Ltd. Methods for disparity vector derivation
CN104904219B (zh) * 2013-01-09 2018-07-06 寰发股份有限公司 块编码装置及方法
WO2014166349A1 (en) * 2013-04-10 2014-10-16 Mediatek Inc. Method and apparatus of disparity vector derivation for three-dimensional and multi-view video coding
CN105453561B (zh) * 2013-08-13 2018-10-26 寰发股份有限公司 三维以及多视图视频编码中导出默认视差向量的方法
WO2018223353A1 (zh) * 2017-06-08 2018-12-13 深圳市大疆创新科技有限公司 视频编码方法、视频解码方法及相关装置
CN113938680B (zh) * 2018-09-05 2022-11-25 华为技术有限公司 视频序列的图像译码方法和装置以及终端设备

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
CN1658673A (zh) * 2005-03-23 2005-08-24 南京大学 视频压缩编解码方法
CN1767655A (zh) * 2005-10-18 2006-05-03 宁波大学 一种多视点视频图像视差估计的方法
CN1816153A (zh) * 2005-02-04 2006-08-09 三星电子株式会社 编码和解码立体图像的方法和设备
US20070064800A1 (en) * 2005-09-22 2007-03-22 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7095786B1 (en) * 2003-01-11 2006-08-22 Neo Magic Corp. Object tracking using adaptive block-size matching along object boundary and frame-skipping when object motion is low
JP2005268879A (ja) * 2004-03-16 2005-09-29 Matsushita Electric Ind Co Ltd 画像符号化方法およびその装置
JP2006333436A (ja) * 2005-01-07 2006-12-07 Ntt Docomo Inc 動画像符号化装置、動画像復号装置、動画像符号化方法、動画像復号方法、動画像符号化プログラム、及び、動画像復号プログラム
KR100636785B1 (ko) * 2005-05-31 2006-10-20 삼성전자주식회사 다시점 입체 영상 시스템 및 이에 적용되는 압축 및 복원방법
US8325814B2 (en) * 2006-06-19 2012-12-04 Lg Electronics Inc. Method and apparatus for processing a video signal
CN101491096B (zh) * 2006-07-12 2012-05-30 Lg电子株式会社 信号处理方法及其装置
KR20080066522A (ko) * 2007-01-11 2008-07-16 삼성전자주식회사 다시점 영상의 부호화, 복호화 방법 및 장치
JP5303556B2 (ja) * 2007-08-06 2013-10-02 トムソン ライセンシング 複数のインタービュー参照ピクチャを用いたモーションスキップモードのための方法及び装置

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5612735A (en) * 1995-05-26 1997-03-18 Luncent Technologies Inc. Digital 3D/stereoscopic video compression technique utilizing two disparity estimates
CN1816153A (zh) * 2005-02-04 2006-08-09 三星电子株式会社 编码和解码立体图像的方法和设备
CN1658673A (zh) * 2005-03-23 2005-08-24 南京大学 视频压缩编解码方法
US20070064800A1 (en) * 2005-09-22 2007-03-22 Samsung Electronics Co., Ltd. Method of estimating disparity vector, and method and apparatus for encoding and decoding multi-view moving picture using the disparity vector estimation method
CN1767655A (zh) * 2005-10-18 2006-05-03 宁波大学 一种多视点视频图像视差估计的方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
"Multimedia and Expo, 2006 IEEE International Conference on, 9.July.2006 (9.7.2006)", article KITAHARA MASAKI ET AL.: "Multi-view Video Coding using View Interpolation and Reference Picture Selection", pages: 98, XP008132925 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109743577A (zh) * 2013-10-18 2019-05-10 华为技术有限公司 视频编解码中的块分割方式确定方法及相关装置

Also Published As

Publication number Publication date
CN101415115B (zh) 2011-02-02
CN101415115A (zh) 2009-04-22
EP2207351A1 (en) 2010-07-14
US20100220791A1 (en) 2010-09-02
EP2207351A4 (en) 2010-11-24

Similar Documents

Publication Publication Date Title
WO2009049533A1 (fr) Procédé de codage et de décodage vidéo et codec correspondant basé sur le mode de saut de mouvement
AU2012269583B2 (en) Method and apparatus of motion and disparity vector prediction and compensation for 3D video coding
RU2611240C2 (ru) Устройство, способ и компьютерная программа для трехмерного видеокодирования
CN105324996B (zh) 三维视频编码的视图间候选推导的方法及其装置
CN104170389B (zh) 运动向量预测器的产生方法和装置及视点间运动向量预测器候选的产生方法
CN104471941B (zh) 3d视频编码中的视图间子分割预测的方法和装置
KR101753171B1 (ko) 3ｄ 비디오 코딩에서의 간략화된 뷰 합성 예측 방법
US9961370B2 (en) Method and apparatus of view synthesis prediction in 3D video coding
CN105453561B (zh) 三维以及多视图视频编码中导出默认视差向量的方法
Chen et al. Multiview and 3D video compression using neighboring block based disparity vectors
EP2936815A1 (en) Method and apparatus of disparity vector derivation in 3d video coding
WO2015007242A1 (en) Method and apparatus of camera parameter signaling in 3d video coding
CN104919799A (zh) 用于三维视频编解码的从深度到视差矢量转换的方法和装置
JP2011077722A (ja) 画像復号装置、画像復号方法およびそのプログラム
US10075690B2 (en) Method of motion information prediction and inheritance in multi-view and three-dimensional video coding
KR20140035065A (ko) 다시점 비디오 인코딩 및 디코딩 방법 및 이를 이용한 인코딩 및 디코딩 장치
CN104768015A (zh) 视频编码方法及装置
Zhang et al. Neighboring block based disparity vector derivation for 3D-AVC
JP2012028960A (ja) 画像復号装置、画像復号方法および画像復号プログラム
KR102133936B1 (ko) ３ｄ 비디오 부호화／복호화 장치 및 부호화／복호화 방법
KR20150010249A (ko) 제한적인 움직임 정보 유도를 통한 메모리 효율성을 향상시키는 방법 및 장치
Zhao et al. Derived disparity vector based NBDV for 3D-AVC

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 08839871

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 2008839871

Country of ref document: EP