WO2020171451A1 - 센터-투-에지 점진적 영상 부호화/복호화 방법 및 장치 - Google Patents

센터-투-에지 점진적 영상 부호화/복호화 방법 및 장치 Download PDF

Info

Publication number
WO2020171451A1
WO2020171451A1 PCT/KR2020/001831 KR2020001831W WO2020171451A1 WO 2020171451 A1 WO2020171451 A1 WO 2020171451A1 KR 2020001831 W KR2020001831 W KR 2020001831W WO 2020171451 A1 WO2020171451 A1 WO 2020171451A1
Authority
WO
WIPO (PCT)
Prior art keywords
block
image
center
encoding
blocks
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2020/001831
Other languages
English (en)
French (fr)
Inventor
권오진
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Industry Academy Cooperation Foundation of Sejong University
Original Assignee
Industry Academy Cooperation Foundation of Sejong University
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Industry Academy Cooperation Foundation of Sejong University filed Critical Industry Academy Cooperation Foundation of Sejong University
Priority to US17/266,562 priority Critical patent/US20210295564A1/en
Publication of WO2020171451A1 publication Critical patent/WO2020171451A1/ko
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T9/00—Image coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/129—Scanning of coding units, e.g. zig-zag scan of transform coefficients or flexible macroblock ordering [FMO]
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/103—Selection of coding mode or of prediction mode
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/176—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a block, e.g. a macroblock
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/167—Position within a video image, e.g. region of interest [ROI]

Definitions

  • the present invention relates to a center-to-edge progressive image encoding/decoding method and apparatus, and more particularly, to a method and apparatus for encoding/decoding at least one block included in an image in an order from the center to the outer edge. will be.
  • JPEG Joint Photographic Experts Group
  • MPEG Moving Picture Experts Group
  • Another object of the present invention for solving the above problems is to provide a center-to-edge progressive image encoding/decoding apparatus.
  • the central region may include any one of an area corresponding to the user's gaze of the image or an area having a predetermined size at the center of the image.
  • the step of selecting an initial block from among at least one block included in the central region may include selecting a block located closest to the center of the central region among at least one block included in the central region as the initial block. I can.
  • the step of determining the coding paths for the plurality of blocks in the center-to-edge order from the initial block includes: the coding paths for the plurality of blocks included in the image along a clockwise or counterclockwise spiral from the initial block. It may include the step of determining.
  • the step of determining an encoding path for a plurality of blocks along a clockwise or counterclockwise spiral from the initial block includes at least one remaining block that is not included in the encoding path determined along the spiral among the plurality of blocks. , Continuously determining an encoding path for at least one remaining block from the last block included in the encoding path.
  • the determining of a coding path for at least one remaining block includes determining a coding path for at least one remaining block so that the number of non-contiguous coding paths between the remaining blocks adjacent to each other is minimized. It may include.
  • An image encoding apparatus for achieving the above other object includes a processor and a memory in which at least one instruction executed through the processor is stored, and at least one instruction, It is executed to obtain information on the central region of the image, executed to select an initial block among at least one block included in the central region, and in a center-to-edge order from the initial block. It may be executed to determine an encoding path for a plurality of blocks included in the image, and may be performed to encode an image based on the encoding path.
  • the central region may include any one of an area corresponding to the user's gaze of the image or an area having a predetermined size at the center of the image.
  • the at least one command may be executed to select a block located closest to the center of the center area among at least one block included in the center area as the initial block.
  • At least one command may be executed to determine an encoding path for a plurality of blocks included in an image along a clockwise or counterclockwise spiral from the initial block.
  • the at least one command is the encoding of at least one remaining block continuously from the last block included in the encoding path when there is at least one remaining block not included in the encoding path determined along the spiral among the plurality of blocks. It can be executed to determine the path.
  • the at least one command may be executed to determine a coding path for at least one remaining block so that the number of non-contiguous coding paths between remaining blocks adjacent to each other among the at least one remaining block is minimized.
  • a high-resolution image of an area corresponding to a user's viewport among all images may be first decoded.
  • the user's inconvenience due to transmission delay can be minimized by first decoding a region corresponding to a user's viewport.
  • FIG. 1 is a block diagram of a video encoding apparatus according to JPEG.
  • FIG. 2 is a diagram illustrating a conventional block ordering.
  • FIG. 3 is a diagram illustrating block ordering according to an embodiment of the present invention.
  • 4A and 4B are diagrams for explaining block ordering for a rectangular image according to an embodiment of the present invention.
  • FIG. 5 is a diagram illustrating block ordering for an image having two ROIs according to an embodiment of the present invention.
  • FIG. 6 is a diagram for explaining block ordering for a 360 degree image according to an embodiment of the present invention.
  • FIG. 7 is a diagram for explaining block ordering for a moving image according to an embodiment of the present invention.
  • FIG. 8 is a block diagram of an image encoding apparatus according to an embodiment of the present invention.
  • FIG. 9 is a flowchart of an image encoding method according to an embodiment of the present invention.
  • first, second, A, and B may be used to describe various elements, but the elements should not be limited by the terms. These terms are used only for the purpose of distinguishing one component from another component. For example, without departing from the scope of the present invention, a first element may be referred to as a second element, and similarly, a second element may be referred to as a first element.
  • the term "and/or" includes a combination of a plurality of related stated items or any of a plurality of related stated items.
  • the image encoding/decoding method through block ordering change may be applied to a compression method for still images, and may also be applied to a compression method for a video or moving image. It is not limited thereto.
  • an embodiment of the present invention describes a JPEG compression method for a still image as an example with reference to FIGS. 1 to 6, and an additional configuration or description for applying to a compression method for a moving image or a moving image is shown in FIG. It will be described later with 7.
  • FIG. 1 is a block diagram of a video encoding apparatus according to JPEG.
  • a Joint Photographic Experts Group (JPEG) image encoding apparatus 100 may output an image compressed in a JPEG format from an input image, and may be referred to as a JPEG encoder, and generally, a color convertor. , 110), a Discrete Cosine Transform (DCT) unit 120, a quantizer 130, and an entropy encoder 140.
  • JPEG Joint Photographic Experts Group
  • the color converter 110 may convert an image expressed in RGB (Red-Green-Blue) to YCbCr.
  • YCbCr may refer to a form in which a luminance component (luma smaple) and a chroma sample are separately stored for each pixel
  • Y may refer to a luminance component
  • Cb and Cr refer to a color difference component. can do.
  • Cb and Cr can be selectively subsampled.
  • the YCbCr sampling format or chroma subsampling type may be one of 4:4:4, 4:2:2, and 4:2:0.
  • the DCT unit 120 may perform block-based Discrete Cosine Transform (DCT) on image data expressed in YCbCr.
  • DCT Discrete Cosine Transform
  • the block-based DCT may be performed for each of Y, Cb and Cr, and may be performed for each block having a size of 8x8.
  • the DCT unit 120 may convert image data in the spatial domain into image data in the frequency domain using a cosine basis as one of the methods generally used for frequency conversion of an image.
  • DCT coefficients Can be obtained.
  • the DCT coefficient may include a DC coefficient (average component coefficient) and an AC coefficient (high frequency component coefficient), and the DCT coefficient may be rearranged into a one-dimensional vector by zigzag ordering.
  • the quantizer 130 may receive each coefficient changed into the frequency domain by the DCT unit 120 as an input value and map it to a discrete value, and as a result, obtain a quantized DCT coefficient.
  • quantization of the quantizer 130 may correspond to lossy compression, and continuous or large amounts of input data may be mapped to a few discrete symbols after quantization.
  • the compression ratio can be controlled by an input parameter, which can be referred to as a quality factor.
  • the Q factor may be referred to as an image quality factor or a quantization parameter, but is not limited thereto.
  • the one-dimensional index l can be used to represent a block located in a two-dimensional space.
  • l may mean any one of a value greater than or equal to 0 and less than L
  • L may mean the total number of 8x8 blocks in the input image.
  • k may mean any one of values greater than or equal to 0 and less than or equal to 63.
  • DC coefficient In the case where k is 0, it may be referred to as the above-described DC coefficient, and if k is not 0, it may be referred to as the above-described AC coefficient.
  • the entropy encoder 140 may receive the output of the quantizer 130 to perform entropy encoding, and as a result, obtain an image compressed in a JPEG format.
  • encoding of the entropy encoder 140 may correspond to lossless compression, and the amount of data required for expression may be minimized by variably allocating a symbol length according to a probability of occurrence of a symbol.
  • the JPEG image decoding apparatus may correspond to the JPEG image encoding apparatus, and by performing a function or operation of the image encoding apparatus inversely, a JPEG compressed image may be decoded to obtain an output image. Since the video decoding apparatus can be clearly understood by a person skilled in the art from the video encoding apparatus, a detailed description will be omitted.
  • FIG. 2 is a diagram illustrating a conventional block ordering.
  • the image encoding apparatus may divide one image into at least one block having a predetermined size, and may perform compression on each block as shown in FIG. 1.
  • the predetermined size may include an 8x8 size, but is not limited thereto.
  • Compression of each block may be performed in an order through block ordering, and conventional image encoding apparatuses generally sequentially compress a plurality of blocks according to a raster scan order.
  • the raster scan order may mean that when a plurality of blocks exist, the order of upper left, upper right, lower left and lower right is followed during block scanning.
  • the raster scan order which is the conventional block ordering, will be described with an example of one image composed of MxN blocks of a preset size for convenience of explanation.
  • M and N may mean 1 or more natural numbers.
  • an image encoding apparatus for compressing blocks according to raster scan order may sequentially perform compression from the leftmost uppermost block 1 to the rightmost uppermost block N, and then Compression may be sequentially performed from the immediately lower block (N+1) to the immediately lower block of the rightmost block. Also, the image encoding apparatus may sequentially perform compression up to the rightmost lowermost block MN in the same manner.
  • 1, 2, ..., N, N+1, ..., MN-1 and MN may mean the compression order of the corresponding block.
  • the image encoding apparatus sequentially compresses one row from left to right, and in the order of the first row, the second row, the third row, and the fourth row according to the compression order for one row. Compression can proceed.
  • image data such as panoramic images, 360-degree images, and cloud point images have been popularized, and such image data is generally a view that the real human eye sees at one point in time.
  • image data is generally a view that the real human eye sees at one point in time.
  • such a service for transmitting and displaying image data provides the user with a viewport, which is a partial image corresponding to the most central field of view in the entire image data, and is different according to input information such as moving the user's cursor.
  • a partial image can be provided to the user.
  • the image data is decoded and provided to the user, but since the image data is decoded from the leftmost uppermost block as in the encoding order, there is a problem in that the image data is decoded from a region irrelevant to the viewport region first provided to the user. This problem may be emphasized when using a network having a low full speed or providing an image having a very large size, the present invention proposes a progressive image encoding/decoding method to solve this problem.
  • FIG. 3 is a diagram illustrating block ordering according to an embodiment of the present invention.
  • At least one block included in one image may be sequentially encoded in an order from a center to an edge.
  • the center may mean any one of at least one block included in the viewport when there is information on a viewport, which is a partial area corresponding to the user's field of view or gaze information, and at least It may mean a block located at the center of one block. Also, the center may mean a block having a predetermined size located at the center among at least one block included in the image when information on the viewport does not exist.
  • at least one block included in the viewport or a block having a predetermined size located at the center may be referred to as a center area, and the center may mean a center of the center area or a block closest to the center.
  • the edge may mean an outer or border of an image, but is not limited thereto, and may mean a term used to indicate a direction outward from the center.
  • the order from the center to the edge may include an order according to a clockwise or counterclockwise spiral from the center to the edge.
  • the viewport contains 16 (4x4) blocks in the center of the image.
  • one of 16 blocks in a viewport may be set as the center to determine the first block to be coded (1), and the first block to be coded (1)
  • a block located on the left side may be determined as the second block to be coded 2
  • a block located below the second block to be coded 2 may be determined as the third block to be coded 3.
  • the center-to-edge order may include the coding order of the blocks determined as described above, but is not limited thereto, and the center viewport or ROI (Region Of Interest) may mean the order of encoding/decoding the main area as a priority and other areas of the image as second priority when providing it to the user in the image.
  • the center-to-edge order can be ordered to be continuous between adjacent blocks, but the ordering may be cut off depending on the case where there are multiple main areas or various circumstances, and discontinuous points may occur. In this case, discontinuous points may be minimized. Can be ordered to occur.
  • the center-to-edge order may be different depending on the size/shape/type of the image, the location of the viewport, and the location/number of the region of interest (ROI), and representative examples related to this are together with FIGS. I will explain later.
  • ROI region of interest
  • 4A and 4B are diagrams for explaining block ordering for a rectangular image according to an embodiment of the present invention.
  • the center-to-edge sequence according to an embodiment of the present invention is clockwise or counterclockwise from one center block of at least one block included in the viewport when the image is a rectangle. It can be determined sequentially according to the spiral of. In addition, after the center-to-edge order may be determined to be continuous with respect to the remaining blocks.
  • the viewport is not limited to a square shape, and may also have a rectangular shape.
  • the image encoding apparatus orders a clockwise or counterclockwise spiral around a viewport of an image, and continues from the last block ordered along the spiral. Therefore, it is possible to additionally order so that all the remaining blocks are not broken, and it is not limited to the shape of the viewport.
  • a square viewport can be ordered preferentially according to a clockwise spiral starting with any one block included in the viewport, and then ordered to a block outside the viewport according to the same clockwise spiral. I can. However, here, in the case of ordering according to a spiral, since the image is a rectangle, the remaining blocks that are not ordered may exist.
  • the ordering for all other blocks may vary depending on the position of the viewport on the image, and from the last block ordered according to the spiral as shown in FIG. 4, the upper block, upper block, upper block, left block, lower block, lower block and lower block 4, the order of the left block, the upper block, the upper block, the upper block, the right block, the lower block and the lower block from the last block ordered according to the spiral, unlike FIG. 4, but is limited thereto. no.
  • 4B is a diagram for explaining a center-to-edge sequence according to an embodiment of the present invention when an image is a rectangle and a viewport is a rectangle.
  • a rectangular viewport can be ordered preferentially according to a counterclockwise spiral starting with any one block included in the viewport, and continuing to a block outside the viewport according to the same counterclockwise spiral. Can be ordered.
  • the counterclockwise spiral is not limited to a spiral based on a square structure, and may include a spiral based on a rectangular structure as shown in FIG. 4B. In this case, the remaining blocks may not exist as shown in FIG. 4A.
  • FIG. 5 is a diagram illustrating block ordering for an image having two ROIs according to an embodiment of the present invention.
  • the center-to-edge order may be determined based on each of the two ROIs when the image includes two regions of interest (ROI).
  • ROI regions of interest
  • the center-to-edge order may be determined to be consecutive to any one ROI for the remaining blocks not included in the ROI.
  • the image encoding apparatus orders blocks included in ROI 1 along a clockwise or counterclockwise spiral as the center block of ROI 1, and Blocks included in ROI 2 can be ordered along a clockwise or counterclockwise spiral as the center block of.
  • the image encoding apparatus does not cut off from the last block ordered along a spiral in any one of ROI 1 and ROI 2 to all remaining blocks except for two ROIs on the image in succession. Can be ordered additionally.
  • the image encoding apparatus does not cut off from the last block ordered along a spiral in any one of ROI 1 and ROI 2 to all remaining blocks except for two ROIs on the image in succession. Can be ordered additionally.
  • FIG. 5 is an example for explaining a center-to-edge sequence according to an embodiment of the present invention when an image includes two ROIs, and the scope of the present invention is not limited thereto.
  • FIG. 6 is a diagram for explaining block ordering for a 360 degree image according to an embodiment of the present invention.
  • a center-to-edge order may be determined for an image obtained by converting a 360-degree image into a square shape.
  • the center-to-edge order can also be determined for 360-degree images converted to a shape other than a square, and can also be determined for all images that have become flat as a result of the conversion. It is not.
  • a first area composed of A2, A3, and A1 planes and a second area composed of A4, A0, and A5 planes may be continuous images or images separated from each other.
  • an area including a viewport among the two areas may be ordered first, and an area not including a viewport may be ordered later.
  • the image encoding apparatus in the center-to-edge order according to an embodiment of the present invention, from the center block of any one of the blocks included in the viewport, the outside of the first area including the viewport or It is possible to order to be continuous up to the edge, and after that, ordering may be performed for the second area, which is the remaining area.
  • the last block ordered in the first region and the first block ordered in the second region may not be consecutive, but are not limited thereto.
  • FIG. 6 is an example for explaining a center-to-edge sequence according to an embodiment of the present invention in the case of a 360-degree image, and the scope of the present invention is not limited thereto.
  • a viewport or an ROI is ordered first, and an area of an image that is not a viewport or an ROI may be ordered continuously thereafter.
  • the ordering may be determined to be continuous between adjacent blocks, but when there are adjacent blocks that cannot be continued, such adjacent blocks may be determined to be minimized.
  • FIG. 7 is a diagram for explaining block ordering for a moving image according to an embodiment of the present invention.
  • the center-to-edge order according to an embodiment of the present invention may be used not only for a still image encoding method, but also for a moving image or moving image encoding method.
  • the encoding method for a moving image may further include a prediction configuration and a subtraction configuration than the encoding method for a still image.
  • the prediction configuration may mean a configuration in which a prediction block is generated by predicting a current block to be encoded through intra prediction or inter prediction
  • the subtraction configuration is a configuration in which a residual block is generated by subtracting a prediction block from the current block.
  • a prediction block may be generated by either intra prediction or inter prediction for each of a plurality of frames included in the image, but for explanation of an embodiment of the present invention, I- Let's take a frame as an example.
  • a prediction block may be generated based on at least one of a left block, an upper block, and an upper left block of the current block through various prediction modes for the current block to be encoded in the corresponding frame.
  • the prediction block is generated based on at least one of a left block, an upper block, and an upper left block because the left block, the upper block, and the upper left block are all encoded/decoded prior to the current block according to the raster scan order.
  • the current block to be encoded is The prediction block may be generated based on a block adjacent to the current block among previously coded blocks.
  • the prediction block of the current block is not fixed to at least one of the left block, upper block, and upper left block of the current block, but the left block, upper block, upper left block, right block, upper right block, and lower block of the current block. , It may be generated based on at least one previously encoded/decoded block among the lower left block and the lower right block.
  • the apparatus for encoding a moving image or a moving image may encode a block according to a number written in the block.
  • the encoding apparatus is adjacent to the fourth block 4 in order to generate a prediction block for the fourth block 4, and the previously encoded first block 1, the second block 2, and the third block ( 3)
  • At least one of the ninth blocks (9) and the second blocks (2) adjacent to the tenth block (10) and previously coded in order to generate a prediction block for the tenth block (10) At least one of them may be used.
  • the encoding/decoding method for a moving image or a moving image includes at least one for generating a prediction block using a block adjacent to the current block and encoded before the current block as described above.
  • the prediction mode of can be further defined and used.
  • FIG. 8 is a block diagram of an image encoding apparatus according to an embodiment of the present invention.
  • an image encoding apparatus 800 may include at least one processor 810, a memory 820, and a storage device 830.
  • the image encoding apparatus according to an embodiment of the present invention may be mounted on an existing image encoding apparatus or may be separately connected, but is not limited thereto.
  • the processor 810 may execute a program command stored in the memory 820 and/or the storage device 830.
  • the processor 810 may mean a central processing unit (CPU), a graphics processing unit (GPU), or a dedicated processor in which the methods according to the present invention are performed.
  • the memory 820 and the storage device 830 may be formed of a volatile storage medium and/or a nonvolatile storage medium.
  • the memory 820 may be composed of a read-only memory (ROM) and/or a random access memory (RAM).
  • the memory 820 may store at least one instruction executed through the processor 810.
  • the at least one command is a command for obtaining information on a central region for an image, a command for selecting an initial block among at least one block included in the central region, and a center-to-edge from the initial block
  • a command for determining an encoding path for a plurality of blocks included in the image in order and a command for encoding an image based on the encoding path may be included.
  • the central region may include any one of an area corresponding to the user's gaze of the image or an area having a predetermined size at the center of the image.
  • the command for selecting an initial block from among at least one block included in the central area may include a command for selecting a block located closest to the center of the central area among at least one block included in the central area as the initial block. I can.
  • the command for determining encoding paths for a plurality of blocks in a center-to-edge order from an initial block is an encoding path for a plurality of blocks included in an image along a clockwise or counterclockwise spiral from the initial block. May contain instructions to determine.
  • the command for determining an encoding path for a plurality of blocks along a clockwise or counterclockwise spiral from the initial block is when there is at least one remaining block not included in the encoding path determined along the spiral among the plurality of blocks.
  • the command for determining the coding path for at least one remaining block is an command for determining the coding path for at least one remaining block so that the number of non-contiguous coding paths between the remaining blocks adjacent to each other is minimized. It may include.
  • FIG. 9 is a flowchart of an image encoding method according to an embodiment of the present invention.
  • the image encoding apparatus may acquire information on a central region of an image (S910).
  • the center area may mean a viewport when there is a viewport, which is an area corresponding to the user's gaze, and when there is no viewport, it may mean an area of a predetermined size at the center of the image.
  • the central region may mean an ROI when at least one region of interest (ROI) exists, but is not limited thereto.
  • ROI region of interest
  • the image encoding apparatus may select an initial block within the central region (S920).
  • the initial block may be selected as a block located closest to the center or the center of the center area among at least one block included in the center area, and may be arbitrarily selected, but is not limited thereto.
  • the apparatus for encoding an image may determine an encoding path for the plurality of blocks in a center-to-edge order from the initial block (S930), and may encode an image based on the encoding path. Yes (S940).
  • the center-to-edge order may mean an order of encoding from the center of the image to the outer or edge of the image, and encoding that is determined from the initial block to the outer or edge of the image along a clockwise or counterclockwise spiral It can mean order.
  • the encoding path may be determined along a spiral from the initial block to the outer edge or edge of the image.
  • the coding path is not included from the last block of the coding path determined along the spiral.
  • An encoding path can be continuously determined for the remaining blocks.
  • the encoding path may be determined to be continuous or not to be interrupted, but in order to encode the blocks of the entire image, a case may not be continuous, and in this case, the encoding path may be determined to minimize the number of discontinuities and interruptions. . Since the related description has been described above with reference to FIGS. 4 to 6, a more detailed description will be omitted.
  • the operation according to an embodiment of the present invention can be implemented as a computer-readable program or code on a computer-readable recording medium.
  • the computer-readable recording medium includes all types of recording devices that store data that can be read by a computer system.
  • the computer-readable recording medium may be distributed over a computer system connected through a network to store and execute a computer-readable program or code in a distributed manner.
  • the computer-readable recording medium may include a hardware device specially configured to store and execute program commands, such as ROM, RAM, and flash memory.
  • the program instructions may include not only machine language codes such as those produced by a compiler, but also high-level language codes that can be executed by a computer using an interpreter or the like.
  • While some aspects of the invention have been described in the context of an apparatus, it may also represent a description according to a corresponding method, where a block or apparatus corresponds to a method step or characteristic of a method step. Similarly, aspects described in the context of a method can also be represented by a corresponding block or item or a feature of a corresponding device. Some or all of the method steps may be performed by (or using) a hardware device such as, for example, a microprocessor, a programmable computer or electronic circuit. In some embodiments, one or more of the most important method steps may be performed by such an apparatus.
  • a programmable logic device eg, a field programmable gate array
  • the field programmable gate array may work with a microprocessor to perform one of the methods described herein. In general, the methods are preferably performed by some hardware device.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

영상에 대하여 중심 영역에 대한 정보를 획득하는 단계, 중심 영역에 포함되는 적어도 하나의 블록 중 초기 블록을 선택하는 단계, 초기 블록으로부터 센터-투-에지(center-to-edge) 순서에 따라 영상에 포함된 복수의 블록에 대한 부호화 경로를 결정하는 단계 및 부호화 경로를 기초로 영상을 부호화하는 단계를 포함하는 점진적 영상 부호화 방법과 이와 대응되는 복호화 방법이 개시된다.

Description

센터-투-에지 점진적 영상 부호화/복호화 방법 및 장치
본 발명은 센터-투-에지 점진적 영상 부호화/복호화 방법 및 장치에 관한 것으로, 더욱 상세하게는 영상에 포함된 적어도 하나의 블록을 중심으로부터 외곽으로의 순서에 따라 부호화/복호화하는 방법 및 장치에 관한 것이다.
이미지 및 비디오를 포함하는 영상 데이터는 그 양이 방대하기 때문에 저장과 전송에 비용이 많이 소요된다. 따라서, 영상 데이터는 비용 절감을 위해 압축하여 저장 및 전송되었으며, 그 방법으로써 대표적으로 정지영상에 대한 국제표준인 JPEG(Joint Photographic Experts Group) 압축 방법 및 동영상에 대한 국제표준인 MPEG(Moving Picture Experts Group) 압축 방법이 있다.
다만, 국제표준에 따라 영상을 압축하여도 압축률에 따른 화질저하는 초래되므로, 화질 및 압축률에 대한 이슈는 계속되고 있으며, 화질 저하 방지 및 높은 압축률을 위해 학계 및 산업계에서 연구가 계속되고 있는 실정이다.
한편, 고해상도의 영상을 제공하는 카메라 및 디스플레이 장치들이 개발됨에 따라 영상의 크기가 계속하여 증가하고 있다. 이로 인해, 영상 압축 기술이 지속적으로 발전됨에도 불구하고, 주어진 네트워크 환경에서 영상 전송 시 지연 문제는 해소되기 어려운 상황이다. 이에 따라, 높은 효율의 영상 압축 기술뿐만 아니라 인간 친화적인 점진적 영상 압축(progressive image coding) 기술에 대한 요구가 지속적으로 발생되고 있는 실정이다.
상기와 같은 문제점을 해결하기 위한 본 발명의 센터-투-에지 점진적 영상 부호화/복호화 방법을 제공하는 데 있다.
상기와 같은 문제점을 해결하기 위한 본 발명의 다른 목적은 센터-투-에지 점진적 영상 부호화/복호화 장치를 제공하는 데 있다.
상기 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 부호화 방법은, 영상에 대하여 중심 영역에 대한 정보를 획득하는 단계, 중심 영역에 포함되는 적어도 하나의 블록 중 초기 블록을 선택하는 단계, 초기 블록으로부터 센터-투-에지(center-to-edge) 순서에 따라 영상에 포함된 복수의 블록에 대한 부호화 경로를 결정하는 단계 및 부호화 경로를 기초로 영상을 부호화하는 단계를 포함할 수 있다.
여기서, 중심 영역은, 영상 중 사용자의 시선에 대응하는 영역 또는 영상 중 중앙의 미리 정해진 크기의 영역 중 어느 하나를 포함할 수 있다.
여기서, 중심 영역에 포함되는 적어도 하나의 블록 중 초기 블록을 선택하는 단계는, 중심 영역에 포함되는 적어도 하나의 블록 중 중심 영역의 중심에 가장 근접하게 위치한 블록을 초기 블록으로 선택하는 단계를 포함할 수 있다.
여기서, 초기 블록으로부터 센터-투-에지 순서에 따라 복수의 블록에 대한 부호화 경로를 결정하는 단계는, 초기 블록으로부터 시계 또는 반시계 방향의 나선을 따라 영상에 포함된 복수의 블록에 대한 부호화 경로를 결정하는 단계를 포함할 수 있다.
여기서, 초기 블록으로부터 시계 또는 반시계 방향의 나선을 따라 복수의 블록에 대한 부호화 경로를 결정하는 단계는, 복수의 블록 중 나선을 따라 결정한 부호화 경로에 포함되지 않는 적어도 하나의 나머지 블록이 존재하는 경우, 부호화 경로에 포함된 마지막 블록으로부터 계속하여 적어도 하나의 나머지 블록에 대한 부호화 경로를 결정하는 단계를 포함할 수 있다.
여기서, 적어도 하나의 나머지 블록에 대한 부호화 경로를 결정하는 단계는, 적어도 하나의 나머지 블록 중 서로 인접한 나머지 블록 간에 부호화 경로가 연속되지 않는 수가 최소화되도록 적어도 하나의 나머지 블록에 대한 부호화 경로를 결정하는 단계를 포함할 수 있다.
상기 다른 목적을 달성하기 위한 본 발명의 일 실시예에 따른 영상 부호화 장치는, 프로세서(processor) 및 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고, 적어도 하나의 명령은, 영상에 대하여 중심 영역에 대한 정보를 획득하도록 실행되고, 중심 영역에 포함되는 적어도 하나의 블록 중 초기 블록을 선택하도록 실행되고, 초기 블록으로부터 센터-투-에지(center-to-edge) 순서에 따라 영상에 포함된 복수의 블록에 대한 부호화 경로를 결정하도록 실행되고, 부호화 경로를 기초로 영상을 부호화하도록 실행될 수 있다.
여기서, 중심 영역은, 영상 중 사용자의 시선에 대응하는 영역 또는 영상 중 중앙의 미리 정해진 크기의 영역 중 어느 하나를 포함할 수 있다.
여기서, 적어도 하나의 명령은, 중심 영역에 포함되는 적어도 하나의 블록 중 중심 영역의 중심에 가장 근접하게 위치한 블록을 초기 블록으로 선택하도록 실행될 수 있다.
여기서, 적어도 하나의 명령은, 초기 블록으로부터 시계 또는 반시계 방향의 나선을 따라 영상에 포함된 복수의 블록에 대한 부호화 경로를 결정하도록 실행될 수 있다.
여기서, 적어도 하나의 명령은, 복수의 블록 중 나선을 따라 결정한 부호화 경로에 포함되지 않는 적어도 하나의 나머지 블록이 존재하는 경우, 부호화 경로에 포함된 마지막 블록으로부터 계속하여 적어도 하나의 나머지 블록에 대한 부호화 경로를 결정하도록 실행될 수 있다.
여기서, 적어도 하나의 명령은, 적어도 하나의 나머지 블록 중 서로 인접한 나머지 블록 간에 부호화 경로가 연속되지 않는 수가 최소화되도록 적어도 하나의 나머지 블록에 대한 부호화 경로를 결정하도록 실행될 수 있다.
본 발명에 따르면, 전체 영상 중 사용자의 뷰포트(viewport)에 대응하는 영역의 고해상도 영상을 우선 복호화할 수 있다.
본 발명에 따르면, 사용자의 뷰포트에 대응하는 영역을 우선 복호화함으로써 전송 지연에 따른 사용자의 불편함을 최소화할 수 있다.
도 1은 JPEG에 따른 영상 부호화 장치의 블록 구성도이다.
도 2는 기존의 블록 오더링을 나타낸 도면이다.
도 3은 본 발명의 일 실시예에 따른 블록 오더링을 나타낸 도면이다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 직사각형 영상에 대한 블록 오더링을 설명하기 위한 도면이다.
도 5는 본 발명의 일 실시예에 따른 ROI가 2개인 영상에 대한 블록 오더링을 설명하기 위한 도면이다.
도 6은 본 발명의 일 실시예에 따른 360도 영상에 대한 블록 오더링을 설명하기 위한 도면이다.
도 7는 본 발명의 일 실시예에 따른 움직이는 영상에 대한 블록 오더링을 설명하기 위한 도면이다.
도 8은 본 발명의 일 실시예에 따른 영상 부호화 장치의 블록 구성도이다.
도 9는 본 발명의 일 실시예에 따른 영상 부호화 방법의 순서도이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 상세한 설명에 상세하게 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다. 각 도면을 설명하면서 유사한 참조부호를 유사한 구성요소에 대해 사용하였다.
제1, 제2, A, B 등의 용어는 다양한 구성요소들을 설명하는 데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되어서는 안 된다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제1 구성요소는 제2 구성요소로 명명될 수 있고, 유사하게 제2 구성요소도 제1 구성요소로 명명될 수 있다. "및/또는"이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부한 도면들을 참조하여, 본 발명의 바람직한 실시예를 보다 상세하게 설명하고자 한다. 본 발명을 설명함에 있어 전체적인 이해를 용이하게 하기 위하여 도면상의 동일한 구성요소에 대해서는 동일한 참조부호를 사용하고 동일한 구성요소에 대해서 중복된 설명은 생략한다. 이하, 본 발명에 따른 바람직한 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
본 발명의 일 실시예에 따른 블록 오더링 변경을 통한 영상 부호화/복호화 방법은 정지 영상(still image)에 대한 압축 방법에 적용될 수 있고, 동영상(video) 또는 움직이는 영상에 대한 압축 방법에도 적용될 수 있으나, 이에 한정되는 것은 아니다.
설명의 편의를 위해 본 발명의 일 실시예는 정지 영상에 대한 JPEG 압축 방법을 예로 들어 도 1 내지 도 6과 함께 설명하며, 동영상 또는 움직이는 영상에 대한 압축 방법에 적용하기 위한 추가적인 구성 또는 설명은 도 7과 함께 후술하겠다.
도 1은 JPEG에 따른 영상 부호화 장치의 블록 구성도이다.
도 1을 참조하면, JPEG(Joint Photographic Experts Group) 영상 부호화 장치(100)는 입력 이미지로부터 JPEG 형식으로 압축한 이미지를 출력할 수 있으며, JPEG 인코더라고 지칭할 수 있고, 일반적으로 컬러 변환기(color convertor, 110), DCT(Discrete Cosine Transform)부(120), 양자화기(quantizer, 130) 및 엔트로피 인코더(entropy encoder, 140)를 포함할 수 있다.
컬러 변환기(110)는 RGB(Red-Green-Blue)로 표현되는 이미지를 YCbCr로 변환할 수 있다. 여기서, YCbCr은 각 픽셀마다 휘도 성분(luma smaple) 및 색차 성분(chroma sample)을 구분하여 저장하는 형태를 의미할 수 있으며, Y는 휘도 성분을 의미할 수 있고, Cb 및 Cr은 색차 성분을 의미할 수 있다. Cb 및 Cr은 선택적으로 서브샘플링될 수 있다. YCbCr 샘플링 포맷 또는 크로마 서브샘플링 타입은 4:4:4, 4:2:2 및 4:2:0 중 하나일 수 있다.
DCT부(120)는 YCbCr로 표현된 이미지 데이터에 대하여 블록-기반 DCT(Discrete Cosine Transform)를 수행할 수 있다. 다시 말해, 블록-기반 DCT는 Y, Cb 및 Cr은 각각에 대하여 수행될 수 있으며, 8x8 크기의 블록별로 수행될 수 있다. 여기서, DCT부(120)는 영상의 주파수 변환에 일반적으로 사용되는 방법 중 하나로 코사인 기저를 사용하여 공간 도메인의 이미지 데이터를 주파수 도메인의 이미지 데이터로 변환할 수 있으며, 그 결과값으로 DCT 계수(coefficient)를 획득할 수 있다. DCT 계수는 DC 계수(평균 성분 계수) 및 AC 계수(고주파 성분 계수)를 포함할 수 있으며, DCT 계수는 zigzag ordering에 의해 1차원 벡터로 재배열될 수 있다.
양자화기(130)는 DCT부(120)에 의해 주파수 도메인으로 변경된 각 계수를 입력값으로 수신하여 이산적인(discrete) 값으로 매핑할 수 있으며, 그 결과로 양자화된 DCT 계수를 획득할 수 있다. 여기서, 양자화기(130)의 양자화는 손실 압축에 해당할 수 있으며, 연속 또는 대량의 입력 데이터는 양자화 이후 소수의 이산적인 심볼로 매핑될 수 있다. 압축 비율은 Q 인자(quality factor)로 지칭될 수 있는 입력 파라미터에 의해 제어될 수 있다. 여기서, Q 인자는 화질 계수 또는 양자화 파라미터로 지칭될 수도 있으나, 이에 한정되는 것은 아니다.
도 1에서,
Figure PCTKR2020001831-appb-I000001
는 입력 이미지의 8x8 블록 전체 중 l 번째 블록 내의 k 번째 양자화된 DCT 계수를 의미할 수 있다. 1차원 지표 l은 2차원 공간에 위치한 블록을 표현하기 위해 사용될 수 있다. 여기서, l은 0보다 크거나 같고 L보다 작은 값 중 어느 하나의 정수를 의미할 수 있고, L은 입력 이미지 내의 8x8 블록의 전체 수를 의미할 수 있다. 또한, k는 0보다 크거나 같고 63보다 작거나 같은 값 중 어느 하나의 정수를 의미할 수 있다. 또한,
Figure PCTKR2020001831-appb-I000002
에서 k가 0인 경우 이를 상술한 DC 계수라고 지칭할 수 있으며, k가 0이 아닌 경우 이를 상술한 AC 계수라고 지칭할 수 있다.
엔트로피 인코더(140)는 양자화기(130)의 출력을 수신하여 엔트로피 부호화를 수행할 수 있으며, 그 결과로 JPEG 형식으로 압축된 이미지를 획득할 수 있다. 여기서, 엔트로피 인코더(140)의 인코딩은 무손실 압축에 해당할 수 있으며, 심볼의 발생 확률에 따라 심볼의 길이를 가변적으로 할당하여 표현에 필요한 데이터 양을 최소화할 수 있다.
또한, 도 1에는 도시하지 않았으나, JPEG 영상 복호화 장치는 JPEG 영상 부호화 장치와 대응될 수 있으며, 영상 부호화 장치의 기능 또는 동작을 역으로 수행함으로써 JPEG 압축 이미지를 복호화하여 출력 이미지를 획득할 수 있다. 영상 복호화 장치는 영상 부호화 장치로부터 통상의 기술자가 명확히 이해할 수 있으므로 상세한 설명은 생략하겠다.
도 2는 기존의 블록 오더링을 나타낸 도면이다.
영상 부호화 장치는 하나의 이미지를 적어도 하나의 미리 정해진 크기의 블록으로 분할할 수 있으며, 각 블록에 대하여 도 1과 같이 압축을 수행할 수 있다. 여기서, 미리 정해진 크기는 8x8 크기를 포함할 수 있으나, 이에 한정되는 것은 아니다.
각 블록에 대한 압축은 블록 오더링(ordering)을 통한 순서에 따라 수행될 수 있으며, 기존의 영상 부호화 장치는 일반적으로 래스터 스캔 순서(raster scan order)에 따라 복수의 블록을 순차적으로 압축하였다. 여기서, 래스터 스캔 순서는 복수의 블록이 존재하는 경우, 블록 스캐닝 시 좌상, 우상, 좌하 및 우하의 순서에 따르는 것을 의미할 수 있다.
기존의 블록 오더링인 래스터 스캔 순서는 설명의 편의를 위해 미리 설정된 크기의 MxN 개의 블록으로 구성된 하나의 이미지를 예로 들어 설명하겠다. 여기서, M 및 N은 1이상의 자연수를 의미할 수 있다.
도 2를 참조하면, 래스터 스캔 순서에 따라 블록을 압축하는 영상 부호화 장치는 최좌측 최상단 블록(1)으로부터 최우측 최상단 블록(N)까지 순차적으로 압축을 수행할 수 있으며, 이후 최좌측 최상단 블록의 바로 하단 블록(N+1)으로부터 최우측 최상단 블록의 바로 하단 블록까지 순차적으로 압축을 수행할 수 있다. 또한, 영상 부호화 장치는 동일한 방식으로 최우측 최하단 블록(MN)까지 순차적으로 압축을 수행할 수 있다. 여기서, 1, 2, ..., N, N+1, ..., MN-1 및 MN은 해당 블록의 압축 순번을 의미할 수 있다.
다시 말해, 영상 부호화 장치는 하나의 행에 대하여 좌측부터 우측까지 순차적으로 압축을 수행하며, 하나의 행에 대한 압축 순서에 따라 첫 번째 행, 두 번째 행, 세 번째 행 및 네 번째 행의 순서로 압축을 진행할 수 있다.
다만, 최근 파노라마 영상, 360도 영상 및 다시점(cloud point) 영상 등과 같은 매우 큰 크기 또는 대용량의 영상 데이터가 보급되고 있으며, 이러한 영상 데이터는 일반적으로 실제 사람의 눈이 한 시점에서 보는 시야(view)보다 더 많은 시야에서 관찰된 여러 영상을 짜깁기(stitching)하여 구성될 수 있다.
또한, 이러한 영상 데이터를 전송 및 디스플레이하는 서비스는 전체 영상 데이터에서 가장 중심이 되는 시야에 대응하는 부분 영상인 뷰포트(viewport)를 우선 사용자에게 제공하며, 사용자의 커서를 옮기는 등의 입력 정보에 따라 다른 부분 영상을 사용자에게 제공할 수 있다.
여기서, 영상 데이터는 부호화된 데이터를 복호화하여 사용자에게 제공하나, 부호화 순서와 같이 최좌측 최상단 블록부터 복호화되므로, 사용자에게 우선 제공하는 뷰포트 영역과는 무관한 영역부터 복호화되는 문제점이 있다. 이러한 문제점은 전속 속도가 느린 네트워크를 이용하거나 매우 큰 크기의 영상을 제공하는 경우 부각될 수 있으므로, 본 발명은 이러한 문제점을 해결하기 위한 점진적 영상 부호화/복호화 방법을 제안하고자 한다.
도 3은 본 발명의 일 실시예에 따른 블록 오더링을 나타낸 도면이다.
본 발명의 일 실시예에 따른 점진적 영상 부호화 방법은 하나의 이미지에 포함된 적어도 하나의 블록을 중심(center)으로부터 에지(edge)로의 순서에 따라 순차적으로 부호화할 수 있다.
여기서, 중심은 사용자의 시야 또는 시선 정보에 대응하는 부분 영역인 뷰포트(viewport)에 대한 정보가 존재하는 경우, 뷰포트에 포함되는 적어도 하나의 블록 중 어느 하나를 의미할 수 있으며, 뷰포트에 포함된 적어도 하나의 블록 중 중앙에 위치한 블록을 의미할 수 있다. 또한, 중심은 뷰포트에 대한 정보가 존재하지 않는 경우, 이미지에 포함된 적어도 하나의 블록 중 중앙에 위치한 미리 정해진 크기의 블록을 의미할 수 있다. 여기서, 뷰포트에 포함되는 적어도 하나의 블록 또는 중앙에 위치한 미리 정해진 크기의 블록을 중심 영역이라 지칭할 수 있으며, 중심은 중심 영역의 중앙 또는 중심으로부터 가장 인접한 블록을 의미할 수 있다.
에지는 이미지의 외곽 또는 경계를 의미할 수 있으나, 이에 한정되는 것은 아니며, 중심으로부터 바깥쪽으로 나가는 방향을 나타내기 위해 사용된 용어를 의미할 수 있다.
본 발명의 일 실시예에 따른 중심으로부터 에지로의 순서는 중심으로부터 에지로 시계 방향 또는 반시계 방향의 나선에 따른 순서를 포함할 수 있다. 이에 대한 상세한 설명을 위해 뷰포트가 이미지의 중앙에 16(4x4)개의 블록을 포함한다고 가정한다.
도 3을 참조하면, 본 발명의 일 실시예는 뷰포트 내의 16개의 블록 중 어느 하나의 블록을 중심으로 설정하여 첫 번째 부호화할 블록(1)으로 결정할 수 있으며, 첫 번째 부호화할 블록(1)의 좌측에 위치한 블록을 두 번째 부호화할 블록(2)으로 결정할 수 있고, 두 번째 부호화할 블록(2)의 하측에 위치한 블록을 세 번째 부호화할 블록(3)으로 결정할 수 있다. 본 발명의 일 실시예는 계속하여 시계 방향의 나선에 따라 중심으로부터 외곽까지 블록의 부호화 순서를 결정할 수 있다.
본 발명의 일 실시예에 따른 센터-투-에지(center-to-edge) 순서는 상술한 바와 같이 결정된 블록의 부호화 순서를 포함할 수 있으나, 이에 한정되는 것은 아니며, 중심 뷰포트 또는 ROI(Region Of Interest)와 같은 영상 내의 사용자에게 제공 시 주요한 영역을 선순위로, 영상 중 그 외 영역을 후순위로 부호화/복호화하는 순서를 의미할 수 있다. 또한, 센터-투-에지 순서는 인접한 블록 간에 연속되도록 오더링될 수 있으나, 주요한 영역이 복수인 경우나 여러 상황에 따라 오더링이 끊어져 불연속한 지점이 발생할 수도 있으며, 이 경우, 불연속한 지점이 최소한으로 발생하도록 오더링될 수 있다. 따라서, 센터-투-에지 순서는 이미지의 크기/형태/종류, 뷰포트의 위치 및 ROI(Region Of Interest)의 위치/개수에 따라 상이할 수 있으며, 이와 관련된 대표적인 예는 도 4 내지 도 6과 함께 후술하겠다.
도 4a 및 도 4b는 본 발명의 일 실시예에 따른 직사각형 영상에 대한 블록 오더링을 설명하기 위한 도면이다.
도 4를 참조하면, 본 발명의 일 실시예에 따른 센터-투-에지 순서는 이미지가 직사각형인 경우, 뷰포트에 포함된 적어도 하나의 블록 중 어느 하나의 중심 블록으로부터 외곽으로 시계 방향 또는 반시계 방향의 나선에 따라 순차적으로 결정될 수 있다. 또한, 이후 센터-투-에지 순서는 나머지 블록에 대하여 연속되도록 결정될 수 있다. 여기서, 뷰포트는 정사각형의 형태에 한정되는 것은 아니며, 직사각형의 형태도 가질 수 있다.
다시 말해, 본 발명의 일 실시예에 따른 센터-투-에지 순서에 따르는 영상 부호화 장치는 이미지의 뷰포트를 중심으로 시계 또는 반시계 방향의 나선을 따라 오더링하며, 나선을 따라 오더링한 마지막 블록으로부터 연속하여 나머지 모든 블록까지 끊어지지 않도록 추가로 오더링할 수 있고, 뷰포트의 형태에 한정되는 것은 아니다.
도 4a를 참조하면, 영상이 직사각형이며, 뷰포트가 정사각형인 경우, 본 발명의 일 실시예에 따른 센터-투-에지 순서에 대한 상세한 설명은 다음과 같다.
센터-투-에지 순서는 뷰포트에 포함되는 어느 하나의 블록을 시작으로 시계 방향의 나선에 따라 정사각형의 뷰포트를 우선적으로 오더링할 수 있고, 계속하여 동일한 시계 방향의 나선에 따라 뷰포트 밖의 블록까지 오더링할 수 있다. 다만, 여기서, 나선에 따라 오더링하는 경우, 영상이 직사각형이므로 오더링되지 않은 나머지 블록이 존재할 수 있다.
나머지 모든 블록에 대한 오더링은 이미지 상에서 뷰포트의 위치에 따라 달라질 수 있으며, 도 4와 같이 나선에 따라 오더링한 마지막 블록으로부터 상측 블록, 상측 블록, 상측 블록, 좌측 블록, 하측 블록, 하측 블록 및 하측 블록의 순서에 따를 수 있고, 도 4와 달리 나선에 따라 오더링한 마지막 블록으로부터 좌측 블록, 상측 블록, 상측 블록, 상측 블록, 우측 블록, 하측 블록 및 하측 블록의 순서에 따를 수도 있으나, 이에 한정되는 것은 아니다.
도 4b는 영상이 직사각형이며, 뷰포트가 직사각형인 경우, 본 발명의 일 실시예에 따른 센터-투-에지 순서를 설명하기 위한 도면이다.
센터-투-에지 순서는 뷰포트에 포함되는 어느 하나의 블록을 시작으로 반시계 방향의 나선에 따라 직사각형의 뷰포트를 우선적으로 오더링할 수 있고, 계속하여 동일한 반시계 방향의 나선에 따라 뷰포트 밖의 블록까지 오더링할 수 있다.
여기서, 반시계 방향의 나선은 정사각형 구조 기반의 나선에 한정되는 것은 아니며, 도 4b와 같이 직사각형 구조 기반의 나선을 포함할 수도 있다. 이러한 경우, 도 4a와 같이 나머지 블록이 존재하지 않을 수도 있다.
도 4는 이미지가 직사각형인 경우 본 발명의 일 실시예에 따른 센터-투-에지 순서를 설명하기 위한 예이므로, 본 발명의 범위가 상술한 영상의 형태 또는 뷰포트의 형태에 한정되는 것은 아니다.
도 5는 본 발명의 일 실시예에 따른 ROI가 2개인 영상에 대한 블록 오더링을 설명하기 위한 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 센터-투-에지 순서는 이미지가 2개의 ROI(Region Of Interest)를 포함하는 경우, 2개의 ROI 각각을 기준으로 결정될 수 있다. 또한, 이후 센터-투-에지 순서는 ROI에 포함되지 않는 나머지 블록에 대하여 어느 하나의 ROI에 연속되도록 결정될 수 있다.
다시 말해, 본 발명의 일 실시예에 따른 센터-투-에지 순서에 따르는 영상 부호화 장치는 ROI 1의 중심 블록으로 시계 또는 반시계 방향의 나선을 따라 ROI 1에 포함된 블록들을 오더링하고, ROI 2의 중심 블록으로 시계 또는 반시계 방향의 나선을 따라 ROI 2에 포함된 블록들을 오더링할 수 있다.
이후, 센터-투-에지 순서에 따르는 영상 부호화 장치는 ROI 1 및 ROI 2 중 어느 하나의 ROI에서 나선을 따라 오더링한 마지막 블록으로부터 연속하여 이미지 상에 2개의 ROI를 제외한 나머지 모든 블록까지 끊어지지 않도록 추가로 오더링할 수 있다. 다시 말해, ROI 1 및 ROI 2 각각에 포함된 블록들의 오더링을 마친 후, ROI 1에서 나선을 따라 오더링한 마지막 블록으로부터 다시 이미지 상의 오더링하지 않은 나머지 블록을 연속적으로 오더링할 수 있고, ROI 2에서 나선을 따라 오더링한 마지막 블록으로부터 다시 이미지 상의 오더링하지 않은 나머지 블록을 연속적으로 오더링할 수도 있다.
도 5는 이미지가 2개의 ROI를 포함하는 경우 본 발명의 일 실시예에 따른 센터-투-에지 순서를 설명하기 위한 예이므로, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 6은 본 발명의 일 실시예에 따른 360도 영상에 대한 블록 오더링을 설명하기 위한 도면이다.
도 6을 참조하면, 본 발명의 일 실시예에 따른 센터-투-에지 순서는 360도 이미지의 경우, 360도 이미지를 사각형의 형태로 변환한 이미지에 대하여 결정될 수 있다. 여기서, 센터-투-에지 순서는 사각형이 아닌 다른 형태로 변환한 360도 이미지에 대하여도 결정될 수 있으며, 변환의 결과로 평면 형태가 된 이미지 모두에 대하여도 결정될 수 있으므로, 사각형의 형태에 한정되는 것은 아니다.
360도 이미지를 사각형의 형태로 변환하는 경우, A2, A3 및 A1 면으로 구성된 제1 영역과 A4, A0 및 A5 면으로 구성된 제2 영역은 각각 연속된 이미지이나, 서로 끊어진 이미지일 수 있다. 여기서, 본 발명의 일 실시예에 따른 센터-투-에지 순서는 두 영역 중 뷰포트가 포함된 영역을 우선 오더링하며, 뷰포트가 포함되지 않은 영역을 이후에 오더링할 수 있다.
보다 상세히 설명하면, 본 발명의 일 실시예에 따른 센터-투-에지 순서에 따르는 영상 부호화 장치는 뷰포트에 포함된 블록 중 어느 하나의 중심 블록으로부터 두 영역 중 뷰포트가 포함된 제1 영역의 외곽 또는 에지까지 연속되도록 오더링할 수 있으며, 이후, 나머지 영역인 제2 영역에 대하여 오더링을 수행할 수 있다. 여기서, 제1 영역에서 오더링한 마지막 블록과 제2 영역에서 오더링한 첫 번째 블록 간에는 연속되지 않을 수 있으나, 이에 한정되는 것은 아니다.
도 6은 360도 이미지의 경우, 본 발명의 일 실시예에 따른 센터-투-에지 순서를 설명하기 위한 예이므로, 본 발명의 범위가 이에 한정되는 것은 아니다.
도 4 내지 6을 참조하면, 본 발명의 일 실시예에 따른 센터-투-에지 순서는 뷰포트 또는 ROI를 우선적으로 오더링하며, 영상 중 뷰포트 또는 ROI가 아닌 영역은 그 이후에 계속하여 오더링할 수 있다. 다만, 오더링은 인접한 블록 간에 연속되도록 결정될 수 있으나, 연속될 수 없는 인접한 블록이 존재하는 경우, 이러한 인접한 블록이 최소화되도록 결정될 수 있다.
도 7는 본 발명의 일 실시예에 따른 움직이는 영상에 대한 블록 오더링을 설명하기 위한 도면이다.
본 발명의 일 실시예에 따른 센터-투-에지 순서는 정지 영상에 대한 부호화 방법뿐만 아니라 동영상 또는 움직이는 영상에 대한 부호화 방법에도 이용될 수 있다.
움직이는 영상에 대한 부호화 방법은 정지 영상에 대한 부호화 방법보다 예측 구성 및 감산 구성 등을 더 포함할 수 있다. 여기서, 예측 구성은 화면내 예측 또는 화면간 예측을 통해 부호화할 현재 블록을 예측하여 예측 블록을 생성하는 구성을 의미할 수 있으며, 감산 구성은 현재 블록에서 예측 블록을 감산하여 잔차 블록을 생성하는 구성을 의미할 수 있다. 예측 구성은 영상에 포함된 복수의 프레임마다 화면내 예측 또는 화면간 예측 중 어느 하나에 의해 예측 블록을 생성할 수 있으나, 본 발명의 일 실시예에 대한 설명을 위해 화면내 예측을 수행하는 I-프레임을 예로 들어 설명하겠다.
기존의 동영상 또는 움직이는 영상에 대한 부호화 방법은 해당 프레임에서 부호화하기 위한 현재 블록에 대하여 다양한 예측 모드를 통해 현재 블록의 좌측 블록, 상측 블록 및 좌상측 블록 중 적어도 하나를 기초로 예측 블록을 생성할 수 있다. 여기서, 예측 블록이 좌측 블록, 상측 블록 및 좌상측 블록 중 적어도 하나를 기초로 생성되는 것은 좌측 블록, 상측 블록 및 좌상측 블록 모두 래스터 스캔 순서에 따라 현재 블록보다 우선하여 부호화/복호화되기 때문이다.
다만, 본 발명의 일 실시예에 따른 동영상 또는 움직이는 영상에 대한 부호화 방법은 중심으로부터 시계 또는 반시계 방향의 나선을 따라 외곽까지 오더링되는 센터-투-에지 순서에 따르므로, 부호화할 현재 블록에 대한 예측 블록은 이전에 부호화된 블록 중 현재 블록에 인접한 블록을 기초로 생성될 수 있다.
다시 말해, 현재 블록의 예측 블록은 현재 블록의 좌측 블록, 상측 블록 및 좌상측 블록 중 적어도 하나로 고정되는 것이 아닌 현재 블록의 좌측 블록, 상측 블록, 좌상측 블록, 우측 블록, 우상측 블록, 하측 블록, 좌하측 블록 및 우하측 블록 중 이전에 부호화/복호화된 적어도 하나의 블록을 기초로 생성될 수 있다.
예를 들어, 도 7을 참조하면, 본 발명의 일 실시예에 따른 동영상 또는 움직이는 영상에 대한 부호화 장치는 블록에 기재된 숫자에 따라 블록을 부호화될 수 있다. 여기서, 부호화 장치는 네 번째 블록(4)에 대한 예측 블록을 생성하기 위해 네 번째 블록(4)에 인접하며 이전에 부호화된 첫 번째 블록(1), 두 번째 블록(2) 및 세 번째 블록(3) 중 적어도 하나를 이용할 수 있고, 열 번째 블록(10)에 대한 예측 블록을 생성하기 위해 열 번째 블록(10)에 인접하며 이전에 부호화된 아홉 번째 블록(9) 및 두 번째 블록(2) 중 적어도 하나를 이용할 수 있다.
다시 말해, 본 발명의 일 실시예에 따른 동영상 또는 움직이는 영상에 대한 부호화/복호화 방법은 상술한 바와 같이 현재 블록에 인접하며 현재 블록보다 이전에 부호화된 블록을 이용하여 예측 블록을 생성하기 위한 적어도 하나의 예측 모드를 추가로 정의하고 이용할 수 있다.
도 8은 본 발명의 일 실시예에 따른 영상 부호화 장치의 블록 구성도이다.
도 8을 참조하면, 본 발명의 일 실시예에 따른 영상 부호화 장치(800)는 적어도 하나의 프로세서(810), 메모리(820) 및 저장 장치(830)를 포함할 수 있다. 본 발명의 일 실시예에 따른 영상 부호화 장치는 기존의 영상 부호화 장치에 탑재될 수도 있으며, 별도로 연결될 수 있으나, 이에 한정되는 것은 아니다.
프로세서(810)는 메모리(820) 및/또는 저장 장치(830)에 저장된 프로그램 명령(program command)을 실행할 수 있다. 프로세서(810)는 중앙 처리 장치(CPU, Central Processing Unit), 그래픽 처리 장치(GPU, Graphics Processing Unit) 또는 본 발명에 따른 방법들이 수행되는 전용의 프로세서를 의미할 수 있다. 메모리(820)와 저장 장치(830)는 휘발성 저장 매체 및/또는 비휘발성 저장 매체로 구성될 수 있다. 예를 들어, 메모리(820)는 읽기 전용 메모리(ROM, Read Only Memory) 및/또는 랜덤 액세스 메모리(RAM, Random Access Memory)로 구성될 수 있다.
메모리(820)는 프로세서(810)를 통해 실행되는 적어도 하나의 명령을 저장하고 있을 수 있다. 적어도 하나의 명령은 영상에 대하여 중심 영역에 대한 정보를 획득하는 명령, 중심 영역에 포함되는 적어도 하나의 블록 중 초기 블록을 선택하는 명령, 초기 블록으로부터 센터-투-에지(center-to-edge) 순서에 따라 영상에 포함된 복수의 블록에 대한 부호화 경로를 결정하는 명령 및 부호화 경로를 기초로 영상을 부호화하는 명령을 포함할 수 있다.
여기서, 중심 영역은, 영상 중 사용자의 시선에 대응하는 영역 또는 영상 중 중앙의 미리 정해진 크기의 영역 중 어느 하나를 포함할 수 있다.
여기서, 중심 영역에 포함되는 적어도 하나의 블록 중 초기 블록을 선택하는 명령은, 중심 영역에 포함되는 적어도 하나의 블록 중 중심 영역의 중심에 가장 근접하게 위치한 블록을 초기 블록으로 선택하는 명령을 포함할 수 있다.
여기서, 초기 블록으로부터 센터-투-에지 순서에 따라 복수의 블록에 대한 부호화 경로를 결정하는 명령은, 초기 블록으로부터 시계 또는 반시계 방향의 나선을 따라 영상에 포함된 복수의 블록에 대한 부호화 경로를 결정하는 명령을 포함할 수 있다.
여기서, 초기 블록으로부터 시계 또는 반시계 방향의 나선을 따라 복수의 블록에 대한 부호화 경로를 결정하는 명령은, 복수의 블록 중 나선을 따라 결정한 부호화 경로에 포함되지 않는 적어도 하나의 나머지 블록이 존재하는 경우, 부호화 경로에 포함된 마지막 블록으로부터 계속하여 적어도 하나의 나머지 블록에 대한 부호화 경로를 결정하는 명령을 포함할 수 있다.
여기서, 적어도 하나의 나머지 블록에 대한 부호화 경로를 결정하는 명령은, 적어도 하나의 나머지 블록 중 서로 인접한 나머지 블록 간에 부호화 경로가 연속되지 않는 수가 최소화되도록 적어도 하나의 나머지 블록에 대한 부호화 경로를 결정하는 명령을 포함할 수 있다.
도 9는 본 발명의 일 실시예에 따른 영상 부호화 방법의 순서도이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 영상 부호화 장치는 영상의 중심 영역에 대한 정보를 획득할 수 있다(S910). 여기서, 중심 영역은 사용자의 시선에 대응하는 영역인 뷰포트(viewport)가 존재하는 경우, 뷰포트를 의미할 수 있으며, 뷰포트가 존재하지 않는 경우, 영상에서 중앙의 미리 정해진 크기의 영역을 의미할 수도 있다. 또한, 중심 영역은 적어도 하나의 ROI(Region Of Interest)가 존재하는 경우, ROI를 의미할 수도 있으나, 이에 한정되는 것은 아니다.
영상 부호화 장치는 중심 영역 내에서 초기 블록을 선택할 수 있다(S920). 여기서, 초기 블록은 중심 영역에 포함되는 적어도 하나의 블록 중 중심 영역의 중심 또는 중앙에 가장 근접하게 위치하는 블록으로 선택될 수 있고, 임의로 선택될 수도 있으나, 이에 한정되는 것은 아니다.
이후, 영상 부호화 장치는 초기 블록으로부터 센터-투-에지(center-to-edge) 순서에 따라 상기 복수의 블록에 대한 부호화 경로를 결정할 수 있으며(S930), 부호화 경로를 기초로 영상을 부호화할 수 있다(S940).
여기서, 센터-투-에지 순서는 영상의 중심으로부터 영상의 외곽 또는 에지 방향으로 부호화되는 순서를 의미할 수 있으며, 초기 블록으로부터 시계 또는 반시계 방향의 나선을 따라 영상의 외곽 또는 에지까지 결정되는 부호화 순서를 의미할 수 있다. 다시 말해, 부호화 경로는 초기 블록으로부터 영상의 외곽 또는 에지까지 나선을 따라 결정될 수 있다.
다만, 영상이 직사각형이거나, 중심 영역이 복수인 경우와 같이 나선을 따라 부호화 경로 결정 시 모든 블록을 부호화 경로에 포함시킬 수 없는 경우에는 나선을 따라 결정한 부호화 경로의 마지막 블록으로부터 부호화 경로에 포함되지 않는 나머지 블록에 대하여 계속하여 부호화 경로를 결정할 수 있다. 여기서, 부호화 경로는 연속하도록 또는 끊어지지 않도록 결정될 수 있으나, 전체 영상의 블록을 부호화하기 위해서는 연속하지 못하는 경우도 발생할 수 있으며, 이러한 경우, 연속하지 못하고 끊어지는 수를 최소화하도록 부호화 경로가 결정될 수 있다. 이와 관련된 설명은 도 4 내지 6과 함께 상술하였으므로, 보다 상세한 설명은 생략하겠다.
본 발명의 실시예에 따른 동작은 컴퓨터로 읽을 수 있는 기록매체에 컴퓨터가 읽을 수 있는 프로그램 또는 코드로서 구현하는 것이 가능하다. 컴퓨터가 읽을 수 있는 기록매체는 컴퓨터 시스템에 의해 읽혀질 수 있는 데이터가 저장되는 모든 종류의 기록장치를 포함한다. 또한 컴퓨터가 읽을 수 있는 기록매체는 네트워크로 연결된 컴퓨터 시스템에 분산되어 분산 방식으로 컴퓨터로 읽을 수 있는 프로그램 또는 코드가 저장되고 실행될 수 있다.
또한, 컴퓨터가 읽을 수 있는 기록매체는 롬(rom), 램(ram), 플래시 메모리(flash memory) 등과 같이 프로그램 명령을 저장하고 수행하도록 특별히 구성된 하드웨어 장치를 포함할 수 있다. 프로그램 명령은 컴파일러(compiler)에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터(interpreter) 등을 사용해서 컴퓨터에 의해 실행될 수 있는 고급 언어 코드를 포함할 수 있다.
본 발명의 일부 측면들은 장치의 문맥에서 설명되었으나, 그것은 상응하는 방법에 따른 설명 또한 나타낼 수 있고, 여기서 블록 또는 장치는 방법 단계 또는 방법 단계의 특징에 상응한다. 유사하게, 방법의 문맥에서 설명된 측면들은 또한 상응하는 블록 또는 아이템 또는 상응하는 장치의 특징으로 나타낼 수 있다. 방법 단계들의 몇몇 또는 전부는 예를 들어, 마이크로프로세서, 프로그램 가능한 컴퓨터 또는 전자 회로와 같은 하드웨어 장치에 의해(또는 이용하여) 수행될 수 있다. 몇몇의 실시예에서, 가장 중요한 방법 단계들의 하나 이상은 이와 같은 장치에 의해 수행될 수 있다.
실시예들에서, 프로그램 가능한 로직 장치(예를 들어, 필드 프로그래머블 게이트 어레이)가 여기서 설명된 방법들의 기능의 일부 또는 전부를 수행하기 위해 사용될 수 있다. 실시예들에서, 필드 프로그래머블 게이트 어레이는 여기서 설명된 방법들 중 하나를 수행하기 위한 마이크로프로세서와 함께 작동할 수 있다. 일반적으로, 방법들은 어떤 하드웨어 장치에 의해 수행되는 것이 바람직하다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.

Claims (12)

  1. 점진적 영상 부호화 방법에 있어서,
    상기 영상에 대하여 중심 영역에 대한 정보를 획득하는 단계;
    상기 중심 영역에 포함되는 적어도 하나의 블록 중 초기 블록을 선택하는 단계;
    상기 초기 블록으로부터 센터-투-에지(center-to-edge) 순서에 따라 상기 영상에 포함된 복수의 블록에 대한 부호화 경로를 결정하는 단계; 및
    상기 부호화 경로를 기초로 상기 영상을 부호화하는 단계를 포함하는, 영상 부호화 방법.
  2. 청구항 1에 있어서,
    상기 중심 영역은,
    상기 영상 중 사용자의 시선에 대응하는 영역 또는 상기 영상 중 중앙의 미리 정해진 크기의 영역 중 어느 하나를 포함하는, 영상 부호화 방법.
  3. 청구항 1에 있어서,
    상기 중심 영역에 포함되는 적어도 하나의 블록 중 초기 블록을 선택하는 단계는,
    상기 중심 영역에 포함되는 적어도 하나의 블록 중 상기 중심 영역의 중심에 가장 근접하게 위치한 블록을 상기 초기 블록으로 선택하는 단계를 포함하는, 영상 부호화 방법.
  4. 청구항 1에 있어서,
    상기 초기 블록으로부터 센터-투-에지 순서에 따라 상기 영상에 포함된 복수의 블록에 대한 부호화 경로를 결정하는 단계는,
    상기 초기 블록으로부터 시계 또는 반시계 방향의 나선을 따라 상기 영상에 포함된 복수의 블록에 대한 부호화 경로를 결정하는 단계를 포함하는, 영상 부호화 방법.
  5. 청구항 4에 있어서,
    상기 초기 블록으로부터 시계 또는 반시계 방향의 나선을 따라 상기 영상에 포함된 복수의 블록에 대한 부호화 경로를 결정하는 단계는,
    상기 복수의 블록 중 상기 나선을 따라 결정한 상기 부호화 경로에 포함되지 않는 적어도 하나의 나머지 블록이 존재하는 경우, 상기 부호화 경로에 포함된 마지막 블록으로부터 계속하여 상기 적어도 하나의 나머지 블록에 대한 부호화 경로를 결정하는 단계를 포함하는, 영상 부호화 방법.
  6. 청구항 5에 있어서,
    상기 적어도 하나의 나머지 블록에 대한 부호화 경로를 결정하는 단계는,
    상기 적어도 하나의 나머지 블록 중 서로 인접한 나머지 블록 간에 부호화 경로가 연속되지 않는 수가 최소화되도록 상기 적어도 하나의 나머지 블록에 대한 부호화 경로를 결정하는 단계를 포함하는, 영상 부호화 방법.
  7. 점진적 영상 부호화 장치에 있어서,
    프로세서(processor); 및
    상기 프로세서를 통해 실행되는 적어도 하나의 명령이 저장된 메모리(memory)를 포함하고,
    상기 적어도 하나의 명령은,
    상기 영상에 대하여 중심 영역에 대한 정보를 획득하도록 실행되고,
    상기 중심 영역에 포함되는 적어도 하나의 블록 중 초기 블록을 선택하도록 실행되고,
    상기 초기 블록으로부터 센터-투-에지(center-to-edge) 순서에 따라 상기 영상에 포함된 복수의 블록에 대한 부호화 경로를 결정하도록 실행되고,
    상기 부호화 경로를 기초로 상기 영상을 부호화하도록 실행되는, 영상 부호화 장치.
  8. 청구항 7에 있어서,
    상기 중심 영역은,
    상기 영상 중 사용자의 시선에 대응하는 영역 또는 상기 영상 중 중앙의 미리 정해진 크기의 영역 중 어느 하나를 포함하는, 영상 부호화 장치.
  9. 청구항 7에 있어서,
    상기 적어도 하나의 명령은,
    상기 중심 영역에 포함되는 적어도 하나의 블록 중 상기 중심 영역의 중심에 가장 근접하게 위치한 블록을 상기 초기 블록으로 선택하도록 실행되는, 영상 부호화 장치.
  10. 청구항 7에 있어서,
    상기 적어도 하나의 명령은,
    상기 초기 블록으로부터 시계 또는 반시계 방향의 나선을 따라 상기 영상에 포함된 복수의 블록에 대한 부호화 경로를 결정하도록 실행되는, 영상 부호화 장치.
  11. 청구항 10에 있어서,
    상기 적어도 하나의 명령은,
    상기 복수의 블록 중 상기 나선을 따라 결정한 상기 부호화 경로에 포함되지 않는 적어도 하나의 나머지 블록이 존재하는 경우, 상기 부호화 경로에 포함된 마지막 블록으로부터 계속하여 상기 적어도 하나의 나머지 블록에 대한 부호화 경로를 결정하도록 실행되는, 영상 부호화 장치.
  12. 청구항 11에 있어서,
    상기 적어도 하나의 명령은,
    상기 적어도 하나의 나머지 블록 중 서로 인접한 나머지 블록 간에 부호화 경로가 연속되지 않는 수가 최소화되도록 상기 적어도 하나의 나머지 블록에 대한 부호화 경로를 결정하도록 실행되는, 영상 부호화 장치.
PCT/KR2020/001831 2019-02-20 2020-02-10 센터-투-에지 점진적 영상 부호화/복호화 방법 및 장치 Ceased WO2020171451A1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
US17/266,562 US20210295564A1 (en) 2019-02-20 2020-02-10 Center-to-edge progressive image encoding/decoding method and apparatus

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR1020190019853A KR102802945B1 (ko) 2019-02-20 2019-02-20 센터-투-에지 점진적 영상 부호화/복호화 방법 및 장치
KR10-2019-0019853 2019-02-20

Publications (1)

Publication Number Publication Date
WO2020171451A1 true WO2020171451A1 (ko) 2020-08-27

Family

ID=72144334

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2020/001831 Ceased WO2020171451A1 (ko) 2019-02-20 2020-02-10 센터-투-에지 점진적 영상 부호화/복호화 방법 및 장치

Country Status (3)

Country Link
US (1) US20210295564A1 (ko)
KR (1) KR102802945B1 (ko)
WO (1) WO2020171451A1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2005318257A (ja) * 2004-04-28 2005-11-10 Toshiba Corp 動画像符号化装置
KR20050112445A (ko) * 2004-05-25 2005-11-30 경희대학교 산학협력단 예측 부호화/복호화 장치, 예측 부호화/복호화 방법 및 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
KR20090046791A (ko) * 2009-01-22 2009-05-11 톰슨 라이센싱 인코딩 방법, 디코딩 방법, 상기 방법을 구현하는 디바이스, 및 비트스트림
JP4263516B2 (ja) * 2002-03-28 2009-05-13 ソニー・ユナイテッド・キングダム・リミテッド 符号化装置、符号化方法、復号装置、復号方法、コンピュータソフトウェア及び記憶媒体
KR20150051976A (ko) * 2015-04-23 2015-05-13 삼성전자주식회사 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법

Family Cites Families (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH0823536A (ja) * 1994-07-07 1996-01-23 Canon Inc 画像処理装置
US5608652A (en) * 1995-05-12 1997-03-04 Intel Corporation Reducing blocking effects in block transfer encoders
KR100987764B1 (ko) * 2003-09-04 2010-10-13 경희대학교 산학협력단 영상 데이터의 예측 부호화를 위한 참조 데이터 유닛 결정방법 및 그 장치
EP1578131A1 (en) * 2004-03-18 2005-09-21 STMicroelectronics S.r.l. Encoding/decoding methods and systems, computer program products therefor
US20100272182A1 (en) * 2004-06-23 2010-10-28 Quanta International Limited Image flow knowledge assisted latency-free in-loop temporal filter
US20050286638A1 (en) * 2004-06-23 2005-12-29 Qpixel Technology International, Inc. Image flow knowledge assisted latency-free in-loop temporal filter
KR100775788B1 (ko) * 2005-07-15 2007-11-13 경희대학교 산학협력단 화질 향상을 위한 사이클릭 미세입자 스케일러빌리티기반에서 플렉서블 매크로 블록 오더링에 의한 코딩방법 및 그 방법을 기록한 기록매체
KR101007381B1 (ko) * 2008-10-06 2011-01-13 주식회사 아이엠케이네트웍스 관심 영역을 고려한 영상 부호화 장치
US8922860B2 (en) * 2011-02-22 2014-12-30 Corning Incorporated Motion control systems and methods for biosensor scanning

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4263516B2 (ja) * 2002-03-28 2009-05-13 ソニー・ユナイテッド・キングダム・リミテッド 符号化装置、符号化方法、復号装置、復号方法、コンピュータソフトウェア及び記憶媒体
JP2005318257A (ja) * 2004-04-28 2005-11-10 Toshiba Corp 動画像符号化装置
KR20050112445A (ko) * 2004-05-25 2005-11-30 경희대학교 산학협력단 예측 부호화/복호화 장치, 예측 부호화/복호화 방법 및 그방법을 수행하는 프로그램이 기록된 컴퓨터 판독가능한기록매체
KR20090046791A (ko) * 2009-01-22 2009-05-11 톰슨 라이센싱 인코딩 방법, 디코딩 방법, 상기 방법을 구현하는 디바이스, 및 비트스트림
KR20150051976A (ko) * 2015-04-23 2015-05-13 삼성전자주식회사 슬라이스 단위로 분할된 동영상을 처리하는 동영상 부호화/복호화장치 및 동영상 부호화/복호화방법

Also Published As

Publication number Publication date
KR20200101686A (ko) 2020-08-28
US20210295564A1 (en) 2021-09-23
KR102802945B1 (ko) 2025-04-30

Similar Documents

Publication Publication Date Title
CN110446041B (zh) 一种视频编解码方法、装置、系统及存储介质
TWI382361B (zh) 來源圖像編碼之方法與系統以及解碼壓縮圖像之方法與系統
US10848787B2 (en) Lossy image compression using palettization of locally mixed colors
EP1950971A2 (en) Moving image encoding device, moving image decoding device, moving image encoding method, and moving image decoding method
JP4773966B2 (ja) ビデオ圧縮の方法と装置
WO1999060793A1 (en) The compression of color images based on a 2-dimensional discrete wavelet transform yielding a perceptually lossless image
JPH07154798A (ja) 画像符号化装置および画像符号化方法
US20230018357A1 (en) Method, apparatus and medium for decoding or encoding
WO2018070556A1 (ko) 정방형 또는 직방형 블록의 화면 내 예측모드 정보 추출 방법 및 장치
WO2023020560A1 (zh) 视频编解码的方法、装置、电子设备及存储介质
EP2030452B1 (en) Pre-processing of video data
US8712170B2 (en) Image-processing method and program, and image-processing apparatus
KR100367468B1 (ko) 픽셀들을 가지는 디지털화 된 화상에서 동작을추정하기위한 방법 및 장치
US20210176498A1 (en) Method, apparatus and medium for decoding or encoding
WO2020171451A1 (ko) 센터-투-에지 점진적 영상 부호화/복호화 방법 및 장치
CN114846789A (zh) 用于指示条带的图像分割信息的解码器及对应方法
US8055069B2 (en) Image data sampling method
US20090238481A1 (en) Method and apparatus for generating coded block pattern for highpass coefficients
KR20060022894A (ko) 이동 단말기에서의 썸네일 영상 생성 장치 및 방법
KR0134357B1 (ko) 분할화상부호화방법 및 그 장치
EP1589761A1 (en) A codec adapted to operate in rgb color space
JPH07193838A (ja) 符号化装置
US20230078064A1 (en) Determining prediction samples of pixels based on color sampling mode of the picture block
KR100385865B1 (ko) Ｕｓｂ 카메라용 이미지 압축방법
US8238415B2 (en) Method and system for programmable breakpoints in an integrated embedded image and video accelerator

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 20758474

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 20758474

Country of ref document: EP

Kind code of ref document: A1