WO2020080751A1 - 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 - Google Patents

부호화 방법 및 그 장치, 복호화 방법 및 그 장치 Download PDF

Info

Publication number
WO2020080751A1
WO2020080751A1 PCT/KR2019/013344 KR2019013344W WO2020080751A1 WO 2020080751 A1 WO2020080751 A1 WO 2020080751A1 KR 2019013344 W KR2019013344 W KR 2019013344W WO 2020080751 A1 WO2020080751 A1 WO 2020080751A1
Authority
WO
WIPO (PCT)
Prior art keywords
data
image
upscale
information
dnn
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KR2019/013344
Other languages
English (en)
French (fr)
Inventor
박필규
박영오
이종석
손유미
엄명진
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Samsung Electronics Co Ltd
Original Assignee
Samsung Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from KR1020190076569A external-priority patent/KR102525578B1/ko
Application filed by Samsung Electronics Co Ltd filed Critical Samsung Electronics Co Ltd
Priority to EP19873762.9A priority Critical patent/EP3866466A1/en
Priority to CN201980068908.7A priority patent/CN112889283B/zh
Priority to US16/743,613 priority patent/US10819992B2/en
Publication of WO2020080751A1 publication Critical patent/WO2020080751A1/ko
Priority to US16/860,563 priority patent/US10819993B2/en
Priority to US17/080,827 priority patent/US11190782B2/en
Anticipated expiration legal-status Critical
Priority to US17/498,859 priority patent/US11647210B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression

Definitions

  • the present disclosure relates to the field of image processing. More specifically, the present disclosure relates to an apparatus and method for encoding and decoding an image using a deep neural network.
  • the image is encoded by a codec conforming to a predetermined data compression standard, for example, a Moving Picture Expert Group (MPEG) standard, and then stored in a recording medium in the form of a bitstream or transmitted through a communication channel.
  • a codec conforming to a predetermined data compression standard, for example, a Moving Picture Expert Group (MPEG) standard, and then stored in a recording medium in the form of a bitstream or transmitted through a communication channel.
  • MPEG Moving Picture Expert Group
  • a method and apparatus for encoding and decoding an image according to an embodiment of the present invention is a technical task of encoding and decoding an image at a low bit rate using a deep neural network (DNN).
  • DNN deep neural network
  • a computer-readable recording medium recording a program for executing a video encoding method and a video decoding method according to an embodiment of the present disclosure is disclosed.
  • the AI-encoded data includes image data including encoding information of a low-resolution image generated by AI down-scaling a high-resolution image, And AI data for AI upscale of the low resolution image reconstructed according to the image data, wherein the AI data includes AI target data indicating whether AI upscale is applied to one or more frames, and AI to the one or more frames.
  • a computer recordable recording medium comprising AI auxiliary data on upscale DNN information used for AI upscale of the one or more frames among a plurality of preset DNN configuration information preset.
  • a video decoding method using AI upscale comprising: receiving a video file including image data and AI encoded data including AI data related to AI upscale of the image data; Acquiring AI data of the AI-encoded data from a metadata box, and obtaining image data of the AI-encoded data from a media data box of the video file, decoding the image data, and restoring a low-resolution image of the current frame A high resolution image corresponding to the low resolution image by performing AI upscaling the low resolution image according to the upscale DNN information of the current frame, and obtaining the upscale DNN information of the current frame from the AI data.
  • Video decoding method comprising the step of generating It is provided.
  • a video encoding method using AI downscale determining downscale DNN information for AI downscaling a high resolution image of a current frame into a low resolution image, according to the downscale DNN information, the current Generating a low-resolution image of the current frame by AI down-scaling the high-resolution image of the frame, for upscale DNN information corresponding to the downscale DNN information, used for AI upscale of the low-resolution image of the current frame, Generating AI data, obtaining image data by encoding a low resolution image of the current frame, generating AI encoded data including the image data and the AI data, and image data of the AI encoded data Media data box and AI encoding data
  • a video encoding method comprising outputting a video file including a metadata box in which AI data of the data is inserted.
  • a video decoding apparatus that performs a video decoding method using AI upscale, comprising: receiving a video file including image data and AI encoded data including AI data on AI upscale of the image data A communication unit, a parsing unit that obtains AI data of the AI encoded data from the metadata box of the video file, and obtains image data of the AI encoded data from the media data box of the video file, decodes the image data, A first decoding unit for restoring a low-resolution image of the current frame, and obtaining the upscale DNN information of the current frame from the AI data, and AI up-scaling the low-resolution image according to the upscale DNN information of the current frame , To generate a high resolution image corresponding to the low resolution image
  • the video decoding apparatus comprising AI upscaled portion is provided.
  • downscale DNN information for AI downscaling a high resolution image of a current frame into a low resolution image is determined, and the downscale DNN information
  • AI downscaler for generating a low resolution image of the current frame and generating AI data used for AI upscaling of the low resolution image of the current frame by AI downscaling the high resolution image of the current frame is determined, and the downscale DNN information.
  • a video encoding apparatus including a communication unit for outputting the video file containing the inserted metadata box.
  • a method for generating and parsing AI data according to the data structure is provided along with a data structure of AI data required for AI upscale of a low-resolution image.
  • the efficiency of AI upscale may be improved.
  • FIG. 1 is a diagram for explaining an AI encoding process and an AI decoding process according to an embodiment.
  • FIG. 2 is a block diagram showing the configuration of an AI decoding apparatus according to an embodiment.
  • FIG. 3 is an exemplary diagram showing a second DNN for AI upscale of a second image.
  • FIG. 5 is an exemplary diagram illustrating a mapping relationship between various image related information and various DNN configuration information.
  • FIG. 6 is a view showing a second image composed of a plurality of frames.
  • FIG. 7 is a block diagram showing the configuration of an AI encoding apparatus according to an embodiment.
  • FIG. 8 is an exemplary diagram illustrating a first DNN for AI downscale of an original image.
  • FIG. 9 is a diagram for explaining a method of training the first DNN and the second DNN.
  • 10 is a view for explaining the training process of the first DNN and the second DNN by the training device.
  • 11 is an exemplary diagram illustrating an apparatus for AI downscale of an original image and an apparatus for AI upscale of a second image.
  • FIG. 12 illustrates the structure of image data and AI data, and the corresponding relationship between image data and AI data.
  • 13A illustrates the flow of data in the AI decoding apparatus when AI data is embedded in video data.
  • 13B illustrates the flow of data in the AI decoding apparatus when AI data and video data are separated and included in two files.
  • FIG. 14 shows an embodiment of AI-encoded data when AI data and video data are separated in a single file.
  • 15A shows an embodiment of AI-encoded data when AI data is inserted into image data in a single file.
  • 15B shows an embodiment of AI encoded data when AI data is inserted into image data in a single file.
  • 15C illustrates an embodiment of AI encoded data when some AI data is inserted into image data in a single file and the other AI data is separated from image data.
  • FIG. 16 shows an embodiment of AI encoded data divided in units of video segments when AI data and image data are separated as shown in FIG. 14.
  • FIG 17 illustrates an embodiment of AI data and image data that are transmitted as two files.
  • FIGS. 14 to 17 shows an embodiment of a data structure that can be applied to the video AI data described in FIGS. 14 to 17.
  • FIG. 18B shows an embodiment of a data structure applicable to the video segment AI data described in FIG. 16 or the frame group AI data of FIGS. 14, 15A to 15C, and FIG. 17.
  • FIG. 19 shows a syntax table in which the data structure of FIG. 18A is implemented.
  • FIGS. 14 to 17 shows an embodiment of a data structure that can be applied to the frame group AI data or frame AI data described in FIGS. 14 to 17.
  • FIG. 21 shows a syntax table in which the data structure of FIG. 20 is implemented.
  • 22 is a flowchart of an embodiment of an image decoding method according to an AI decoder.
  • FIG. 23 is a flowchart of an embodiment of an image encoding method according to an AI encoder.
  • 24 is a block diagram showing the configuration of an image decoding apparatus according to an embodiment.
  • 25 is a block diagram showing the configuration of an image encoding apparatus according to an embodiment.
  • the AI-encoded data includes image data including encoding information of a low-resolution image generated by AI down-scaling a high-resolution image, And AI data for AI upscale of the low resolution image reconstructed according to the image data, wherein the AI data includes AI target data indicating whether AI upscale is applied to one or more frames, and AI to the one or more frames.
  • a computer recordable recording medium comprising AI auxiliary data on upscale DNN information used for AI upscale of the one or more frames among a plurality of preset DNN configuration information preset.
  • one component when one component is referred to as “connected” or “connected” with another component, the one component may be directly connected to the other component, or may be directly connected, but in particular, It should be understood that, as long as there is no objection to the contrary, it may or may be connected via another component in the middle.
  • two or more components are expressed as ' ⁇ unit (unit)', 'module', or two or more components are combined into one component or one component is divided into more detailed functions. It may be differentiated into.
  • each of the components to be described below may additionally perform some or all of the functions of other components in addition to the main functions in charge of them, and some of the main functions of each component are different. Needless to say, it may be carried out exclusively by components.
  • 'image' or 'picture' may represent a still image, a moving image composed of a plurality of continuous still images (or frames), or a video.
  • 'DNN deep neural network
  • 'DNN deep neural network
  • the 'parameter' is a value used in a calculation process of each layer constituting a neural network, and may include, for example, a weight used when applying an input value to a predetermined calculation expression.
  • the parameter may be expressed in a matrix form.
  • the parameter is a value that is set as a result of training, and may be updated through separate training data as needed.
  • 'first DNN' means a DNN used for AI downscale of the image
  • 'second DNN' means a DNN used for AI upscale of the image
  • 'DNN setting information' includes information related to elements constituting the DNN and includes the aforementioned parameters.
  • the first DNN or the second DNN may be set using DNN setting information.
  • 'original image' refers to an image that is a target of AI encoding
  • 'first image' refers to an image obtained as a result of AI downscale of the original image in the AI encoding process
  • 'second image' refers to an image obtained through the first decoding in the AI decoding process
  • 'third image' refers to an image obtained by AI upscaling the second image in the AI decoding process.
  • 'AI downscale' refers to a process of reducing the resolution of an image based on AI
  • 'first encoding' refers to a encoding process by a frequency transform-based image compression method.
  • 'first decoding' refers to a decoding process using a frequency conversion-based image reconstruction method
  • 'AI upscale' refers to a process of increasing the resolution of an image based on AI.
  • AI 1 is a diagram for explaining an artificial intelligence (AI) encoding process and an AI decoding process according to an embodiment.
  • AI artificial intelligence
  • the first image 115 is obtained by AI down-scaling 110 of the original image 105 having high resolution.
  • the first encoding 120 and the first decoding 130 are performed on the first image 115 having a relatively small resolution, the first encoding 120 and the original image 105 are performed. Compared to the case where the first decoding 130 is performed, the processed bit rate can be greatly reduced.
  • the original image 105 is AI downscaled 110 to obtain the first image 115, and the first image 115 is the first.
  • Encode 120 In the AI decoding process, AI-encoded data including AI data and image data obtained as a result of AI encoding is received, the second image 135 is obtained through the first decoding 130, and the second image 135 is obtained. AI upscale 140 to obtain a third image 145.
  • the original image 105 is AI downscaled 110 to obtain the first image 115 of a predetermined resolution or a predetermined image quality.
  • the AI downscale 110 is performed based on AI, and the AI for the AI downscale 110 is trained in connection with the AI for the AI upscale 140 of the second image 135 (joint trained). do. Because, when the AI for the AI downscale 110 and the AI for the AI upscale 140 are trained separately, between the original image 105 that is the AI encoding target and the third image 145 reconstructed through AI decoding. This is because the difference between them becomes larger.
  • AI data may be used to maintain such a linkage relationship between the AI encoding process and the AI decoding process. Therefore, the AI data obtained through the AI encoding process must include information indicating the upscale target, and in the AI decoding process, the AI image is scaled up to the second image 135 according to the upscale target identified based on the AI data. 140).
  • the AI for the AI downscale 110 and the AI for the AI upscale 140 may be implemented as a deep neural network (DNN).
  • DNN deep neural network
  • the AI encoding apparatus uses target information used when the first DNN and the 2 DNN are jointly trained.
  • the AI decoding device may AI upscale 140 to a resolution targeting the second image 135 based on the received target information.
  • the first encoding 120 is a process of generating prediction data by predicting the first image 115, a process of generating residual data corresponding to a difference between the first image 115 and the prediction data, which is a spatial domain component. It may include a process of transforming the residual data into frequency domain components, a process of quantizing the residual data transformed into frequency domain components, and an entropy encoding of the quantized residual data.
  • the first encoding process 120 includes MPEG-2, H.264 AVC (Advanced Video Coding), MPEG-4, HEVC (High Efficiency Video Coding), VC-1, VP8, VP9 and AV1 (AOMedia Video 1). It can be implemented through one of the image compression method using the frequency conversion.
  • the second image 135 corresponding to the first image 115 may be reconstructed through the first decoding 130 of image data.
  • the first decoding 130 includes entropy decoding the image data to generate quantized residual data, inverse quantizing the quantized residual data, transforming residual data of a frequency domain component into a spatial domain component, and predictive data And a process of restoring the second image 135 using prediction data and residual data.
  • image compression using frequency conversion such as MPEG-2, H.264, MPEG-4, HEVC, VC-1, VP8, VP9, and AV1 used in the first encoding 120 process is performed. It may be implemented through an image restoration method corresponding to one of the methods.
  • the AI encoded data obtained through the AI encoding process may include image data obtained as a result of the first encoding 120 of the first image 115 and AI data related to the AI downscale 110 of the original image 105. You can.
  • the image data may be used in the first decoding 130 process, and the AI data may be used in the AI upscale 140 process.
  • the image data can be transmitted in the form of a bitstream.
  • the image data may include data obtained based on pixel values in the first image 115, for example, residual data that is a difference between prediction data of the first image 115 and the first image 115.
  • the image data includes information used in the first encoding 120 of the first image 115.
  • the image data includes prediction mode information used for first encoding 120 of the first image 115, motion information, and information related to quantization parameters used in the first encoding 120. can do.
  • the image data of the image compression method used in the first encoding 120 of the image compression method using the frequency conversion such as MPEG-2, H.264 AVC, MPEG-4, HEVC, VC-1, VP8, VP9 and AV1 It can be generated according to a rule, for example, syntax.
  • AI data is used for AI upscale 140 based on the second DNN.
  • the AI data includes information that enables accurate AI upscale 140 of the second image 135 through the second DNN.
  • the AI upscale 140 may be performed with a resolution and / or image quality targeting the second image 135 based on the AI data.
  • AI data may be transmitted together with image data in the form of a bitstream. Alternatively, depending on the implementation, AI data may be transmitted separately from the image data in the form of a frame or a packet. Image data and AI data obtained as a result of AI encoding may be transmitted through the same network or different networks.
  • FIG. 2 is a block diagram showing the configuration of an AI decoding apparatus 200 according to an embodiment.
  • the AI decoding apparatus 200 may include a receiving unit 210 and an AI decoding unit 230.
  • the reception unit 210 may include a communication unit 212, a parsing unit 214, and an output unit 216.
  • the AI decoder 230 may include a first decoder 232 and an AI upscaler 234.
  • the receiving unit 210 receives and parses the AI-encoded data obtained as a result of the AI encoding, distinguishes the image data from the AI data, and outputs the AI data to the AI decoding unit 230.
  • the communication unit 212 receives AI encoded data obtained as a result of AI encoding through a network.
  • the AI encoded data obtained as a result of AI encoding includes image data and AI data.
  • Image data and AI data may be received through a homogeneous network or a heterogeneous network.
  • the parsing unit 214 receives AI-encoded data received through the communication unit 212 and parses it to divide it into image data and AI data. For example, the header of data obtained from the communication unit 212 may be read to distinguish whether the corresponding data is video data or AI data. In one example, the parsing unit 214 classifies the image data and AI data through the header of the data received through the communication unit 212 and delivers them to the output unit 216, and the output unit 216 is divided into each The data is transferred to the first decoding unit 232 and the AI upscaler 234.
  • the video data included in the AI coded data is video data obtained through a predetermined codec (eg, MPEG-2, H.264, MPEG-4, HEVC, VC-1, VP8, VP9 or AV1) It can also be confirmed as.
  • a predetermined codec eg, MPEG-2, H.264, MPEG-4, HEVC, VC-1, VP8, VP9 or AV1
  • corresponding information may be transmitted to the first decoding unit 232 through the output unit 216 so that the image data can be processed with the identified codec.
  • the AI-encoded data parsed by the parsing unit 214 includes magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and floptical disks. It may be obtained from a data storage medium including the same magneto-optical medium.
  • the first decoder 232 restores the second image 135 corresponding to the first image 115 based on the image data.
  • the second image 135 obtained by the first decoder 232 is provided to the AI upscaler 234.
  • first decoding related information such as prediction mode information, motion information, and quantization parameter information included in the image data may be further provided to the AI upscaler 234.
  • the AI upscaler 234 receiving the AI data AI upscales the second image 135 based on the AI data.
  • AI up-scaling may be further performed using first decoding related information such as prediction mode information and quantization parameter information included in the image data.
  • the receiving unit 210 and the AI decoding unit 230 are described as separate devices, but may be implemented through a single processor.
  • the receiving unit 210 and the AI decoding unit 230 may be implemented as a dedicated processor, or may be implemented through a combination of a general-purpose processor such as an AP or a CPU and a GPU and S / W.
  • a dedicated processor it may be implemented including a memory for implementing an embodiment of the present disclosure, or a memory processor for using an external memory.
  • the receiving unit 210 and the AI decoding unit 230 may be composed of a plurality of processors. In this case, it may be implemented as a combination of dedicated processors, or may be implemented through a combination of a number of general-purpose processors, such as an AP or CPU, GPU, and S / W. Similarly, the AI upscaler 234 and the first decoder 232 may each be implemented with different processors.
  • the AI data provided to the AI upscale unit 234 includes information that enables AI upscale of the second image 135.
  • the upscale target should correspond to the downscale of the first DNN. Therefore, the AI data should include information that can identify the downscale target of the first DNN.
  • information included in the AI data includes difference information between the resolution of the original image 105 and the resolution of the first image 115, and information related to the first image 115.
  • the difference information may be expressed as information (for example, resolution conversion rate information) of a resolution conversion degree of the first image 115 compared to the original image 105.
  • the difference information may be expressed only with the resolution information of the original image 105. It might be.
  • the resolution information may be expressed by a screen size of horizontal / vertical, or may be expressed by a ratio (16: 9, 4: 3, etc.) and the size of one axis.
  • it may be expressed in the form of an index or a flag.
  • the information related to the first image 115 is stored in at least one of a bit rate of image data obtained as a result of the first encoding of the first image 115 and a codec type used in the first encoding of the first image 115.
  • Information is stored in at least one of a bit rate of image data obtained as a result of the first encoding of the first image 115 and a codec type used in the first encoding of the first image 115.
  • the AI upscaler 234 may determine an upscale target of the second image 135 based on at least one of difference information included in AI data and information related to the first image 115.
  • the upscale target may indicate, for example, how much resolution the second image 135 should be upscaled to.
  • AI upscales the second image 135 through the second DNN to obtain a third image 145 corresponding to the upscale target.
  • FIG. 3 is an exemplary view showing a second DNN 300 for AI upscale of the second image 135, and FIG. 4 is a convolution operation in the first convolution layer 310 shown in FIG. City.
  • the second image 135 is input to the first convolution layer 310.
  • 3X3X4 displayed on the first convolution layer 310 illustrated in FIG. 3 illustrates that convolution processing is performed on one input image using four filter kernels having a size of 3 ⁇ 3.
  • four feature maps are generated by four filter kernels.
  • Each feature map represents unique characteristics of the second image 135.
  • each feature map may indicate vertical characteristics, horizontal characteristics, or edge characteristics of the second image 135.
  • the feature map 450 can be generated. Since four filter kernels are used in the first convolution layer 310, four feature maps may be generated through a convolution operation process using four filter kernels.
  • I1 to I49 displayed on the second image 135 represent pixels of the second image 135, and F1 to F9 displayed on the filter kernel 430 represent parameters of the filter kernel 430.
  • M1 to M9 displayed on the feature map 450 represent samples of the feature map 450.
  • the second image 135 includes 49 pixels, but this is only one example, and when the second image 135 has a resolution of 4K, for example, 3840 X 2160 images It may contain pixels.
  • pixel values of I1, I2, I3, I8, I9, I10, I15, I16, and I17 of the second image 135 and F1, F2, F3, F4, F5 of the filter kernel 430, respectively , F6, F7, F8, and F9 each of the multiplication operation is performed, and a value obtained by combining (eg, addition operation) the result values of the multiplication operation may be assigned as the value of M1 of the feature map 450.
  • the parameters of the second DNN for example, the parameters of the filter kernel used in the convolutional layers of the second DNN (eg, filters) through the joint training of the first DNN and the second DNN
  • the values of F1, F2, F3, F4, F5, F6, F7, F8, and F9 of the kernel 430 may be optimized.
  • the AI upscale unit 234 determines an upscale target corresponding to the downscale target of the first DNN based on the AI data, and convolves the parameters corresponding to the determined upscale target into the second DNN. It can be determined by the parameters of the filter kernel used in the solution layers.
  • the convolution layers included in the first DNN and the second DNN may be processed according to the convolution operation process described with reference to FIG. 4, but the convolution operation process described in FIG. 4 is only an example, and is limited to this. It is not.
  • feature maps output from the first convolution layer 310 are input to the first activation layer 320.
  • the first activation layer 320 may impart a non-linear characteristic to each feature map.
  • the first activation layer 320 may include a sigmoid function, a tanh function, and a rectified linear unit (ReLU) function, but is not limited thereto.
  • the imparting of the nonlinear characteristic in the first activation layer 320 means changing and outputting some sample values of the feature map, which is the output of the first convolution layer 310. At this time, the change is performed by applying a nonlinear characteristic.
  • the first activation layer 320 determines whether to transfer sample values of feature maps output from the first convolution layer 310 to the second convolution layer 330. For example, some of the sample values of the feature maps are activated by the first activation layer 320 and transferred to the second convolutional layer 330, and some sample values by the first activation layer 320 It is inactive and is not delivered to the second convolution layer 330. The unique characteristics of the second image 135 represented by the feature maps are emphasized by the first activation layer 320.
  • the feature maps 325 output from the first activation layer 320 are input to the second convolution layer 330.
  • One of the feature maps 325 illustrated in FIG. 3 is a result of the feature map 450 described in connection with FIG. 4 being processed in the first activation layer 320.
  • 3X3X4 displayed on the second convolution layer 330 illustrates convolution processing on the input feature maps 325 using four filter kernels having a size of 3 ⁇ 3.
  • the output of the second convolution layer 330 is input to the second activation layer 340.
  • the second activation layer 340 may impart nonlinear characteristics to input data.
  • the feature maps 345 output from the second activation layer 340 are input to the third convolution layer 350.
  • 3X3X1 displayed on the third convolution layer 350 illustrated in FIG. 3 illustrates that convolution processing is performed to create one output image using one filter kernel having a size of 3 ⁇ 3.
  • the third convolution layer 350 is a layer for outputting the final image, and generates one output using one filter kernel. According to an example of the present disclosure, the third convolution layer 350 may output the third image 145 through the convolution operation result.
  • the DNN setting information indicating the number of filter kernels of the first convolution layer 310, the second convolution layer 330, and the third convolution layer 350 of the second DNN 300, parameters of the filter kernel, etc.
  • a plurality of DNN configuration information should be associated with the plurality of DNN configuration information of the first DNN.
  • the linkage between the plurality of DNN configuration information of the second DNN and the plurality of DNN configuration information of the first DNN may be implemented through linkage learning of the first DNN and the second DNN.
  • FIG. 3 shows that the second DNN 300 includes three convolutional layers 310, 330, and 350 and two activation layers 320, 340, but this is only an example, and is an implementation example. Accordingly, the number of convolutional layers and activation layers can be variously changed. Also, depending on the implementation, the second DNN 300 may be implemented through a recurrent neural network (RNN). In this case, it means changing the CNN structure of the second DNN 300 according to the example of the present disclosure to an RNN structure.
  • RNN recurrent neural network
  • the AI upscale unit 234 may include at least one Arithmetic Logic Unit (ALU) for the above-described convolution operation and operation of the activation layer.
  • ALU can be implemented as a processor.
  • the ALU includes a multiplier that performs a multiplication operation between the sample values of the feature map output from the second image 135 or the previous layer and the sample values of the filter kernel, and an adder that adds the result values of the multiplication. You can.
  • the ALU multiplies a weight used in a predetermined sigmoid function, a Tanh function, or a ReLU function to an input sample value, and compares the multiplied result with a predetermined value to obtain the input sample value. It may include a comparator to determine whether to deliver to the next layer.
  • the AI upscaler 234 may store a plurality of DNN setting information that can be set in the second DNN.
  • the DNN configuration information may include information on at least one of the number of convolution layers included in the second DNN, the number of filter kernels per convolution layer, and parameters of each filter kernel.
  • the plurality of DNN configuration information may respectively correspond to various upscale targets, and the second DNN may operate based on DNN configuration information corresponding to a specific upscale target.
  • the second DNN may have different structures according to the DNN configuration information.
  • the second DNN may include three convolutional layers according to some DNN configuration information, and the second DNN may include four convolutional layers according to other DNN configuration information.
  • DNN configuration information may include only the parameters of the filter kernel used in the second DNN.
  • the structure of the second DNN is not changed, but only the parameters of the internal filter kernel can be changed according to the DNN configuration information.
  • the AI upscaler 234 may acquire DNN configuration information for AI upscale of the second image 135 among the plurality of DNN configuration information.
  • Each of the plurality of DNN setting information used herein is information for obtaining a third image 145 of a predetermined resolution and / or a predetermined image quality, and is trained in connection with the first DNN.
  • Each of the plurality of DNN setting information is created in association with the DNN setting information of the first DNN of the AI encoding apparatus 600, and the AI upscaler unit 234 enlarges the ratio corresponding to the reduction ratio of the DNN setting information of the first DNN. Accordingly, one DNN configuration information among a plurality of DNN configuration information is acquired. To this end, the AI upscaler 234 must check the information of the first DNN. In order for the AI upscaler 234 to check the information of the first DNN, the AI decoding apparatus 200 according to an embodiment receives AI data including the information of the first DNN from the AI encoding apparatus 600. .
  • the AI upscaler 234 checks information targeted by the DNN setting information of the first DNN used to obtain the first image 115 using the information received from the AI encoding apparatus 600. And, it is possible to obtain the DNN setting information of the second DNN trained with it.
  • input data may be processed based on the second DNN that operates according to the obtained DNN configuration information.
  • the first convolution layer 310, the second convolution layer 330, and the third convolution layer (2) of the second DNN 300 shown in FIG. 350 For each, the number of filter kernels included in each layer and parameters of the filter kernels are set to values included in the obtained DNN configuration information.
  • parameters of the filter kernel of 3 X 3 used in any one convolution layer of the second DNN shown in FIG. 4 are ⁇ 1, 1, 1, 1, 1, 1, 1, 1, 1 ⁇ . It is to be set, and if there is a change in the DNN configuration information, it can be replaced with ⁇ 2, 2, 2, 2, 2, 2, 2, 2, 2 ⁇ parameters included in the changed DNN configuration information.
  • the AI upscaler 234 may acquire DNN setting information for upscaling the second image 135 among a plurality of DNN setting information based on information included in the AI data, and is used to obtain DNN setting information
  • the AI data to be described will be described in detail.
  • the AI upscaler 234 may obtain DNN setting information for upscaling the second image 135 among the plurality of DNN setting information based on the difference information included in the AI data. For example, based on the difference information, the resolution of the original image 105 (eg, 4K (4096 * 2160)) is greater than the resolution of the first image 115 (eg, 2K (2048 * 1080)). If it is confirmed that it is twice as large, the AI upscaler 234 may acquire DNN setting information capable of doubling the resolution of the second image 135.
  • the AI upscaler 234 sets the DNN for AI upscaling the second image 135 among the plurality of DNN setting information based on the information related to the first image 115 included in the AI data. Information can be obtained.
  • the AI upscaler 234 may determine a mapping relationship between image related information and DNN setting information in advance, and obtain DNN setting information mapped to the first image 115 related information.
  • FIG. 5 is an exemplary diagram illustrating a mapping relationship between various image related information and various DNN configuration information.
  • the AI encoding / AI decoding process does not only consider a change in resolution.
  • DNN setting information considering the resolutions such as SD, HD, and Full HD, bit rates such as 10Mbps, 15Mbps, and 20Mbps, and codec information such as AV1, H.264, HEVC individually or all The choice can be made.
  • training considering each element in the AI training process should be performed in connection with the encoding and decoding processes (see FIG. 9).
  • the first image received in the AI decoding process ( 115) DNN setting information for AI upscale of the second image 135 may be obtained based on the related information.
  • the AI upscaler 234 matches the image related information shown on the left side of the table shown in FIG. 5 with the DNN setting information on the right side of the table, so that DNN setting information according to the image related information can be used.
  • the resolution of the first image 115 from the information related to the first image 115 is SD, and the bit rate of the image data obtained as a result of the first encoding of the first image 115 is 10 Mbps.
  • the AI upscaler 234 may use A DNN setting information among a plurality of DNN setting information.
  • the resolution of the first image 115 is HD from the information related to the first image 115
  • the bit rate of the image data obtained as a result of the first encoding is 15 Mbps
  • the first image 115 is an H.264 codec. If it is confirmed that the first encoding is performed, the AI upscaler 234 may use B DNN configuration information among a plurality of DNN configuration information.
  • the resolution of the first image 115 from the information related to the first image 115 is Full HD
  • the bit rate of the image data obtained as a result of the first encoding of the first image 115 is 20 Mbps
  • the first image ( If it is confirmed that 115) is first encoded by the HEVC codec the AI upscaler unit 234 uses C DNN setting information among the plurality of DNN setting information, and the resolution of the first image 115 is Full HD, and
  • the AI upscaler 234 may include a plurality of DNNs.
  • D DNN configuration information may be used.
  • One of C DNN setting information and D DNN setting information is selected according to whether the bit rate of the image data obtained as a result of the first encoding of the first image 115 is 20 Mbps or 15 Mbps.
  • the bit rates of the image data are different from each other, which means that the quality of the restored image is different from each other.
  • the first DNN and the second DNN may be trained in association based on a predetermined image quality, and accordingly, the AI upscale unit 234 represents the image quality of the second image 135, and the DNN according to the bit rate of the image data Setting information can be obtained.
  • the AI upscaler 234 includes information provided from the first decoder 232 (prediction mode information, motion information, quantization parameter information, etc.) and the first image 115 included in the AI data.
  • DNN configuration information for AI upscaling of the second image 135 among the plurality of DNN configuration information may be obtained.
  • the AI upscaler 234 receives quantization parameter information used in the first encoding process of the first image 115 from the first decoder 232, and receives the first image 115 from the AI data.
  • the bit rate of the image data obtained as a result of encoding may be checked, and DNN configuration information corresponding to the quantization parameter and bit rate may be obtained.
  • bit rate is a value representing the entirety of the first coded first image 115 and the frame rate of each frame is also within the first image 115.
  • Image quality may be different. Accordingly, considering the prediction mode information, motion information, and / or quantization parameters that can be obtained for each frame from the first decoder 232, DNN setting more suitable for the second image 135 than using only AI data Information can be obtained.
  • the AI data may include identifiers of mutually promised DNN configuration information.
  • the identifier of the DNN setting information is an upscale target corresponding to the downscale target of the first DNN, and the DNN setting information trained in cooperation between the first DNN and the second DNN is configured to AI upscale the second image 135. Information for distinguishing pairs of.
  • the AI upscaler 234 may AI upscale the second image 135 using the DNN setting information corresponding to the identifier of the DNN setting information. .
  • an identifier indicating each of a plurality of DNN setting information settable in the first DNN and an identifier indicating each of a plurality of DNN setting information settable in the second DNN may be previously specified.
  • the same identifier may be specified for a pair of DNN configuration information that can be set for each of the first DNN and the second DNN.
  • the AI data may include an identifier of DNN setting information set in the first DNN for AI downscale of the original image 105.
  • the AI upscaler 234 receiving the AI data may AI upscale the second image 135 using the DNN setting information indicated by the identifier included in the AI data among the plurality of DNN setting information.
  • AI data may include DNN configuration information.
  • the AI upscaler 234 may acquire the DNN configuration information included in the AI data and then AI upscale the second image 135 using the DNN configuration information.
  • the AI upscaler 234 obtains DNN setting information by combining some of the lookup table values based on information included in the AI data, and AI-ups the second image 135 using the obtained DNN setting information. You can also scale.
  • the AI upscaler 234 may acquire DNN configuration information corresponding to the determined DNN structure, for example, parameters of the filter kernel. .
  • the AI upscaler 234 obtains DNN configuration information of the second DNN through AI data including information related to the first DNN, and obtains a second image 135 through the second DNN set as the obtained DNN configuration information. ) To AI upscaling, which can be compared with upscaling by directly analyzing the features of the second image 135, thereby reducing memory usage and computational power.
  • the AI upscaler 234 may independently acquire DNN setting information for each predetermined number of frames, or common to all frames DNN configuration information may be obtained.
  • FIG. 6 is a view showing a second image 135 composed of a plurality of frames.
  • the second image 135 may be formed of frames corresponding to t0 to tn.
  • the AI upscaler 234 may acquire DNN configuration information of the second DNN through AI data, and AI upscale the frames corresponding to t0 to tn based on the obtained DNN configuration information. That is, the frames corresponding to t0 to tn may be AI upscaled based on common DNN setting information.
  • the AI upscaler unit 234 uses 'A' DNN setting information obtained from AI data of frames corresponding to t0 to tn, for example, frames corresponding to t0 to ta. AI upscaling and AI upscaling of frames corresponding to ta + 1 to tb with 'B' DNN configuration information obtained from AI data may be performed.
  • the AI upscaler 234 may AI upscale the frames corresponding to tb + 1 to tn with 'C' DNN setting information obtained from AI data.
  • the AI upscaler 234 independently acquires DNN configuration information for each group including a predetermined number of frames among a plurality of frames, and uses AI as DNN configuration information for independently acquiring frames included in each group. It can be upscaled.
  • the AI upscaler 234 may independently acquire DNN setting information for each frame constituting the second image 135. That is, when the second image 135 is composed of three frames, the AI upscaler 234 AI upscales the first frame with DNN setting information obtained in relation to the first frame, and the second frame The second frame may be AI upscaled with the DNN configuration information obtained in relation to, and the third frame may be AI upscaled with the DNN configuration information obtained with respect to the third frame. DNN setting information is obtained based on the information provided from the first decoding unit 232 (prediction mode information, motion information, quantization parameter information, etc.) and information related to the first image 115 included in the AI data. Depending on the method, DNN setting information may be independently obtained for each frame constituting the second image 135. This is because mode information, quantization parameter information, and the like can be independently determined for each frame constituting the second image 135.
  • the AI data may include information indicating to which frame the DNN configuration information obtained based on the AI data is valid. For example, when the information that the DNN setting information is valid up to the ta frame is included in the AI data, the AI upscaler 234 AI upscales t0 to ta frames with the DNN setting information obtained based on the AI data. do. In addition, when the information that the DNN setting information is valid up to the tn frame is included in other AI data, the AI upscaler 234 is a frame of ta + 1 to tn as DNN setting information obtained based on the other AI data. You can upscale AI.
  • FIG. 7 is a block diagram showing the configuration of an AI encoding apparatus 600 according to an embodiment.
  • the AI encoding apparatus 600 may include an AI encoding unit 610 and a transmission unit 630.
  • the AI encoder 610 may include an AI downscaler 612 and a first encoder 614.
  • the transmission unit 630 may include a data processing unit 632 and a communication unit 634.
  • the AI encoding unit 610 and the transmission unit 630 may be implemented through a single processor.
  • it may be implemented as a dedicated processor, or may be implemented through a combination of a general-purpose processor such as an AP or a CPU or GPU and S / W.
  • a dedicated processor it may be implemented including a memory for implementing an embodiment of the present disclosure, or a memory processor for using an external memory.
  • the AI encoding unit 610 and the transmission unit 630 may be configured with a plurality of processors. In this case, it may be implemented as a combination of dedicated processors, or may be implemented through a combination of a number of general-purpose processors, such as an AP or CPU, GPU, and S / W.
  • the AI downscaler 612 and the first encoder 614 may also be implemented with different processors.
  • the AI encoder 610 performs AI downscale of the original image 105 and first encoding of the first image 115, and transmits AI data and image data to the transmitter 630.
  • the transmission unit 630 transmits AI data and image data to the AI decoding apparatus 200.
  • the image data includes data obtained as a result of the first encoding of the first image 115.
  • the image data may include data obtained based on pixel values in the first image 115, for example, residual data that is a difference between prediction data of the first image 115 and the first image 115.
  • the image data includes information used in the first encoding process of the first image 115.
  • the image data may include prediction mode information used to first encode the first image 115, motion information, quantization parameter related information used to first encode the first image 115, and the like. .
  • the AI data includes information that enables the AI upscaler 234 to AI upscale the second image 135 to an upscale target corresponding to the downscale target of the first DNN.
  • the AI data may include difference information between the original image 105 and the first image 115.
  • the AI data may include information related to the first image 115.
  • Information related to the first image 115 is used when the resolution of the first image 115, the bit rate of the image data obtained as a result of the first encoding of the first image 115, and the first encoding of the first image 115. It may include information on at least one of the codec types.
  • the AI data may include identifiers of mutually promised DNN configuration information so that the second image 135 can be AI upscaled to an upscale target corresponding to the downscale target of the first DNN. .
  • the AI data may include DNN setting information that can be set in the second DNN.
  • the AI downscaler 612 may acquire the AI downscaled first image 115 from the original image 105 through the first DNN.
  • the AI downscaler 612 may determine a downscale target of the original image 105 based on a predetermined criterion.
  • the AI downscaler 612 may store a plurality of DNN setting information that can be set in the first DNN.
  • the AI downscaler 612 acquires DNN configuration information corresponding to a downscale target among a plurality of DNN configuration information, and AI downscales the original image 105 through the first DNN set with the obtained DNN configuration information. .
  • Each of the plurality of DNN configuration information may be trained to obtain a first image 115 having a predetermined resolution and / or a predetermined image quality.
  • any one DNN configuration information among a plurality of DNN configuration information is a first image 115 having a resolution 1/2 times smaller than that of the original image 105, for example, 4K (4096 * 2160).
  • the AI downscaler 612 may obtain DNN setting information by combining a part of the lookup table values according to the downscale target, and AI downscale the original image 105 using the obtained DNN setting information.
  • the AI downscaler 612 may determine the structure of the DNN corresponding to the downscale target, and obtain DNN configuration information corresponding to the determined DNN structure, for example, parameters of the filter kernel. .
  • the plurality of DNN setting information for AI downscale of the original image 105 may have an optimized value by first training the first DNN and the second DNN.
  • each DNN configuration information includes at least one of the number of convolutional layers included in the first DNN, the number of filter kernels per convolutional layer, and the parameters of each filter kernel.
  • the AI downscaler 612 sets the first DNN with the DNN setting information determined for AI downscale of the original image 105, and the first image 115 of a predetermined resolution and / or a predetermined quality is received by the first DNN. Can be obtained through.
  • each layer in the first DNN can process input data based on information included in the DNN configuration information. .
  • the downscale target may indicate, for example, how much the first image 115 having the reduced resolution should be obtained from the original image 105.
  • the AI downscale unit 612 includes a compression rate (eg, a difference in resolution between the original image 105 and the first image 115, a target bit rate), and a compression quality (eg, bit rate). Type), compressed history information, and a type of the original image 105 to determine a downscale target.
  • a compression rate eg, a difference in resolution between the original image 105 and the first image 115, a target bit rate
  • a compression quality eg, bit rate
  • the AI downscaler 612 may be preset or determine a downscale target based on a compression rate or compression quality received from a user.
  • the AI downscaler 612 may determine a downscale target using compressed history information stored in the AI encoding apparatus 600. For example, according to the compressed history information available to the AI encoding apparatus 600, a user's preferred encoding quality or compression rate may be determined, and a downscale target may be determined according to the encoding quality determined based on the compressed history information. You can. For example, the resolution and image quality of the first image 115 may be determined according to the encoding quality that has been most frequently used according to the compressed history information.
  • the AI downscaler 612 may use encoding quality that has been used more than a predetermined threshold value according to compression history information (eg, average quality of encoding quality that has been used more than a predetermined threshold value). It is also possible to determine the downscale target based on the.
  • the AI downscaler 612 may determine the downscale target based on the resolution and type (eg, file format) of the original image 105.
  • the AI downscaler 612 may independently determine a downscale target for each predetermined number of frames, or a common downscale for all frames Targets can also be determined.
  • the AI downscaler 612 may divide frames constituting the original image 105 into a predetermined number of groups, and independently determine a downscale target for each group. The same or different downscale targets for each group can be determined. The number of frames included in the groups may be the same or different for each group.
  • the AI downscaler 612 may independently determine the downscale target for each frame constituting the original image 105. The same or different downscale targets for each frame can be determined.
  • FIG. 8 is an exemplary diagram illustrating a first DNN 700 for AI downscale of the original image 105.
  • the original image 105 is input to the first convolution layer 710.
  • the first convolution layer 710 performs convolution processing on the original image 105 using 32 filter kernels having a size of 5 ⁇ 5.
  • the 32 feature maps generated as a result of the convolution process are input to the first activation layer 720.
  • the first activation layer 720 may impart non-linear characteristics to 32 feature maps.
  • the first activation layer 720 determines whether to transfer sample values of feature maps output from the first convolution layer 710 to the second convolution layer 730. For example, some of the sample values of the feature maps are activated by the first activation layer 720 and transferred to the second convolutional layer 730, and some sample values by the first activation layer 720 It is inactive and is not delivered to the second convolution layer 730. The information indicated by the feature maps output from the first convolution layer 710 is highlighted by the first activation layer 720.
  • the output 725 of the first activation layer 720 is input to the second convolution layer 730.
  • the second convolution layer 730 performs convolution processing on the input data using 32 filter kernels having a size of 5 x 5.
  • the 32 feature maps output as a result of the convolution process are input to the second activation layer 740, and the second activation layer 740 can impart nonlinear characteristics to the 32 feature maps.
  • the output 745 of the second activation layer 740 is input to the third convolution layer 750.
  • the third convolution layer 750 performs convolution processing on the input data using one filter kernel having a size of 5 x 5. As a result of the convolution process, one image may be output from the third convolution layer 750.
  • the third convolution layer 750 is a layer for outputting the final image and acquires one output using one filter kernel. According to an example of the present disclosure, the third convolution layer 750 may output the first image 115 through the convolution operation result.
  • the DNN setting information indicating the number of filter kernels of the first convolution layer 710, the second convolution layer 730, and the third convolution layer 750 of the first DNN 700, parameters of the filter kernel, etc.
  • the plurality of DNN configuration information should be associated with the plurality of DNN configuration information of the second DNN.
  • the linkage between the plurality of DNN configuration information of the first DNN and the plurality of DNN configuration information of the second DNN may be implemented through linkage learning of the first DNN and the second DNN.
  • the first DNN 700 includes three convolutional layers 710, 730, and 750 and two activation layers 720, 740, but this is only an example, and an implementation Accordingly, the number of convolutional layers and activation layers can be variously changed. Also, depending on the implementation, the first DNN 700 may be implemented through a recurrent neural network (RNN). In this case, it means changing the CNN structure of the first DNN 700 to the RNN structure according to the example of the present disclosure.
  • RNN recurrent neural network
  • the AI downscaler 612 may include at least one ALU for convolution and activation layer computation.
  • ALU can be implemented as a processor.
  • the ALU may include a multiplier that performs a multiplication operation between the sample values of the feature map output from the original image 105 or the previous layer and the sample values of the filter kernel, and an adder that adds the result values of the multiplication. have.
  • the ALU multiplies a weight used in a predetermined sigmoid function, a Tanh function, or a ReLU function to an input sample value, and compares the multiplied result with a predetermined value to obtain the input sample value. It may include a comparator to determine whether to deliver to the next layer.
  • the first encoding unit 614 receiving the first image 115 from the AI downscaler 612 first encodes the first image 115 so that the first image 115 is transmitted. Branches can reduce the amount of information. As a result of the first encoding by the first encoding unit 614, image data corresponding to the first image 115 may be obtained.
  • the data processing unit 632 processes at least one of AI data and image data to be transmitted in a predetermined form. For example, when it is necessary to transmit AI data and video data in the form of a bit stream, the data processing unit 632 processes the AI data so that the AI data is expressed in the form of a bit stream, and one bit stream through the communication unit 634 Transmit AI data and video data in the form. As another example, the data processing unit 632 processes the AI data so that the AI data is expressed in the form of a bit stream, and through the communication unit 634, each of the bit stream corresponding to the AI data and the bit stream corresponding to the image data is communicated to the communication unit 634 ). As another example, the data processing unit 632 processes the AI data so that the AI data is expressed as a frame or a packet, and transmits the bitstream image data and the frame or packet type AI data through the communication unit 634.
  • the communication unit 634 transmits AI encoded data obtained as a result of AI encoding through a network.
  • the AI encoded data obtained as a result of AI encoding includes image data and AI data.
  • Image data and AI data may be transmitted through a homogeneous network or a heterogeneous network.
  • the AI-encoded data obtained as a result of processing by the data processing unit 632 includes magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and floptical disks. It may be stored in a data storage medium including a magneto-optical medium such as.
  • FIG. 9 is a diagram for explaining a method of training the first DNN 700 and the second DNN 300.
  • the original image 105 that is AI-encoded through the AI encoding process is restored to the third image 145 through the AI decoding process.
  • the third image 145 and the original image 105 obtained as a result of AI decoding are restored.
  • it is necessary to relate to the AI encoding process and the AI decoding process That is, the information lost in the AI encoding process must be able to be restored in the AI decoding process, and for this, a joint training of the first DNN 700 and the second DNN 300 is required.
  • the quality loss information 830 is used for both training of the first DNN 700 and the second DNN 300.
  • the original training image 801 is a target image of AI downscale
  • the first training image 802 is AI downscaled from the original training image 801. It is a video.
  • the third training image 804 is an AI upscaled image from the first training image 802.
  • the original training image 801 includes a still image or a video composed of a plurality of frames.
  • the original training image 801 may include a still image or a luminance image extracted from a video composed of a plurality of frames.
  • the original training image 801 may include a still image or a patch image extracted from a video composed of a plurality of frames.
  • the first training image 802, the second training image, and the third training image 804 are also composed of a plurality of frames.
  • a plurality of frames of the original training image 801 are sequentially input to the first DNN 700, the first training image 802 and the second training image through the first DNN 700 and the second DNN 300 And a plurality of frames of the third training image 804 may be sequentially obtained.
  • the original training image 801 is input to the first DNN 700.
  • the original training image 801 input to the first DNN 700 is AI downscaled and output as the first training image 802, and the first training image 802 is input to the second DNN 300.
  • the third training image 804 is output.
  • the first training image 802 is input to the second DNN 300, and according to an embodiment, the first training image 802 is obtained through the first encoding and first decoding processes.
  • a second training image may be input to the second DNN 300.
  • any codec of MPEG-2, H.264, MPEG-4, HEVC, VC-1, VP8, VP9 and AV1 can be used.
  • MPEG-2, H.264, MPEG-4, HEVC, VC-1 , VP8, VP9 and AV1 can be used.
  • a legacy downscaled reduced training image 803 is obtained from the original training image 801.
  • the legacy downscale may include at least one of a bilinear scale, a bicubic scale, a lanczos scale, and a stair step scale.
  • the first DNN 700 and the second DNN 300 may be set with predetermined DNN setting information.
  • structural loss information 810, complexity loss information 820, and quality loss information 830 may be determined.
  • the structural loss information 810 may be determined based on a comparison result of the reduced training image 803 and the first training image 802.
  • the structural loss information 810 may correspond to a difference between the structural information of the reduced training image 803 and the structural information of the first training image 802.
  • the structural information may include various features that can be extracted from the image, such as luminance, contrast, and histogram of the image.
  • the structural loss information 810 indicates to what extent structural information of the original training image 801 is maintained in the first training image 802. As the structural loss information 810 is smaller, structural information of the first training image 802 becomes similar to structural information of the original training image 801.
  • the complexity loss information 820 may be determined based on the spatial complexity of the first training image 802. In one example, as spatial complexity, a total variance value of the first training image 802 may be used.
  • the complexity loss information 820 is related to the bit rate of the image data obtained by first encoding the first training image 802. It is defined that the smaller the complexity loss information 820, the smaller the bit rate of the image data.
  • the quality loss information 830 may be determined based on a comparison result of the original training image 801 and the third training image 804.
  • the quality loss information 830 includes L1-norm values, L2-norm values, Structural Similarity (SSIM) values, and PSNR-HVS (Peak Signal-To) values for the difference between the original training image 801 and the third training image 804.
  • SSIM Structural Similarity
  • PSNR-HVS Peak Signal-To
  • MS-SSIM Multiscale SSIM
  • VIF Very Inflation Factor
  • VMAF Video Multimethod Assessment Fusion
  • structural loss information 810, complexity loss information 820, and quality loss information 830 are used for training of the first DNN 700, and quality loss information 830 is the second DNN ( 300). That is, the quality loss information 830 is used for training of the first DNN 700 and the second DNN 300.
  • the first DNN 700 may update the parameter so that the final loss information determined based on the structural loss information 810, complexity loss information 820, and quality loss information 830 is reduced or minimized.
  • the second DNN 300 may update the parameter such that the quality loss information 830 is reduced or minimized.
  • the final loss information for training the first DNN 700 and the second DNN 300 may be determined as shown in Equation 1 below.
  • LossDS a * structural loss information + b * complexity loss information + c * quality loss information
  • LossDS d * quality loss information
  • LossDS represents the final loss information to be reduced or minimized for the training of the first DNN 700
  • LossUS represents the final loss information to be reduced or minimized for the training of the second DNN 300 Shows.
  • a, b, c, and d may correspond to predetermined weights.
  • the first DNN 700 updates parameters in the direction in which LossDS of Equation 1 is reduced
  • the second DNN 300 updates parameters in the direction in which LossUS is decreased.
  • the first training image 802 obtained based on the updated parameter is different from the first training image 802 in the previous training course
  • the third training image 804 is also different from the third training image 804 in the previous training process. If the third training image 804 is different from the third training image 804 in the previous training process, the quality loss information 830 is also newly determined, and accordingly, the second DNN 300 updates the parameters.
  • the LossDS is also newly determined, so the first DNN 700 updates parameters according to the newly determined LossDS. That is, the parameter update of the first DNN 700 causes the parameter update of the second DNN 300, and the parameter update of the second DNN 300 causes the parameter update of the first DNN 700.
  • the parameters of the first DNN 700 and the parameters of the second DNN 300 are It can be optimized with relevance.
  • LossUS is determined according to the quality loss information 830, but this is an example, and LossUS includes at least one of structural loss information 810 and complexity loss information 820, It may be determined based on the quality loss information 830.
  • the AI upscaler 234 of the AI decoding apparatus 200 and the AI downscaler 612 of the AI encoding apparatus 600 were described as storing a plurality of DNN configuration information, but the AI upscaler 234 ) And a method of training each of the plurality of DNN configuration information stored in the AI downscaler 612 will be described.
  • the degree of similarity between the structural information of the first training image 802 and the structural information of the original training image 801 (structural loss information 810) )
  • the bit rate (complexity loss information 820) of the image data obtained as a result of the first encoding of the first training image 802 and the difference (quality loss) between the third training image 804 and the original training image 801 The parameters are updated in consideration of the information 830.
  • the first training image 802 having a small bit rate of image data obtained when performing the first encoding is obtainable, and at the same time, the first training image.
  • the parameters of the first DNN 700 may be updated so that the second DNN 300 up-scaling 802 can acquire a third training image 804 similar to the original training image 801.
  • the direction in which the parameters of the first DNN 700 are optimized is different. For example, if the weight of b is determined to be high, the parameter of the first DNN 700 may be updated with more importance on lowering the bit rate than the quality of the third training image 804. In addition, when the weight of c is determined to be high, the bit rate is increased, or the importance of allowing the quality of the third training image 804 to increase is increased rather than maintaining the structural information of the original training image 801. 1 The parameters of DNN 700 may be updated.
  • a direction in which parameters of the first DNN 700 are optimized may be different according to the type of codec used to first encode the first training image 802. This is because the second training image to be input to the second DNN 300 may vary according to the type of codec.
  • the parameters of the first DNN 700 and the parameters of the second DNN 300 are linked based on the weight a, the weight b, the weight c, and the type of codec for the first encoding of the first training image 802. It can be updated. Accordingly, when each of the weights a, b, and c is determined as a predetermined value, and after determining the type of codec as a predetermined type, the first DNN 700 and the second DNN 300 are trained to be linked to each other. Optimized parameters of the first DNN 700 and parameters of the second DNN 300 may be determined.
  • parameters of the first DNN 700 optimized in association with each other And parameters of the second DNN 300 may be determined.
  • a plurality of DNN setting information trained in association with each other is the first. It can be determined by the DNN 700 and the second DNN 300.
  • a plurality of DNN configuration information of the first DNN 700 and the second DNN 300 may be mapped to the first image related information.
  • the first training image 802 output from the first DNN 700 is first encoded with a specific codec according to a specific bit rate, and the bitstream obtained as a result of the first encoding is first decoded.
  • the acquired second training image may be input to the second DNN 300.
  • the first DNN setting mapped to the resolution of the training image 802, the type of codec used for the first encoding of the first training image 802, and the bitrate of the bitstream obtained as a result of the first encoding of the first training image 802 Information pairs can be determined.
  • the resolution of the first training image 802, the type of codec used for the first encoding of the first training image 802, and the bit rate of the bitstream obtained according to the first encoding of the first training image 802 vary.
  • a mapping relationship between a plurality of DNN configuration information of the first DNN 700 and the second DNN 300 and the first image-related information may be determined.
  • FIG. 10 is a view for explaining a training process of the first DNN 700 and the second DNN 300 by the training apparatus 1000.
  • Training of the first DNN 700 and the second DNN 300 described with reference to FIG. 9 may be performed by the training apparatus 1000.
  • the training device 1000 includes a first DNN 700 and a second DNN 300.
  • the training device 1000 may be, for example, an AI encoding device 600 or a separate server.
  • DNN configuration information of the second DNN 300 obtained as a result of training is stored in the AI decoding apparatus 200.
  • the training apparatus 1000 initially sets DNN setting information of the first DNN 700 and the second DNN 300 (S840, S845). Accordingly, the first DNN 700 and the second DNN 300 may operate according to predetermined DNN setting information.
  • the DNN configuration information includes at least one of the number of convolutional layers included in the first DNN 700 and the 2 DNN 300, the number of filter kernels per convolutional layer, the size of the filter kernel per convolutional layer, and the parameters of each filter kernel. It can contain information about one.
  • the training apparatus 1000 inputs the original training image 801 as the first DNN 700 (S850).
  • the original training image 801 may include at least one frame constituting a still image or a video.
  • the first DNN 700 processes the original training image 801 according to the initially set DNN setting information, and outputs the AI-downscaled first training image 802 from the original training image 801 (S855).
  • 10 shows that the first training image 802 output from the first DNN 700 is directly input to the second DNN 300, but the first training image 802 output from the first DNN 700 is shown in FIG. ) May be input to the second DNN 300 by the training device 1000.
  • the training apparatus 1000 may first encode and first decode the first training image 802 with a predetermined codec, and then input the second training image to the second DNN 300.
  • the second DNN 300 processes the first training image 802 or the second training image according to the initially set DNN setting information, and is AI upscaled from the first training image 802 or the second training image.
  • the training image 804 is output (S860).
  • the training apparatus 1000 calculates complexity loss information 820 based on the first training image 802 (S865).
  • the training apparatus 1000 compares the reduced training image 803 and the first training image 802 to calculate structural loss information 810 (S870).
  • the training apparatus 1000 compares the original training image 801 and the third training image 804 to calculate quality loss information 830 (S875).
  • the first DNN 700 updates DNN configuration information initially set through a back propagation process based on the final loss information (S880).
  • the training apparatus 1000 may calculate final loss information for training of the first DNN 700 based on the complexity loss information 820, the structural loss information 810, and the quality loss information 830.
  • the second DNN 300 updates DNN configuration information initially set through a reverse transcription process based on quality loss information or final loss information (S885).
  • the training apparatus 1000 may calculate final loss information for training of the second DNN 300 based on the quality loss information 830.
  • the training apparatus 1000, the first DNN 700 and the second DNN 300 repeat the process of S850 to S885 until the final loss information is minimized to update the DNN setting information.
  • the first DNN 700 and the second DNN operate according to DNN configuration information updated in the previous process.
  • Table 1 shows the effects of AI encoding and AI decoding of the original image 105 and encoding and decoding of the original image 105 with HEVC according to an embodiment of the present disclosure.
  • FIG. 11 is an exemplary diagram showing a device 20 for AI downscale of the original image 105 and a device 40 for AI upscale of the second image 135.
  • the device 20 receives the original image 105 and provides the image data 25 and the AI data 30 to the device 40 using the AI downscaler 1124 and the transform-based encoding unit 1126 do.
  • the image data 25 corresponds to the image data in FIG. 1
  • the AI data 30 corresponds to the AI data in FIG. 1.
  • the transform-based encoding unit 1126 corresponds to the first encoding unit 614 of FIG. 7, and the AI downscale unit 1124 corresponds to the AI downscale unit 612 of FIG. 7. .
  • the device 40 receives the AI data 30 and the image data 25 and acquires the third image 145 using the transform-based decoding unit 1146 and the AI upscaler 1144.
  • the transform-based decoder 1146 corresponds to the first decoder 232 of FIG. 2
  • the AI upscaler 1144 corresponds to the AI upscaler 234 of FIG. 2.
  • the device 20 includes a computer program comprising a CPU, memory and instructions. Computer programs are stored in memory. In one embodiment, upon execution of the computer program by the CPU, the device 20 performs the functions described with respect to FIG. 11. In one embodiment, a function to be described in connection with FIG. 11 is performed by a dedicated hardware chip and / or CPU.
  • the device 40 includes a computer program including a CPU, memory and instructions. Computer programs are stored in memory. In one embodiment, upon execution of the computer program by the CPU, the device 40 performs the functions described in connection with FIG. 11. In one embodiment, a function to be described in connection with FIG. 11 is performed by a dedicated hardware chip and / or CPU.
  • the configuration control unit 1122 receives one or more input values 10.
  • the one or more input values 10 are the target resolution difference for the AI downscaler 1124 and AI upscaler 1144, the bitrate of the image data 25, the bits of the image data 25 It may include at least one of a rate type (eg, variable bitrate type, constant bitrate type, average bitrate type, etc.) and a codec type for the transform-based encoding unit 1126.
  • the one or more input values 10 may be stored in advance in the device 20 or include values input from a user.
  • the configuration control unit 1122 controls operations of the AI downscaler 1124 and the transform-based encoding unit 1126 based on the received input value 10.
  • the configuration control unit 1122 obtains the DNN setting information for the AI downscaler 1124 according to the received input value 10, and the AI downscaler 1124 with the obtained DNN setting information Settings.
  • the configuration control unit 1122 transmits the received input value 10 to the AI downscaler 1124, and the AI downscaler 1124 transmits the original image based on the received input value 10.
  • DNN configuration information for down-scaling 105 may be obtained.
  • the configuration control unit 1122 along with the input value 10, additional information, for example, a color format to which AI downscale is applied (luminance component, color difference component, red component, green component, blue component, etc.) Information, tone mapping information of a high dynamic range (HDR) is provided to the AI downscaler 1124, and the AI downscaler 1124 sets the DNN in consideration of the input value 10 and additional information Information can also be obtained.
  • the configuration control unit 1122 transmits at least a portion of the received input value 10 to the transformation-based encoding unit 1126, so that the transformation-based encoding unit 1126 has a specific value of a bit rate and a specific type of bit.
  • the first image 115 is first encoded with a rate and a specific codec.
  • the AI downscaler 1124 receives the original image 105 and performs the operations described with respect to at least one of FIGS. 1, 7, 7, 8, 9, and 10 to obtain the first image 115. Perform.
  • AI data 30 is provided to device 40.
  • the AI data 30 may include at least one of resolution difference information between the original image 105 and the first image 115 and information related to the first image 115. Resolution difference information may be determined based on a target resolution difference of the input value 10, and information related to the first image 115 may be determined based on at least one of a target bit rate, a bit rate type, and a codec type.
  • AI data 30 may include parameters used in the AI upscale process. AI data may be provided from the AI downscaler 1124 to the device 40.
  • the first image 105 is processed by the transform-based encoding unit 1126 to obtain image data 25 and the image data 25 is delivered to the device 40.
  • the transform-based encoding unit 1126 may process the first image 115 according to MPEG-2, H.264 AVC, MPEG-4, HEVC, VC-1, VP8, VP9 or AV1.
  • the configuration control unit 1142 controls the operation of the AI upscaler unit 1144 based on the AI data 30.
  • the configuration control unit 1142 obtains the DNN setting information for the AI upscaler 1144 according to the received AI data 30, and the AI upscaler 1144 with the obtained DNN setting information Settings.
  • the configuration control unit 1142 transfers the received AI data 30 to the AI upscaler 1144, and the AI upscaler 1144 is based on the AI data 30 to generate a second image ( DNN configuration information for AI upscale of 135) may be obtained.
  • the configuration control unit 1142 together with the AI data 30, additional information, for example, a color format to which AI upscale is applied (luminance component, chrominance component, red component, green component or blue component, etc.) Information, tone mapping information of high dynamic range (HDR) is provided to the AI upscaler 1144, and the AI upscaler 1144 obtains DNN setting information in consideration of the AI data 30 and additional information. It might be.
  • the AI upscaler 1144 receives the AI data 30 from the configuration controller 1142, and receives at least one of prediction mode information, motion information, and quantization parameter information from the transform-based decoder 1146. DNN setting information may be obtained based on at least one of prediction mode information, motion information, and quantization parameter information and AI data 30.
  • the transformation-based decoder 1146 processes the image data 25 to restore the second image 135.
  • the transform-based decoder 1146 may process the image data 25 according to MPEG-2, H.264 AVC, MPEG-4, HEVC, VC-1, VP8, VP9 or AV1.
  • the AI upscaler 1144 AI upscales the second image 135 provided from the transform-based decoder 1146 based on the set DNN setting information to obtain a third image 145.
  • the AI downscaler 1124 includes a first DNN, and the AI upscaler 1144 may include a second DNN.
  • DNN configuration information for the first DNN and the second DNN is Training is performed according to the training method described with reference to FIGS. 9 and 10.
  • the upscale DNN is a DNN used to AI upscale a low-resolution image such as the second image 135 to a high-resolution image such as the third image 145 like the second DNN 300 of FIG. 3.
  • the upscale DNN information represents DNN configuration information specified according to AI data, and an upscale DNN may be set based on the upscale DNN information.
  • the low-resolution image represents an image having a small resolution, such as the first image 115 and the second image 135.
  • the high-resolution image represents a high-resolution image such as the original image 105 and the third image 145.
  • FIG. 12 illustrates the structure of the image data 1200 and the AI data 1240, and the corresponding relationship between the image data 1200 and the AI data 1240.
  • FIG. 12 a video-frame group-frame hierarchy of image data 1200 is described.
  • the video 1202 of FIG. 12 is a data unit including all consecutive frames of the image data 1200.
  • Parameter information of a video parameter set may be applied to all frames included in the video 1202.
  • the video parameter set is included in video header 1204.
  • the video 1202 may include a plurality of frame groups.
  • a frame group is a data unit composed of one or more consecutive frames sharing parameter information of a frame group parameter set.
  • the frame group may be GOP (Group pf Pictures) or CVS (Coded Video Sequence).
  • the frame group parameter set may be included in the frame group header.
  • the frame group parameter set of the first frame group 1210 may be included in the first frame group header 1212.
  • the frame group parameter set of the second frame group 1214 may be included in the second frame group header 1216.
  • the frame group includes an IDR (Instantaneous decoding refresh) frame or an IRAP (Intra Random Access Pictures) frame encoded without referring to other frames. And the remaining frames of the frame group are encoded with reference to the IDR frame (or IRAP frame). Therefore, the first frame group 1210 is independently encoded without referring to other frame groups of the video 1202.
  • the first frame 1220 which is the first coded frame of the first frame group 1210, is an IDR frame (or IRAP frame).
  • the remaining frames of the first frame group 1210 including the second frame 1230 are encoded with reference to the first frame 1220.
  • the frame represents one still image included in the video.
  • the frame header may include a frame parameter set including parameter information applied to the frame.
  • the first frame header 1222 of the first frame 1220 may include a set of frame parameters applied to the first frame 1220.
  • the second frame header 1232 of the second frame 1230 may include a set of frame parameters applied to the second frame 1230.
  • the AI data 1240 may be classified into video AI data 1242, frame group AI data 1250, and frame AI data 1260 according to an application range.
  • the video AI data 1242 refers to AI data commonly applied to all frame groups included in the video.
  • the frame group AI data 1250 refers to AI data commonly applied to frames included in the current frame group.
  • the frame AI data 1260 refers to AI data applied to the current frame.
  • Video AI data 1242 corresponds to video header 1204. Therefore, the video AI data 1242 can be decoded in parallel with the video header 1204. Alternatively, the video AI data 1242 may be decoded immediately before decoding of the video header 1204. Alternatively, the video AI data 1242 may be decoded immediately after decoding the video header 1204.
  • the frame group AI data 1250 corresponds to the frame group header.
  • the first frame group AI data 1252 corresponds to the first frame group header 1212.
  • the second frame group AI data 1254 corresponds to the second frame group header 1216.
  • the first frame group AI data 1252 and the second frame group AI data 1254 may be decoded in parallel with the first frame group header 1212 and the second frame group header 1216, respectively.
  • the first frame group AI data 1252 and the second frame group AI data 1254 may be decoded immediately before decoding of the first frame group header 1212 and the second frame group header 1216, respectively.
  • the first frame group AI data 1252 and the second frame group AI data 1254 may be decoded immediately after decoding of the first frame group header 1212 and the second frame group header 1216, respectively.
  • the frame AI data 1260 corresponds to the frame header.
  • the first frame AI data 1262 corresponds to the first frame header 1222.
  • the second frame AI data 1264 corresponds to the second frame header 1232.
  • the first frame AI data 1262 and the second frame AI data 1264 may be decoded in parallel with the first frame header 1222 and the second frame header 1232, respectively.
  • the first frame AI data 1262 and the second frame AI data 1264 may be decoded immediately before decoding of the first frame header 1222 and the second frame header 1232, respectively.
  • the first frame AI data 1262 and the second frame AI data 1264 may be decoded immediately after decoding of the first frame header 1222 and the second frame header 1232, respectively.
  • the data processing unit 632 of FIG. 7 may generate AI encoded data in the form of a single file including both the image data 1200 and the AI data 1240.
  • the communication unit 634 transmits AI encoding data in the form of a single file to the communication unit 212 of FIG. 2.
  • a file means a collection of data stored in memory.
  • the video file means a group of video data stored in the memory, and the video data may be implemented in the form of a bitstream.
  • the AI data 1240 is not inserted into the image data 1200 but may be configured separately from the image data 1200 in a single file. Therefore, even though the AI encoded data is composed of a single file, since the AI data 1240 and the image data 1200 are separated, the AI data 1240 and / or the image data 1200 are the AI data 1240 and the image data 1200 ).
  • the communication unit 212 may receive AI-encoded data.
  • the parsing unit 214 may extract AI data and image data from AI encoded data.
  • the output unit 216 transmits the image data to the first decoding unit 232 and the AI data to the AI upscaler unit 234.
  • the first decoder 232 decodes the image data to generate a low-resolution image.
  • the AI upscaler 234 obtains upscale DNN information suitable for upscale of the low resolution image based on the AI data, and uses the upscale DNN set according to the upscale DNN information to AI upscale the low resolution image. do.
  • synchronization data for synchronization of AI data and image data may be included in the AI encoding data.
  • the synchronization data may be included in the AI encoded data independently of the AI data and image data.
  • the synchronization data may be included in AI data or image data.
  • the parsing unit 214 may synchronize image data and AI data according to the synchronization data.
  • the AI upscaler 234 may synchronize image data and AI data according to the synchronization data.
  • appropriate upscale DNN information for AI upscaling the low resolution image may be selected.
  • the AI data 1240 may be embedded in the image data 1200.
  • video AI data 1242 may be inserted into video header 1204.
  • the video header 1204 may include video AI data 1242 along with a video parameter set. Therefore, the video AI data 1242 can be decoded together with the video parameter set.
  • the video AI data 1242 may be inserted into a single file to be located before or after the video header 1204, independently from the video header 1204. Therefore, decoding of the video AI data 1242 may be performed immediately before or after decoding the video header 1204.
  • the first frame group header 1212 may include the first frame group AI data 1252 together with the frame group parameter set. Therefore, the first frame group AI data 1252 can be decoded together with the frame group parameter set.
  • the first frame group AI data 1252 may be inserted into a single file to be located before or after the first frame group header 1212, independently from the first frame group header 1212. Therefore, decoding of the first frame group AI data 1252 may be performed immediately before or immediately after decoding of the first frame group header 1212.
  • the first frame header 1222 may include the first frame AI data 1262 together with the frame parameter set. Therefore, the first frame AI data 1262 can be decoded together with the frame parameter set.
  • the first frame AI data 1262 may be inserted into a single file to be located before or after the first frame header 1222 independently of the first frame header 1222. Therefore, decoding of the first frame AI data 1262 may be performed immediately before or after decoding of the first frame header 1222.
  • AI encoded data when AI data is embedded in image data, AI data cannot be independently decoded without decoding the image data. Therefore, while the first decoding unit 232 decodes the image data, AI data embedded in the image data is extracted from the image data. Then, the AI data extracted from the image data is transmitted from the first decoder 232 to the AI upscaler 234.
  • a part of the AI data is inserted into the image data, and the other part of the AI data may be included in the AI encoded data independently of the image data.
  • the video AI data may be included in the AI encoded data independently of the image data, and the frame group AI data and the frame AI data may be inserted in the image data.
  • the first AI data existing independently of the image data may be separated from the image data in the parsing unit 214.
  • the first AI data separated from the image data may be transmitted from the output unit 216 to the AI upscaler unit 234.
  • the first AI data may be video AI data and / or video segment AI data.
  • the second AI data inserted in the image data is extracted from the image data by the first decoder 232.
  • the extracted second AI data is transmitted from the first decoder 232 to the AI upscaler 234.
  • the AI upscaler 234 acquires upscale DNN information necessary for AI upscale of the low resolution image according to the first AI data and the second AI data.
  • the second AI data may be frame group AI data and / or frame AI data.
  • the data processing unit 632 may separately generate a file corresponding to the image data 1200 and a file corresponding to the AI data 1240. Therefore, the communication unit 634 transmits AI-encoded data to the communication unit 212 in two file formats. Accordingly, the communication unit 634 may transmit a file corresponding to the image data 1200 and a file corresponding to the AI data 1240 to other communication channels. In addition, the communication unit 634 may sequentially transmit the file corresponding to the image data 1200 and the file corresponding to the AI data 1240 with a time difference.
  • the file corresponding to the AI data 1240 is subjected to a decoding process of the file corresponding to the image data 1200. It can be subordinately decoded.
  • the file corresponding to the image data 1200 and the file corresponding to the AI data 1240 are separated, the file corresponding to the image data 1200 and the file corresponding to the AI data 1240 are the two files. It may include information about synchronization.
  • 13B illustrates the flow of data in the AI decoding apparatus 200 when AI data and image data are separated and composed of two files.
  • the communication unit 212 may separately receive a file including image data and a file including AI data instead of a single file containing AI encoded data. Also, the communication unit 212 may acquire synchronization data necessary for synchronization of image data and AI data from a file including image data or a file containing AI data. According to an embodiment, synchronization data may be transmitted from a separate file. In FIG. 13B, synchronization data is represented as data independent of AI data, but according to an embodiment, AI data or image data may include synchronization data.
  • the parsing unit 214 may synchronize image data and AI data according to synchronization data.
  • the output unit 216 may transmit the synchronized image data to the first decoding unit 232 and the synchronized AI data to the AI upscaler unit 234.
  • the output unit 216 may transmit image data to the first decoder 232.
  • AI data and synchronization data may be transmitted to the AI upscale unit 234.
  • the AI upscaler 234 AI upscales the low-resolution image output from the first decoder 232 by using the synchronization data and the upscale DNN information obtained according to the AI data.
  • AI-encoded data when AI data and image data are separated in a single file.
  • AI-encoded data is included in a video file 1400 in a predetermined container format.
  • the predetermined container format may be MP4, AVI, MKV, FLV, and the like.
  • the video file 1400 includes a metadata box 1410 and a media data box 1430.
  • the metadata box 1410 includes information about media data included in the media data box 1430.
  • the metadata box 1410 may include information about the type of media data, the type of codec used to encode the media data, and the playback time of the media.
  • the metadata box 1410 may include synchronization data 1415 and AI data 1420.
  • the synchronization data 1415 and AI data 1420 are encoded according to an encoding method provided in a predetermined container format and stored in the metadata box 1410.
  • the parsing unit 214 may extract synchronization data 1415 and AI data 1420 from the metadata box 1410. In addition, the parsing unit 214 may extract image data 1431 from the media data box 1430.
  • the output unit 216 may transmit the image data 1431 to the first decoder 232 and the AI data 1420 to the AI upscaler unit 234 according to the synchronization data 1415. Alternatively, the output unit 216 transmits the synchronization data 1415 to the AI upscaler unit 234, and the AI upscaler unit 234, according to the synchronization data 1415, image data 1431 and AI data ( 1420).
  • the AI data 1420 includes video AI data 1422, frame group AI data 1424, and frame AI data 1426.
  • the video AI data 1422 is set to correspond to the video header 1432, the frame group AI data 1424, the frame group header 1436, and the frame AI data 1426 to correspond to the frame header 1440.
  • the frame group AI data 1424 and the frame AI data 1426 may be omitted from the AI data 1420.
  • the frame AI data 1426 may be omitted from the AI data 1420.
  • the synchronization data 1415 relates to synchronization of the video AI data 1422, the frame group AI data 1424, and the frame AI data 1426 and the video header 1432, the frame group header 1436, and the frame header 1440.
  • the synchronization data 1415 may include reproduction order information or decoding order information of the image data 1431 of the media data box 1430.
  • the AI upscaler 234 may obtain upscale DNN information necessary for AI upscale of the low resolution image from AI data determined according to reproduction order information or decoding order information of the synchronization data 1415.
  • the parsing unit 214 or the AI upscaler unit 234 is a frame group corresponding to the frame group 1434 based on the synchronization data 1415
  • the AI data 1424 and the frame AI data 1426 corresponding to the frame 1438 may be determined.
  • the AI upscaler 234 AI-ups the low-resolution image of the frame 1438. Upscale DNN information for scale may be obtained.
  • the AI data 1420 of the metadata box 1410 may be decoded before the image data 1431 of the media data box 1430. Therefore, the AI upscaler 234 may acquire the upscale DNN information before decoding the image data 1431 according to the AI data 1420.
  • the upscale DNN information can be applied to the entire video. Alternatively, for adaptive AI upscale in frame group units, different upscale DNN information for each frame group may be obtained. Alternatively, for adaptive AI upscale on a frame-by-frame basis, upscale DNN information may be obtained in advance differently for each frame.
  • the AI upscaler 234 may decode the AI data 1420 in the metadata box 1410 according to the decoding order of the image data 1431 in the media data box 1430. Decoding of the video AI data 1422 may be performed immediately before or after decoding of the video header 1432. Alternatively, the video AI data 1422 may be decoded in parallel with the video header 1432. In order to decode the video AI data 1422 according to the decoding order of the video header 1432, synchronization data 1415 may be referenced.
  • the AI upscaler 234 may perform decoding of the frame group AI data 1424 immediately before or after decoding the frame group header 1436 according to the first decoder 232. Alternatively, the AI upscaler 234 may decode the frame group AI data 1424 in parallel with the decoding of the frame group header 1436 according to the first decoder 232. In order to decode the frame group AI data 1424 according to the decoding order of the frame group header 1436, synchronization data 1415 may be referenced.
  • the AI upscaler 234 may perform decoding of the frame AI data 1426 immediately before or after decoding the frame header 1440 according to the first decoder 232.
  • the AI upscaler 234 may decode the frame AI data 1426 in parallel with the decoding of the frame header 1440 according to the first decoder 232.
  • synchronization data 1415 may be referenced.
  • the video file 1400 includes one metadata box 1410 and one media data box 1430.
  • the video file 1400 may include two or more metadata boxes and two or more media data boxes. Accordingly, two or more image data segments in which the image data is divided into predetermined time units may be stored in two or more media data boxes.
  • information on image data segments stored in the two or more media data boxes may be included in the two or more metadata boxes.
  • two or more metadata boxes may each include AI data.
  • 15A shows an embodiment of AI-encoded data when AI data is embedded in image data.
  • the video file 1500 includes a metadata box 1502 and a media data box 1504, like the video file 1400 of FIG. 14.
  • the metadata box 1502 does not include AI data. Instead, the image data in which AI data is inserted is included in the media data box 1504.
  • AI data may be encoded according to a video codec of image data.
  • the video codec of the image data may be H.264, HEVC, AVS2.0, Xvid, or the like.
  • the parsing unit 214 does not extract AI data from the metadata box 1502. Instead, the first decoder 232 may extract AI data from the image data 1505 and transfer the extracted AI data to the AI upscaler 234. And based on the upscale DNN information obtained by the AI data, the AI upscaler 234 may AI upscale the low-resolution image reconstructed by the first decoder 232.
  • the video file 1500 may not include synchronization data. Accordingly, the AI data is sequentially decoded as the image data 1505 is decoded.
  • the video AI data 1508 may be located immediately after the video header 1506 including parameter information of the video. Accordingly, the video AI data 1508 may be decoded after video parameters included in the video header 1506 are decoded. According to an embodiment, unlike in FIG. 15A, video AI data 1508 may be located immediately before video header 1506.
  • the frame group AI data 1514 may be located immediately after the frame group header 1512 including parameter information of the frame group 1510. Therefore, the frame group AI data 1514 may be decoded after the frame group parameters included in the frame group header 1512 are decoded. According to an embodiment, unlike in FIG. 15A, the frame group AI data 1514 may be located immediately before the frame group header 1512. The decoding order of the frame group header and the frame group AI data of the remaining frame groups decoded after the frame group 1510 may be determined in the same manner as the decoding order of the frame group header 1512 and the frame group AI data 1514.
  • the frame AI data 1520 may be located immediately after the frame header 1518 including parameter information of the frame 1516. Accordingly, the frame AI data 1520 may be decoded after frame group parameters included in the frame header 1518 are decoded. According to an embodiment, unlike in FIG. 15A, the frame AI data 1520 may be located immediately before the frame header 1518.
  • the decoding order of the frame header and frame AI data of the remaining frames decoded after the frame 1516 may also be determined in the same manner as the decoding order of the frame header 1518 and frame AI data 1520.
  • 15B shows another embodiment of AI encoded data when AI data is embedded in image data.
  • the video file 1520 includes a metadata box 1522 and a media data box 1524.
  • the metadata box 1522 does not include AI data, and instead, the image data 1525 into which AI data is inserted is included in the media data box 1524.
  • AI data is inserted into the corresponding data header in the video file 1520.
  • the video AI data 1528 may be included in a video header 1526 including parameter information of the video. Accordingly, the video AI data 1528 may be decoded together with video parameters included in the video header 1526.
  • the frame group AI data 1534 may be included in a frame group header 1532 including parameter information of the frame group 1530. Therefore, the frame group AI data 1534 can be decoded together with the frame group parameters included in the frame group header 1532. Frame group AI data of the remaining frame groups decoded after the frame group 1530 may also be included in the frame group header.
  • the frame AI data 1540 may be included in the frame header 1538 including parameter information of the frame 1536. Accordingly, the frame AI data 1540 can be decoded together with the frame group parameters included in the frame header 1538. Frame AI data of the remaining frames decoded after the frame 1536 may also be included in the frame header.
  • 15C shows an embodiment of AI encoded data when some AI data is inserted into the image data and the other AI data is separated from the image data.
  • the video file 1550 includes a metadata box 1552 and a media data box 1556.
  • the metadata box 1552 contains video AI data 1554 applied to all frames of the video.
  • the frame group AI data and the frame AI data are included in the video data of the media data box 1556.
  • the video AI data 1554 included in the metadata box 1552 may be decoded before decoding the image data.
  • the frame group AI data and frame AI data are sequentially decoded as the image data is decoded.
  • the parsing unit 214 can extract the video AI data 1554 from the metadata box 1552.
  • the communication unit 216 may transmit the video AI data 1554 to the AI upscale unit 234.
  • the communication unit 216 may transmit the image data 1557 to the first decoding unit 232.
  • the first decoder 232 may reconstruct the low-resolution image by decoding the image data 1557, and extract the frame group AI data 1564 and the frame AI data 1570.
  • the first decoder 232 may transmit the frame group AI data 1564 and the frame AI data 1570 to the AI upscaler 234.
  • the AI upscaler 234 may acquire upscale DNN information for AI upscale of the low resolution image according to the video AI data 1554, the frame group AI data 1564, and the frame AI data 1570. .
  • the frame group AI data 1564 may be located immediately after the frame group header 1562 including parameter information of the frame group 1560. However, according to an embodiment, the frame group AI data 1564 may be located immediately before the frame group header 1562. Also, the frame group AI data 1564 may be included in the frame group header 1562.
  • the frame AI data 1570 may be located immediately after the frame header 1568 including parameter information of the frame 1566. However, according to an embodiment, the frame AI data 1570 may be located immediately before the frame header 1568. Also, the frame AI data 1570 may be included in the frame header 1568.
  • the frame group AI data may be additionally included in the metadata box 1552.
  • a part of the frame group AI data may be included in the metadata box 1552.
  • a part of the frame AI data may be included in the metadata box 1552.
  • the frame group AI data 1514 and 1564 and the frame AI data 1520 and 1570 inserted into the media data box may be inserted in the form of a Supplementary Enhancement Information (SEI) message.
  • SEI Supplementary Enhancement Information
  • the SEI message is a data unit that contains additional information about an image that is not necessarily necessary for decoding an image.
  • the SEI message may be transmitted in frame group units or frame units.
  • the SEI message may be extracted from the first decoding unit 232 and transmitted to the AI upscaler unit 234, similar to the second AI data described above in FIG. 13A.
  • FIG. 16 shows an embodiment of AI encoded data divided in units of video segments when AI data and image data are separated as shown in FIG. 14.
  • the AI encoded data is divided into video segment units. It may be stored in the video file 1600.
  • the video segment is part of the video and contains frames for a certain period of time.
  • a video segment may include only one or more frame groups. If the video segment includes one frame group, the video file 1600 may include as many video segments as the number of frame groups of image data.
  • the video segment may include a metadata box and a media data box, respectively.
  • Meta data including AI data is divided and stored in a plurality of video segments. Therefore, AI data is divided and stored in metadata boxes for video segments as well as metadata boxes 1610 for the entire image data. Therefore, when AI upscales a low-resolution image of a specific portion of the image data, compared to the case where all the AI data is stored in the metadata box 1610 for the entire image data, the AI data includes the metadata box 1610 and the like.
  • AI data for obtaining upscale DNN information suitable for the specific portion may be obtained more quickly.
  • the video AI data 1612 of the metadata box 1610 and the segment of the current video segment data box 1620 Only AI data in the metadata box 1630 is referenced. And AI data of metadata boxes of other video segments is not referenced. Therefore, the overhead associated with decoding AI data can be reduced.
  • AI data may not be transmitted at the same time at the first playback, but may be distributed and transmitted in units of video segments. Therefore, since the AI data is distributed and sequentially transmitted, the overhead associated with decoding the AI data can be reduced. Therefore, it may be advantageous to divide and transmit video segments.
  • the metadata box 1610 for the entire image data includes video AI data 1612.
  • the video AI data 1612 is applied to all video segments included in the video.
  • the metadata box 1610 may be decoded before the current video segment data box 1620.
  • the current video segment data box 1620 includes a segment metadata box 1630 and a segment media data box 1640.
  • the segment metadata box 1630 may include synchronization data 1163 and AI data 1632.
  • the segment media data box 1640 includes video segment data 1641.
  • the AI data 1632 of the current video segment data box 1620 may include video segment AI data 1634, frame group AI data 1636, and frame AI data 1638.
  • the video segment AI data 1634 is applied to all frame groups included in the current video segment.
  • the frame group AI data 1636 is applied to all frames included in the current frame group.
  • Frame AI data 1638 is applied to the current frame.
  • the frame group AI data 1636 and the frame AI data 1638 in the AI data 1632 of the current video segment data box 1620 May be omitted.
  • the frame AI data in the AI data 1632 of the current video segment data box 1620 (1638) may be omitted.
  • the video segment AI data 1634 may be omitted from the AI data 1632 of the current video segment data box 1620.
  • the frame group AI data 1636 may serve as the video segment AI data 1634.
  • the video segment AI data 1634 to AI data 1634 of the current video segment data box 1620 And frame AI data 1638 may be omitted.
  • AI upscale may be applied to all frames of the video segment.
  • Synchronization data 1163 includes video segment AI data 1634, frame group AI data 1636, and frame AI data 1638 with synchronization of video segment header 1642, frame group header 1646, and frame header 1648.
  • the video segment header 1642 includes a video segment parameter commonly applied to frames included in the video segment.
  • the synchronization data 1631 may include playback order information or decoding order information of the video segment data 1641 of the segment media data box 1640.
  • the AI upscaler 234 may obtain upscale DNN information necessary for AI upscale of the low resolution image from the AI data determined according to the synchronization data 1631.
  • the parsing unit 214 or the AI upscaler unit 234 is a frame group corresponding to the frame group 1644 based on the synchronization data 1631.
  • AI data 1636 and frame AI data 1636 corresponding to the frame 1649 may be acquired.
  • the AI upscaler 234 AI of the low-resolution image of the frame 1649 Upscale DNN information for upscale may be obtained.
  • the AI data 1632 of the segment metadata box 1630 may be decoded before the video segment data 1641 of the segment media data box 1640. Accordingly, the AI upscaler 234 may acquire upscale DNN information before decoding of the video segment data 1641 according to the AI data 1632.
  • the obtained upscale DNN information can be applied to the entire video segment.
  • upscale DNN information may be previously obtained differently for each frame group.
  • upscale DNN information may be obtained in advance differently for each frame.
  • the AI upscaler 234 decodes the AI data 1632 of the segment metadata box 1630 according to a decoding order of the video segment data 1641 of the segment media data box 1640. can do.
  • the AI upscaler 234 may perform decoding of the frame group AI data 1636 according to a decoding order of the frame group header 1646 according to the first decoder 232.
  • the AI upscaler 234 may perform decoding of the frame AI data 1638 according to the decoding order of the frame header 1648 according to the first decoder 232.
  • the decoding order of the header 1648 may be synchronized.
  • the remaining video segment data boxes after the current video segment data box 1620 may also be sequentially decoded in the same manner as the current video segment data box 1620.
  • FIG. 17 illustrates an embodiment of AI data 1740 and image data 1700 transmitted as two separate files.
  • the communication unit 212 When the communication unit 212 does not receive the AI data 1740, the low-resolution image obtained from the image data 1700 is not AI upscaled. If the communication unit 212 receives the AI data 1740, the upscale required for the AI upscale of the low-resolution image according to the AI data 1740 transmitted to the AI upscaler unit 234 via the output unit 216. DNN information is obtained.
  • the image data 1700 may include a video header 1710, a frame group header 1722 of the frame group 1720, and a frame header 1732 of the frame 1730.
  • the AI data 1740 may include video AI data 1742, frame group AI data 1750, and frame AI data 1760. Since the image data 1700 and the AI data 1740 are transmitted as separate files, the image data 1700 and / or the AI data 1740 are synchronization data necessary for synchronizing the image data 1700 and the AI data 1740. It may include.
  • the synchronization data may indicate a decoding order or a playback order of the image data 1700.
  • the parsing unit 214 or the AI upscaler 234 has a video header 1710 in which the video AI data 1742, the frame group AI data 1750, and the frame AI data 1760 play order or decoding order according to the synchronization data. ), Can be set to match the playback order or decoding order of the frame group header 1722 and the frame header 1732.
  • Dotted lines between video AI data 1742 and video header 1710 in FIG. 17, dotted lines between frame group AI data 1750 and frame group header 1722, and dotted lines between frame AI data 1760 and frame header 1732 Indicates synchronization between AI data and data header.
  • An identification number for matching two data may be included in the image data 1700 and the AI data 1740.
  • AI data 1740 may include an identification number of image data 1700 to which AI data 1740 is applied.
  • the image data 1700 may include an identification number of AI data 1740 applied to the image data 1700.
  • identification numbers may be included in both the image data 1700 and the AI data 1740. Accordingly, even when the image data 1700 and the AI data 1740 are not transmitted at the same time, the image data 1700 and the AI data 1740 may match each other according to the identification number.
  • the frame AI data 1760 when upscale DNN information is acquired in a frame group unit, the frame AI data 1760 may be omitted from the AI data 1740.
  • the frame group AI data 1750 and the frame AI data 1760 may be omitted from the AI data 1740.
  • FIGS. 14 to 17 show an embodiment of a data structure 1800 that can be applied to the video AI data described in FIGS. 14 to 17.
  • the data structure 1800 of the video AI data includes elements related to upscale DNN information used for AI upscale.
  • the elements are ai_codec_info (1802), ai_codec_applied_channel_info (1804), target_bitrate_info (1806), res_info (1808), ai_codec_DNN_info (1814), ai_codec_supplementary_info (1816) And the like.
  • the arrangement order of the elements shown in FIG. 18A is only an example, and a person skilled in the art can change the arrangement order of the elements.
  • ai_codec_info 1802 refers to AI target data indicating whether AI upscale is applied to a low resolution image.
  • the data structure 1800 includes AI auxiliary data for obtaining the upscale DNN information used for the AI upscale.
  • the data structure 1800 does not include AI auxiliary data regarding the AI upscale.
  • the AI auxiliary data includes ai_codec_applied_channel_info (1804), target_bitrate_info (1806), res_info (1808), ai_codec_DNN_info (1814), ai_codec_supplementary_info (1816), and the like.
  • ai_codec_applied_channel_info is channel information indicating a color channel to which AI upscale is applied.
  • the image may be expressed in RGB format, YUV format, YCbCr format, or the like. If the low-resolution image reconstructed from the image data is in YCbCr format, the low-resolution image includes a low-resolution image of the Y channel for luminance, a low-resolution image of the Cb channel for chrominance, and a low-resolution image of the Cr channel. .
  • ai_codec_applied_channel_info 1804 may indicate a color channel to which AI upscale is applied among 3 channels.
  • the AI upscaler 234 may AI upscale the low-resolution image of the color channel indicated by ai_codec_applied_channel_info 1804.
  • the AI upscaler 234 may acquire different upscale DNN information for each color channel.
  • the AI upscale may be applied only to the low-resolution image of the Y channel for luminance. Since the human eye is more sensitive to the image quality of luminance than the color difference, the subjective image quality perceived by a person is insignificant between the low-resolution images of all color channels and the AI up-scale only of the Y-channel. You can.
  • ai_codec_applied_channel_info 1804 may indicate whether the low resolution image of the Cb channel and the low resolution image of the Cr channel are AI upscaled.
  • the AI upscaler 234 may apply AI upscale only to the low resolution image of the Y channel.
  • the AI upscaler 234 may apply AI upscale to the low-resolution images of all channels. .
  • target_bitrate_info (1806) is information indicating the bit rate of the image data obtained as a result of the first encoding (614).
  • the AI upscaler 234 may acquire upscale DNN information suitable for the image quality of the low-resolution image according to target_bitrate_info 1806.
  • res_info 1808 indicates resolution information related to the resolution of the AI upscaled high resolution image, such as the third image 145.
  • res_info 1808 may include pic_width_org_luma 1810 and pic_height_org_luma 1812.
  • pic_width_org_luma (1810) and pic_height_org_luma (1812) are high-resolution image width information and high-resolution image height information representing width and height of a high-resolution image, respectively.
  • the AI upscaler 234 may determine the AI upscale ratio according to the resolution of the high-resolution image determined according to pic_width_org_luma 1810 and pic_height_org_luma 1812 and the resolution of the low-resolution image restored by the first decoder 232. .
  • res_info (1808) does not include pic_width_org_luma (1810) and pic_height_org_luma (1812), but instead may include resolution ratio information indicating a resolution ratio between a low resolution image and a high resolution image. Therefore, the AI upscaler 234 may determine the resolution of the high-resolution image according to the resolution of the low-resolution image reconstructed by the first decoder 232 and the resolution ratio according to the resolution ratio information.
  • the resolution ratio information may include vertical resolution ratio information and horizontal resolution ratio information.
  • the AI upscaler 234 may acquire upscale DNN information suitable for AI upscale of the low resolution image according to the AI upscale ratio determined according to res_info 1808. Alternatively, the AI upscaler 234 may obtain upscale DNN information suitable for AI upscale of the low resolution image according to the resolution of the low resolution image determined according to res_info 1808 and the resolution of the high resolution image.
  • ai_codec_DNN_info is information indicating mutually promised upscale DNN information used for AI upscale of a low resolution image.
  • the AI upscaler 234 may determine one of a plurality of default DNN setting information previously stored as upscale DNN information according to ai_codec_applied_channel_info (1804), target_bitrate_info (1806), res_info (1808), and the like.
  • the AI upscaler 234 may additionally consider other characteristics of the high-resolution image (genre, maximum luminance, color gamut, etc. of the image), and determine one of a plurality of preset DNN settings previously stored as upscale DNN information. .
  • ai_codec_DNN_info 1814 may indicate one of the two or more default DNN configuration information. Then, using the upscale DNN information indicated by ai_codec_DNN_info 1814, the AI upscaler 234 may AI upscale the low-resolution image.
  • ai_codec_DNN_info (1814) indicates two or more upscale DNN information that can be applied to a current video file among two or more default DNN setting information You can.
  • one or more upscale DNN information represented by ai_codec_DNN_info 1814 may be adaptively selected in a frame group or frame unit.
  • ai_codec_supplementary_info (1816) represents additional information on AI upscale.
  • ai_codec_supplementary_info (1816) may include information necessary for determination of upscale DNN information applied to a video.
  • the ai_codec_supplementary_info 1816 may include genre, HDR maximum illuminance, HDR color gamut, HDR PQ information, rate control type information, information on codec used for the first encoding, and the like.
  • Video AI data having a data structure 1800 including the above elements may be applied to all frame groups.
  • FIG. 18B shows an embodiment of a data structure 1820 that can be applied to the video segment AI data described in FIG. 16 or the frame group AI data of FIGS. 14, 15A to 15C, and FIG. 17.
  • the data structure 1820 has a structure similar to the data structure 1800 of FIG. 18A.
  • the data structure 1820 may additionally include AI auxiliary data dependency information (dependent_ai_condition_info 1824) indicating whether AI auxiliary data is the same between the successive previous data unit and the current data unit.
  • the data structure 1820 may include dependent_ai_condition_info 1824 when ai_codec_info 1822 indicates that AI upscale is applied to a low-resolution image. If ai_codec_info 1822 indicates that AI upscale is not applied to the low-resolution image, video dependent_ai_condition_info 1824 may be omitted from the data structure 1820.
  • dependent_ai_condition_info (1824) indicates that the AI auxiliary data is the same between the successive previous data unit and the current data unit
  • ai_codec_applied_channel_info (1826), target_bitrate_info (1828), res_info (1830), pic_width_org_luma (1832), pic_height_org_luma (1834), ann (1836), ai_codec_supplementary_info (1838) may be omitted from the data structure 1820.
  • channel information, target bit rate information, resolution information, DNN information, and additional information include ai_codec_applied_channel_info (1826), target_bitrate_info (1828), res_info (1830), pic_width_org_luma (1832), pic_height_org_luma (1834), ai_codec_DNN 1836), ai_codec_supplementary_info (1838). Accordingly, when the same AI auxiliary data is applied to a plurality of data units, the size of the AI data may be reduced according to dependent_ai_condition_info (1824).
  • dependent_ai_condition_info (1824) indicates that the AI auxiliary data is not the same between the previous successive data unit and the current data unit
  • the data structures are ai_codec_applied_channel_info (1826), target_bitrate_info (1828), res_info (1830), pic_width_org_luma (1832), pic_height_org_luma 1834), ai_codec_DNN_info (1836), ai_codec_supplementary_info (1838).
  • the upscale DNN information of the current data unit can be obtained independently of the upscale DNN information of the previous data unit.
  • AI auxiliary data dependency information of the first data unit transmitted may be omitted. Therefore, from the second transmitted video segment, AI auxiliary data dependency information is included in the header of the video segment.
  • AI auxiliary data dependency information may indicate only whether or not specific AI auxiliary data is dependent.
  • AI auxiliary data dependency information may indicate whether the current data unit inherits the resolution information of the previous data unit.
  • the AI data inherited according to the AI auxiliary data dependency information may include at least one of ai_codec_info (1100), ai_codec_applied_channel_info (1804), target_bitrate_info (1806), res_info (1808), ai_codec_DNN_info (1814), ai_codec_supplementary_info (1816).
  • the data unit may be a video segment or a group of frames.
  • dependent_ai_condition_info (1824) may indicate whether AI auxiliary data is identical between successive previous video segments and the current video segment.
  • dependent_ai_condition_info (1824) may indicate whether AI auxiliary data is the same between the previous previous frame group and the current frame group.
  • FIG. 19 shows a syntax table 1900 on which the data structure 1800 of FIG. 18A is implemented.
  • ai_codec_info ai_codec_applied_channel_info, target_bitrate, pic_width_org_luma, pic_height_org_luma, ai_codec_DNN_info, ai_codec_supplementary_info_flag
  • a syntax element such as is parsed.
  • ai_codec_info is AI target data corresponding to ai_codec_info 1802 of FIG. 18A.
  • ai_codec_info indicates that AI upscale is allowed (if (ai_codec_info))
  • syntax elements corresponding to AI auxiliary data are parsed. If ai_codec_info indicates that AI upscale is not allowed, syntax elements corresponding to AI auxiliary data are not parsed.
  • Syntax elements corresponding to AI auxiliary data include ai_codec_applied_channel_info, target_bitrate, pic_width_org_luma, pic_height_org_luma, ai_codec_DNN_info, and ai_codec_supplementary_info_flag.
  • ai_codec_applied_channel_info is channel information corresponding to ai_codec_applied_channel_info 1804 of FIG. 18A.
  • target_bitrate is target bitrate information corresponding to target_bitrate_info 1806 of FIG. 18A.
  • pic_width_org_luma and pic_height_org_luma are high resolution image width information and high resolution image height information corresponding to pic_width_org_luma 1810 and pic_height_org_luma 1812, respectively, in FIG. 18A.
  • ai_codec_DNN_info is DNN information corresponding to ai_codec_DNN_info 1814 in FIG. 18A.
  • ai_codec_supplementary_info_flag is an additional information flag indicating whether ai_codec_supplementary_info (1816) in FIG. 18A is included in the syntax table 1900. If ai_codec_supplementary_info_flag indicates that the auxiliary information used for AI upscale is not parsed, additional auxiliary information is not obtained. However, when ai_codec_supplementary_info_flag indicates that the auxiliary information used for AI upscale is parsed (if (ai_codec_supplementary_info_flag)), additional auxiliary information is obtained.
  • Additional auxiliary information obtained may include genre_info, hdr_max_luminance, hdr_color_gamut, hdr_pq_type, and rate_control_type, and codec_type.
  • genre_info is the genre of the content of the image data
  • hdr_max_luminance is the maximum dynamic range (HDR) applied to the high resolution image
  • hdr_color_gamut is the HDR color gamut applied to the high resolution image
  • hdr_pq_type is HDR PQ (Perceptual Quantizer) information applied to the high resolution image
  • rate_control_type is the rate control type applied to the image data obtained as a result of the first encoding
  • codec_type represents the codec used for the first encoding.
  • a specific syntax element among the syntax elements corresponding to auxiliary information may be parsed.
  • the syntax table 1900 of FIG. 19 is only an example, and some of the elements of the data structure 1800 of FIG. 18A may be included in the syntax table 1900. Also, elements not included in the data structure 1800 may be included in the syntax table 1900.
  • the syntax table 1900 of FIG. 19 may include AI auxiliary data dependency information such as dependent_ai_condition_info, similar to the data structure 1820 of FIG. 18B. Accordingly, the syntax table 1900 to which AI auxiliary data dependency information is added can be applied to a video segment or a frame group.
  • FIGS. 14 to 17 shows an embodiment of a data structure 2000 that can be applied to (frame group AI data) or frame AI data described in FIGS. 14 to 17.
  • the data structure 2000 includes elements for adaptively determining upscale DNN information on a frame-by-frame basis.
  • the elements are ai_codec_frame_info (2002), dependent_ai_condition_frame_info (2004), ai_codec_frame_DNN_info (2006), ai_codec_enhancement_flag (2008), ai_codec_artifact_removal_flag (2014) And the like.
  • the arrangement order of the elements shown in FIG. 20 is only an example, and a person skilled in the art can change the arrangement order of the elements.
  • ai_codec_frame_info is frame AI target data indicating whether AI upscale is allowed in the current frame.
  • the data structure 2000 includes frame AI auxiliary data related to AI upscale of the current frame. Otherwise, AI upscale is not applied to the current frame, and the data structure 2000 does not include the frame AI auxiliary data.
  • the frame AI auxiliary data means AI auxiliary data applied to the frame.
  • the data structure 2000 may include dependent_ai_condition_frame_info (2004).
  • dependent_ai_condition_frame_info (2004) is frame AI auxiliary data dependency information indicating whether frame AI auxiliary data is the same between successive previous frames and the current frame.
  • dependent_ai_condition_frame_info (2004) indicates that the frame AI auxiliary data is the same between the successive previous frame and the current frame
  • the data structure 2000 does not include additional frame AI auxiliary data for the current frame, and upscale DNN information of the current frame Is determined equal to the upscale DNN information of the previous frame.
  • dependent_ai_condition_frame_info (2004) indicates that the frame AI auxiliary data is not the same between the successive previous frame and the current frame
  • the data structure 2000 includes additional frame AI auxiliary data for the current frame, and upscale DNN information of the current frame Is obtained independently of the upscale DNN information of the previous frame.
  • the additional frame AI auxiliary data may include ai_codec_frame_DNN_info (2006), ai_codec_enhancement_flag (2008), and ai_codec_artifact_removal_flag (2014).
  • ai_codec_frame_DNN_info (2006) is frame DNN information indicating upscale DNN information of the current frame among a plurality of upscale DNN information for upper data units of the current frame.
  • ai_codec_DNN_info 1814 of FIG. 18A indicates two or more upscale DNN information for a video
  • ai_codec_frame_DNN_info (2006) may determine upscale DNN information of the current frame from the two or more upscale DNN information.
  • ai_codec_frame_DNN_info (2006) determines upscale DNN information of the current frame from the two or more upscale DNN information You can. If ai_codec_DNN_info (1814) of FIG. 18A or ai_codec_DNN_info (1834) of FIG. 18B represents only one upscale DNN information, ai_codec_frame_DNN_info (2006) may be omitted.
  • ai_codec_enhancement_flag (2008) is AI enhancement information indicating whether an AI upscale accuracy enhancement process is activated.
  • ai_codec_enhancement_flag (2008) indicates that the AI upscale accuracy enhancement process is activated, some of the samples of the AI upscaled high resolution image are adjusted according to encoding parameter information. If ai_codec_enhancement_flag (2008) indicates that the AI upscale accuracy enhancement process is not activated, the enhancement process is omitted.
  • the encoding parameter is generated when the encoding end encodes the original image 105 or the first image 115.
  • Coding parameters may be generated according to a prediction, transformation, and in-loop filtering process of a data unit (maximum coding unit, coding unit, prediction unit, transformation unit, or pixel unit).
  • Coding parameters include information such as motion vectors, predicted motion vectors, intra modes, residual signal related information, and SAO parameters.
  • the encoding parameter information is information necessary for the enhancement process according to the encoding parameter.
  • the encoding parameter information may include encoding parameter type information indicating a type of encoding parameter referenced for the enhancement process and encoding parameter map information indicating an application area of the enhancement process in the current frame.
  • the data structure 2000 may include encoding parameter type information encod_param_type (2010) and encoding parameter map information encod_param_map (2012).
  • encod_param_type (2010) may represent a motion vector.
  • encod_param_map (2012) may indicate an application area of an enhancement process according to a motion vector in an AI upscaled high resolution image.
  • pixels of the application area may be modified according to a motion vector.
  • encod_param_type (2010) may indicate two or more coding parameters.
  • encod_param_map (2012) may indicate an application area of an enhancement process for each encoding parameter.
  • encod_param_type (2010) and encod_param_map (2012) may be omitted in the data structure 2000. Accordingly, one or more encoding parameters referenced in the enhancement process and an application area of each encoding parameter may be determined in advance.
  • ai_codec_artifact_removal_flag is artifact removal information indicating whether artifact removal of AI upscaled high resolution image is performed.
  • artifacts may be removed by correcting pixels of a low resolution image before AI upscale, or correcting pixels of a high resolution image after AI upscale according to the second DNN, according to the artifact removal information. .
  • Artifact removal information may include artifact type information indicating an artifact type and artifact map information indicating an artifact area in which the artifact is located. Also, the artifact removal information may include information on the number of artifact types indicating the number of artifact types of the image. Accordingly, the data structure 2000 may include the artifact type information and the artifact map information as many as the number according to the artifact type number information.
  • Types of artifacts include contour artifacts, ringing artifacts, aliasing artifacts, and the like.
  • one or more artifact areas are determined for each type of artifact. For example, one or more artifact regions may be determined for contour artifacts, and one or more artifact regions may be determined for ringing artifacts.
  • the data structure 2000 may include num_artifact_type (2016), which is the number of artifact types. If ai_codec_artifact_removal_flag (2014) indicates that artifact removal of an AI upscaled high resolution image is not performed, num_artifact_type (2016) and the like are omitted in the data structure 2000.
  • the data structure 2000 may include artifact_type (2016), which is artifact type information, as many as the number indicated by num_artifact_type (2016). Also, the data structure 2000 may include artifact map information for each artifact_type (2016). The artifact map information of the data structure 2000 may include num_artifact_map 2020 indicating the number of artifact regions. In addition, the data structure 2000 may include map_x_pos 2022, map_y_pos 2024, map_width 2026, and map_height 2028 indicating the location and size of each artifact area.
  • a part of dependent_ai_condition_frame_info (2004), ai_codec_frame_DNN_info (2006), ai_codec_enhancement_flag (2008), and ai_codec_artifact_removal_flag (2014) of FIG. 20 may be omitted.
  • the data structure 2000 of FIG. 20 may be applied to a frame group instead of a frame.
  • the same upscale DNN information, AI enhancement information, and artifact removal information may be applied to all frames included in the frame group.
  • the data structure 2000 when the data structure 2000 is applied to a frame group, the data structure 2000 includes ai_codec_frame_group_info, dependent_ai_condition_frame_group_info, and ai_code_CN_frame_group_info, and ai_code_frame_info, and ai_code_c_frame_group_info, dependent_ai_condition_frame_info (2002), dependent_ai_condition_frame_info (2004), and ai_codec_frame_DNN_info (2006). have.
  • the data structure 1800 of FIG. 18A may be applied to video AI data.
  • the data structure 2000 of FIG. 20 may be applied to frame AI data.
  • the video AI data according to the data structure 1800 includes AI data commonly applied to all frames
  • the frame AI data according to the data structure 2000 includes AI data adaptively applied to frames.
  • the data structure 1800 of FIG. 18A may be applied to video AI data.
  • the data structure 2000 of FIG. 20 may be applied to frame group AI data.
  • the video AI data according to the data structure 1800 includes AI data commonly applied to all frames
  • the frame group AI data according to the data structure 2000 includes AI data adaptively applied to the frame groups. And the same AI data is applied to all the frames included in the frame group.
  • the data structure 1820 of FIG. 18B may be applied to video segment AI data or frame group AI data.
  • the data structure 2000 of FIG. 20 may be applied to frame AI data.
  • the video segment AI data or frame group AI data according to the data structure 1820 includes AI data commonly applied to all frames of the video segment or frame group, and the frame AI data according to the data structure 2000 adapts to the frame It contains the AI data applied to the enemy.
  • the data structure 1820 of FIG. 18B may be applied to video segment AI data.
  • the data structure 2000 of FIG. 20 may be applied to frame group AI data.
  • the video segment AI data according to the data structure 1800 includes AI data commonly applied to all frames of the video segment
  • the frame group AI data according to the data structure 2000 is AI data adaptively applied to the frame group. It includes. And the same AI data is applied to all the frames included in the frame group.
  • FIG. 21 shows a syntax table 2100 in which the data structure 2000 of FIG. 20 is implemented.
  • ai_codec_frame_info dependent_ai_condition_frame_info, ai_codec_frame_DNN_info, ai_codec_enhancement_flag, and ai_codec_artifact_removal_flag
  • the syntax element like is parsed.
  • ai_codec_frame_info is frame AI target data corresponding to ai_codec_frame_info (2002) in FIG. 20.
  • ai_codec_frame_info indicates that AI upscale is allowed (if (ai_codec_frame_info))
  • syntax elements corresponding to the frame AI auxiliary data are parsed. If ai_codec_frame_info indicates that AI upscale is not allowed, syntax elements corresponding to the frame AI auxiliary data are not parsed.
  • the syntax elements corresponding to the frame AI auxiliary data may include dependent_ai_condition_frame_info, ai_codec_frame_DNN_info, ai_codec_enhancement_flag, ai_codec_artifact_removal_flag.
  • Dependent_ai_condition_frame_info, ai_codec_frame_DNN_info, ai_codec_enhancement_flag, and ai_codec_artifact_removal_flag of FIG. 21 correspond to dependent_ai_condition_frame_info (2004), ai_codec_frame_DNN_info (2006), ai_codec_flag_flag
  • dependent_ai_condition_frame_info When ai_codec_frame_info indicates that AI upscale is allowed, dependent_ai_condition_frame_info is obtained. When dependent_ai_condition_frame_info indicates that the frame AI auxiliary data is the same between the successive previous frame and the current frame, the upscale DNN information of the current frame is determined the same as the upscale DNN information of the previous frame.
  • dependent_ai_condition_frame_info indicates that the frame AI auxiliary data is not the same between the previous previous frame and the current frame, according to ai_codec_frame_DNN_info, ai_codec_enhancement_flag, ai_codec_artifact_removal_flag, upscale DNN information of the current frame, AI enhancement information, and artifact removal information are determined.
  • ai_codec_frame_DNN_info indicates upscale DNN information of the current frame among the plurality of upscale DNN information for the upper data unit of the current frame.
  • ai_codec_enhancement_flag indicates whether the AI upscale accuracy improvement process is activated.
  • ai_codec_enhancement_flag indicates that the enhancement process is activated (if (ai_codec_enhancement_flag))
  • encod_param_type indicating an encoding parameter type
  • encod_param_map indicating an encoding parameter area
  • ai_codec_artifact_removal_flag indicates whether artifact removal of an AI upscaled high resolution image is performed.
  • ai_codec_artifact_removal_flag indicates that artifact removal of a high resolution image is performed (if (ai_codec_artifact_removal_flag))
  • num_artifact_type indicating the number of artifact types is obtained.
  • artifact_type indicating the type of artifact and num_artifact_map indicating the number of artifact regions are obtained.
  • map_height indicating the location and size of the artifact area
  • the syntax table 2100 of FIG. 21 is only an example, and some of the elements of the data structure 2000 of FIG. 20 may be included in the syntax table 2100. Also, elements not included in the data structure 2000 may be included in the syntax table 2100.
  • 22 is a flowchart of an embodiment of an image decoding method according to an AI decoder.
  • step 2210 a video file including AI encoded data including image data and AI data related to AI upscale of the image data is received.
  • the reception of AI-encoded data according to step 2210 may be performed by the communication unit 212.
  • step 2220 AI data of the AI encoded data is obtained from the metadata box of the video file, and image data of the AI encoded data is obtained from the media data box of the video file.
  • the acquisition of the image data and the AI data according to step 2220 may be performed by the parsing unit 212.
  • the AI data may be obtained from the image data by the first decoder 232.
  • the AI encoding data may include synchronization data regarding synchronization of image data and AI data.
  • the synchronization data may indicate a relationship between image data and AI data according to a decoding order or reproduction order of image data.
  • the synchronization data may include information on synchronization of the video header and video AI data, synchronization of the frame group header and frame group AI data, and synchronization of the frame header and frame AI data.
  • step 2230 the image data is decoded, and the low-resolution image of the current frame is restored.
  • the reconstruction of the low-resolution image according to step 2230 may be performed by the first decoder 232.
  • step 2240 from the AI data, upscale DNN information of the current frame is obtained. Acquisition of the upscale DNN information of the current frame according to step 2240 may be performed by the AI upscaler 234.
  • the AI data may be composed of video AI data, frame group AI data, and frame AI data according to the hierarchical structure of AI data in FIG. 12. Additionally, the AI data may include video segment AI data of FIG. 16. AI data according to the hierarchical structure may indicate upscale DNN information applied to a corresponding layer.
  • the AI data may include video AI data.
  • upscale DNN information applied to all frames of image data may be obtained from a plurality of default DNN setting information according to the video AI data.
  • the AI data may include frame group AI data.
  • upscale DNN information applied to all frames of the frame group may be adaptively obtained from the plurality of default DNN configuration information according to the frame group AI data.
  • the AI data may include frame AI data.
  • upscale DNN information applied to the frame may be adaptively applied to the frame from a plurality of default DNN configuration information according to the frame AI data.
  • the AI data may include frame group AI data together with video AI data.
  • the AI data includes only the video AI data and the frame group AI data
  • one or more upscale DNN information may be obtained from a plurality of default DNN configuration information according to the video AI data.
  • upscale DNN information applied to frames of the frame group may be selected from the one or more upscale DNN information.
  • the AI data may include frame AI data together with video AI data.
  • one or more upscale DNN information may be obtained from a plurality of default DNN configuration information according to the video AI data.
  • upscale DNN information applied to a frame may be selected from the one or more upscale DNN information.
  • the AI data may include frame AI data together with the frame group AI data.
  • the AI data includes only the frame group AI data and the frame AI data
  • one or more upscale DNN information may be obtained from a plurality of default DNN configuration information according to the frame group AI data.
  • upscale DNN information applied to a frame may be selected from the one or more upscale DNN information.
  • the AI data may include video segment AI data.
  • upscale DNN information applied to all frames of the video segment may be obtained from a plurality of default DNN configuration information according to the video segment AI data.
  • the AI data may include video AI data together with video segment AI data.
  • one or more upscale DNN information may be obtained from a plurality of default DNN configuration information according to the video AI data.
  • upscale DNN information applied to all frames of the video segment may be selected from the one or more upscale DNN information.
  • the AI data may include frame group AI data or frame AI data together with video segment AI data.
  • the AI data includes frame group AI data or frame AI data together with video segment AI data
  • one or more upscale DNN information may be obtained from a plurality of default DNN configuration information according to the video segment AI data.
  • upscale DNN information applied to the frame group or frame may be selected from the one or more upscale DNN information.
  • the AI data may include video AI data, video segment AI data, frame group AI data, and frame AI data.
  • the AI data includes all of the video AI data, the video segment AI data, the frame group AI data, and the frame AI data
  • one or more upscale DNNs that can be applied to the video from a plurality of default DNN configuration information. Information may be limited.
  • one or more upscale DNN information applicable to the video segment may be selected from one or more upscale DNN information applicable to the video.
  • one or more upscale DNN information applicable to the frame group may be selected from one or more upscale DNN information applicable to the video segment.
  • upscale DNN information applied to a frame may be selected from one or more upscale DNN information applicable to the frame group.
  • some of the video AI data, video segment AI data, frame group AI data, and frame AI data may be excluded from the hierarchical AI data structure described above.
  • the AI data may include AI target data indicating whether AI upscale is applied, and AI auxiliary data on upscale DNN information used for AI upscale when AI upscale is applied. have.
  • the video AI data may include video AI target data indicating whether AI upscale is applied to the video data, and video AI auxiliary data regarding one or more upscale DNN information applicable to AI upscale of frames included in the video data. You can. When the video AI target data indicates that AI upscale is applied to frames included in the video data, one or more upscale DNN information is obtained according to the video AI auxiliary data.
  • the video segment AI data is video segment AI target data indicating whether AI upscale is applied to the video segment and video segment AI auxiliary data regarding one or more upscale DNN information applicable to AI upscale of frames included in the video segment. It may include.
  • the video segment AI target data indicates that AI upscale is applied to frames included in the video segment
  • one or more upscale DNN information of the video segment is obtained according to the video segment AI auxiliary data.
  • the frame group AI data is frame group AI target data indicating whether AI upscale is applied to the frame group, and frame group AI auxiliary data on one or more upscale DNN information applicable to AI upscale of frames included in the frame group. It may include.
  • the frame group AI target data indicates that AI upscale is applied to frames included in the frame group
  • one or more upscale DNN information of the frame group is obtained according to the frame group AI auxiliary data.
  • the frame AI data may include frame AI target data indicating whether AI upscale is applied to the frame, and frame AI auxiliary data on upscale DNN information used for AI upscale of the frame.
  • frame AI target indicates that AI upscale is applied to the current frame
  • upscale DNN information of the current frame is obtained according to the frame AI auxiliary data.
  • the video segment AI data may include video segment AI auxiliary data dependency information indicating whether video segment AI auxiliary data is identical between successive previous video segments and the current video segment.
  • video segment AI auxiliary data subordinate information indicates that the video segment AI auxiliary data is the same between the successive previous video segment and the current video segment
  • the video segment AI auxiliary data of the current video segment and the video segment AI auxiliary data of the previous video segment It is determined equally.
  • the frame group AI data may include frame group AI auxiliary data dependency information indicating whether the frame group AI auxiliary data is the same between the successive previous frame group and the current frame group. And when the frame group AI auxiliary data dependency information indicates that the frame group AI auxiliary data is the same between the previous frame group and the current frame group, the frame group AI auxiliary data of the current frame group is compared with the frame group AI auxiliary data of the previous frame group. It is determined equally.
  • the frame AI data may include frame AI auxiliary data dependency information indicating whether the frame AI auxiliary data is the same between the successive previous frame and the current frame.
  • the frame AI auxiliary data dependency information indicates that the frame AI auxiliary data is the same between the successive previous frame and the current frame
  • the frame AI auxiliary data of the current frame is determined to be the same as the frame AI auxiliary data of the previous frame.
  • video AI data applied to the entire image data video segment AI data corresponding to the video segment
  • frame group AI data applied to the frame group frame AI data applied to the frame Can be determined.
  • the AI data may include channel information indicating a color channel to which AI upscale is applied.
  • upscale DNN information may be obtained for the color channel indicated by the channel information.
  • the AI data may include at least one of target bitrate information indicating a bit rate of a low resolution image according to image data and resolution information related to a resolution of an AI upscaled high resolution image.
  • two or more upscale DNN information for a video, a video segment, or a group of frames may be determined according to at least one of target bitrate information and resolution information.
  • upscale DNN information of the current frame may be determined from the two or more upscale DNN information.
  • a high resolution image corresponding to the low resolution image is generated by AI upscaling the low resolution image according to the upscale DNN information of the current frame.
  • the high-resolution image generation according to step 2260 may be performed by the AI upscaler 234.
  • the accuracy of the generated high resolution image may be improved according to an AI upscale enhancement process according to encoding parameters.
  • artifacts of the generated high resolution image may be removed according to the artifact removal process.
  • the function for AI upscale described in FIGS. 12 to 21 can be applied to the video decoding method of FIG. 22.
  • FIG. 23 is a flowchart of an embodiment of an image encoding method according to an AI encoder.
  • step 2310 downscale DNN information for down-scaling the high-resolution image of the current frame into a low-resolution image is determined.
  • the determination of AI data according to step 2310 may be performed by the AI downscaler 612.
  • two or more downscale DNN information may be determined for a video, a video segment, or a group of frames. And, according to the frame AI data, downscale DNN information of the current frame may be determined from the two or more downscale DNN information.
  • step 2320 using the downscale DNN information, AI downscales the high-resolution image of the current frame, thereby generating a low-resolution image of the current frame.
  • the low-resolution image generation according to step 2330 may be performed by the AI downscaler 612.
  • step 2330 AI data, which is used for AI upscale of the low-resolution image of the current frame, is generated.
  • the low-resolution image generation according to step 2330 may be performed by the AI downscaler 612.
  • AI data used for AI upscale may be generated by referring to downscale DNN information generated in step 2310.
  • the AI data may be composed of video AI data, frame group AI data, and frame AI data according to the hierarchical structure of AI data in FIG. 12. Additionally, the AI data may include video segment AI data of FIG. 16. AI data according to the hierarchical structure may indicate upscale DNN information applied to a corresponding layer.
  • the AI data may include video AI data.
  • the video AI data may represent upscale DNN information applied to all frames of the image data from a plurality of default DNN configuration information.
  • the AI data may include frame group AI data.
  • the frame group AI data may indicate upscale DNN information applied to all frames of the frame group from a plurality of default DNN configuration information.
  • the AI data may include frame AI data.
  • the frame AI data may represent upscale DNN information applied to the frame from a plurality of default DNN configuration information.
  • the AI data may include frame group AI data together with video AI data.
  • the video AI data may represent one or more upscale DNN information from a plurality of default DNN configuration information. And, according to the frame group AI data, from the one or more upscale DNN information, upscale DNN information applied to frames of the frame group may be indicated.
  • the AI data may include frame AI data together with video AI data.
  • the video AI data may represent one or more upscale DNN information from a plurality of default DNN configuration information.
  • the frame AI data may indicate upscale DNN information applied to a frame from the one or more upscale DNN information.
  • the AI data may include frame AI data together with the frame group AI data.
  • the frame group AI data may represent one or more upscale DNN information from a plurality of default DNN configuration information.
  • the frame AI data may indicate upscale DNN information applied to a frame from the one or more upscale DNN information.
  • the AI data may include video segment AI data.
  • the video segment AI data may indicate upscale DNN information applied to all frames of the video segment from a plurality of default DNN configuration information.
  • the AI data may include video AI data together with video segment AI data.
  • the video AI data may indicate one or more upscale DNN information from a plurality of default DNN configuration information.
  • the video segment AI data may indicate upscale DNN information applied to all frames of the video segment from the one or more upscale DNN information.
  • the AI data may include frame group AI data or frame AI data together with video segment AI data.
  • the video segment AI data may represent one or more upscale DNN information from a plurality of default DNN configuration information.
  • the frame group AI data or the frame AI data may indicate upscale DNN information applied to the frame group or frame from the one or more upscale DNN information.
  • the AI data may include video AI data, video segment AI data, frame group AI data, and frame AI data.
  • the video AI data is one or more upscale DNN information that can be applied to the video from a plurality of default DNN setting information.
  • the video segment AI data may indicate one or more upscale DNN information applicable to the video segment from one or more upscale DNN information applicable to the video.
  • the frame group AI data may indicate one or more upscale DNN information applicable to the frame group from one or more upscale DNN information applicable to the video segment.
  • the frame AI data may indicate upscale DNN information applied to a frame from one or more upscale DNN information applicable to the frame group.
  • one of video AI data, video segment AI data, frame group AI data, and frame AI data may be excluded from the hierarchical AI data structure described above.
  • the AI data may include AI target data indicating whether AI upscale is applied.
  • the AI data may include AI auxiliary data on the upscale DNN information corresponding to the downscale DNN information used for the AI downscale.
  • the video AI data may include video AI target data indicating whether AI upscale is applied to the video data, and video AI auxiliary data regarding one or more upscale DNN information applicable to AI upscale of frames included in the video data. You can.
  • Video AI target data may be determined according to whether AI upscale is applied to the image data.
  • video AI auxiliary data may be determined according to one or more upscale DNN information of frames included in the image data.
  • the video segment AI data is video segment AI target data indicating whether AI upscale is applied to the video segment and video segment AI auxiliary data regarding one or more upscale DNN information applicable to AI upscale of frames included in the video segment. It may include.
  • the video segment AI target data may be determined according to whether AI upscale is applied to the video segment.
  • the video segment AI auxiliary data may be included according to one or more upscale DNN information of frames included in the video segment.
  • the frame group AI data is frame group AI target data indicating whether AI upscale is applied to the frame group, and frame group AI auxiliary data on one or more upscale DNN information applicable to AI upscale of frames included in the frame group. It may include.
  • Frame group AI target data may be determined according to whether AI upscale is applied to the frame group.
  • the frame group AI auxiliary data may be determined according to one or more upscale DNN information that can be applied to the AI upscale of the frames included in the frame group.
  • the frame AI data may include frame AI target data indicating whether AI upscale is applied to the frame, and frame AI auxiliary data on upscale DNN information used for AI upscale of the frame.
  • Frame AI target data may be determined according to whether AI upscale is applied to the current frame. Also, frame AI auxiliary data may be determined according to upscale DNN information used for AI upscale of the current frame.
  • the video segment AI data may include video segment AI auxiliary data dependency information indicating whether video segment AI auxiliary data is identical between successive previous video segments and the current video segment.
  • the video segment AI auxiliary data dependency information is determined according to whether the video segment AI auxiliary data is the same between the successive previous video segment and the current video segment.
  • the frame group AI data may include frame group AI auxiliary data dependency information indicating whether the frame group AI auxiliary data is the same between the successive previous frame group and the current frame group.
  • Frame group AI auxiliary data dependency information is determined according to whether the frame group AI auxiliary data is the same between the successive previous frame group and the current frame group.
  • the frame AI data may include frame AI auxiliary data dependency information indicating whether the frame AI auxiliary data is the same between the successive previous frame and the current frame.
  • Frame AI auxiliary data dependency information is determined according to whether the frame AI auxiliary data is the same between the successive previous frame and the current frame.
  • the AI encoded data may include synchronization data for synchronization of AI data and image data.
  • the synchronization data may include data related to synchronization of video data and video AI data, synchronization of video segment and video segment AI data, synchronization of frame group and frame group AI data, and synchronization of current frame and frame AI data.
  • the AI data may include channel information indicating a color channel applied to AI upscale of the current frame.
  • upscale DNN information for the color channel indicated by the channel information may be determined.
  • the AI data may include at least one of target bitrate information indicating a bit rate of a low resolution image and resolution information indicating a resolution of a high resolution image.
  • step 2340 image data is obtained by encoding a low-resolution image of the current frame.
  • Image data acquisition according to step 2340 may be performed by the first encoding unit 614.
  • AI coded data including image data and AI data is generated.
  • AI encoded data generation according to step 2350 may be performed by the data processing unit 632.
  • the image data and the AI data are not included in one single file, but may be composed of separate files.
  • step 2360 a video file including a media data box in which image data of the generated AI encoded data is inserted and a metadata box in which AI data of the AI encoded data is inserted is output.
  • the AI encoded data output according to step 2360 may be performed by the communication unit 634.
  • the function of AI downscale corresponding to the AI upscale described in FIGS. 12 to 21 may be applied to the video encoding method of FIG. 23.
  • 24 is a block diagram showing the configuration of an image decoding apparatus according to an embodiment.
  • the image decoding apparatus 2400 may include a communication unit 2410, a processor 2420, and a memory 2430.
  • the communication unit 2410 may receive AI-encoded data. Alternatively, the communication unit 2410 may receive AI data and image data from an external device (eg, a server) under the control of the processor 2420.
  • an external device eg, a server
  • the processor 2420 may overall control the image decoding apparatus 2400.
  • the processor 2420 may execute one or more programs stored in the memory 2430.
  • the processor 2420 may perform functions of the first decoder 232 and the AI upscaler 234.
  • the processor 2420 may be composed of one or more general purpose processors.
  • the processor 2420 may include a graphics processor 2422 and an AI-only processor 2424.
  • the processor may be implemented in the form of a system on chip (SoC) incorporating at least one of a graphics processor 2422 and an AI-only processor 2424.
  • SoC system on chip
  • the processor 2422 controls the overall operation of the image decoding apparatus 2400 and the signal flow between the internal components of the image decoding apparatus 2400 and processes data.
  • the graphics processor 2422 is a processor designed to specialize in decoding and post-processing images. Accordingly, the graphic processor 2422 can perform processing on the image data received by the image decoding apparatus 2400 and can efficiently perform the low-resolution image restoration function of the first decoding unit 232.
  • the AI-only processor 2424 is a processor designed to specialize in AI computation. Therefore, the AI-only processor 2424 can efficiently perform the AI upscale function of the low-resolution image of the AI upscale unit 234.
  • the image data and AI data input to the image decoding apparatus 2400 through the communication unit 2410 are processed by the processor 2420.
  • the operation related to the decoding of the image data is performed by the graphic processor 2422, so that a low-resolution image can be generated.
  • the operation on the AI upscale of the low-resolution image may be performed by the AI-only processor 2424. Accordingly, a high resolution image in which the low resolution image is AI upscaled may be generated by the AI-only processor 2424.
  • the processor 2420 is depicted as including one graphics processor 2422, but may include two or more graphics processors 2422 according to embodiments. Also, although the processor 2420 is described as including one AI-only processor 2424, according to an embodiment, the processor 2420 may include two or more AI-only processors 2424. Also, the processor 2420 may include one or more general-purpose processors. And, depending on one or more general purpose processors, additional processes required for AI upscale may be performed.
  • the AI-only processor 2424 may be implemented as a hardware FPGA.
  • the memory 2430 may store various data, programs, or applications for driving and controlling the image decoding apparatus 2400.
  • the program stored in the memory 2430 may include one or more instructions.
  • a program (one or more instructions) or an application stored in the memory 2430 may be executed by the processor 2420.
  • the memory 2430 may store data originating from the communication unit 2410 and the processor 2420. Also, the memory 2430 may transmit data required by the processor 2420 to the processor 2420.
  • the image decoding apparatus 2400 may perform at least one of each function of the image decoding apparatus described in FIG. 2 and each step of the image decoding method described in FIG. 22.
  • 25 is a block diagram showing the configuration of an image encoding apparatus according to an embodiment.
  • the video encoding apparatus 2500 may include a communication unit 2510, a processor 2520, and a memory 2530.
  • the processor 2520 may overall control the image encoding apparatus 2500.
  • the processor 2520 may execute one or more programs stored in the memory 2530.
  • the processor 2520 may perform the functions of the AI downscaler 612 and the first encoder 614.
  • the processor 2520 may be composed of one or more general purpose processors.
  • the processor 2520 may include a graphics processor 2522 and an AI-dedicated processor 2524.
  • the processor may be implemented in the form of a system on chip (SoC) incorporating at least one of a graphics processor 2522 and an AI-only processor 2524.
  • SoC system on chip
  • the processor 2522 controls the overall operation of the image encoding apparatus 2500 and the signal flow between the internal components of the image encoding apparatus 2500 and processes data.
  • the graphics processor 2522 is a processor designed to specialize in encoding and post-processing images. Therefore, the graphic processor 2522 can efficiently perform the low-resolution image encoding function of the first encoding unit 614.
  • the AI dedicated processor 2524 is a processor designed to specialize in AI computation. Therefore, the AI dedicated processor 2524 can efficiently perform the AI downscale function of the high resolution image of the AI downscaler 612.
  • the AI dedicated processor 2524 may be implemented as a hardware FPGA.
  • AI downscale of the high resolution image and encoding of the low resolution image are performed.
  • the operation for AI downscale of the high resolution image is performed by the AI dedicated processor 2524, so that a low resolution image can be generated, and by the AI dedicated processor 2524, AI data required for AI upscale of the low resolution image. Can be generated.
  • the operation for encoding the low-resolution image is performed by the graphic processor 2522, whereby image data can be generated.
  • the communication unit 2510 may generate a single file of AI encoded data including AI data and image data.
  • the communication unit 2510 may output a single file of AI-encoded data to the outside of the image encoding apparatus 2500 under the control of the processor 2520.
  • the communication unit 2510 may generate a file including AI data and a file including image data, respectively, under the control of the processor 2520.
  • the communication unit 2510 may output a file including AI data and a file including image data to the outside of the image encoding apparatus 2500 under the control of the processor 2520.
  • the processor 2520 is depicted as including one graphics processor 2522, but may include two or more graphics processors 2522 according to embodiments.
  • the processor 2520 is described as including one AI-only processor 2524, but may include two or more AI-only processors 2524 according to embodiments.
  • the processor 2520 may include one or more general-purpose processors. And, depending on one or more general purpose processors, additional processes required for AI upscale may be performed.
  • the memory 2530 may store various data, programs, or applications for driving and controlling the image encoding apparatus 2500.
  • the program stored in the memory 2530 may include one or more instructions.
  • the program (one or more instructions) or application stored in the memory 2530 may be executed by the processor 2520.
  • the memory 2530 may store a high-resolution image, such as the original image 105.
  • the memory 2530 may store data originating from the communication unit 2510 and the processor 2520. Also, the memory 2530 may transmit data required by the processor 2520 to the processor 2520.
  • the image encoding apparatus 2500 may perform at least one of each function of the image decoding apparatus described in FIG. 7 and each step of the image encoding method described in FIG. 23.
  • the above-described embodiments of the present disclosure can be written as a program that can be executed on a computer, and the created program can be stored in a medium.
  • the medium may be a computer that continuously stores executable programs or may be temporarily stored for execution or download.
  • the medium may be various recording means or storage means in the form of a single or several hardware combinations, and is not limited to a medium directly connected to a computer system, but may be distributed on a network.
  • Examples of the medium include magnetic media such as hard disks, floppy disks, and magnetic tapes, optical recording media such as CD-ROMs and DVDs, and magneto-optical media such as floptical disks, And program instructions including ROM, RAM, flash memory, and the like.
  • examples of other media include an application store for distributing applications or a site for distributing or distributing various software, a recording medium or a storage medium managed by a server, or the like.
  • the model related to the DNN described above may be implemented as a software module.
  • the DNN model may be stored in a computer-readable recording medium.
  • the DNN model may be integrated in the form of a hardware chip to be part of the above-described image decoding apparatus 200 or image encoding apparatus 600.
  • the DNN model may be manufactured in the form of a dedicated hardware chip for artificial intelligence, or as part of an existing general purpose processor (eg, CPU or application processor) or graphics only processor (eg, GPU). It may be.
  • the DNN model may be provided in the form of downloadable software.
  • the computer program product may include a product (eg, a downloadable application) in the form of a software program that is electronically distributed through a manufacturer or an electronic market. For electronic distribution, at least a portion of the software program may be stored on a storage medium or temporarily generated.
  • the storage medium may be a server of a manufacturer or an electronic market, or a storage medium of a relay server.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)

Abstract

AI 부호화 데이터를 포함하는 비디오 파일이 저장된 컴퓨터로 기록가능한 기록 매체에 있어서, AI 부호화 데이터는, 고해상도 영상을 AI 다운스케일하여 생성된 저해상도 영상의 부호화 정보를 포함하는 영상 데이터, 및 영상 데이터에 따라 복원된 저해상도 영상의 AI 업스케일에 대한 AI 데이터 포함하고, AI 데이터는, 하나 이상의 프레임에 AI 업스케일이 적용되는지 여부를 나타내는 AI 타겟 데이터, 및 하나 이상의 프레임에 AI 업스케일이 적용될 경우, 미리 설정된 복수의 디폴트 DNN 설정 정보 중에서, 하나 이상의 프레임의 AI 업스케일에 사용되는 업스케일 DNN 정보에 관한 AI 보조 데이터를 포함하는 것을 특징으로 하는 컴퓨터로 기록가능한 기록 매체가 제공된다.

Description

부호화 방법 및 그 장치, 복호화 방법 및 그 장치
본 개시는 영상 처리 분야에 관한 것이다. 보다 구체적으로, 본 개시는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 영상을 부호화 및 복호화하는 장치 및 방법에 관한 것이다.
영상은 소정의 데이터 압축 표준, 예를 들어 MPEG (Moving Picture Expert Group) 표준 등을 따르는 코덱(codec)에 의해 부호화된 후 비트스트림의 형태로 기록매체에 저장되거나 통신 채널을 통해 전송된다.
고해상도/고화질의 영상을 재생, 저장할 수 있는 하드웨어의 개발 및 보급에 따라, 고해상도/고화질의 영상을 효과적으로 부호화 및 복호화할 수 있는 코덱의 필요성이 증대하고 있다.
일 실시예에 따른 영상의 부호화 및 복호화 방법, 및 장치는 DNN(Deep Neural Network)를 이용하여 낮은 비트레이트로 영상을 부호화 및 복호화하는 것을 기술적 과제로 한다.
더불어 본 개시의 일 실시 예에 따른 영상 부호화 방법 및 영상 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 개시된다.
본 개시에 있어서, AI 부호화 데이터를 포함하는 비디오 파일이 저장된 컴퓨터로 기록가능한 기록 매체에 있어서, 상기 AI 부호화 데이터는, 고해상도 영상을 AI 다운스케일하여 생성된 저해상도 영상의 부호화 정보를 포함하는 영상 데이터, 및 상기 영상 데이터에 따라 복원된 저해상도 영상의 AI 업스케일에 대한 AI 데이터 포함하고, 상기 AI 데이터는, 하나 이상의 프레임에 AI 업스케일이 적용되는지 여부를 나타내는 AI 타겟 데이터, 및 상기 하나 이상의 프레임에 AI 업스케일이 적용될 경우, 미리 설정된 복수의 디폴트 DNN 설정 정보 중에서, 상기 하나 이상의 프레임의 AI 업스케일에 사용되는 업스케일 DNN 정보에 관한 AI 보조 데이터를 포함하는 것을 특징으로 하는 컴퓨터로 기록가능한 기록 매체가 제공된다.
본 개시에 있어서, AI 업스케일을 이용한 비디오 복호화 방법에 있어서, 영상 데이터와 상기 영상 데이터의 AI 업스케일에 관한 AI 데이터가 포함된 AI 부호화 데이터를 포함하는 비디오 파일을 수신하는 단계, 상기 비디오 파일의 메타데이터 박스로부터 상기 AI 부호화 데이터의 AI 데이터를 획득하고, 상기 비디오 파일의 미디어데이터 박스로부터, 상기 AI 부호화 데이터의 영상 데이터를 획득하는 단계, 상기 영상 데이터를 복호화하여, 현재 프레임의 저해상도 영상을 복원하는 단계, 상기 AI 데이터로부터, 상기 현재 프레임의 업스케일 DNN 정보를 획득하는 단계, 및 상기 현재 프레임의 업스케일 DNN 정보에 따라, 상기 저해상도 영상을 AI 업스케일함으로써, 상기 저해상도 영상에 대응되는 고해상도 영상을 생성하는 단계를 포함하는 비디오 복호화 방법이 제공된다.
본 개시에 있어서, AI 다운스케일을 이용한 비디오 부호화 방법에 있어서, 현재 프레임의 고해상도 영상을 저해상도 영상으로 AI 다운스케일하기 위한, 다운스케일 DNN 정보를 결정하는 단계, 상기 다운스케일 DNN 정보에 따라, 상기 현재 프레임의 고해상도 영상을 AI 다운스케일함으로써, 상기 현재 프레임의 저해상도 영상을 생성하는 단계, 상기 현재 프레임의 저해상도 영상의 AI 업스케일에 사용되는, 상기 다운스케일 DNN 정보에 대응되는 업스케일 DNN 정보에 대한, AI 데이터를 생성하는 단계, 상기 현재 프레임의 저해상도 영상을 부호화함으로써, 영상 데이터를 획득하는 단계, 상기 영상 데이터와 상기 AI 데이터를 포함하는 AI 부호화 데이터를 생성하는 단계, 및 상기 AI 부호화 데이터의 영상 데이터가 삽입된 미디어데이터 박스와 상기 AI 부호화 데이터의 AI 데이터가 삽입된 메타데이터 박스를 포함하는 비디오 파일을 출력하는 단계를 포함하는 비디오 부호화 방법이 제공된다.
본 개시에 있어서, AI 업스케일을 이용한 비디오 복호화 방법을 수행하는 비디오 복호화 장치에 있어서, 영상 데이터와 상기 영상 데이터의 AI 업스케일에 관한 AI 데이터가 포함된 AI 부호화 데이터를 포함하는 비디오 파일을 수신하는 통신부, 상기 비디오 파일의 메타데이터 박스로부터 상기 AI 부호화 데이터의 AI 데이터를 획득하고, 상기 비디오 파일의 미디어데이터 박스로부터, 상기 AI 부호화 데이터의 영상 데이터를 획득하는 파싱부, 상기 영상 데이터를 복호화하여, 현재 프레임의 저해상도 영상을 복원하는 제1 복호화부, 및 상기 AI 데이터로부터, 상기 현재 프레임의 업스케일 DNN 정보를 획득하고, 상기 현재 프레임의 업스케일 DNN 정보에 따라, 상기 저해상도 영상을 AI 업스케일함으로써, 상기 저해상도 영상에 대응되는 고해상도 영상을 생성하는 AI 업스케일부를 포함하는 비디오 복호화 장치가 제공된다.
본 개시에 있어서, AI 다운스케일을 이용한 비디오 부호화 방법을 수행하는 비디오 부호화 장치에 있어서, 현재 프레임의 고해상도 영상을 저해상도 영상으로 AI 다운스케일하기 위한, 다운스케일 DNN 정보를 결정하고, 상기 다운스케일 DNN 정보에 따라, 상기 현재 프레임의 고해상도 영상을 AI 다운스케일함으로써, 상기 현재 프레임의 저해상도 영상을 생성하고, 상기 현재 프레임의 저해상도 영상의 AI 업스케일에 사용되는, AI 데이터를 생성하는 AI 다운스케일부, 상기 현재 프레임의 저해상도 영상을 부호화함으로써, 영상 데이터를 결정하는 제1 부호화부, 상기 영상 데이터와 상기 AI 데이터를 포함하는 AI 부호화 데이터를 결정하는 데이터 처리부, 및 상기 AI 부호화 데이터의 영상 데이터가 삽입된 미디어데이터 박스와 상기 AI 부호화 데이터의 AI 데이터가 삽입된 메타데이터 박스를 포함하는 비디오 파일을 출력하는 통신부를 포함하는 비디오 부호화 장치가 제공된다.
본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시 예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
본 실시 예에서, 저해상도 영상의 AI 업스케일에 필요한 AI 데이터의 데이터 구조와 함께, 상기 데이터 구조에 따른 AI 데이터의 생성 방법 및 파싱 방법이 제공된다. 최적화된 데이터 구조에 따른 AI 데이터에 따라 AI 업스케일의 효율이 향상될 수 있다.
본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 일 실시예에 따른 AI 부호화 과정 및 AI 복호화 과정을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 AI 복호화 장치의 구성을 나타내는 블록도이다.
도 3은 제 2 영상의 AI 업스케일을 위한 제 2 DNN을 나타내는 예시적인 도면이다.
도 4는 컨볼루션 레이어에 의한 컨볼루션 연산을 설명하기 위한 도면이다.
도 5는 여러 영상 관련 정보들과 여러 DNN 설정 정보들 사이의 매핑 관계를 나타내는 예시적인 도면이다.
도 6은 복수의 프레임으로 구성된 제 2 영상을 도시하는 도면이다.
도 7은 일 실시예에 따른 AI 부호화 장치의 구성을 나타내는 블록도이다.
도 8은 원본 영상의 AI 다운스케일을 위한 제 1 DNN을 나타내는 예시적인 도면이다.
도 9는 제 1 DNN 및 제 2 DNN을 훈련시키는 방법을 설명하기 위한 도면이다.
도 10는 훈련 장치에 의한 제 1 DNN 및 제 2 DNN의 훈련 과정을 설명하기 위한 도면이다.
도 11은 원본 영상의 AI 다운스케일을 위한 장치 및 제 2 영상의 AI 업스케일을 위한 장치를 도시하는 예시적인 도면이다.
도 12는 영상 데이터와 AI 데이터의 구조와 함께, 영상 데이터와 AI 데이터의 상응 관계를 설명한다.
도 13A는, AI 데이터가 영상 데이터에 삽입된 경우, AI 복호화 장치에서 데이터의 흐름을 설명한다.
도 13B는, AI 데이터와 영상 데이터가 분리되어 2개의 파일에 포함된 경우, AI 복호화 장치에서 데이터의 흐름을 설명한다.
도 14는 단일 파일에서 AI 데이터와 영상 데이터가 분리되어 있는 경우의 AI 부호화 데이터의 일 실시 예를 도시한다.
도 15A는 단일 파일에서 AI 데이터가 영상 데이터에 삽입된 경우의 AI 부호화 데이터의 일 실시 예를 도시한다.
도 15B는 단일 파일에서 AI 데이터가 영상 데이터에 삽입된 경우의 AI 부호화 데이터의 일 실시 예를 도시한다.
도 15C는 단일 파일에서 일부 AI 데이터가 영상 데이터에 삽입되고 나머지 AI 데이터는 영상 데이터와 분리된 경우의 AI 부호화 데이터의 일 실시 예를 도시한다.
도 16은 도 14와 같이 AI 데이터와 영상 데이터가 분리된 경우, 비디오 세그먼트 단위로 분할된 AI 부호화 데이터의 일 실시 예를 도시한다.
도 17은 2개의 파일으로 분리되어 전송되는 AI 데이터와 영상 데이터의 일 실시 예를 도시한다.
도 18A는 도 14 내지 도 17에서 설명된 비디오 AI 데이터에 적용될 수 있는 데이터 구조의 일 실시 예를 나타낸다.
도 18B는 도 16에서 설명된 비디오 세그먼트 AI 데이터 또는 도 14, 도 15A 내지 15C, 도 17의 프레임 그룹 AI 데이터에 적용될 수 있는 데이터 구조의 일 실시 예를 나타낸다.
도 19는 도 18A의 데이터 구조가 구현된 신택스 테이블을 나타낸다.
도 20은 도 14 내지 도 17에서 설명된 프레임 그룹 AI 데이터 또는 프레임 AI 데이터에 적용될 수 있는 데이터 구조의 일 실시 예를 나타낸다.
도 21은 도 20의 데이터 구조가 구현된 신택스 테이블을 나타낸다.
도 22는 AI 복호화기에 따른 영상 복호화 방법의 일 실시예의 순서도이다.
도 23은 AI 부호화기에 따른 영상 부호화 방법의 일 실시예의 순서도이다.
도 24는 일 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 25는 일 실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
본 개시에 있어서, AI 부호화 데이터를 포함하는 비디오 파일이 저장된 컴퓨터로 기록가능한 기록 매체에 있어서, 상기 AI 부호화 데이터는, 고해상도 영상을 AI 다운스케일하여 생성된 저해상도 영상의 부호화 정보를 포함하는 영상 데이터, 및 상기 영상 데이터에 따라 복원된 저해상도 영상의 AI 업스케일에 대한 AI 데이터 포함하고, 상기 AI 데이터는, 하나 이상의 프레임에 AI 업스케일이 적용되는지 여부를 나타내는 AI 타겟 데이터, 및 상기 하나 이상의 프레임에 AI 업스케일이 적용될 경우, 미리 설정된 복수의 디폴트 DNN 설정 정보 중에서, 상기 하나 이상의 프레임의 AI 업스케일에 사용되는 업스케일 DNN 정보에 관한 AI 보조 데이터를 포함하는 것을 특징으로 하는 컴퓨터로 기록가능한 기록 매체가 제공된다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 개시의 실시 형태에 대해 한정하려는 것이 아니며, 본 개시는 여러 실시예들의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.
또한, 본 명세서에서, '영상(image)' 또는 '픽처'는 정지영상, 복수의 연속된 정지영상(또는 프레임)으로 구성된 동영상, 또는 비디오를 나타낼 수 있다.
또한, 본 명세서에서 'DNN(deep neural network)'은 뇌 신경을 모사한 인공신경망 모델의 대표적인 예시로써, 특정 알고리즘을 사용한 인공신경망 모델로 한정되지 않는다.
또한, 본 명세서에서 '파라미터'는 뉴럴 네트워크를 이루는 각 레이어의 연산 과정에서 이용되는 값으로서 예를 들어, 입력 값을 소정 연산식에 적용할 때 이용되는 가중치를 포함할 수 있다. 또한, 파라미터는 매트릭스 형태로 표현될 수 있다. 파라미터는 훈련의 결과로 설정되는 값으로서, 필요에 따라 별도의 훈련 데이터(training data)를 통해 갱신될 수 있다.
또한, 본 명세서에서 '제 1 DNN'은 영상의 AI 다운스케일을 위해 이용되는 DNN을 의미하고, '제 2 DNN'은 영상의 AI 업스케일을 위해 이용되는 DNN을 의미한다.
또한, 본 명세서에서 'DNN 설정 정보'는 DNN을 구성하는 요소와 관련된 정보로서 전술한 파라미터를 포함한다. DNN 설정 정보를 이용하여 제 1 DNN 또는 제 2 DNN이 설정될 수 있다.
또한, 본 명세서에서 '원본 영상'은 AI 부호화의 대상이 되는 영상을 의미하고, '제 1 영상'은 AI 부호화 과정에서 원본 영상의 AI 다운스케일 결과 획득된 영상을 의미한다. 또한, '제 2 영상'은 AI 복호화 과정에서 제 1 복호화를 통해 획득된 영상을 의미하고, '제 3 영상'은 AI 복호화 과정에서 제 2 영상을 AI 업스케일하여 획득된 영상을 의미한다.
또한, 본 명세서에서 'AI 다운스케일'은 AI 기반으로 영상의 해상도를 감소시키는 처리를 의미하고, '제 1 부호화'는 주파수 변환 기반의 영상 압축 방법에 의한 부호화 처리를 의미한다. 또한, '제 1 복호화'는 주파수 변환 기반의 영상 복원 방법에 의한 복호화 처리를 의미하고, 'AI 업스케일'은 AI 기반으로 영상의 해상도를 증가시키는 처리를 의미한다.
도 1은 일 실시예에 따른 AI(artificial intelligence) 부호화 과정 및 AI 복호화 과정을 설명하기 위한 도면이다.
전술한 바와 같이 영상의 해상도가 급격히 커짐에 따라 부호화/복호화를 위한 정보 처리량이 많아지게 되고, 이에 따라 영상의 부호화 및 복호화 효율을 향상시키기 위한 방안이 필요하다.
도 1에 도시된 바와 같이, 본 개시의 일 실시예에 따르면, 해상도가 큰 원본 영상(105)을 AI 다운스케일(110)하여 제 1 영상(115)을 획득한다. 그리고, 상대적으로 작은 해상도의 제 1 영상(115)을 대상으로 하여 제 1 부호화(120) 및 제 1 복호화(130)를 수행하므로, 원본 영상(105)을 대상으로 하여 제 1 부호화(120) 및 제 1 복호화(130)를 수행하는 경우에 비해 처리되는 비트레이트를 크게 감소시킬 수 있다.
도 1을 참조하여 상세히 설명하면, 일 실시예는 AI 부호화 과정에서, 원본 영상(105)을 AI 다운스케일(110)하여 제 1 영상(115)을 획득하고, 제 1 영상(115)을 제 1 부호화(120)한다. AI 복호화 과정에서는, AI 부호화 결과 획득된 AI 데이터와 영상 데이터를 포함하는 AI 부호화 데이터를 수신하고, 제 1 복호화(130)를 통해 제 2 영상(135)을 획득하고, 제 2 영상(135)을 AI 업스케일(140)하여 제 3 영상(145)을 획득한다.
AI 부호화 과정을 좀 더 상세히 살펴보면, 원본 영상(105)을 입력받으면, 소정 해상도 또는 소정 화질의 제 1 영상(115)을 획득하기 위해 원본 영상(105)을 AI 다운스케일(110)한다. 이때, AI 다운스케일(110)은 AI 기반으로 수행되는데, AI 다운스케일(110)을 위한 AI는 제 2 영상(135)의 AI 업스케일(140)을 위한 AI와 연계되어 훈련되어야(joint trained ) 한다. 왜냐하면, AI 다운스케일(110)을 위한 AI와 AI 업스케일(140)을 위한 AI가 분리되어 훈련되는 경우, AI 부호화 대상인 원본 영상(105)과 AI 복호화를 통해 복원된 제 3 영상(145) 사이의 차이가 커지게 되기 때문이다.
본 개시의 실시예에서는, AI 부호화 과정과 AI 복호화 과정에서 이러한 연계 관계를 유지하기 위해, AI 데이터를 이용할 수 있다. 따라서, AI 부호화 과정을 통해 획득된 AI 데이터는 업스케일 타겟을 나타내는 정보를 포함하여야 하고, AI 복호화 과정에서는 AI 데이터에 기초하여 확인되는 업스케일 타겟에 따라 제 2 영상(135)을 AI 업스케일(140)하여야 한다.
AI 다운스케일(110)을 위한 AI 및 AI 업스케일(140)을 위한 AI는 DNN(deep neural network)으로 구현될 수 있다. 도 9를 참조하여 후술하는 바와 같이, 제 1 DNN과 제 2 DNN은 소정 타겟 하에 손실 정보의 공유를 통해 연계 훈련되므로, AI 부호화 장치는 제 1 DNN과 2 DNN이 연계 훈련할 때 이용된 타겟 정보를 AI 복호화 장치로 제공하고, AI 복호화 장치는 제공받은 타겟 정보에 기초하여 제 2 영상(135)을 타겟하는 해상도로 AI 업스케일(140)할 수 있다.
도 1에 도시된 제 1 부호화(120) 및 제 1 복호화(130)에 대해 상세히 설명하면, 원본 영상(105)으로부터 AI 다운스케일(110)된 제 1 영상(115)은 제 1 부호화(120)를 통해 정보량이 감축될 수 있다. 제 1 부호화(120)는, 제 1 영상(115)을 예측하여 예측 데이터를 생성하는 과정, 제 1 영상(115)과 예측 데이터 사이의 차이에 해당하는 잔차 데이터를 생성하는 과정, 공간 영역 성분인 잔차 데이터를 주파수 영역 성분으로 변환(transformation)하는 과정, 주파수 영역 성분으로 변환된 잔차 데이터를 양자화(quantization)하는 과정 및 양자화된 잔차 데이터를 엔트로피 부호화하는 과정 등을 포함할 수 있다. 이와 같은 제 1 부호화 과정(120)은 MPEG-2, H.264 AVC(Advanced Video Coding), MPEG-4, HEVC(High Efficiency Video Coding), VC-1, VP8, VP9 및 AV1(AOMedia Video 1) 등 주파수 변환을 이용한 영상 압축 방법 중의 하나를 통해 구현될 수 있다.
제 1 영상(115)에 대응하는 제 2 영상(135)은 영상 데이터의 제 1 복호화(130)를 통해 복원될 수 있다. 제 1 복호화(130)는, 영상 데이터를 엔트로피 복호화하여 양자화된 잔차 데이터를 생성하는 과정, 양자화된 잔차 데이터를 역양자화하는 과정, 주파수 영역 성분의 잔차 데이터를 공간 영역 성분으로 변환하는 과정, 예측 데이터를 생성하는 과정 및 예측 데이터와 잔차 데이터를 이용하여 제 2 영상(135)을 복원하는 과정 등을 포함할 수 있다. 이와 같은 제 1 복호화(130) 과정은 제 1 부호화(120) 과정에서 사용된 MPEG-2, H.264, MPEG-4, HEVC, VC-1, VP8, VP9 및 AV1 등 주파수 변환을 이용한 영상 압축 방법 중의 하나에 대응되는 영상 복원 방법을 통해 구현될 수 있다.
AI 부호화 과정을 통해 획득된 AI 부호화 데이터는, 제 1 영상(115)의 제 1 부호화(120) 결과 획득된 영상 데이터 및 원본 영상(105)의 AI 다운스케일(110)과 관련된 AI 데이터를 포함할 수 있다. 영상 데이터는 제 1 복호화(130) 과정에서 이용될 수 있으며, AI 데이터는 AI 업스케일(140) 과정에서 이용될 수 있다.
영상 데이터는 비트스트림 형태로 전송될 수 있다. 영상 데이터는 제 1 영상(115) 내 픽셀 값들에 기초하여 획득되는 데이터, 예를 들어, 제 1 영상(115)과 제 1 영상(115)의 예측 데이터 사이의 차이인 잔차 데이터를 포함할 수 있다. 또한, 영상 데이터는 제 1 영상(115)의 제 1 부호화(120) 과정에서 이용된 정보들을 포함한다. 예를 들어, 영상 데이터는 제 1 영상(115)을 제 1 부호화(120)하는데 이용된 예측 모드(mode) 정보, 움직임 정보, 및 제 1 부호화(120)에서 이용된 양자화 파라미터 관련 정보 등을 포함할 수 있다. 영상 데이터는 MPEG-2, H.264 AVC, MPEG-4, HEVC, VC-1, VP8, VP9 및 AV1 등 주파수 변환을 이용하는 영상 압축 방법 중 제 1 부호화(120) 과정에서 이용된 영상 압축 방법의 규칙, 예를 들어, 신택스(syntax)에 따라 생성될 수 있다.
AI 데이터는 제 2 DNN에 기반한 AI 업스케일(140)에 이용된다. 전술한 바와 같이, 제 1 DNN과 제 2 DNN은 연계 훈련되기 때문에, AI 데이터는 제 2 DNN을 통한 제 2 영상(135)의 정확한 AI 업스케일(140)이 수행될 수 있게 하는 정보를 포함한다. AI 복호화 과정에서는 AI 데이터에 기반하여 제 2 영상(135)을 타겟하는 해상도 및/또는 화질로 AI 업스케일(140)할 수 있다.
AI 데이터는 비트스트림의 형태로 영상 데이터와 함께 전송될 수 있다. 또는, 구현예에 따라, AI 데이터는 프레임이나 패킷 형태로 영상 데이터와 구분되어 전송될 수도 있다. AI 부호화 결과 획득된 영상 데이터와 AI 데이터는 동일한 네트워크 또는 서로 상이한 네트워크를 통해 전송될 수 있다.
도 2는 일 실시예에 따른 AI 복호화 장치(200)의 구성을 도시하는 블록도이다.
도 2를 참조하면, 일 실시예에 따른 AI 복호화 장치(200)는 수신부(210) 및 AI 복호화부(230)를 포함할 수 있다. 수신부(210)는 통신부(212), 파싱부(214) 및 출력부(216)를 포함할 수 있다. AI 복호화부(230)는 제 1 복호화부(232) 및 AI 업스케일부(234)를 포함할 수 있다.
수신부(210)는 AI 부호화 결과 획득된 AI 부호화 데이터를 수신 및 파싱하고, 영상 데이터와 AI 데이터를 구분하여 AI 복호화부(230)로 출력한다.
구체적으로, 통신부(212)는 네트워크를 통해 AI 부호화 결과 획득된 AI 부호화 데이터를 수신한다. AI 부호화 결과 획득된 AI 부호화 데이터는 영상 데이터와 AI 데이터를 포함한다. 영상 데이터와 AI 데이터는 동종 네트워크 또는 이종 네트워크를 통해 수신될 수 있다.
파싱부(214)는 통신부(212)를 통해 수신된 AI 부호화 데이터를 전달받아 파싱(parsing)하여 영상 데이터와 AI 데이터로 구분한다. 예를 들어, 통신부(212)로부터 획득된 데이터의 헤더를 읽어, 해당 데이터가 영상 데이터인지 또는 AI 데이터인지를 구분할 수 있다. 일 예에서, 파싱부(214)는 통신부(212)를 통해 수신된 데이터의 헤더를 통해 영상 데이터와 AI 데이터를 구분하여 출력부(216)로 전달하고, 출력부(216)는 각각의 구분된 데이터를 제 1 복호화부(232) 및 AI 업스케일부(234)로 전달한다. 이 때, AI 부호화 데이터에 포함된 영상 데이터가 소정의 코덱(예를 들어, MPEG-2, H.264, MPEG-4, HEVC, VC-1, VP8, VP9 또는 AV1)을 통해 획득된 영상 데이터인 것으로 확인할 수도 있다. 이 경우, 영상 데이터가 상기 확인된 코덱으로 처리될 수 있도록, 출력부(216)를 통해 해당 정보를 제 1 복호화부(232)로 전달할 수 있다.
일 실시예에서, 파싱부(214)가 파싱하는 AI 부호화 데이터는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium) 등을 포함하는 데이터 저장 매체로부터 획득된 것일 수도 있다.
제 1 복호화부(232)는 영상 데이터에 기초하여 제 1 영상(115)에 대응하는 제 2 영상(135)을 복원한다. 제 1 복호화부(232)에 의해 획득된 제 2 영상(135)은 AI 업스케일부(234)로 제공된다. 구현예에 따라서는, 영상 데이터에 포함된 예측 모드 정보, 움직임 정보, 양자화 파라미터 정보 등의 제 1 복호화 관련 정보가 AI 업스케일부(234)로 더 제공될 수 있다.
AI 데이터를 수신한 AI 업스케일부(234)는 AI 데이터에 기초하여 제 2 영상(135)을 AI 업스케일한다. 구현예에 따라서는, 영상 데이터에 포함된 예측 모드 정보, 양자화 파라미터 정보 등의 제 1 복호화 관련 정보를 더 이용하여 AI 업스케일 할 수 있다.
일 실시예에 따른 수신부(210) 및 AI 복호화부(230)는 개별적인 장치로 설명되었으나, 하나의 프로세서를 통해 구현될 수 있다. 이 경우, 수신부(210) 및 AI 복호화부(230)는 전용 프로세서로 구현될 수도 있고, AP 또는 CPU, GPU와 같은 범용 프로세서와 S/W의 조합을 통해 구현될 수도 있다. 또한, 전용 프로세서의 경우, 본 개시의 실시예를 구현하기 위한 메모리를 포함하여 구현되거나, 외부 메모리를 이용하기 위한 메모리 처리부를 포함하여 구현될 수 있다.
또한, 수신부(210) 및 AI 복호화부(230)는 복수의 프로세서로 구성될 수도 있다. 이 경우, 전용 프로세서들의 조합으로 구현될 수도 있고, AP 또는 CPU, GPU와 같은 다수의 범용 프로세서들과 S/W의 조합을 통해 구현될 수도 있다. 마찬가지로 AI 업스케일부(234)와 제 1 복호화부(232)도 각각 서로 다른 프로세서로 구현될 수 있다.
AI 업스케일부(234)로 제공되는 AI 데이터는, 제 2 영상(135)을 AI 업스케일할 수 있게 하는 정보들을 포함한다. 이때, 업스케일 타겟은 제 1 DNN의 다운스케일에 대응하여야 한다. 따라서, AI 데이터는 제 1 DNN의 다운스케일 타겟을 확인할 수 있는 정보가 포함되어야 한다.
AI 데이터에 포함된 정보를 구체적으로 예시하면, 원본 영상(105)의 해상도와 제 1 영상(115)의 해상도의 차이 정보, 제 1 영상(115) 관련 정보가 있다.
차이 정보는, 원본 영상(105) 대비 제 1 영상(115)의 해상도 변환 정도에 대한 정보(예를 들어, 해상도 변환률 정보)로 표현될 수 있다. 그리고, 복원된 제 2 영상(135)의 해상도를 통해 제 1 영상(115)의 해상도를 알게 되고 이를 통해 해상도 변환 정도를 확인할 수 있기 때문에, 차이 정보는 원본 영상(105)의 해상도 정보만으로 표현될 수도 있다. 여기서 해상도 정보는 가로/세로의 화면 사이즈로 표현될 수도 있고, 비율(16:9, 4:3 등)과 한 축의 사이즈로 표현될 수도 있다. 또한, 기 설정된 해상도 정보가 있는 경우는 인덱스 또는 플래그의 형태로 표현될 수도 있다.
그리고, 제 1 영상(115) 관련 정보는, 제 1 영상(115)의 제 1 부호화 결과 획득된 영상 데이터의 비트레이트 및 제 1 영상(115)의 제 1 부호화시 이용된 코덱 타입 중 적어도 하나에 대한 정보를 포함할 수 있다.
AI 업스케일부(234)는 AI 데이터에 포함된 차이 정보 및 제 1 영상(115) 관련 정보 중 적어도 하나에 기초하여 제 2 영상(135)의 업스케일 타겟을 결정할 수 있다. 업스케일 타겟은 예를 들어, 제 2 영상(135)을 어느 정도의 해상도로 업스케일하여야 하는지를 나타낼 수 있다. AI 업스케일부(234)는 업스케일 타겟이 결정되면, 업스케일 타겟에 대응하는 제 3 영상(145)을 획득하기 위해 제 2 DNN을 통해 제 2 영상(135)을 AI 업스케일한다.
AI 업스케일부(234)가 업스케일 타겟에 맞춰 제 2 영상(135)을 AI 업스케일하는 방법을 설명하기에 앞서, 제 2 DNN을 통한 AI 업스케일 과정에 대해 도 3 및 도 4를 참조하여 설명한다.
도 3은 제 2 영상(135)의 AI 업스케일을 위한 제 2 DNN(300)을 나타내는 예시적인 도면이고, 도 4는 도 3에 도시된 제 1 컨볼루션 레이어(310)에서의 컨볼루션 연산을 도시하고 있다.
도 3에 도시된 바와 같이, 제 2 영상(135)은 제 1 컨볼루션 레이어(310)로 입력된다. 도 3에 도시된 제 1 컨볼루션 레이어(310)에 표시된 3X3X4는 3 x 3의 크기의 4개의 필터 커널을 이용하여 1개의 입력 영상에 대해 컨볼루션 처리를 하는 것을 예시한다. 컨볼루션 처리 결과 4개의 필터 커널에 의해 4개의 특징 맵이 생성된다. 각 특징 맵은 제 2 영상(135)의 고유한 특성들을 나타낸다. 예를 들어, 각 특징 맵은 제 2 영상(135)의 수직 방향 특성, 수평 방향 특성 또는 에지 특성 등을 나타낼 수 있다.
도 4를 참조하여, 제 1 컨볼루션 레이어(310)에서의 컨볼루션 연산에 대해 상세히 설명한다.
제 1 컨볼루션 레이어(310)에서 이용되는 3 X 3의 크기를 갖는 필터 커널(430)의 파라미터들과 그에 대응하는 제 2 영상(135) 내 픽셀 값들 사이의 곱 연산 및 덧셈 연산을 통해 하나의 특징 맵(450)이 생성될 수 있다. 제 1 컨볼루션 레이어(310)에서는 4개의 필터 커널이 이용되므로, 4개의 필터 커널을 이용한 컨볼루션 연산 과정을 통해 4개의 특징 맵이 생성될 수 있다.
도 4에서 제 2 영상(135)에 표시된 I1 내지 I49는 제 2 영상(135)의 픽셀들을 나타내고, 필터 커널(430)에 표시된 F1 내지 F9는 필터 커널(430)의 파라미터들을 나타낸다. 또한, 특징 맵(450)에 표시된 M1 내지 M9는 특징 맵(450)의 샘플들을 나타낸다.
도 4는 제 2 영상(135)이 49개의 픽셀을 포함하는 것으로 예시하고 있으나, 이는 하나의 예시일 뿐이며, 제 2 영상(135)이 4K의 해상도를 갖는 경우, 예를 들어, 3840 X 2160개의 픽셀을 포함할 수 있다.
컨볼루션 연산 과정에서, 제 2 영상(135)의 I1, I2, I3, I8, I9, I10, I15, I16, I17의 픽셀 값들 각각과 필터 커널(430)의 F1, F2, F3, F4, F5, F6, F7, F8 및 F9 각각의 곱 연산이 수행되고, 곱 연산의 결과 값들을 조합(예를 들어, 덧셈 연산)한 값이 특징 맵(450)의 M1의 값으로 할당될 수 있다. 컨볼루션 연산의 스트라이드(stride)가 2라면, 제 2 영상(135)의 I3, I4, I5, I10, I11, I12, I17, I18, I19의 픽셀 값들 각각과 필터 커널(430)의 F1, F2, F3, F4, F5, F6, F7, F8 및 F9 각각의 곱 연산이 수행되고, 곱 연산의 결과 값들을 조합한 값이 특징 맵(450)의 M2의 값으로 할당될 수 있다.
필터 커널(430)이 제 2 영상(135)의 마지막 픽셀에 도달할 때까지 스트라이드에 따라 이동하는 동안 제 2 영상(135) 내 픽셀 값들과 필터 커널(430)의 파라미터들 사이의 컨볼루션 연산이 수행됨으로써, 소정 크기를 갖는 특징 맵(450)이 획득될 수 있다.
본 개시에 따르면, 제 1 DNN과 제 2 DNN의 연계 훈련을 통해 제 2 DNN의 파라미터들, 예를 들어, 제 2 DNN의 컨볼루션 레이어들에서 이용되는 필터 커널의 파라미터들(예를 들어, 필터 커널(430)의 F1, F2, F3, F4, F5, F6, F7, F8 및 F9)의 값이 최적화될 수 있다. 전술한 바와 같이, AI 업스케일부(234)는 AI 데이터에 기초하여, 제 1 DNN의 다운스케일 타겟에 대응하는 업스케일 타겟을 결정하고, 결정된 업스케일 타겟에 대응하는 파라미터들을 제 2 DNN의 컨볼루션 레이어들에서 이용되는 필터 커널의 파라미터들로 결정할 수 있다.
제 1 DNN 및 제 2 DNN에 포함된 컨볼루션 레이어들은 도 4와 관련하여 설명한 컨볼루션 연산 과정에 따른 처리를 할 수 있으나, 도 4에서 설명한 컨볼루션 연산 과정은 하나의 예시일 뿐이며, 이에 한정되는 것은 아니다.
다시 도 3을 참조하면, 제 1 컨볼루션 레이어(310)에서 출력된 특징 맵들은 제 1 활성화 레이어(320)로 입력된다.
제 1 활성화 레이어(320)는 각각의 특징 맵에 대해 비선형(Non-linear) 특성을 부여할 수 있다. 제 1 활성화 레이어(320)는 시그모이드 함수(sigmoid function), Tanh 함수, ReLU(Rectified Linear Unit) 함수 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
제 1 활성화 레이어(320)에서 비선형 특성을 부여하는 것은, 제 1 컨볼루션 레이어(310)의 출력인, 특징 맵의 일부 샘플 값을 변경하여 출력하는 것을 의미한다. 이때, 변경은 비선형 특성을 적용하여 수행된다.
제 1 활성화 레이어(320)는 제 1 컨볼루션 레이어(310)로부터 출력되는 특징 맵들의 샘플 값들을 제 2 컨볼루션 레이어(330)로 전달할지 여부를 결정한다. 예를 들어, 특징 맵들의 샘플 값들 중 어떤 샘플 값들은 제 1 활성화 레이어(320)에 의해 활성화되어 제 2 컨볼루션 레이어(330)로 전달되고, 어떤 샘플 값들은 제 1 활성화 레이어(320)에 의해 비활성화되어 제 2 컨볼루션 레이어(330)로 전달되지 않는다. 특징 맵들이 나타내는 제 2 영상(135)의 고유 특성이 제 1 활성화 레이어(320)에 의해 강조된다.
제 1 활성화 레이어(320)에서 출력된 특징 맵들(325)은 제 2 컨볼루션 레이어(330)로 입력된다. 도 3에 도시된 특징 맵들(325) 중 어느 하나는 도 4와 관련하여 설명한 특징 맵(450)이 제 1 활성화 레이어(320)에서 처리된 결과이다.
제 2 컨볼루션 레이어(330)에 표시된 3X3X4는 3 x 3의 크기의 4개의 필터 커널을 이용하여 입력된 특징 맵들(325)에 대해 컨볼루션 처리하는 것을 예시한다. 제 2 컨볼루션 레이어(330)의 출력은 제 2 활성화 레이어(340)로 입력된다. 제 2 활성화 레이어(340)는 입력 데이터에 대해 비선형 특성을 부여할 수 있다.
제 2 활성화 레이어(340)에서 출력된 특징 맵들(345)은 제 3 컨볼루션 레이어(350)로 입력된다. 도 3에 도시된 제 3 컨볼루션 레이어(350)에 표시된 3X3X1는 3 x 3의 크기의 1개의 필터 커널을 이용하여 1개의 출력 영상을 만들기 위해 컨볼루션 처리를 하는 것을 예시한다. 제 3 컨볼루션 레이어(350)는 최종 영상을 출력하기 위한 레이어로서 1개의 필터 커널을 이용하여 1개의 출력을 생성한다. 본 개시의 예시에 따르면, 제 3 컨볼루션 레이어(350)는 컨벌루션 연산 결과를 통해 제 3 영상(145)을 출력할 수 있다.
제 2 DNN(300)의 제 1 컨볼루션 레이어(310), 제 2 컨볼루션 레이어(330) 및 제 3 컨볼루션 레이어(350)의 필터 커널의 개수, 필터 커널의 파라미터 등을 나타내는 DNN 설정 정보는 후술하는 바와 같이 복수 개일 수 있는데, 복수의 DNN 설정 정보는 제 1 DNN의 복수의 DNN 설정 정보와 연계되어야 한다. 제 2 DNN의 복수의 DNN 설정 정보와 제 1 DNN의 복수의 DNN 설정 정보 사이의 연계는, 제 1 DNN 및 제 2 DNN의 연계 학습을 통해 구현될 수 있다.
도 3은 제 2 DNN(300)이 세 개의 컨볼루션 레이어(310, 330, 350)와 두 개의 활성화 레이어(320, 340)를 포함하고 있는 것으로 도시하고 있으나, 이는 하나의 예시일 뿐이며, 구현예에 따라서, 컨볼루션 레이어 및 활성화 레이어의 개수는 다양하게 변경될 수 있다. 또한, 구현예에 따라서, 제 2 DNN(300)은 RNN(recurrent neural network)을 통해 구현될 수도 있다. 이 경우는 본 개시의 예시에 따른 제 2 DNN(300)의 CNN 구조를 RNN 구조로 변경하는 것을 의미한다.
일 실시예에서, AI 업스케일부(234)는 전술한 컨볼루션 연산 및 활성화 레이어의 연산을 위한 적어도 하나의 ALU(Arithmetic logic unit)를 포함할 수 있다. ALU는 프로세서로 구현될 수 있다. 컨볼루션 연산을 위해, ALU는 제 2 영상(135) 또는 이전 레이어에서 출력된 특징 맵의 샘플 값들과 필터 커널의 샘플 값들 사이의 곱 연산을 수행하는 곱셈기 및 곱셈의 결과 값들을 더하는 가산기를 포함할 수 있다. 또한, 활성화 레이어의 연산을 위해, ALU는 미리 결정된 시그모이드 함수, Tanh 함수 또는 ReLU 함수 등에서 이용되는 가중치를 입력된 샘플 값에 곱하는 곱셈기, 및 곱한 결과와 소정 값을 비교하여 입력된 샘플 값을 다음 레이어로 전달할지를 판단하는 비교기를 포함할 수 있다.
이하에서, AI 업스케일부(234)가 업스케일 타겟에 맞춰 제 2 영상(135)을 AI 업스케일하는 방법을 설명한다.
일 실시예에서, AI 업스케일부(234)는 제 2 DNN에 세팅 가능한 복수의 DNN 설정 정보를 저장할 수 있다.
여기서, DNN 설정 정보는 제 2 DNN에 포함되는 컨볼루션 레이어의 수, 컨볼루션 레이어별 필터 커널의 개수 및 각 필터 커널의 파라미터 중 적어도 하나에 대한 정보를 포함할 수 있다. 복수의 DNN 설정 정보는 다양한 업스케일 타겟에 각각 대응될 수 있으며, 특정 업스케일 타겟에 대응되는 DNN 설정 정보에 기반하여 제 2 DNN이 동작할 수 있다. DNN 설정 정보에 따라 제 2 DNN이 서로 다른 구조를 가질 수 있다. 예를 들어, 어느 DNN 설정 정보에 따라 제 2 DNN이 3개의 컨볼루션 레이어를 포함할 수 있고, 다른 DNN 설정 정보에 따라 제 2 DNN이 4개의 컨볼루션 레이어를 포함할 수 있다.
일 실시예에서, DNN 설정 정보는 제 2 DNN에서 사용되는 필터 커널의 파라미터만을 포함할 수도 있다. 이 경우, 제 2 DNN의 구조는 변경되지 않는 대신, DNN 설정 정보에 따라 내부의 필터 커널의 파라미터만이 달라질 수 있다.
AI 업스케일부(234)는 복수의 DNN 설정 정보 중 제 2 영상(135)의 AI 업스케일을 위한 DNN 설정 정보를 획득할 수 있다. 여기서 사용되는 복수의 DNN 설정 정보 각각은 미리 결정된 해상도 및/또는 미리 결정된 화질의 제 3 영상(145)을 획득하기 위한 정보로, 제 1 DNN과 연계하여 훈련된 것이다.
예를 들어, 복수의 DNN 설정 정보 중 어느 하나의 DNN 설정 정보는 제 2 영상(135)의 해상도보다 2배 큰 해상도의 제 3 영상(145), 예를 들어, 2K (2048*1080)의 제 2 영상(135)보다 2배 큰 4K(4096*2160)의 제 3 영상(145)을 획득하기 위한 정보들을 포함할 수 있고, 다른 하나의 DNN 설정 정보는 제 2 영상(135)의 해상도보다 4배 큰 해상도의 제 3 영상(145), 예를 들어, 2K (2048*1080)의 제 2 영상(135)보다 4배 큰 8K(8192*4320)의 제 3 영상(145)을 획득하기 위한 정보들을 포함할 수 있다.
복수의 DNN 설정 정보 각각은 AI 부호화 장치(600)의 제 1 DNN의 DNN 설정 정보와 연계되어 만들어진 것이며, AI 업스케일부(234)는 제 1 DNN의 DNN 설정 정보의 축소 비율에 대응되는 확대 비율에 따라 복수의 DNN 설정 정보 중 하나의 DNN 설정 정보를 획득한다. 이를 위해, AI 업스케일부(234)는 제 1 DNN의 정보를 확인하여야 한다. 제 1 DNN의 정보를 AI 업스케일부(234)가 확인하기 위해, 일 실시예에 따른 AI 복호화 장치(200)는 AI 부호화 장치(600)로부터 제 1 DNN의 정보를 포함하는 AI 데이터를 수신한다.
다시 말하면, AI 업스케일부(234)는 AI 부호화 장치(600)로부터 수신되는 정보들을 이용하여, 제 1 영상(115)을 획득하기 위해 이용된 제 1 DNN의 DNN 설정 정보가 타겟하는 정보를 확인하고, 그와 연계 훈련된 제 2 DNN의 DNN 설정 정보를 획득할 수 있는 것이다.
복수의 DNN 설정 정보 중 제 2 영상(135)의 AI 업스케일을 위한 DNN 설정 정보가 획득되면, 획득된 DNN 설정 정보에 따라 동작하는 제 2 DNN에 기초하여 입력 데이터가 처리될 수 있다.
예를 들어, 어느 하나의 DNN 설정 정보가 획득되면, 도 3에 도시된 제 2 DNN(300)의 제 1 컨볼루션 레이어(310), 제 2 컨볼루션 레이어(330) 및 제 3 컨볼루션 레이어(350) 각각에 대해서, 각 레이어에 포함되는 필터 커널의 개수와 필터 커널의 파라미터들을, 상기 획득된 DNN 설정 정보에 포함된 값으로 설정한다.
구체적으로, 도 4에 도시된 제 2 DNN의 어느 하나의 컨볼루션 레이어에서 이용되는 3 X 3의 필터 커널의 파라미터들이 {1, 1, 1, 1, 1, 1, 1, 1, 1}로 세팅되도록 하고, 이후 DNN 설정 정보의 변경이 있는 경우, 이를 변경된 DNN 설정 정보에 포함된 파라미터들인 {2, 2, 2, 2, 2, 2, 2, 2, 2}로 교체할 수 있는 것이다.
AI 업스케일부(234)는 AI 데이터에 포함된 정보에 기초하여 복수의 DNN 설정 정보 중 제 2 영상(135)을 업스케일하기 위한 DNN 설정 정보를 획득할 수 있는데, DNN 설정 정보를 획득하는데 이용되는 AI 데이터에 대해 구체적으로 설명한다.
일 실시예에서, AI 업스케일부(234)는 AI 데이터에 포함된 차이 정보에 기초하여, 복수의 DNN 설정 정보 중 제 2 영상(135)을 업스케일하기 위한 DNN 설정 정보를 획득할 수 있다. 예를 들어, 차이 정보에 기초하여 원본 영상(105)의 해상도(예를 들어, 4K(4096*2160))가 제 1 영상(115)의 해상도(예를 들어, 2K (2048*1080))보다 2배 큰 것으로 확인된 경우, AI 업스케일부(234)는 제 2 영상(135)의 해상도를 2배 증가시킬 수 있는 DNN 설정 정보를 획득할 수 있다.
다른 실시예에서, AI 업스케일부(234)는 AI 데이터에 포함된 제 1 영상(115) 관련 정보에 기초하여, 복수의 DNN 설정 정보 중 제 2 영상(135)을 AI 업스케일하기 위한 DNN 설정 정보를 획득할 수 있다. AI 업스케일부(234)는 영상 관련 정보들과 DNN 설정 정보들 사이의 매핑 관계를 미리 결정하고, 제 1 영상(115) 관련 정보에 매핑된 DNN 설정 정보를 획득할 수 있다.
도 5는 여러 영상 관련 정보들과 여러 DNN 설정 정보들 사이의 매핑 관계를 나타내는 예시적인 도면이다.
도 5에 따른 실시예를 통해, 본 개시의 일 실시예의 AI 부호화/AI 복호화 과정은 해상도의 변화만을 고려하는 것이 아님을 알 수 있다. 도 5에 도시된 바와 같이, SD, HD, Full HD와 같은 해상도, 10Mbps, 15Mbps, 20Mbps와 같은 비트레이트, 그리고 AV1, H.264, HEVC와 같은 코덱 정보를 개별적으로 또는 모두 고려하여 DNN 설정 정보의 선택이 이루어질 수 있다. 이러한 고려를 위해서는 AI 훈련 과정에서 각각의 요소들을 고려한 훈련이 부호화, 복호화 과정에 연계되어 이루어져야 한다(도 9 참조).
따라서, 훈련 내용에 따라서 도 5에 도시된 바와 같이, 코덱 타입, 영상의 해상도 등을 포함하는 영상 관련 정보에 기반하여 복수의 DNN 설정 정보가 구비된 경우, AI 복호화 과정에서 전달받는 제 1 영상(115) 관련 정보에 기반하여 제 2 영상(135)의 AI 업스케일을 위한 DNN 설정 정보를 획득할 수 있다.
즉, AI 업스케일부(234)는 도 5에 도시된 표의 좌측에 도시된 영상 관련 정보와 표 우측의 DNN 설정 정보를 매칭하고 있음으로써, 영상 관련 정보에 따른 DNN 설정 정보를 사용할 수 있는 것이다.
도 5에 예시된 바와 같이, 제 1 영상(115) 관련 정보로부터 제 1 영상(115)의 해상도가 SD이고, 제 1 영상(115)의 제 1 부호화 결과 획득된 영상 데이터의 비트레이트가 10Mbps이고, 제 1 영상(115)이 AV1 코덱으로 제 1 부호화된 것으로 확인되면, AI 업스케일부(234)는 복수의 DNN 설정 정보 중 A DNN 설정 정보를 사용할 수 있다.
또한, 제 1 영상(115) 관련 정보로부터 제 1 영상(115)의 해상도가 HD이고, 제 1 부호화 결과 획득된 영상 데이터의 비트레이트가 15Mbps이고, 제 1 영상(115)이 H.264 코덱으로 제 1 부호화된 것으로 확인되면, AI 업스케일부(234)는 복수의 DNN 설정 정보 중 B DNN 설정 정보를 사용할 수 있다.
또한, 제 1 영상(115) 관련 정보로부터 제 1 영상(115)의 해상도가 Full HD이고, 제 1 영상(115)의 제 1 부호화 결과 획득된 영상 데이터의 비트레이트가 20Mbps이고, 제 1 영상(115)이 HEVC 코덱으로 제 1 부호화된 것으로 확인되면, AI 업스케일부(234)는 복수의 DNN 설정 정보 중 C DNN 설정 정보를 사용하고, 제 1 영상(115)의 해상도가 Full HD이고, 제 1 영상(115)의 제 1 부호화 결과 획득된 영상 데이터의 비트레이트가 15Mbps이고, 제 1 영상(115)이 HEVC 코덱으로 제 1 부호화된 것으로 확인되면, AI 업스케일부(234)는 복수의 DNN 설정 정보 중 D DNN 설정 정보를 사용할 수 있다. 제 1 영상(115)의 제 1 부호화 결과 획득된 영상 데이터의 비트레이트가 20Mbps인지 또는 15Mbps인지에 따라 C DNN 설정 정보와 D DNN 설정 정보 중에서 어느 하나가 선택된다. 동일 해상도의 제 1 영상(115)을 동일 코덱으로 제 1 부호화하였을 때, 영상 데이터의 비트레이트가 서로 상이하다는 것은, 복원되는 영상의 화질이 서로 상이하다는 것을 의미한다. 따라서, 제 1 DNN과 제 2 DNN은 소정 화질에 기반하여 연계 훈련될 수 있으며, 이에 따라 AI 업스케일부(234)는 제 2 영상(135)의 화질을 나타내는, 영상 데이터의 비트레이트에 따라 DNN 설정 정보를 획득할 수 있다.
또 다른 실시예에서, AI 업스케일부(234)는 제 1 복호화부(232)로부터 제공되는 정보(예측 모드 정보, 움직임 정보, 양자화 파라미터 정보 등)와 AI 데이터에 포함된 제 1 영상(115) 관련 정보를 모두 고려하여 복수의 DNN 설정 정보 중 제 2 영상(135)을 AI 업스케일하기 위한 DNN 설정 정보를 획득할 수도 있다. 예를 들어, AI 업스케일부(234)는 제 1 복호화부(232)로부터 제 1 영상(115)의 제 1 부호화 과정에서 이용된 양자화 파라미터 정보를 전달받고, AI 데이터로부터 제 1 영상(115)의 부호화 결과 획득된 영상 데이터의 비트레이트를 확인하고, 양자화 파라미터 및 비트레이트에 대응하는 DNN 설정 정보를 획득할 수도 있다. 동일한 비트레이트라도 영상의 복잡도에 따라 복원 영상의 화질 정도에 차이가 있을 수 있으며, 비트레이트는 제 1 부호화되는 제 1 영상(115) 전체를 대표하는 값으로서 제 1 영상(115) 내에서도 각 프레임의 화질이 서로 다를 수 있다. 따라서, 제 1 복호화부(232)로부터 각 프레임 별로 획득할 수 있는 예측 모드 정보, 움직임 정보 및/또는 양자화 파라미터를 함께 고려하면, AI 데이터만 이용하는 것에 비해 제 2 영상(135)에 보다 적합한 DNN 설정 정보를 획득할 수 있다.
또한, 구현예에 따라, AI 데이터는 상호 약속된 DNN 설정 정보의 식별자를 포함할 수 있다. DNN 설정 정보의 식별자는, 제 1 DNN의 다운스케일 타겟에 대응하는 업스케일 타겟으로, 제 2 영상(135)을 AI 업스케일할 수 있도록, 제 1 DNN과 제 2 DNN 간 연계 훈련된 DNN 설정 정보의 쌍을 구분하기 위한 정보이다. AI 업스케일부(234)는 AI 데이터에 포함된 DNN 설정 정보의 식별자를 획득한 후, DNN 설정 정보의 식별자에 대응하는 DNN 설정 정보를 사용하여 제 2 영상(135)을 AI 업스케일할 수 있다. 예를 들어, 제 1 DNN에 설정 가능한 복수의 DNN 설정 정보 각각을 가리키는 식별자와 제 2 DNN에 설정 가능한 복수의 DNN 설정 정보 각각을 가리키는 식별자가 미리 지정되어 있을 수 있다. 이 경우, 제 1 DNN 및 제 2 DNN 각각에 설정 가능한 DNN 설정 정보의 쌍에 대해 동일한 식별자가 지정될 수 있다. AI 데이터는 원본 영상(105)의 AI 다운스케일을 위해 제 1 DNN에 설정된 DNN 설정 정보의 식별자를 포함할 수 있다. AI 데이터를 수신한 AI 업스케일부(234)는 복수의 DNN 설정 정보 중 AI 데이터에 포함된 식별자가 가리키는 DNN 설정 정보를 이용하여 제 2 영상(135)을 AI 업스케일할 수 있다.
또한, 구현예에 따라, AI 데이터는 DNN 설정 정보를 포함할 수도 있다. AI 업스케일부(234)는 AI 데이터에 포함된 DNN 설정 정보를 획득한 후, 해당 DNN 설정 정보를 사용하여 제 2 영상(135)을 AI 업스케일할 수도 있다.
구현예에 따라, DNN 설정 정보를 구성하는 정보들(예를 들어, 컨볼루션 레이어의 수, 컨볼루션 레이어별 필터 커널의 개수, 각 필터 커널의 파라미터 등)들이 룩업 테이블 형태로 저장되어 있는 경우, AI 업스케일부(234)는 AI 데이터에 포함된 정보에 기초하여 룩업 테이블 값들 중에서 선택된 일부를 조합하여 DNN 설정 정보를 획득하고, 획득된 DNN 설정 정보를 사용하여 제 2 영상(135)을 AI 업스케일할 수도 있다.
구현예에 따라, AI 업스케일부(234)는 업스케일 타겟에 대응되는 DNN의 구조가 결정되면, 결정된 DNN의 구조에 대응하는 DNN 설정 정보, 예를 들어, 필터 커널의 파라미터들을 획득할 수도 있다.
AI 업스케일부(234)는 제 1 DNN과 관련된 정보를 포함하는 AI 데이터를 통해 제 2 DNN의 DNN 설정 정보를 획득하고, 획득된 DNN 설정 정보로 세팅된 제 2 DNN을 통해 제 2 영상(135)을 AI 업스케일하는 데, 이는, 제 2 영상(135)의 특징을 직접 분석하여 업스케일하는 것과 비교하여 메모리 사용량과 연산량이 감소될 수 있다.
일 실시예에서, 제 2 영상(135)이 복수의 프레임으로 구성된 경우, AI 업스케일부(234)는 소정 개수의 프레임 별로 DNN 설정 정보를 독립적으로 획득할 수 있고, 또는, 전체 프레임에 대해 공통된 DNN 설정 정보를 획득할 수도 있다.
도 6은 복수의 프레임으로 구성된 제 2 영상(135)을 도시하는 도면이다.
도 6에 도시된 바와 같이, 제 2 영상(135)은 t0 내지 tn에 대응하는 프레임들로 이루어질 수 있다.
일 예시에서, AI 업스케일부(234)는 AI 데이터를 통해 제 2 DNN의 DNN 설정 정보를 획득하고, 획득한 DNN 설정 정보에 기초하여 t0 내지 tn에 대응하는 프레임들을 AI 업스케일할 수 있다. 즉, t0 내지 tn에 대응하는 프레임들이 공통된 DNN 설정 정보에 기초하여 AI 업스케일될 수 있다.
다른 예시에서, AI 업스케일부(234)는 t0 내지 tn에 대응하는 프레임들 중 일부의 프레임들, 예를 들어, t0 내지 ta에 대응하는 프레임들을 AI 데이터로부터 획득한 'A' DNN 설정 정보로 AI 업스케일하고, ta+1 내지 tb에 대응하는 프레임들을 AI 데이터로부터 획득한 'B' DNN 설정 정보로 AI 업스케일할 수 있다. 또한, AI 업스케일부(234)는 tb+1 내지 tn에 대응하는 프레임들을 AI 데이터로부터 획득한 'C' DNN 설정 정보로 AI 업스케일할 수 있다. 다시 말하면, AI 업스케일부(234)는 복수의 프레임들 중 소정 개수의 프레임을 포함하는 그룹마다 DNN 설정 정보를 독립적으로 획득하고, 그룹 각각에 포함된 프레임들을 독립적으로 획득한 DNN 설정 정보로 AI 업스케일할 수 있다.
또 다른 예시에서, AI 업스케일부(234)는 제 2 영상(135)을 구성하는 프레임별로 DNN 설정 정보를 독립적으로 획득할 수도 있다. 즉, 제 2 영상(135)이 3개의 프레임으로 구성되어 있는 경우, AI 업스케일부(234)는 첫 번째 프레임과 관련하여 획득한 DNN 설정 정보로 첫 번째 프레임을 AI 업스케일하고, 두 번째 프레임과 관련하여 획득한 DNN 설정 정보로 두 번째 프레임을 AI 업스케일하고, 세 번째 프레임과 관련하여 획득한 DNN 설정 정보로 세 번째 프레임을 AI 업스케일할 수 있다. 전술한, 제 1 복호화부(232)로부터 제공되는 정보(예측 모드 정보, 움직임 정보, 양자화 파라미터 정보 등)와 AI 데이터에 포함된 제 1 영상(115) 관련 정보에 기초하여 DNN 설정 정보가 획득되는 방식에 따라, 제 2 영상(135)을 구성하는 프레임별로 DNN 설정 정보가 독립적으로 획득될 수 있다. 왜냐하면, 모드 정보, 양자화 파라미터 정보 등은 제 2 영상(135)을 구성하는 프레임마다 독립적으로 결정될 수 있기 때문이다.
또 다른 예시에서, AI 데이터는 AI 데이터에 기초하여 획득되는 DNN 설정 정보가 어느 프레임까지 유효한 것인지를 나타내는 정보를 포함할 수 있다. 예를 들어, AI 데이터 내에 DNN 설정 정보가 ta 프레임까지 유효하다는 정보가 포함되어 있는 경우, AI 업스케일부(234)는 AI 데이터에 기초하여 획득한 DNN 설정 정보로 t0 내지 ta 프레임들을 AI 업스케일한다. 그리고, 다른 AI 데이터 내에 DNN의 설정 정보가 tn 프레임까지 유효하다는 정보가 포함되어 있는 경우, AI 업스케일부(234)는 상기 다른 AI 데이터에 기초하여 획득한 DNN 설정 정보로 ta+1 내지 tn 프레임들을 AI 업스케일할 수 있다.
이하에서는, 도 7을 참조하여, 원본 영상(105)의 AI 부호화를 위한 AI 부호화 장치(600)에 대해 설명한다.
도 7은 일 실시예에 따른 AI 부호화 장치(600)의 구성을 도시하는 블록도이다.
도 7을 참조하면, AI 부호화 장치(600)는 AI 부호화부(610) 및 전송부(630)를 포함할 수 있다. AI 부호화부(610)는 AI 다운스케일부(612) 및 제 1 부호화부(614)를 포함할 수 있다. 전송부(630)는 데이터 처리부(632) 및 통신부(634)를 포함할 수 있다.
도 7은 AI 부호화부(610) 및 전송부(630)를 개별적인 장치로 도시하고 있으나, AI 부호화부(610) 및 전송부(630)는 하나의 프로세서를 통해 구현될 수 있다. 이 경우, 전용 프로세서로 구현될 수도 있고, AP 또는 CPU, GPU와 같은 범용 프로세서와 S/W의 조합을 통해 구현될 수도 있다. 또한, 전용 프로세서의 경우, 본 개시의 실시예를 구현하기 위한 메모리를 포함하여 구현되거나, 외부 메모리를 이용하기 위한 메모리 처리부를 포함하여 구현될 수 있다.
또한, AI 부호화부(610) 및 전송부(630)는 복수의 프로세서로 구성될 수도 있다. 이 경우, 전용 프로세서들의 조합으로 구현될 수도 있고, AP 또는 CPU, GPU와 같은 다수의 범용 프로세서들과 S/W의 조합을 통해 구현될 수도 있다. AI 다운스케일부(612)와 제 1 부호화부(614)도 각각 서로 다른 프로세서로 구현될 수 있다.
AI 부호화부(610)는 원본 영상(105)의 AI 다운스케일 및 제 1 영상(115)의 제 1 부호화를 수행하고, AI 데이터 및 영상 데이터를 전송부(630)로 전달한다. 전송부(630)는 AI 데이터 및 영상 데이터를 AI 복호화 장치(200)로 전송한다.
영상 데이터는 제 1 영상(115)의 제 1 부호화 결과 획득된 데이터를 포함한다. 영상 데이터는 제 1 영상(115) 내 픽셀 값들에 기초하여 획득되는 데이터, 예를 들어, 제 1 영상(115)과 제 1 영상(115)의 예측 데이터 사이의 차이인 잔차 데이터를 포함할 수 있다. 또한, 영상 데이터는 제 1 영상(115)의 제 1 부호화 과정에서 이용된 정보들을 포함한다. 예를 들어, 영상 데이터는 제 1 영상(115)을 제 1 부호화하는데 이용된 예측 모드 정보, 움직임 정보 및 제 1 영상(115)을 제 1 부호화하는데 이용된 양자화 파라미터 관련 정보 등을 포함할 수 있다.
AI 데이터는, AI 업스케일부(234)가 제 1 DNN의 다운스케일 타겟에 대응하는 업스케일 타겟으로 제 2 영상(135)을 AI 업스케일할 수 있게 하는 정보들을 포함한다. 일 예에서, AI 데이터는 원본 영상(105)과 제 1 영상(115) 사이의 차이 정보를 포함할 수 있다. 또한, AI 데이터는 제 1 영상(115) 관련 정보를 포함할 수도 있다. 제 1 영상(115) 관련 정보는, 제 1 영상(115)의 해상도, 제 1 영상(115)의 제 1 부호화 결과 획득된 영상 데이터의 비트레이트 및 제 1 영상(115)의 제 1 부호화시 이용된 코덱 타입 중 적어도 하나에 대한 정보를 포함할 수 있다.
일 실시예에서, AI 데이터는, 제 1 DNN의 다운스케일 타겟에 대응하는 업스케일 타겟으로 제 2 영상(135)이 AI 업스케일될 수 있도록, 상호 약속된 DNN 설정 정보의 식별자를 포함할 수 있다.
또한, 일 실시예에서, AI 데이터는 제 2 DNN에 세팅 가능한 DNN 설정 정보를 포함할 수도 있다.
AI 다운스케일부(612)는 제 1 DNN을 통해 원본 영상(105)으로부터 AI 다운스케일된 제 1 영상(115)을 획득할 수 있다. AI 다운스케일부(612)는 미리 결정된 기준에 기초하여 원본 영상(105)의 다운스케일 타겟을 결정할 수 있다.
다운스케일 타겟에 부합하는 제 1 영상(115)의 획득을 위해, AI 다운스케일부(612)는 제 1 DNN에 세팅 가능한 복수의 DNN 설정 정보를 저장할 수 있다. AI 다운스케일부(612)는 복수의 DNN 설정 정보 중 다운스케일 타겟에 대응하는 DNN 설정 정보를 획득하고, 획득된 DNN 설정 정보로 세팅된 제 1 DNN을 통해 원본 영상(105)을 AI 다운스케일한다.
상기 복수의 DNN 설정 정보 각각은 미리 결정된 해상도 및/또는 미리 결정된 화질의 제 1 영상(115)을 획득하기 위해 훈련된 것일 수 있다. 예를 들어, 복수의 DNN 설정 정보 중 어느 하나의 DNN 설정 정보는 원본 영상(105)의 해상도보다 1/2배만큼 작은 해상도의 제 1 영상(115), 예를 들어, 4K(4096*2160)의 원본 영상(105)보다 1/2배 작은 2K (2048*1080)의 제 1 영상(115)을 획득하기 위한 정보들을 포함할 수 있고, 다른 하나의 DNN 설정 정보는 원본 영상(105)의 해상도보다 1/4배만큼 작은 해상도의 제 1 영상(115), 예를 들어, 8K(8192*4320)의 원본 영상(105)보다 1/4배 작은 2K (2048*1080)의 제 1 영상(115)을 획득하기 위한 정보들을 포함할 수 있다.
구현예에 따라, DNN 설정 정보를 구성하는 정보들(예를 들어, 컨볼루션 레이어의 수, 컨볼루션 레이어별 필터 커널의 개수, 각 필터 커널의 파라미터 등)들이 룩업 테이블 형태로 저장되어 있는 경우, AI 다운스케일부(612)는 다운스케일 타겟에 따라 룩업 테이블 값들 중에서 선택된 일부를 조합하여 DNN 설정 정보를 획득하고, 획득된 DNN 설정 정보를 사용하여 원본 영상(105)을 AI 다운스케일할 수도 있다.
구현예에 따라, AI 다운스케일부(612)는 다운스케일 타겟에 대응되는 DNN의 구조를 결정하고, 결정된 DNN의 구조에 대응하는 DNN 설정 정보, 예를 들어, 필터 커널의 파라미터들을 획득할 수도 있다.
원본 영상(105)의 AI 다운스케일을 위한 복수의 DNN 설정 정보는, 제 1 DNN과 제 2 DNN이 연계 훈련됨으로써, 최적화된 값을 가질 수 있다. 여기서, 각 DNN 설정 정보는 제 1 DNN에 포함되는 컨볼루션 레이어의 수, 컨볼루션 레이어별 필터 커널의 개수 및 각 필터 커널의 파라미터 중 적어도 하나를 포함한다.
AI 다운스케일부(612)는 원본 영상(105)의 AI 다운스케일을 위해 결정된 DNN 설정 정보로 제 1 DNN을 세팅하여, 소정 해상도 및/또는 소정 화질의 제 1 영상(115)을 제 1 DNN을 통해 획득할 수 있다. 복수의 DNN 설정 정보 중 원본 영상(105)의 AI 다운스케일을 위한 DNN 설정 정보가 획득되면, 제 1 DNN 내 각 레이어는 DNN 설정 정보에 포함된 정보들에 기초하여 입력된 데이터를 처리할 수 있다.
이하에서는, AI 다운스케일부(612)가 다운스케일 타겟을 결정하는 방법에 대해 설명한다. 상기 다운스케일 타겟은 예를 들어, 원본 영상(105)으로부터 얼마나 해상도가 감소한 제 1 영상(115)을 획득해야 하는지를 나타낼 수 있다.
일 실시예에서, AI 다운스케일부(612)는 압축률(예를 들어, 원본 영상(105)과 제 1 영상(115) 사이의 해상도 차이, 타겟 비트레이트), 압축 품질(예를 들어, 비트레이트 타입), 압축 히스토리 정보 및 원본 영상(105)의 타입 중 적어도 하나에 기초하여 다운스케일 타겟을 결정할 수 있다.
일 예에서, AI 다운스케일부(612)는 미리 설정되거나, 사용자로부터 입력받은 압축률 또는 압축 품질 등에 기반하여 다운스케일 타겟을 결정할 수 있다.
다른 예로, AI 다운스케일부(612)는 AI 부호화 장치(600)에 저장된 압축 히스토리 정보를 이용하여 다운스케일 타겟을 결정할 수도 있다. 예를 들어, AI 부호화 장치(600)가 이용할 수 있는 압축 히스토리 정보에 따르면, 사용자가 선호하는 부호화 품질 또는 압축률 등이 결정될 수 있으며, 압축 히스토리 정보에 기초하여 결정된 부호화 품질 등에 따라 다운스케일 타겟이 결정될 수 있다. 예를 들면, 압축 히스토리 정보에 따라 가장 많이 이용된 적이 있는 부호화 품질에 따라 제 1 영상(115)의 해상도, 화질 등이 결정될 수 있다.
또 다른 예로, AI 다운스케일부(612)는 압축 히스토리 정보에 따라 소정의 임계 값보다 많이 이용된 적이 있는 부호화 품질(예를 들면, 소정의 임계값보다 많이 이용된 적이 있는 부호화 품질의 평균 품질)에 기초하여 다운스케일 타겟을 결정할 수도 있다.
또 다른 예로, AI 다운스케일부(612)는 원본 영상(105)의 해상도, 타입(예를 들어, 파일의 형식)등에 기초하여 다운스케일 타겟을 결정할 수도 있다.
일 실시예에서, 원본 영상(105)이 복수의 프레임으로 구성된 경우, AI 다운스케일부(612)는 소정 개수의 프레임 별로 다운스케일 타겟을 독립적으로 결정할 수 있고, 또는, 전체 프레임에 대해 공통된 다운스케일 타겟을 결정할 수도 있다.
일 예시에서, AI 다운스케일부(612)는 원본 영상(105)을 구성하는 프레임들을 소정 개수의 그룹으로 구분하고, 각 그룹별로 다운스케일 타겟을 독립적으로 결정할 수 있다. 각 그룹에 대해 서로 동일하거나 서로 상이한 다운스케일 타겟이 결정될 수 있다. 그룹들에 포함된 프레임들의 개수는 그룹별로 동일하거나 상이할 수 있다.
다른 예시에서, AI 다운스케일부(612)는 원본 영상(105)을 구성하는 프레임별로 다운스케일 타겟을 독립적으로 결정할 수 있다. 각각의 프레임에 대해 서로 동일하거나 서로 상이한 다운스케일 타겟이 결정될 수 있다.
이하에서는, AI 다운스케일의 기반이 되는 제 1 DNN(700)의 예시적인 구조에 대해 설명한다.
도 8은 원본 영상(105)의 AI 다운스케일을 위한 제 1 DNN(700)을 나타내는 예시적인 도면이다.
도 8에 도시된 바와 같이, 원본 영상(105)은 제 1 컨볼루션 레이어(710)로 입력된다. 제 1 컨볼루션 레이어(710)는 5 x 5의 크기의 32개의 필터 커널을 이용하여 원본 영상(105)에 대해 컨볼루션 처리를 한다. 컨볼루션 처리 결과 생성된 32개의 특징 맵은 제 1 활성화 레이어(720)로 입력된다. 제 1 활성화 레이어(720)는 32개의 특징 맵에 대해 비선형(Non-linear) 특성을 부여할 수 있다.
제 1 활성화 레이어(720)는 제 1 컨볼루션 레이어(710)로부터 출력되는 특징 맵들의 샘플 값들을 제 2 컨볼루션 레이어(730)로 전달할지 여부를 결정한다. 예를 들어, 특징 맵들의 샘플 값들 중 어떤 샘플 값들은 제 1 활성화 레이어(720)에 의해 활성화되어 제 2 컨볼루션 레이어(730)로 전달되고, 어떤 샘플 값들은 제 1 활성화 레이어(720)에 의해 비활성화되어 제 2 컨볼루션 레이어(730)로 전달되지 않는다. 제 1 컨볼루션 레이어(710)로부터 출력되는 특징 맵들이 나타내는 정보가 제 1 활성화 레이어(720)에 의해 강조된다.
제 1 활성화 레이어(720)의 출력(725)이 제 2 컨볼루션 레이어(730)로 입력된다. 제 2 컨볼루션 레이어(730)는 5 x 5의 크기의 32개의 필터 커널을 이용하여 입력 데이터에 대해 컨볼루션 처리를 한다. 컨볼루션 처리 결과 출력된 32개의 특징 맵은 제 2 활성화 레이어(740)로 입력되고, 제 2 활성화 레이어(740)는 32개의 특징 맵에 대해 비선형 특성을 부여할 수 있다.
제 2 활성화 레이어(740)의 출력(745)은 제 3 컨볼루션 레이어(750)로 입력된다. 제 3 컨볼루션 레이어(750)는 5 x 5의 크기의 1개의 필터 커널을 이용하여 입력된 데이터에 대해 컨볼루션 처리를 한다. 컨볼루션 처리 결과 제 3 컨볼루션 레이어(750)로부터 1개의 영상이 출력될 수 있다. 제 3 컨볼루션 레이어(750)는 최종 영상을 출력하기 위한 레이어로서 1개의 필터 커널을 이용하여 1개의 출력을 획득한다. 본 개시의 예시에 따르면, 제 3 컨볼루션 레이어(750)는 컨벌루션 연산 결과를 통해 제 1 영상(115)을 출력할 수 있다.
제 1 DNN(700)의 제 1 컨볼루션 레이어(710), 제 2 컨볼루션 레이어(730) 및 제 3 컨볼루션 레이어(750)의 필터 커널의 개수, 필터 커널의 파라미터 등을 나타내는 DNN 설정 정보는 복수 개일 수 있는데, 복수의 DNN 설정 정보는 제 2 DNN의 복수의 DNN 설정 정보와 연계되어야 한다. 제 1 DNN의 복수의 DNN 설정 정보와 제 2 DNN의 복수의 DNN 설정 정보 사이의 연계는, 제 1 DNN 및 제 2 DNN의 연계 학습을 통해 구현될 수 있다.
도 8은 제 1 DNN(700)이 세 개의 컨볼루션 레이어(710, 730, 750)와 두 개의 활성화 레이어(720, 740)를 포함하고 있는 것으로 도시하고 있으나, 이는 하나의 예시일 뿐이며, 구현예에 따라서, 컨볼루션 레이어 및 활성화 레이어의 개수는 다양하게 변경될 수 있다. 또한, 구현예에 따라서, 제 1 DNN(700)은 RNN(recurrent neural network)을 통해 구현될 수도 있다. 이 경우는 본 개시의 예시에 따른 제 1 DNN(700)의 CNN 구조를 RNN 구조로 변경하는 것을 의미한다.
일 실시예에서, AI 다운스케일부(612)는 컨볼루션 연산 및 활성화 레이어의 연산을 위한 적어도 하나의 ALU를 포함할 수 있다. ALU는 프로세서로 구현될 수 있다. 컨볼루션 연산을 위해, ALU는 원본 영상(105) 또는 이전 레이어에서 출력된 특징 맵의 샘플 값들과 필터 커널의 샘플 값들 사이의 곱 연산을 수행하는 곱셈기 및 곱셈의 결과 값들을 더하는 가산기를 포함할 수 있다. 또한, 활성화 레이어의 연산을 위해, ALU는 미리 결정된 시그모이드 함수, Tanh 함수 또는 ReLU 함수 등에서 이용되는 가중치를 입력된 샘플 값에 곱하는 곱셈기, 및 곱한 결과와 소정 값을 비교하여 입력된 샘플 값을 다음 레이어로 전달할지를 판단하는 비교기를 포함할 수 있다.
다시 도 7을 참조하면, AI 다운스케일부(612)로부터 제 1 영상(115)을 전달받은 제 1 부호화부(614)는 제 1 영상(115)을 제 1 부호화하여 제 1 영상(115)이 가지는 정보량을 감축시킬 수 있다. 제 1 부호화부(614)에 의한 제 1 부호화 결과 제 1 영상(115)에 대응하는 영상 데이터가 획득될 수 있다.
데이터 처리부(632)는 AI 데이터 및 영상 데이터 중 적어도 하나가 소정의 형태로 전송될 수 있게 처리한다. 예를 들어, AI 데이터 및 영상 데이터를 비트스트림 형태로 전송하여야 하는 경우, 데이터 처리부(632)는 AI 데이터가 비트스트림 형태로 표현되도록 AI 데이터를 처리하고, 통신부(634)를 통해 하나의 비트스트림 형태의 AI 데이터 및 영상 데이터를 전송한다. 다른 예로, 데이터 처리부(632)는 AI 데이터가 비트스트림 형태로 표현되도록 AI 데이터를 처리하고, 통신부(634)를 통해 AI 데이터에 해당하는 비트스트림 및 영상 데이터에 해당하는 비트스트림 각각을 통신부(634)를 통해 전송한다. 또 다른 예로, 데이터 처리부(632)는 AI 데이터가 프레임 또는 패킷으로 표현되도록 AI 데이터를 처리하고, 비트스트림 형태의 영상 데이터와, 프레임 또는 패킷 형태의 AI 데이터를 통신부(634)를 통해 전송한다.
통신부(634)는 네트워크를 통해 AI 부호화 결과 획득된 AI 부호화 데이터를 전송한다. AI 부호화 결과 획득된 AI 부호화 데이터는 영상 데이터와 AI 데이터를 포함한다. 영상 데이터와 AI 데이터는 동종 네트워크 또는 이종 네트워크를 통해 전송될 수 있다.
일 실시예에서, 데이터 처리부(632)의 처리 결과 획득된 AI 부호화 데이터는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium) 등을 포함하는 데이터 저장 매체에 저장될 수도 있다.
이하에서는, 도 9를 참조하여, 제 1 DNN(700)과 제 2 DNN(300)을 연계 훈련시키는 방법에 대해 설명한다.
도 9는 제 1 DNN(700) 및 제 2 DNN(300)을 훈련시키는 방법을 설명하기 위한 도면이다.
일 실시예에서 AI 부호화 과정을 통해 AI 부호화된 원본 영상(105)이 AI 복호화 과정을 통해 제 3 영상(145)으로 복원되는데, AI 복호화 결과 획득된 제 3 영상(145)과 원본 영상(105)과의 유사성을 유지하기 위해서는 AI 부호화 과정 및 AI 복호화 과정에 연관성이 필요하다. 즉, AI 부호화 과정에서 손실된 정보를 AI 복호화 과정에서 복원할 수 있어야 하는데, 이를 위해 제 1 DNN(700)과 제 2 DNN(300)의 연계 훈련이 요구된다.
정확한 AI 복호화를 위해서는 궁극적으로 도 9에 도시된 제 3 훈련 영상(804)과 원본 훈련 영상(801) 사이의 비교 결과에 대응하는 퀄리티 손실 정보(830)를 감소시킬 필요가 있다. 따라서, 퀄리티 손실 정보(830)는 제 1 DNN(700) 및 제 2 DNN(300)의 훈련 모두에 이용된다.
먼저, 도 9에 도시된 훈련 과정에 대해 설명한다.
도 9에서, 원본 훈련 영상(original training image)(801)은 AI 다운스케일의 대상이 되는 영상이고, 제 1 훈련 영상(first training image)(802)은 원본 훈련 영상(801)로부터 AI 다운스케일된 영상이다. 또한, 제 3 훈련 영상(third training image)(804)은 제 1 훈련 영상(802)으로부터 AI 업스케일된 영상이다.
원본 훈련 영상(801)은 정지 영상 또는 복수의 프레임으로 이루어진 동영상을 포함한다. 일 실시예에서, 원본 훈련 영상(801)은 정지 영상 또는 복수의 프레임으로 이루어진 동영상으로부터 추출된 휘도 영상을 포함할 수도 있다. 또한, 일 실시예에서, 원본 훈련 영상(801)은 정지 영상 또는 복수의 프레임으로 이루어진 동영상에서 추출된 패치 영상을 포함할 수도 있다. 원본 훈련 영상(801)이 복수의 프레임으로 이루어진 경우, 제 1 훈련 영상(802), 제 2 훈련 영상 및 제 3 훈련 영상(804) 역시 복수의 프레임으로 구성된다. 원본 훈련 영상(801)의 복수의 프레임이 순차적으로 제 1 DNN(700)에 입력되면, 제 1 DNN(700) 및 제 2 DNN(300)을 통해 제 1 훈련 영상(802), 제 2 훈련 영상 및 제 3 훈련 영상(804)의 복수의 프레임이 순차적으로 획득될 수 있다.
제 1 DNN(700) 및 제 2 DNN(300)의 연계 훈련을 위해, 원본 훈련 영상(801)이 제 1 DNN(700)으로 입력된다. 제 1 DNN(700)으로 입력된 원본 훈련 영상(801)은 AI 다운스케일되어 제 1 훈련 영상(802)으로 출력되고, 제 1 훈련 영상(802)이 제 2 DNN(300)에 입력된다. 제 1 훈련 영상(802)에 대한 AI 업스케일 결과 제 3 훈련 영상(804)이 출력된다.
도 9를 참조하면, 제 2 DNN(300)으로 제 1 훈련 영상(802)이 입력되고 있는데, 구현예에 따라, 제 1 훈련 영상(802)의 제 1 부호화 및 제 1 복호화 과정을 거쳐 획득된 제 2 훈련 영상(second training image)이 제 2 DNN(300)으로 입력될 수도 있다. 제 2 훈련 영상을 제 2 DNN으로 입력시키기 위해 MPEG-2, H.264, MPEG-4, HEVC, VC-1, VP8, VP9 및 AV1 중 어느 하나의 코덱이 이용될 수 있다. 구체적으로, 제 1 훈련 영상(802)의 제 1 부호화 및 제 1 훈련 영상(802)에 대응하는 영상 데이터의 제 1 복호화에, MPEG-2, H.264, MPEG-4, HEVC, VC-1, VP8, VP9 및 AV1 중 어느 하나의 코덱이 이용될 수 있다.
도 9를 참조하면, 제 1 DNN(700)을 통해 제 1 훈련 영상(802)이 출력되는 것과 별개로, 원본 훈련 영상(801)으로부터 레거시 다운스케일된 축소 훈련 영상(803)이 획득된다. 여기서, 레거시 다운스케일은 바이리니어(bilinear) 스케일, 바이큐빅(bicubic) 스케일, 란조스(lanczos) 스케일 및 스테어 스탭(stair step) 스케일 중 적어도 하나를 포함할 수 있다.
원본 영상(105)의 구조적 특징을 기준으로 제 1 영상(115)의 구조적 특징이 크게 벗어나는 것을 방지하기 위해, 원본 훈련 영상(801)의 구조적 특징을 보존하는 축소 훈련 영상(803)을 획득하는 것이다.
훈련의 진행 전 제 1 DNN(700) 및 제 2 DNN(300)은 미리 결정된 DNN 설정 정보로 세팅될 수 있다. 훈련이 진행됨에 따라 구조적 손실 정보(810), 복잡성 손실 정보(820) 및 퀄리티 손실 정보(830)가 결정될 수 있다.
구조적 손실 정보(810)는 축소 훈련 영상(803)과 제 1 훈련 영상(802)의 비교 결과에 기초하여 결정될 수 있다. 일 예에서, 구조적 손실 정보(810)는 축소 훈련 영상(803)의 구조적 정보와 제 1 훈련 영상(802)의 구조적 정보 사이의 차이에 해당할 수 있다. 구조적 정보는, 영상의 휘도, 대비, 히스토그램 등 영상으로부터 추출 가능한 다양한 특징을 포함할 수 있다. 구조적 손실 정보(810)는 원본 훈련 영상(801)의 구조적 정보가 제 1 훈련 영상(802)에서 어느 정도로 유지되고 있는지를 나타낸다. 구조적 손실 정보(810)가 작을수록 제 1 훈련 영상(802)의 구조적 정보가 원본 훈련 영상(801)의 구조적 정보와 유사해진다.
복잡성 손실 정보(820)는 제 1 훈련 영상(802)의 공간적 복잡도에 기반하여 결정될 수 있다. 일 예에서, 공간적 복잡도로서, 제 1 훈련 영상(802)의 총 분산(total variance)값이 이용될 수 있다. 복잡성 손실 정보(820)는 제 1 훈련 영상(802)을 제 1 부호화하여 획득한 영상 데이터의 비트레이트와 관련된다. 복잡성 손실 정보(820)가 작을수록 영상 데이터의 비트레이트가 작은 것으로 정의된다.
퀄리티 손실 정보(830)는 원본 훈련 영상(801)과 제 3 훈련 영상(804)의 비교 결과에 기초하여 결정될 수 있다. 퀄리티 손실 정보(830)는 원본 훈련 영상(801)과 제 3 훈련 영상(804)의 차이에 대한 L1-norm 값, L2-norm 값, SSIM(Structural Similarity) 값, PSNR-HVS(Peak Signal-To-Noise Ratio-Human Vision System) 값, MS-SSIM(Multiscale SSIM) 값, VIF(Variance Inflation Factor) 값 및 VMAF(Video Multimethod Assessment Fusion) 값 중 적어도 하나를 포함할 수 있다. 퀄리티 손실 정보(830)는 제 3 훈련 영상(804)이 원본 훈련 영상(801)과 어느 정도로 유사한지를 나타낸다. 퀄리티 손실 정보(830)가 작을수록 제 3 훈련 영상(804)이 원본 훈련 영상(801)에 더 유사해진다.
도 9를 참조하면, 구조적 손실 정보(810), 복잡성 손실 정보(820) 및 퀄리티 손실 정보(830)가 제 1 DNN(700)의 훈련에 이용되고, 퀄리티 손실 정보(830)는 제 2 DNN(300)의 훈련에 이용된다. 즉, 퀄리티 손실 정보(830)는 제 1 DNN(700) 및 제 2 DNN(300)의 훈련에 모두 이용된다.
제 1 DNN(700)은 구조적 손실 정보(810), 복잡성 손실 정보(820) 및 퀄리티 손실 정보(830)에 기초하여 결정된 최종 손실 정보가 감소 또는 최소화되도록 파라미터를 갱신할 수 있다. 또한, 제 2 DNN(300)은 퀄리티 손실 정보(830)가 감소 또는 최소화되도록 파라미터를 갱신할 수 있다.
제 1 DNN(700) 및 제 2 DNN(300)의 훈련을 위한 최종 손실 정보는 아래의 수학식 1과 같이 결정될 수 있다.
[수학식 1]
LossDS = a*구조적 손실 정보+b*복잡성 손실 정보+c*퀄리티 손실 정보
LossDS = d*퀄리티 손실 정보
상기 수학식 1에서, LossDS는 제 1 DNN(700)의 훈련을 위해 감소 또는 최소화되어야 할 최종 손실 정보를 나타내고, LossUS는 제 2 DNN(300)의 훈련을 위해 감소 또는 최소화되어야 할 최종 손실 정보를 나타낸다. 또한, a, b, c, d는 미리 결정된 소정의 가중치에 해당할 수 있다.
즉, 제 1 DNN(700)은 수학식 1의 LossDS가 감소되는 방향으로 파라미터들을 갱신하고, 제 2 DNN(300)은 LossUS가 감소되는 방향으로 파라미터들을 갱신하게 된다. 훈련 과정에서 도출된 LossDS에 따라 제 1 DNN(700)의 파라미터들이 갱신되면, 갱신된 파라미터에 기초하여 획득되는 제 1 훈련 영상(802)이 이전 훈련 과정에서의 제 1 훈련 영상(802)과 달라지게 되고, 그에 따라 제 3 훈련 영상(804) 역시 이전 훈련 과정에서의 제 3 훈련 영상(804)과 달라지게 된다. 제 3 훈련 영상(804)이 이전 훈련 과정에서의 제 3 훈련 영상(804)과 달라지게 되면, 퀄리티 손실 정보(830) 역시 새롭게 결정되며, 그에 따라 제 2 DNN(300)은 파라미터들을 갱신한다. 퀄리티 손실 정보(830)가 새롭게 결정되면, LossDS 역시 새롭게 결정되므로, 제 1 DNN(700)은 새롭게 결정된 LossDS에 따라 파라미터들을 갱신한다. 즉, 제 1 DNN(700)의 파라미터 갱신은, 제 2 DNN(300)의 파라미터 갱신을 야기하고, 제 2 DNN(300)의 파라미터 갱신은 제 1 DNN(700)의 파라미터 갱신을 야기하는 것이다. 다시 말하면, 제 1 DNN(700) 및 제 2 DNN(300)은 퀄리티 손실 정보(830)의 공유를 통해 연계 훈련되므로, 제 1 DNN(700)의 파라미터들과 제 2 DNN(300)의 파라미터들이 서로 연관성을 가지고 최적화될 수 있는 것이다.
수학식 1을 참조하면, LossUS가 퀄리티 손실 정보(830)에 따라 결정되는 것을 알 수 있으나, 이는 하나의 예시이며, LossUS는 구조적 손실 정보(810) 및 복잡성 손실 정보(820) 중 적어도 하나와, 퀄리티 손실 정보(830)에 기초하여 결정될 수도 있다.
앞서, AI 복호화 장치(200)의 AI 업스케일부(234) 및 AI 부호화 장치(600)의 AI 다운스케일부(612)는 복수의 DNN 설정 정보를 저장하는 것으로 설명하였는데, AI 업스케일부(234) 및 AI 다운스케일부(612)에 저장되는 복수의 DNN 설정 정보 각각을 훈련시키는 방법에 대해 설명한다.
수학식 1과 관련하여 설명한 바와 같이, 제 1 DNN(700)의 경우, 제 1 훈련 영상(802)의 구조적 정보와 원본 훈련 영상(801)의 구조적 정보 사이의 유사 정도(구조적 손실 정보(810)), 제 1 훈련 영상(802)의 제 1 부호화 결과 획득되는 영상 데이터의 비트레이트(복잡성 손실 정보(820)) 및 제 3 훈련 영상(804)과 원본 훈련 영상(801) 사이의 차이(퀄리티 손실 정보(830))를 고려하여 파라미터를 갱신하게 된다.
자세히 설명하면, 원본 훈련 영상(801)의 구조적 정보와 유사하면서, 제 1 부호화를 하였을 때 획득되는 영상 데이터의 비트레이트가 작은 제 1 훈련 영상(802)이 획득 가능하도록 하는 동시에, 제 1 훈련 영상(802)을 AI 업스케일하는 제 2 DNN(300)이 원본 훈련 영상(801)에 유사한 제 3 훈련 영상(804)을 획득할 수 있도록, 제 1 DNN(700)의 파라미터가 갱신될 수 있다.
수학식 1의 a, b, c의 가중치가 조절됨으로써, 제 1 DNN(700)의 파라미터들이 최적화되는 방향이 상이해지게 된다. 예를 들어, b의 가중치를 높게 결정하는 경우, 제 3 훈련 영상(804)의 퀄리티보다 비트레이트가 낮아지는 것에 더 중요도를 두고 제 1 DNN(700)의 파라미터가 갱신될 수 있다. 또한, c의 가중치를 높게 결정하는 경우, 비트레이트가 높아지는 것이나, 원본 훈련 영상(801)의 구조적 정보가 유지되는 것보다 제 3 훈련 영상(804)의 퀄리티가 증가하도록 하는 것에 더 중요도를 두고 제 1 DNN(700)의 파라미터가 갱신될 수 있다.
또한, 제 1 훈련 영상(802)을 제 1 부호화하는데 이용되는 코덱의 타입에 따라 제 1 DNN(700)의 파라미터들이 최적화되는 방향이 상이해질 수 있다. 왜냐하면, 코덱의 종류에 따라, 제 2 DNN(300)으로 입력될 제 2 훈련 영상이 달라질 수 있기 때문이다.
즉, 가중치 a, 가중치 b, 가중치 c 및 제 1 훈련 영상(802)의 제 1 부호화를 위한 코덱의 종류에 기반하여 제 1 DNN(700)의 파라미터들과 제 2 DNN(300)의 파라미터들이 연계하여 갱신될 수 있는 것이다. 따라서, 가중치 a, 가중치 b, 가중치 c 각각을 소정의 값으로 결정하고, 코덱의 종류를 소정의 종류로 결정한 후, 제 1 DNN(700)과 제 2 DNN(300)을 훈련시키면, 서로 연계되어 최적화된 제 1 DNN(700)의 파라미터들과 제 2 DNN(300)의 파라미터들이 결정될 수 있다.
그리고, 가중치 a, 가중치 b, 가중치 c 및 코덱의 종류를 변경한 후, 제 1 DNN(700)과 제 2 DNN(300)을 훈련시키면, 서로 연계되어 최적화된 제 1 DNN(700)의 파라미터들과 제 2 DNN(300)의 파라미터들이 결정될 수 있다. 다시 말하면, 가중치 a, 가중치 b, 가중치 c 및 코덱의 종류 각각의 값을 변경하면서 제 1 DNN(700)과 제 2 DNN(300)을 훈련시키면 서로 연계되어 훈련된 복수의 DNN 설정 정보가 제 1 DNN(700) 및 제 2 DNN(300)에서 결정될 수 있는 것이다.
앞서, 도 5와 관련하여 설명한 바와 같이, 제 1 DNN(700) 및 제 2 DNN(300)의 복수의 DNN 설정 정보들은 제 1 영상 관련 정보들에 매핑되어 있을 수 있다. 이러한 매핑 관계의 설정을 위해, 제 1 DNN(700)에서 출력되는 제 1 훈련 영상(802)을 특정 비트레이트에 따라 특정 코덱으로 제 1 부호화하고, 제 1 부호화 결과 획득된 비트스트림을 제 1 복호화하여 획득한 제 2 훈련 영상을 제 2 DNN(300)으로 입력할 수 있다. 즉, 특정 해상도의 제 1 훈련 영상(802)이 특정 코덱에 의해 특정 비트레이트로 제 1 부호화되도록 환경을 설정한 후, 제 1 DNN(700) 및 제 2 DNN(300)을 훈련시킴으로써, 제 1 훈련 영상(802)의 해상도, 제 1 훈련 영상(802)의 제 1 부호화에 이용된 코덱의 종류 및 제 1 훈련 영상(802)의 제 1 부호화 결과 획득된 비트스트림의 비트레이트에 매핑된 DNN 설정 정보 쌍이 결정될 수 있는 것이다. 제 1 훈련 영상(802)의 해상도, 제 1 훈련 영상(802)의 제 1 부호화에 이용된 코덱의 종류 및 제 1 훈련 영상(802)의 제 1 부호화에 따라 획득되는 비트스트림의 비트레이트를 다양하게 변경시킴으로써, 제 1 DNN(700) 및 제 2 DNN(300)의 복수의 DNN 설정 정보들과 제 1 영상 관련 정보들 사이의 매핑 관계가 결정될 수 있다.
도 10는 훈련 장치(1000)에 의한 제 1 DNN(700) 및 제 2 DNN(300)의 훈련 과정을 설명하기 위한 도면이다.
도 9와 관련하여 설명한 제 1 DNN(700) 및 제 2 DNN(300)의 훈련은 훈련 장치(1000)에 의해 수행될 수 있다. 훈련 장치(1000)는 제 1 DNN(700) 및 제 2 DNN(300)을 포함한다. 훈련 장치(1000)는 예를 들어, AI 부호화 장치(600) 또는 별도의 서버일 수 있다. 훈련 결과 획득된 제 2 DNN(300)의 DNN 설정 정보들은 AI 복호화 장치(200)에 저장된다.
도 10를 참조하면, 훈련 장치(1000)는 제 1 DNN(700) 및 제 2 DNN(300)의 DNN 설정 정보를 초기 세팅한다(S840, S845). 이에 의해, 제 1 DNN(700) 및 제 2 DNN(300)은 미리 결정된 DNN 설정 정보에 따라 동작할 수 있다. DNN 설정 정보는 제 1 DNN(700) 및 2 DNN(300)에 포함되는 컨볼루션 레이어의 수, 컨볼루션 레이어별 필터 커널의 개수, 컨볼루션 레이어별 필터 커널의 크기 및 각 필터 커널의 파라미터 중 적어도 하나에 대한 정보를 포함할 수 있다.
훈련 장치(1000)는 원본 훈련 영상(801)을 제 1 DNN(700)으로 입력한다(S850). 원본 훈련 영상(801)은 정지 영상 또는 동영상을 구성하는 적어도 하나의 프레임을 포함할 수 있다.
제 1 DNN(700)은 초기 세팅된 DNN 설정 정보에 따라 원본 훈련 영상(801)을 처리하고, 원본 훈련 영상(801)으로부터 AI 다운스케일된 제 1 훈련 영상(802)을 출력한다(S855). 도 10은 제 1 DNN(700)으로부터 출력된 제 1 훈련 영상(802)이 제 2 DNN(300)으로 바로 입력되는 것으로 도시되어 있으나, 제 1 DNN(700)으로부터 출력된 제 1 훈련 영상(802)이 훈련 장치(1000)에 의해 제 2 DNN(300)으로 입력될 수 있다. 또한, 훈련 장치(1000)는 제 1 훈련 영상(802)을 소정의 코덱으로 제 1 부호화 및 제 1 복호화한 후, 제 2 훈련 영상을 제 2 DNN(300)으로 입력할 수 있다.
제 2 DNN(300)은 제 1 훈련 영상(802) 또는 제 2 훈련 영상을 초기 세팅된 DNN 설정 정보에 따라 처리하고, 제 1 훈련 영상(802) 또는 제 2 훈련 영상으로부터 AI 업스케일된 제 3 훈련 영상(804)을 출력한다(S860).
훈련 장치(1000)는 제 1 훈련 영상(802)에 기초하여 복잡성 손실 정보(820)를 산출한다(S865).
훈련 장치(1000)는 축소 훈련 영상(803)과 제 1 훈련 영상(802)을 비교하여 구조적 손실 정보(810)를 산출한다(S870).
훈련 장치(1000)는 원본 훈련 영상(801)과 제 3 훈련 영상(804)을 비교하여 퀄리티 손실 정보(830)를 산출한다(S875).
제 1 DNN(700)은 최종 손실 정보에 기초한 역전사(back propagation) 과정을 통해 초기 세팅된 DNN 설정 정보를 갱신한다(S880). 훈련 장치(1000)는 복잡성 손실 정보(820), 구조적 손실 정보(810) 및 퀄리티 손실 정보(830)에 기초하여 제 1 DNN(700)의 훈련을 위한 최종 손실 정보를 산출할 수 있다.
제 2 DNN(300)은 퀄리티 손실 정보 또는 최종 손실 정보에 기초한 역전사 과정을 통해 초기 세팅된 DNN 설정 정보를 갱신한다(S885). 훈련 장치(1000)는 퀄리티 손실 정보(830)에 기초하여 제 2 DNN(300)의 훈련을 위한 최종 손실 정보를 산출할 수 있다.
이후, 훈련 장치(1000), 제 1 DNN(700) 및 제 2 DNN(300)은 최종 손실 정보들이 최소화될 때까지 S850 내지 S885 과정을 반복하면서 DNN 설정 정보를 갱신한다. 이 때, 각 반복 과정 동안 제 1 DNN(700) 및 제 2 DNN은 이전 과정에서 갱신된 DNN 설정 정보에 따라 동작한다.
아래의 표 1은 본 개시의 일 실시예에 따라 원본 영상(105)을 AI 부호화 및 AI 복호화한 경우와, HEVC로 원본 영상(105)을 부호화 및 복호화한 경우의 효과를 나타낸다.
[표 1]
Figure PCTKR2019013344-appb-img-000001
표 1에서 알 수 있듯이, 본 개시의 일 실시예에 따라 8K 해상도의 300개의 프레임들로 이루어진 컨텐츠들을 AI 부호화 및 AI 복호화한 경우의 주관적 화질이 HEVC로 부호화 및 복호화한 경우의 주관적 화질보다 높음에도, 비트레이트가 50% 이상 감소한 것을 알 수 있다.
도 11은 원본 영상(105)의 AI 다운스케일을 위한 장치(20) 및 제 2 영상(135)의 AI 업스케일을 위한 장치(40)를 도시하는 예시적인 도면이다.
장치(20)는 원본 영상(105)을 수신하고, AI 다운스케일부(1124) 및 변환 기반 부호화부(1126)를 이용하여 영상 데이터(25) 및 AI 데이터(30)를 장치(40)로 제공한다. 일 실시예에서, 영상 데이터(25)는 도 1의 영상 데이터에 대응하고, AI 데이터(30)는 도 1의 AI 데이터에 대응한다. 또한, 일 실시예에서, 변환 기반 부호화부(1126)는 도 7의 제 1 부호화부(614)에 대응하고, AI 다운스케일부(1124)는 도 7의 AI 다운스케일부(612)에 대응한다.
장치(40)는 AI 데이터(30) 및 영상 데이터(25)를 수신하고, 변환 기반 복호화부(1146) 및 AI 업스케일부(1144)를 이용하여 제 3 영상(145)을 획득한다. 일 실시예에서, 변환 기반 복호화부(1146)는 도 2의 제 1 복호화부(232)에 대응하고, AI 업스케일부(1144)는 도 2의 AI 업스케일부(234)에 대응한다.
일 실시예에서, 장치(20)는 CPU, 메모리 및 인스트럭션들을 포함하는 컴퓨터 프로그램을 포함한다. 컴퓨터 프로그램은 메모리에 저장된다. 일 실시예에서, CPU에 의한 컴퓨터 프로그램의 실행에 따라, 장치(20)는 도 11과 관련하여 설명할 기능을 수행한다. 일 실시예에서, 전용 하드웨어 칩 및/또는 CPU에 의해 도 11과 관련하여 설명할 기능이 수행된다.
일 실시예에서, 장치(40)는 CPU, 메모리 및 인스트럭션들을 포함하는 컴퓨터 프로그램을 포함한다. 컴퓨터 프로그램은 메모리에 저장된다. 일 실시예에서, CPU에 의한 컴퓨터 프로그램의 실행에 따라, 장치(40)는 도 11과 관련하여 설명할 기능을 수행한다. 일 실시예에서, 전용 하드웨어 칩 및/또는 CPU에 의해 도 11과 관련하여 설명할 기능이 수행된다.
도 11에서, 구성 제어부(1122)는 하나 이상의 입력 값(10)을 수신한다. 일 실시예에서, 하나 이상의 입력 값(10)은 AI 다운스케일부(1124) 및 AI 업스케일부(1144)를 위한 타겟 해상도 차이, 영상 데이터(25)의 비트레이트, 영상 데이터(25)의 비트레이트 타입(예를 들어, variable bitrate 타입, constant bitrate 타입 또는 average bitrate 타입 등) 및 변환 기반 부호화부(1126)를 위한 코덱 타입 중 적어도 하나를 포함할 수 있다. 하나 이상의 입력 값(10)은 장치(20)에 미리 저장되거나, 사용자로부터 입력받은 값을 포함할 수 있다.
구성 제어부(1122)는 수신된 입력 값(10)에 기초하여 AI 다운스케일부(1124) 및 변환 기반 부호화부(1126)의 동작을 제어한다. 일 실시예에서, 구성 제어부(1122)는 수신된 입력 값(10)에 따라 AI 다운스케일부(1124)를 위한 DNN 설정 정보를 획득하고, 획득한 DNN 설정 정보로 AI 다운스케일부(1124)를 세팅한다. 일 실시예에서, 구성 제어부(1122)는 수신된 입력 값(10)을 AI 다운스케일부(1124)로 전달하고, AI 다운스케일부(1124)는 수신된 입력 값(10)에 기초하여 원본 영상(105)을 AI 다운스케일하기 위한 DNN 설정 정보를 획득할 수 있다. 일 실시예에서, 구성 제어부(1122)는 입력 값(10)과 함께 추가 정보, 예를 들어, AI 다운스케일이 적용되는 컬러 포맷(휘도 성분, 색차 성분, 레드 성분, 그린 성분 또는 블루 성분 등) 정보, HDR(high dynamic range)의 톤 매핑(tone mapping) 정보 등을 AI 다운스케일부(1124)로 제공하고, AI 다운스케일부(1124)는 입력 값(10) 및 추가 정보를 고려하여 DNN 설정 정보를 획득할 수도 있다. 일 실시예에서, 구성 제어부(1122)는 수신된 입력 값(10)의 적어도 일부를 변환 기반 부호화부(1126)로 전달하여 변환 기반 부호화부(1126)가 특정 값의 비트레이트, 특정 타입의 비트레이트 및 특정 코덱으로 제 1 영상(115)을 제 1 부호화하게 한다.
AI 다운스케일부(1124)는 원본 영상(105)을 수신하고, 제 1 영상(115)을 획득하기 위해 도 1, 도 7, 도 8, 도 9 및 도 10 중 적어도 하나와 관련하여 설명한 동작을 수행한다.
일 실시예에서, AI 데이터(30)는 장치(40)로 제공된다. AI 데이터(30)는 원본 영상(105)과 제 1 영상(115) 사이의 해상도 차이 정보 및 제 1 영상(115) 관련 정보 중 적어도 하나를 포함할 수 있다. 해상도 차이 정보는 입력 값(10)의 타겟 해상도 차이에 기반하여 결정될 수 있고, 제 1 영상(115) 관련 정보는 타겟 비트레이트, 비트레이트 타입 및 코덱 타입 중 적어도 하나에 기반하여 결정될 수 있다. 일 실시예에서, AI 데이터(30)는 AI 업스케일 과정에 이용되는 파라미터들을 포함할 수도 있다. AI 데이터는 AI 다운스케일부(1124)로부터 장치(40)로 제공될 수도 있다.
제 1 영상(105)은 변환 기반 부호화부(1126)에 의해 처리되어 영상 데이터(25)가 획득되고, 영상 데이터(25)는 장치(40)로 전달된다. 변환 기반 부호화부(1126)는 MPEG-2, H.264 AVC, MPEG-4, HEVC, VC-1, VP8, VP9 또는 AV1에 따라 제 1 영상(115)을 처리할 수 있다.
구성 제어부(1142)는 AI 데이터(30)에 기초하여 AI 업스케일부(1144)의 동작을 제어한다. 일 실시예에서, 구성 제어부(1142)는 수신된 AI 데이터(30)에 따라 AI 업스케일부(1144)를 위한 DNN 설정 정보를 획득하고, 획득한 DNN 설정 정보로 AI 업스케일부(1144)를 세팅한다. 일 실시예에서, 구성 제어부(1142)는 수신된 AI 데이터(30)을 AI 업스케일부(1144)로 전달하고, AI 업스케일부(1144)는 AI 데이터(30)에 기초하여 제 2 영상(135)을 AI 업스케일하기 위한 DNN 설정 정보를 획득할 수 있다. 일 실시예에서, 구성 제어부(1142)는 AI 데이터(30)와 함께 추가 정보, 예를 들어, AI 업스케일이 적용되는 컬러 포맷(휘도 성분, 색차 성분, 레드 성분, 그린 성분 또는 블루 성분 등) 정보, HDR(high dynamic range)의 톤 매핑 정보 등을 AI 업스케일부(1144)로 제공하고, AI 업스케일부(1144)는 AI 데이터(30) 및 추가 정보를 고려하여 DNN 설정 정보를 획득할 수도 있다. 일 실시예에서, AI 업스케일부(1144)는 구성 제어부(1142)로부터 AI 데이터(30)를 수신하고, 변환 기반 복호화부(1146)로부터 예측 모드 정보, 움직임 정보 및 양자화 파라미터 정보 중 적어도 하나를 수신하고, 예측 모드 정보, 움직임 정보 및 양자화 파라미터 정보 중 적어도 하나와 AI 데이터(30)에 기초하여 DNN 설정 정보를 획득할 수도 있다.
변환 기반 복호화부(1146)는 영상 데이터(25)를 처리하여 제 2 영상(135)을 복원한다. 변환 기반 복호화부(1146)는 MPEG-2, H.264 AVC, MPEG-4, HEVC, VC-1, VP8, VP9 또는 AV1에 따라 영상 데이터(25)를 처리할 수 있다.
AI 업스케일부(1144)는 세팅된 DNN 설정 정보를 기초로 변환 기반 복호화부(1146)로부터 제공되는 제 2 영상(135)을 AI 업스케일하여 제 3 영상(145)을 획득한다.
AI 다운스케일부(1124)는 제 1 DNN을 포함하고, AI 업스케일부(1144)는 제 2 DNN을 포함할 수 있는데, 일 실시예에서, 제 1 DNN 및 제 2 DNN을 위한 DNN 설정 정보들은 도 9 및 도 10과 관련하여 설명한 훈련 방법에 따라 훈련된다.
도 12 내지 25에서, AI 데이터의 데이터 구조와 함께, AI 부호화 데이터에서 AI 데이터와 영상 데이터의 관계가 설명된다. 이하, 업스케일 DNN은 도 3의 제2 DNN(300)과 마찬가지로 제2 영상(135)과 같은 저해상도 영상을 제3 영상(145)과 같은 고해상도 영상으로 AI 업스케일하는데 사용되는 DNN이다. 업스케일 DNN 정보는 AI 데이터에 따라 특정된 DNN 설정 정보를 나타내며, 업스케일 DNN 정보에 기반하여 업스케일 DNN이 설정될 수 있다. 저해상도 영상은 제1 영상(115) 및 제2 영상(135)와 같이 해상도가 작은 영상을 나타낸다. 고해상도 영상은 원본 영상(105) 및 제3 영상(145)과 같이 해상도가 높은 영상을 나타낸다.
도 12는 영상 데이터(1200)와 AI 데이터(1240)의 구조와 함께, 영상 데이터(1200)와 AI 데이터(1240)의 상응 관계를 설명한다.
도 12에서 영상 데이터(1200)의 비디오-프레임 그룹-프레임 계층 구조가 설명된다. 도 12의 비디오(1202)는 영상 데이터(1200)의 연속된 모든 프레임을 포함하는 데이터 단위이다. 비디오(1202)에 포함된 모든 프레임에는 비디오 파라미터 세트의 파라미터 정보가 적용될 수 있다. 비디오 파라미터 세트는 비디오 헤더(1204)에 포함된다.
비디오(1202)는 복수의 프레임 그룹를 포함할 수 있다. 프레임 그룹은 프레임 그룹 파라미터 세트의 파라미터 정보를 공유하는 하나 이상의 연속된 프레임으로 구성된 데이터 단위이다. 프레임 그룹은 GOP(Group pf Pictures) 또는 CVS(Coded Video Sequence)일 수 있다. 프레임 그룹 파라미터 세트는 프레임 그룹 헤더에 포함될 수 있다. 예를 들어, 제1 프레임 그룹(1210)의 프레임 그룹 파라미터 세트는 제1 프레임 그룹 헤더(1212)에 포함될 수 있다. 그리고 제2 프레임 그룹(1214)의 프레임 그룹 파라미터 세트는 제2 프레임 그룹 헤더(1216)에 포함될 수 있다.
하나의 프레임 그룹은 다른 프레임 그룹을 참조하지 않고 독립적으로 부호화된다. 프레임 그룹은 다른 프레임을 참조하지 않고 부호화된 IDR(Instantaneous decoding refresh) 프레임 또는 IRAP(Intra Random Access Pictures) 프레임을 포함한다. 그리고 프레임 그룹의 나머지 프레임은 IDR 프레임 (또는 IRAP 프레임)을 참조하여 부호화된다. 따라서, 제1 프레임 그룹(1210)는 비디오(1202)의 다른 프레임 그룹을 참조하지 않고 독립적으로 부호화된다. 그리고 제1 프레임 그룹(1210)의 첫 번째로 부호화된 프레임인 제1 프레임(1220)은 IDR 프레임 (또는 IRAP 프레임)이다. 제2 프레임(1230)을 비롯한 제1 프레임 그룹(1210)의 나머지 프레임들은 제1 프레임(1220)을 참조하여 부호화된다.
프레임은 비디오에 포함된 하나의 정지 영상을 나타낸다. 프레임 헤더에는 프레임에 적용되는 파라미터 정보를 포함하는 프레임 파라미터 세트가 포함될 수 있다. 예를 들어, 제1 프레임(1220)의 제1 프레임 헤더(1222)는 제1 프레임(1220)에 적용되는 프레임 파라미터 세트가 포함될 수 있다. 마찬가지로, 제2 프레임(1230)의 제2 프레임 헤더(1232)는 제2 프레임(1230)에 적용되는 프레임 파라미터 세트가 포함될 수 있다.
도 12에서 상기 설명된 비디오-프레임 그룹-프레임 계층 구조에 따른 AI 데이터(1240)의 분류 방법이 설명된다. AI 데이터(1240)는 적용 범위에 따라 비디오 AI 데이터(1242), 프레임 그룹 AI 데이터(1250), 및 프레임 AI 데이터(1260)로 분류될 수 있다. 비디오 AI 데이터(1242)는 비디오에 포함된 모든 프레임 그룹들에 공통적으로 적용되는 AI 데이터를 의미한다. 그리고 프레임 그룹 AI 데이터(1250)는 현재 프레임 그룹에 포함된 프레임에 공통적으로 적용되는 AI 데이터를 의미한다. 또한 프레임 AI 데이터(1260)는 현재 프레임에 적용되는 AI 데이터를 의미한다.
비디오 AI 데이터(1242)는 비디오 헤더(1204)에 대응된다. 따라서 비디오 AI 데이터(1242)는 비디오 헤더(1204)와 병렬적으로 복호화될 수 있다. 또는 비디오 AI 데이터(1242)는 비디오 헤더(1204)의 복호화 바로 이전에 복호화될 수 있다. 또는 비디오 AI 데이터(1242)는 비디오 헤더(1204)의 복호화 바로 이후에 복호화될 수 있다.
프레임 그룹 AI 데이터(1250)는 프레임 그룹 헤더에 대응된다. 도 12에 따르면, 제1 프레임 그룹 AI 데이터(1252)는 제1 프레임 그룹 헤더(1212)에 대응된다. 그리고 제2 프레임 그룹 AI 데이터(1254)는 제2 프레임 그룹 헤더(1216)에 대응된다. 제1 프레임 그룹 AI 데이터(1252) 및 2 프레임 그룹 AI 데이터(1254)는 각각 제1 프레임 그룹 헤더(1212) 및 제2 프레임 그룹 헤더(1216)와 병렬적으로 복호화될 수 있다. 또는 제1 프레임 그룹 AI 데이터(1252) 및 2 프레임 그룹 AI 데이터(1254)는 각각 제1 프레임 그룹 헤더(1212) 및 제2 프레임 그룹 헤더(1216)의 복호화 바로 이전에 복호화될 수 있다. 또는 제1 프레임 그룹 AI 데이터(1252) 및 2 프레임 그룹 AI 데이터(1254)는 각각 제1 프레임 그룹 헤더(1212) 및 제2 프레임 그룹 헤더(1216)의 복호화 바로 이후에 복호화될 수 있다.
프레임 AI 데이터(1260)는 프레임 헤더에 대응된다. 도 12에 따르면, 제1 프레임 AI 데이터(1262)는 제1 프레임 헤더(1222)에 대응된다. 그리고 제2 프레임 AI 데이터(1264)는 제2 프레임 헤더(1232)에 대응된다. 제1 프레임 AI 데이터(1262) 및 는 제2 프레임 AI 데이터(1264)는 각각 제1 프레임 헤더(1222) 및 제2 프레임 헤더(1232)와 병렬적으로 복호화될 수 있다. 또는 제1 프레임 AI 데이터(1262) 및 는 제2 프레임 AI 데이터(1264)는 각각 제1 프레임 헤더(1222) 및 제2 프레임 헤더(1232)의 복호화 바로 이전에 복호화될 수 있다. 또는 제1 프레임 AI 데이터(1262) 및 는 제2 프레임 AI 데이터(1264)는 각각 제1 프레임 헤더(1222) 및 제2 프레임 헤더(1232)의 복호화 바로 이후에 복호화될 수 있다.
일 실시 예에 따르면, 도 7의 데이터 처리부(632)는 영상 데이터(1200)와 AI 데이터(1240)를 모두 포함한 단일 파일 형태의 AI 부호화 데이터를 생성할 수 있다. 통신부(634)는 단일 파일 형태의 AI 부호화 데이터를 도 2의 통신부(212)로 전송한다. 본 명세서에서 파일은 메모리에 저장된 데이터의 모임을 의미한다. 그리고 비디오 파일은 메모리에 저장된 영상 데이터의 모임을 의미하며, 영상 데이터는 비트스트림의 형태로 구현될 수 있다.
일 실시 예에 따르면, AI 데이터(1240)는 영상 데이터(1200)에 삽입되지 않고, 단일 파일 내에서 영상 데이터(1200)와 분리되어 구성될 수 있다. 따라서 AI 부호화 데이터가 단일 파일로 구성되었음에도, AI 데이터(1240)와 영상 데이터(1200)가 분리되었으므로, AI 데이터(1240) 및/또는 영상 데이터(1200)는 AI 데이터(1240)와 영상 데이터(1200)의 동기화에 관한 정보를 포함할 수 있다.
통신부(212)는 AI 부호화 데이터를 수신할 수 있다. 그리고 파싱부(214)는 AI 부호화 데이터로부터 AI 데이터와 영상 데이터를 추출할 수 있다. 그리고 출력부(216)는 영상 데이터를 제1 복호화부(232)로, AI 데이터를 AI 업스케일부(234)에 전송한다. 그리고 제1 복호화부(232)는 영상 데이터를 복호화하여, 저해상도 영상을 생성한다. 그리고 AI 업스케일부(234)는 AI 데이터에 기초하여 저해상도 영상의 업스케일에 적합한 업스케일 DNN 정보를 획득하고, 상기 업스케일 DNN 정보에 따라 세팅된 업스케일 DNN을 이용하여 저해상도 영상을 AI 업스케일한다.
일 실시 예에 따라, AI 데이터와 영상 데이터의 동기화를 위한 동기화 데이터가 AI 부호화 데이터에 포함될 수 있다. 동기화 데이터는 AI 데이터와 영상 데이터와 독립적으로 AI 부호화 데이터에 포함될 수 있다. 또는 동기화 데이터는 AI 데이터 또는 영상 데이터에 포함될 수 있다. 파싱부(214)는 동기화 데이터에 따라, 영상 데이터와 AI 데이터를 동기화할 수 있다. 또는 AI 업스케일부(234)가 동기화 데이터에 따라, 영상 데이터와 AI 데이터를 동기화할 수 있다. 동기화 데이터에 따라, 저해상도 영상을 AI 업스케일하기 위한 적절한 업스케일 DNN 정보가 선택될 수 있다.
일 실시 예에 따르면, AI 데이터(1240)는 영상 데이터(1200)에 삽입(embed)될 수 있다. 예를 들어, 비디오 AI 데이터(1242)는 비디오 헤더(1204)에 삽입될 수 있다. 따라서 비디오 헤더(1204)는 비디오 파라미터 세트와 함께, 비디오 AI 데이터(1242)를 포함할 수 있다. 그러므로 비디오 AI 데이터(1242)는 비디오 파라미터 세트와 함께 복호화될 수 있다. 또는 비디오 AI 데이터(1242)는, 비디오 헤더(1204)로부터 독립적으로, 비디오 헤더(1204) 이전 또는 이후에 위치하도록 단일 파일에 삽입될 수 있다. 그러므로 비디오 AI 데이터(1242)의 복호화는 비디오 헤더(1204)의 복호화 바로 이전, 또는 바로 이후에 진행될 수 있다.
마찬가지로 제1 프레임 그룹 헤더(1212)는 프레임 그룹 파라미터 세트와 함께, 제1 프레임 그룹 AI 데이터(1252)를 포함할 수 있다. 그러므로 제1 프레임 그룹 AI 데이터(1252)는 프레임 그룹 파라미터 세트와 함께 복호화될 수 있다. 또는 제1 프레임 그룹 AI 데이터(1252)는, 제1 프레임 그룹 헤더(1212)로부터 독립적으로, 제1 프레임 그룹 헤더(1212) 이전 또는 이후에 위치하도록 단일 파일에 삽입될 수 있다. 그러므로 제1 프레임 그룹 AI 데이터(1252)의 복호화는 제1 프레임 그룹 헤더(1212)의 복호화 바로 이전, 또는 바로 이후에 진행될 수 있다.
마찬가지로 제1 프레임 헤더(1222)는 프레임 파라미터 세트와 함께, 제1 프레임 AI 데이터(1262)를 포함할 수 있다. 그러므로 제1 프레임 AI 데이터(1262)는 프레임 파라미터 세트와 함께 복호화될 수 있다. 또는 제1 프레임 AI 데이터(1262)는, 제1 프레임 헤더(1222)로부터 독립적으로, 제1 프레임 헤더(1222) 이전 또는 이후에 위치하도록 단일 파일에 삽입될 수 있다. 그러므로 제1 프레임 AI 데이터(1262)의 복호화는 제1 프레임 헤더(1222)의 복호화 바로 이전, 또는 바로 이후에 진행될 수 있다.
도 13A에 기초하여, AI 데이터가 영상 데이터에 삽입된 경우, AI 복호화 장치(200)에서 데이터의 흐름이 설명된다.
AI 부호화 데이터에서, AI 데이터가 영상 데이터에 삽입된 경우, AI 데이터는 영상 데이터의 복호화 없이 독립적으로 복호화될 수 없다. 그러므로 제1 복호화부(232)가 영상 데이터를 복호화하는 중에, 영상 데이터에 삽입된 AI 데이터가 영상 데이터로부터 추출된다. 그리고 영상 데이터로부터 추출된 AI 데이터는 제1 복호화부(232)로부터 AI 업스케일부(234)로 전송된다.
일 실시 예에 따르면, AI 데이터의 일부는 영상 데이터에 삽입되고, AI 데이터의 나머지 일부는 영상 데이터와 독립적으로 AI 부호화 데이터에 포함될 수 있다. 예를 들어, 비디오 AI 데이터는 영상 데이터와 독립적으로 AI 부호화 데이터에 포함되고, 프레임 그룹 AI 데이터 및 프레임 AI 데이터는 영상 데이터에 삽입될 수 있다.
영상 데이터와 독립적으로 존재하는 제1 AI 데이터는 파싱부(214)에서 영상 데이터로부터 분리될 수 있다. 그리고 영상 데이터로부터 분리된 제1 AI 데이터는 출력부(216)로부터 AI 업스케일부(234)로 전송될 수 있다. 상기 제1 AI 데이터는 비디오 AI 데이터 및/또는 비디오 세그먼트 AI 데이터일 수 있다.
그리고 영상 데이터에 삽입된 제2 AI 데이터는 제1 복호화부(232)에 의하여 영상 데이터로부터 추출된다. 상기 추출된 제2 AI 데이터는 제1 복호화부(232)로부터 AI 업스케일부(234)로 전송된다. 그리고 AI 업스케일부(234)는 제1 AI 데이터와 제2 AI 데이터에 따라, 저해상도 영상의 AI 업스케일에 필요한 업스케일 DNN 정보를 획득한다. 상기 제2 AI 데이터는 프레임 그룹 AI 데이터 및/또는 프레임 AI 데이터일 수 있다.
일 실시 예에 따르면, 데이터 처리부(632)는 영상 데이터(1200)에 해당하는 파일과 AI 데이터(1240)에 해당하는 파일을 별도로 생성할 수 있다. 따라서 통신부(634)는 AI 부호화 데이터를 2개의 파일 형태로 통신부(212)로 전송한다. 따라서 통신부(634)는 영상 데이터(1200)에 해당하는 파일과 AI 데이터(1240)에 해당하는 파일을 다른 통신 채널로 전송할 수 있다. 또한 통신부(634)는 영상 데이터(1200)에 해당하는 파일과 AI 데이터(1240)에 해당하는 파일을 시간적 차이를 두고 순차적으로 전송할 수 있다.
상기 실시 예에서, 도 12에서 설명된 영상 데이터(1200)와 AI 데이터(1240)의 상응 관계에 따라, AI 데이터(1240)에 해당하는 파일은 영상 데이터(1200)에 해당하는 파일의 복호화 프로세스에 종속적으로 복호화될 수 있다. 또한 영상 데이터(1200)에 해당하는 파일과 AI 데이터(1240)에 해당하는 파일이 분리되어 있으므로, 영상 데이터(1200)에 해당하는 파일과 AI 데이터(1240)에 해당하는 파일은 상기 2개의 파일의 동기화에 관한 정보를 포함할 수 있다.
도 13B는 AI 데이터와 영상 데이터가 분리되어 2개의 파일로 구성되는 경우, AI 복호화 장치(200)에서의 데이터의 흐름을 설명한다.
통신부(212)는 AI 부호화 데이터를 포함한 단일 파일 대신 영상 데이터를 포함한 파일과 AI 데이터를 포함하는 파일을 별도로 수신할 수 있다. 또한 통신부(212)는 영상 데이터와 AI 데이터의 동기화에 필요한 동기화 데이터를 영상 데이터를 포함한 파일 또는 AI 데이터를 포함하는 파일로부터 획득할 수 있다. 실시 예에 따라, 동기화 데이터는 별도의 파일로부터 전송될 수 있다. 도 13B에서는 동기화 데이터가 AI 데이터와 독립적인 데이터로 표현되었으나, 실시 예에 따라, AI 데이터 또는 영상 데이터가 동기화 데이터를 포함할 수 있다.
일 실시 예에 따라, 파싱부(214)는 영상 데이터와 AI 데이터를 동기화 데이터에 따라 동기화할 수 있다. 그리고 출력부(216)는 동기화된 영상 데이터를 제1 복호화부(232)에, 동기화된 AI 데이터를 AI 업스케일부(234)에 전송할 수 있다.
일 실시 예에 따라, 출력부(216)는 영상 데이터를 제1 복호화부(232)에 전송할 수 있다. 그리고 AI 데이터와 동기화 데이터를 AI 업스케일부(234)에 전송할 수 있다. 그리고 AI 업스케일부(234)는 제1 복호화부(232)로부터 출력된 저해상도 영상을 동기화 데이터 및 AI 데이터에 따라 획득된 업스케일 DNN 정보를 이용하여 AI 업스케일한다.
도 14는 단일 파일 내에서 AI 데이터와 영상 데이터가 분리되어 있는 경우의 AI 부호화 데이터의 일 실시 예를 도시한다. 도 14에서 AI 부호화 데이터는 소정 컨테이너 포맷의 비디오 파일(1400)에 포함된다. 상기 소정 컨테이너 포맷은 MP4, AVI, MKV, FLV 등일 수 있다.
비디오 파일(1400)은 메타데이터 박스(1410)와 미디어데이터 박스(1430)로 구성된다. 메타데이터 박스(1410)에는 미디어데이터 박스(1430)에 포함된 미디어 데이터에 관한 정보가 포함된다. 예를 들어, 메타데이터 박스(1410)에는 미디어 데이터의 종류, 미디어 데이터의 부호화에 사용된 코덱의 종류 및 미디어의 재생 시간 등에 관한 정보가 포함될 수 있다.
메타데이터 박스(1410)에는 동기화 데이터(1415) 및 AI 데이터(1420)가 포함될 수 있다. 동기화 데이터(1415) 및 AI 데이터(1420)는 소정 컨테이너 포맷에서 제공하는 부호화 방식에 따라 부호화되어, 메타데이터 박스(1410)에 저장된다.
파싱부(214)는 메타데이터 박스(1410)로부터 동기화 데이터(1415) 및 AI 데이터(1420)를 추출할 수 있다. 그리고 파싱부(214)는 미디어데이터 박스(1430)로부터 영상 데이터(1431)를 추출할 수 있다. 출력부(216)는 동기화 데이터(1415)에 따라, 영상 데이터(1431)를 제1 복호화부(232)에 전송하고, AI 데이터(1420)를 AI 업스케일부(234)에 전송할 수 있다. 또는 출력부(216)는 동기화 데이터(1415)를 AI 업스케일부(234)에 전송하고, AI 업스케일부(234)가, 동기화 데이터(1415)에 따라, 영상 데이터(1431)와 AI 데이터(1420)의 동기화를 할 수 있다.
AI 데이터(1420)는 비디오 AI 데이터(1422), 프레임 그룹 AI 데이터(1424) 및 프레임 AI 데이터(1426)을 포함한다. 비디오 AI 데이터(1422)는 비디오 헤더(1432)와, 프레임 그룹 AI 데이터(1424)는 프레임 그룹 헤더(1436)와, 프레임 AI 데이터(1426)는 프레임 헤더(1440)와 상응하도록 설정된다.
실시 예에 따라, 비디오의 모든 프레임들에 동일한 업스케일 DNN 정보가 이용될 경우, AI 데이터(1420)에서 프레임 그룹 AI 데이터(1424)와 프레임 AI 데이터(1426)는 생략될 수 있다. 또는 업스케일 DNN 정보가 프레임 그룹 단위마다 적응적으로 획득되고, 프레임 그룹의 모든 프레임들에 동일한 업스케일 DNN 정보가 사용될 경우, AI 데이터(1420)에서 프레임 AI 데이터(1426)는 생략될 수 있다.
동기화 데이터(1415)는 비디오 AI 데이터(1422), 프레임 그룹 AI 데이터(1424) 및 프레임 AI 데이터(1426)와 비디오 헤더(1432), 프레임 그룹 헤더(1436), 프레임 헤더(1440)의 동기화에 관한 정보를 포함한다. 예를 들어, 동기화 데이터(1415)는 미디어데이터 박스(1430)의 영상 데이터(1431)의 재생 순서 정보 또는 복호화 순서 정보를 포함할 수 있다. 따라서 AI 업스케일부(234)는, 동기화 데이터(1415)의 재생 순서 정보 또는 복호화 순서 정보에 따라 결정된 AI 데이터로부터, 저해상도 영상의 AI 업스케일에 필요한 업스케일 DNN 정보를 획득할 수 있다.
예를 들어, 프레임(1438)의 저해상도 영상을 AI 업스케일하기 위하여, 파싱부(214) 또는 AI 업스케일부(234)는 동기화 데이터(1415)에 기초하여 프레임 그룹(1434)에 대응되는 프레임 그룹 AI 데이터(1424)와 프레임(1438)에 대응되는 프레임 AI 데이터(1426)를 결정할 수 있다. 그리고 프레임 그룹 AI 데이터(1424) 및 프레임 AI 데이터(1426)와 함께 모든 프레임에 적용되는 비디오 AI 데이터(1422)를 고려하여, AI 업스케일부(234)는 프레임(1438)의 저해상도 영상의 AI 업스케일을 위한 업스케일 DNN 정보를 획득할 수 있다.
메타데이터 박스(1410)의 AI 데이터(1420)는 미디어 데이터 박스(1430)의 영상 데이터(1431)보다 먼저 복호화될 수 있다. 따라서, AI 업스케일부(234)는, AI 데이터(1420)에 따라, 업스케일 DNN 정보를 영상 데이터(1431)의 복호화 이전에 획득 할 수 있다. 상기 업스케일 DNN 정보는 비디오 전체에 대하여 적용될 수 있다. 또는 프레임 그룹 단위의 적응적 AI 업스케일을 위하여, 프레임 그룹 마다 다른 업스케일 DNN 정보가 획득될 수 있다. 또는, 프레임 단위의 적응적 AI 업스케일을 위하여, 업스케일 DNN 정보는 프레임마다 다르게 미리 획득될 수 있다.
AI 업스케일부(234)는 메타데이터 박스(1410)의 AI 데이터(1420)를, 미디어 데이터 박스(1430)의 영상 데이터(1431)의 복호화 순서에 따라, 복호화할 수 있다. 비디오 AI 데이터(1422)의 복호화는 비디오 헤더(1432)의 복호화 바로 이전 또는 이후에 수행될 수 있다. 또는 비디오 AI 데이터(1422)는 비디오 헤더(1432)와 병렬적으로 복호화될 수 있다. 비디오 AI 데이터(1422)를 비디오 헤더(1432)의 복호화 순서에 따라 복호화하기 위하여, 동기화 데이터(1415)가 참조될 수 있다.
마찬가지로, AI 업스케일부(234)는 프레임 그룹 AI 데이터(1424)의 복호화를, 제1 복호화부(232)에 따른 프레임 그룹 헤더(1436)의 복호화 바로 이전 또는 이후에, 수행할 수 있다. 또는 AI 업스케일부(234)는 프레임 그룹 AI 데이터(1424)를, 제1 복호화부(232)에 따른 프레임 그룹 헤더(1436)의 복호화와 병렬적으로, 복호화할 수 있다. 프레임 그룹 AI 데이터(1424)를 프레임 그룹 헤더(1436)의 복호화 순서에 따라 복호화하기 위하여, 동기화 데이터(1415)가 참조될 수 있다.
그리고 AI 업스케일부(234)는 프레임 AI 데이터(1426)의 복호화를, 제1 복호화부(232)에 따른 프레임 헤더(1440)의 복호화 바로 이전 또는 이후에, 수행할 수 있다. 또는 AI 업스케일부(234)는 프레임 AI 데이터(1426)는, 제1 복호화부(232)에 따른 프레임 헤더(1440)의 복호화와 병렬적으로, 복호화될 수 있다. 프레임 AI 데이터(1426)를 프레임 헤더(1440)의 복호화 순서에 따라 복호화하기 위하여, 동기화 데이터(1415)가 참조될 수 있다.
도 14에서는 설명의 편의를 위하여, 비디오 파일(1400)에 하나의 메타데이터 박스(1410)와 하나의 미디어데이터 박스(1430)가 포함된 것으로 설명되었다. 그러나 비디오 파일(1400)은 2개 이상의 메타데이터 박스와 2개 이상의 미디어 데이터 박스를 포함할 수 있다. 따라서, 영상 데이터가 소정의 시간 단위로 분할된 2개 이상의 영상 데이터 세그먼트들이, 2개 이상의 미디어 데이터 박스에 저장될 수 있다. 그리고 상기 2개 이상의 미디어 데이터 박스에 저장된 영상 데이터 세그먼트들에 대한 정보가 2개 이상의 메타 데이터 박스에 포함될 수 있다. 또한 2개 이상의 메타데이터 박스는 각각 AI 데이터를 포함할 수 있다.
도 15A는 AI 데이터가 영상 데이터에 삽입된 경우의 AI 부호화 데이터의 일 실시 예를 도시한다.
비디오 파일(1500)은, 도 14의 비디오 파일(1400)과 마찬가지로, 메타데이터 박스(1502)와 미디어데이터 박스(1504)을 포함한다. AI 데이터가 영상 데이터에 삽입된 바, 메타데이터 박스(1502)는 AI 데이터를 포함하지 않는다. 대신 AI 데이터가 삽입된 영상 데이터가 미디어데이터 박스(1504)에 포함된다. AI 데이터는 영상 데이터의 비디오 코덱에 따라 부호화될 수 있다. 예를 들어, 상기 영상 데이터의 비디오 코덱은 H.264, HEVC, AVS2.0, Xvid 등일 수 있다.
따라서 파싱부(214)는 메타데이터 박스(1502)로부터 AI 데이터를 추출하지 않는다. 대신 제1 복호화부(232)는 영상 데이터(1505)로부터 AI 데이터를 추출하고, 추출된 AI 데이터를 AI 업스케일부(234)에 전달할 수 있다. 그리고 상기 AI 데이터에 의해 획득된 업스케일 DNN 정보에 기초하여, AI 업스케일부(234)는 제1 복호화부(232)에 의하여 복원된 저해상도 영상을 AI 업스케일 할 수 있다.
도 14의 비디오 파일(1400)과 다르게, AI 데이터가 영상 데이터(1505) 안에서 영상 데이터(1505)의 복호화 순서에 따라 삽입되어 있으므로, 비디오 파일(1500)은 동기화 데이터를 포함하지 않을 수 있다. 따라서, AI 데이터는 영상 데이터(1505)가 복호화됨에 따라, 순차적으로 복호화된다.
비디오 AI 데이터(1508)는 비디오의 파라미터 정보를 포함하는 비디오 헤더(1506)의 바로 이후에 위치할 수 있다. 따라서 비디오 AI 데이터(1508)는 비디오 헤더(1506)에 포함된 비디오 파라미터들이 복호화된 후에 복호화될 수 있다. 실시 예에 따라, 도 15A와 다르게, 비디오 AI 데이터(1508)가 비디오 헤더(1506)의 바로 이전에 위치할 수 있다.
프레임 그룹 AI 데이터(1514)는 프레임 그룹(1510)의 파라미터 정보를 포함하는 프레임 그룹 헤더(1512)의 바로 이후에 위치할 수 있다. 따라서 프레임 그룹 AI 데이터(1514)는 프레임 그룹 헤더(1512)에 포함된 프레임 그룹 파라미터들이 복호화된 후에 복호화될 수 있다. 실시 예에 따라, 도 15A와 다르게, 프레임 그룹 AI 데이터(1514)가 프레임 그룹 헤더(1512)의 바로 이전에 위치할 수 있다. 프레임 그룹(1510) 이후에 복호화되는 나머지 프레임 그룹들의 프레임 그룹 헤더와 프레임 그룹 AI 데이터의 복호화 순서도 프레임 그룹 헤더(1512)와 프레임 그룹 AI 데이터(1514)의 복호화 순서와 동일하게 결정될 수 있다.
프레임 AI 데이터(1520)는 프레임(1516)의 파라미터 정보를 포함하는 프레임 헤더(1518)의 바로 이후에 위치할 수 있다. 따라서 프레임 AI 데이터(1520)는 프레임 헤더(1518)에 포함된 프레임 그룹 파라미터들이 복호화된 후에 복호화될 수 있다. 실시 예에 따라, 도 15A와 다르게, 프레임 AI 데이터(1520)가 프레임 헤더(1518)의 바로 이전에 위치할 수 있다. 프레임 (1516) 이후에 복호화되는 나머지 프레임들의 프레임 헤더와 프레임 AI 데이터의 복호화 순서도 프레임 헤더(1518)와 프레임 AI 데이터(1520)의 복호화 순서와 동일하게 결정될 수 있다.
도 15B는 AI 데이터가 영상 데이터에 삽입된 경우의 AI 부호화 데이터의 다른 실시 예를 도시한다.
도 15A의 비디오 파일(1500)과 마찬가지로, 비디오 파일(1520)은 메타데이터 박스(1522)와 미디어데이터 박스(1524)을 포함한다. 그리고 메타데이터 박스(1522)는 AI 데이터를 포함하지 않고, 대신 AI 데이터가 삽입된 영상 데이터(1525)가 미디어데이터 박스(1524)에 포함된다. 다만 도 15A의 비디오 파일(1500)과 다르게, 비디오 파일(1520)에는 AI 데이터가 대응되는 데이터 헤더에 삽입된다.
비디오 AI 데이터(1528)는 비디오의 파라미터 정보를 포함하는 비디오 헤더(1526)에 포함할 수 있다. 따라서 비디오 AI 데이터(1528)는 비디오 헤더(1526)에 포함된 비디오 파라미터들과 함께 복호화될 수 있다.
프레임 그룹 AI 데이터(1534)는 프레임 그룹(1530)의 파라미터 정보를 포함하는 프레임 그룹 헤더(1532)에 포함할 수 있다. 따라서 프레임 그룹 AI 데이터(1534)는 프레임 그룹 헤더(1532)에 포함된 프레임 그룹 파라미터들과 함께 복호화될 수 있다. 프레임 그룹(1530) 이후에 복호화되는 나머지 프레임 그룹들의 프레임 그룹 AI 데이터도 프레임 그룹 헤더에 포함될 수 있다.
프레임 AI 데이터(1540)는 프레임(1536)의 파라미터 정보를 포함하는 프레임 헤더(1538)에 포함할 수 있다. 따라서 프레임 AI 데이터(1540)는 프레임 헤더(1538)에 포함된 프레임 그룹 파라미터들과 함께 복호화될 수 있다. 프레임(1536) 이후에 복호화되는 나머지 프레임들의 프레임 AI 데이터도 프레임 헤더에 포함될 수 있다.
도 15C는 일부 AI 데이터가 영상 데이터에 삽입되고 나머지 AI 데이터는 영상 데이터와 분리된 경우의 AI 부호화 데이터의 일 실시 예를 도시한다.
도 15A의 비디오 파일(1500)과 마찬가지로, 비디오 파일(1550)은 메타데이터 박스(1552)와 미디어데이터 박스(1556)을 포함한다. 메타데이터 박스(1552)는 비디오의 모든 프레임에 적용되는 비디오 AI 데이터(1554)를 포함한다. 그리고 프레임 그룹 AI 데이터와 프레임 AI 데이터는 미디어데이터 박스(1556)의 영상 데이터에 포함된다.
도 15A의 비디오 AI 데이터(1508) 및 도 15B의 비디오 AI 데이터(1528)와 달리 메타데이터 박스(1552)에 포함된 비디오 AI 데이터(1554)는 영상 데이터의 복호화 이전에 복호화될 수 있다. 그리고 프레임 그룹 AI 데이터와 프레임 AI 데이터는 영상 데이터가 복호화됨에 따라, 순차적으로 복호화된다.
따라서 파싱부(214)는 메타데이터 박스(1552)로부터 비디오 AI 데이터(1554)를 추출할 수 있다. 그리고 통신부(216)는 비디오 AI 데이터(1554)를 AI 업스케일부(234)에 전송할 수 있다. 또한 통신부(216)는 영상 데이터(1557)를 제1 복호화부(232)에 전송할 수 있다. 그리고 제1 복호화부(232)는, 영상 데이터(1557)를 복호화함으로써, 저해상도 영상을 복원하고, 프레임 그룹 AI 데이터(1564)와 프레임 AI 데이터(1570)를 추출할 수 있다. 또한 제1 복호화부(232)는 프레임 그룹 AI 데이터(1564)와 프레임 AI 데이터(1570)를 AI 업스케일부(234)에 전송할 수 있다. 그리고 AI 업스케일부(234)는 비디오 AI 데이터(1554), 프레임 그룹 AI 데이터(1564), 및 프레임 AI 데이터(1570)에 따라 저해상도 영상의 AI 업스케일을 위한 업스케일 DNN 정보를 획득할 수 있다.
프레임 그룹 AI 데이터(1564)는 프레임 그룹(1560)의 파라미터 정보를 포함하는 프레임 그룹 헤더(1562)의 바로 이후에 위치할 수 있다. 그러나 실시 예에 따라, 프레임 그룹 AI 데이터(1564)는 프레임 그룹 헤더(1562)의 바로 이전에 위치할 수 있다. 또한 프레임 그룹 AI 데이터(1564)는 프레임 그룹 헤더(1562)에 포함될 수 있다.
프레임 AI 데이터(1570)는 프레임(1566)의 파라미터 정보를 포함하는 프레임 헤더(1568)의 바로 이후에 위치할 수 있다. 그러나 실시 예에 따라, 프레임 AI 데이터(1570)가 프레임 헤더(1568)의 바로 이전에 위치할 수 있다. 또한 프레임 AI 데이터(1570)는 프레임 헤더(1568)에 포함될 수 있다.
도 15C에서는, 비디오 AI 데이터(1554)만 메타데이터 박스(1552)에 포함된다고 표현되었으나, 프레임 그룹 AI 데이터가 추가적으로 메타데이터 박스(1552)에 포함될 수 있다. 또는 프레임 그룹 AI 데이터의 일부가 메타데이터 박스(1552)에 포함될 수 있다. 또는 프레임 AI 데이터의 일부가 메타데이터 박스(1552)에 포함될 수 있다.
도 15A 및 15C에서 미디어데이터 박스에 삽입된 프레임 그룹 AI 데이터(1514, 1564) 및 프레임 AI 데이터(1520, 1570)는 SEI (Supplementary Enhancement Information) 메시지의 형태로 삽입될 수 있다. SEI 메시지는 영상의 복호화에 반드시 필요하지 않은 영상에 관한 부가 정보가 포함되는 데이터 유닛이다. SEI 메시지는 프레임 그룹 단위 또는 프레임 단위로 전송될 수 있다. 그리고 SEI 메시지는 도 13A에서 전술한 제2 AI 데이터와 마찬가지로 제 1 복호화부(232)에서 추출되어 AI 업스케일부(234)로 전달될 수 있다.
도 16은 도 14와 같이 AI 데이터와 영상 데이터가 분리된 경우, 비디오 세그먼트 단위로 분할된 AI 부호화 데이터의 일 실시 예를 도시한다.
AI 데이터를 비롯한 메타 데이터의 크기가 크거나, 영상 데이터가 통신 채널을 통해 라이브 스트리밍되는 경우, AI 데이터를 비롯한 메타 데이터의 처리에 필요한 오버헤드를 줄이기 위하여, AI 부호화 데이터가 비디오 세그먼트 단위로 분할되어 비디오 파일(1600)에 저장될 수 있다. 비디오 세그먼트는 비디오의 일부분으로, 소정의 시간동안의 프레임을 포함한다. 예를 들어, 비디오 세그먼트는 1개 이상의 프레임 그룹만 포함할 수 있다. 만약, 비디오 세그먼트가 1개의 프레임 그룹을 포함할 경우, 비디오 파일(1600)은 영상 데이터의 프레임 그룹의 개수만큼의 비디오 세그먼트들을 포함할 수 있다.
비디오 세그먼트는 각각 메타데이터 박스와 미디어데이터 박스를 포함할 수 있다. AI 데이터를 비롯한 메타데이터가 복수의 비디오 세그먼트에 분할되어 저장된다. 따라서, AI 데이터가 영상 데이터 전체에 대한 메타데이터 박스(1610)뿐만 아니라, 비디오 세그먼트들에 대한 메타데이터 박스들에 분할되어 저장된다. 그러므로, 영상 데이터의 특정 부분을 저해상도 영상을 AI 업스케일할 때, 영상 데이터 전체에 대한 메타데이터 박스(1610)에 모든 AI 데이터가 저장된 경우에 비하여, AI 데이터가 상기 메타데이터 박스(1610)를 비롯하여 비디오 세그먼트들에 대한 메타데이터 박스들에 분산되어 저장된 경우, 더 빠르게 상기 특정 부분에 적합한 업스케일 DNN 정보를 획득하기 위한 AI 데이터가 획득될 수 있다.
예를 들어, 현재 비디오 세그먼트부터 재생이 될 때, 현재 비디오 세그먼트의 저해상도 영상의 AI 업스케일을 위하여, 메타데이터 박스(1610)의 비디오 AI 데이터(1612)와 현재 비디오 세그먼트 데이터 박스(1620)의 세그먼트 메타데이터 박스(1630)의 AI 데이터만 참조된다. 그리고 다른 비디오 세그먼트들의 메타데이터 박스들의 AI 데이터는 참조되지 않는다. 따라서, AI 데이터의 복호화에 따른 오버헤드가 감소할 수 있다.
또한, 영상 데이터가 라이브 스트리밍되는 경우, AI 데이터가 최초 재생시에 한 번에 전송되지 않고, 비디오 세그먼트 단위로 분산되어 전송될 수 있다. 따라서, AI 데이터가 분산되어 순차적으로 전송됨으로써, AI 데이터의 복호화에 따른 오버헤드가 감소할 수 있다. 그러므로 비디오 세그먼트 단위로 분할하여 전송하는 것이 유리할 수 있다.
도 16에서, 전체 영상 데이터에 대한 메타데이터 박스(1610)는 비디오 AI 데이터(1612)를 포함한다. 비디오 AI 데이터(1612)는 비디오에 포함된 모든 비디오 세그먼트들에 적용된다. 메타데이터 박스(1610)는 현재 비디오 세그먼트 데이터 박스(1620)보다 먼저 복호화될 수 있다.
현재 비디오 세그먼트 데이터 박스(1620)는 세그먼트 메타데이터 박스(1630)와 세그먼트 미디어데이터 박스(1640)를 포함한다. 세그먼트 메타데이터 박스(1630)는 동기화 데이터(1631)와 AI 데이터(1632)를 포함할 수 있다. 그리고 세그먼트 미디어데이터 박스(1640)는 비디오 세그먼트 데이터(1641)을 포함한다.
현재 비디오 세그먼트 데이터 박스(1620)의 AI 데이터(1632)는 비디오 세그먼트 AI 데이터(1634), 프레임 그룹 AI 데이터(1636) 및 프레임 AI 데이터(1638)를 포함할 수 있다. 비디오 세그먼트 AI 데이터(1634)는 현재 비디오 세그먼트에 포함된 모든 프레임 그룹들에 적용된다. 그리고 프레임 그룹 AI 데이터(1636) 현재 프레임 그룹에 포함된 모든 프레임들에 적용된다. 프레임 AI 데이터(1638)는 현재 프레임에 적용된다.
실시 예에 따라, 비디오 세그먼트의 모든 프레임들에 동일한 업스케일 DNN 정보가 이용될 경우, 현재 비디오 세그먼트 데이터 박스(1620)의 AI 데이터(1632)에서 프레임 그룹 AI 데이터(1636)와 프레임 AI 데이터(1638)는 생략될 수 있다. 또는 업스케일 DNN 정보가 프레임 그룹 단위마다 적응적으로 결정되고, 프레임 그룹의 모든 프레임들에 동일한 업스케일 DNN 정보가 사용될 경우, 현재 비디오 세그먼트 데이터 박스(1620)의 AI 데이터(1632)에서 프레임 AI 데이터(1638)는 생략될 수 있다.
실시 예에 따라, 비디오 세그먼트가 하나의 프레임 그룹만 포함할 경우, 현재 비디오 세그먼트 데이터 박스(1620)의 AI 데이터(1632)에서 비디오 세그먼트 AI 데이터(1634)는 생략될 수 있다. 그리고 프레임 그룹 AI 데이터(1636)가 비디오 세그먼트 AI 데이터(1634)의 역할을 수행할 수 있다. 또는 비디오 세그먼트가 하나의 프레임 그룹만 포함하고, 프레임 그룹의 모든 프레임들에 동일한 업스케일 DNN 정보가 사용될 경우, 현재 비디오 세그먼트 데이터 박스(1620)의 AI 데이터(1632)에서 비디오 세그먼트 AI 데이터(1634)와 프레임 AI 데이터(1638)는 생략될 수 있다. 그리고 프레임 그룹 AI 데이터(1636)에 따른 업스케일 DNN 정보에 기초하여, 비디오 세그먼트의 모든 프레임에 AI 업스케일이 적용될 수 있다. 동기화 데이터(1631)는 비디오 세그먼트 AI 데이터(1634), 프레임 그룹 AI 데이터(1636) 및 프레임 AI 데이터(1638)와 비디오 세그먼트 헤더(1642), 프레임 그룹 헤더(1646), 프레임 헤더(1648)의 동기화에 관한 정보를 포함한다. 비디오 세그먼트 헤더(1642)는 비디오 세그먼트에 포함된 프레임들에 공통적으로 적용되는 비디오 세그먼트 파라미터를 포함한다. 예를 들어, 동기화 데이터(1631)는 세그먼트 미디어데이터 박스(1640)의 비디오 세그먼트 데이터(1641)의 재생 순서 정보 또는 복호화 순서 정보를 포함할 수 있다. 따라서 AI 업스케일부(234)는, 동기화 데이터(1631)에 따라 결정된 AI 데이터로부터, 저해상도 영상의 AI 업스케일에 필요한 업스케일 DNN 정보를 획득할 수 있다.
예를 들어, 프레임(1649)의 저해상도 영상을 AI 업스케일하기 위하여, 파싱부(214) 또는 AI 업스케일부(234)는 동기화 데이터(1631)에 기초하여 프레임 그룹(1644)에 대응되는 프레임 그룹 AI 데이터(1636)와 프레임(1649)에 대응되는 프레임 AI 데이터(1636)를 획득할 수 있다. 그리고 프레임 그룹 AI 데이터(1636) 및 프레임 AI 데이터(1638)와 함께 모든 프레임에 적용되는 비디오 세그먼트 AI 데이터(1634)를 고려하여, AI 업스케일부(234)는 프레임(1649)의 저해상도 영상의 AI 업스케일을 위한 업스케일 DNN 정보를 획득할 수 있다.
일 실시 예에 따라, 세그먼트 메타데이터 박스(1630)의 AI 데이터(1632)는 세그먼트 미디어데이터 박스(1640)의 비디오 세그먼트 데이터(1641)보다 먼저 복호화될 수 있다. 따라서, AI 업스케일부(234)는, AI 데이터(1632)에 따라, 업스케일 DNN 정보를 비디오 세그먼트 데이터(1641)의 복호화 이전에 획득할 수 있다. 상기 획득된 업스케일 DNN 정보는 비디오 세그먼트 전체에 대하여 적용될 수 있다. 또는 프레임 그룹 단위의 적응적 AI 업스케일을 위하여, 업스케일 DNN 정보는 프레임 그룹 마다 다르게 미리 획득될 수 있다. 또는, 프레임 단위의 적응적 AI 업스케일을 위하여, 업스케일 DNN 정보는 프레임마다 다르게 미리 획득될 수 있다.
일 실시 예에 따라, AI 업스케일부(234)는 세그먼트 메타데이터 박스(1630)의 AI 데이터(1632)를, 세그먼트 미디어데이터 박스(1640)의 비디오 세그먼트 데이터(1641)의 복호화 순서에 따라, 복호화할 수 있다. 예를 들어, AI 업스케일부(234)는 프레임 그룹 AI 데이터(1636)의 복호화를, 제1 복호화부(232)에 따른 프레임 그룹 헤더(1646)의 복호화 순서에 따라, 수행할 수 있다. 그리고 AI 업스케일부(234)는 프레임 AI 데이터(1638)의 복호화를, 제1 복호화부(232)에 따른 프레임 헤더(1648)의 복호화 순서에 따라, 수행할 수 있다. 동기화 데이터(1631)를 참조하여, 비디오 세그먼트 AI 데이터(1634), 프레임 그룹 AI 데이터(1636) 및 프레임 AI 데이터(1638)의 복호화 순서와 비디오 세그먼트 헤더(1642), 프레임 그룹 헤더(1646), 프레임 헤더(1648)의 복호화 순서가 동기화될 수 있다.
현재 비디오 세그먼트 데이터 박스(1620) 이후의 나머지 비디오 세그먼트 데이터 박스들도 순차적으로 현재 비디오 세그먼트 데이터 박스(1620)와 동일한 방법으로 복호화될 수 있다.
도 17은 2개의 별도 파일로 전송되는 AI 데이터(1740)와 영상 데이터(1700)의 일 실시 예를 도시한다.
통신부(212)가 AI 데이터(1740)를 수신하지 않은 경우, 영상 데이터(1700)로부터 획득된 저해상도 영상은 AI 업스케일되지 않는다. 만약 통신부(212)가 AI 데이터(1740)를 수신한 경우, 출력부(216)를 거쳐 AI 업스케일부(234)에 전송된 AI 데이터(1740)에 따라 저해상도 영상의 AI 업스케일에 필요한 업스케일 DNN 정보가 획득된다.
영상 데이터(1700)는 비디오 헤더(1710), 프레임 그룹(1720)의 프레임 그룹 헤더(1722) 및 프레임(1730)의 프레임 헤더(1732)를 포함할 수 있다. 그리고 AI 데이터(1740)는 비디오 AI 데이터(1742), 프레임 그룹 AI 데이터(1750), 프레임 AI 데이터(1760)을 포함할 수 있다. 영상 데이터(1700)와 AI 데이터(1740)는 별개의 파일로 전송되므로, 영상 데이터(1700) 및/또는 AI 데이터(1740)는 영상 데이터(1700)와 AI 데이터(1740)의 동기화에 필요한 동기화 데이터를 포함할 수 있다. 동기화 데이터는 영상 데이터(1700)의 복호화 순서 또는 재생 순서를 나타낼 수 있다.
파싱부(214) 또는 AI 업스케일부(234)는 동기화 데이터에 따라 비디오 AI 데이터(1742), 프레임 그룹 AI 데이터(1750), 프레임 AI 데이터(1760)의 재생 순서 또는 복호화 순서가 비디오 헤더(1710), 프레임 그룹 헤더(1722) 및 프레임 헤더(1732)의 재생 순서 또는 복호화 순서와 일치하도록 설정할 수 있다. 도 17의 비디오 AI 데이터(1742)와 비디오 헤더(1710) 간의 점선, 프레임 그룹 AI 데이터(1750)와 프레임 그룹 헤더(1722) 간의 점선, 및 프레임 AI 데이터(1760)와 프레임 헤더(1732) 간의 점선은 AI 데이터와 데이터 헤더 간의 동기화를 나타낸다.
영상 데이터(1700)와 AI 데이터(1740)에 두 데이터의 매칭을 위한 식별번호가 포함될 수 있다. 예를 들어, AI 데이터(1740)는 AI 데이터(1740)가 적용되는 영상 데이터(1700)의 식별번호를 포함할 수 있다. 반대로, 영상 데이터(1700)가 영상 데이터(1700)에 적용되는 AI 데이터(1740)의 식별 번호를 포함할 수 있다. 또는 영상 데이터(1700)와 AI 데이터(1740)에 모두 식별번호가 포함될 수 있다. 따라서, 영상 데이터(1700)와 AI 데이터(1740)가 동시에 전송되지 않은 경우에도, 영상 데이터(1700)와 AI 데이터(1740)는 식별 번호에 따라 서로 매칭될 수 있다.
실시 예에 따라, 프레임 그룹 단위로 업스케일 DNN 정보가획득되는 경우, AI 데이터(1740)에서 프레임 AI 데이터(1760)는 생략될 수 있다. 그리고 비디오의 모든 프레임에 동일한 업데이트 DNN 정보가 사용되는 경우, AI 데이터(1740)에서 프레임 그룹 AI 데이터(1750) 및 프레임 AI 데이터(1760)는 생략될 수 있다.
도 18A는 도 14 내지 도 17에서 설명된 비디오 AI 데이터에 적용될 수 있는 데이터 구조(1800)의 일 실시 예를 나타낸다.
비디오 AI 데이터의 데이터 구조(1800)에는 AI 업스케일에 사용되는 업스케일 DNN 정보에 관련된 엘리먼트들이 포함된다. 상기 엘리먼트들은 ai_codec_info (1802), ai_codec_applied_channel_info (1804), target_bitrate_info (1806), res_info (1808), ai_codec_DNN_info (1814), ai_codec_supplementary_info (1816) 등을 포함할 수 있다. 도 18A 에 나타난 엘리먼트의 배열 순서는 예시일 뿐, 통상의 기술자는 상기 엘리먼트의 배열 순서를 변경하여 실시할 수 있다.
일 실시 예에서, ai_codec_info (1802)는 저해상도 영상에 AI 업스케일이 적용되는지 여부를 나타내는 AI 타겟 데이터를 의미한다. ai_codec_info (1802)가 영상 데이터에 따라 복원된 저해상도 영상에 AI 업스케일이 적용됨을 나타낼 경우, 데이터 구조(1800)는 AI 업스케일에 사용되는 업스케일 DNN 정보를 획득하기 위한 AI 보조 데이터를 포함한다. 반대로 ai_codec_info (1802)가 영상 데이터에 따라 복원된 저해상도 영상에 AI 업스케일이 적용되지 않음을 나타낼 경우, 데이터 구조(1800)는 AI 업스케일에 관한 AI 보조 데이터를 포함하지 않는다. 상기 AI 보조 데이터는 ai_codec_applied_channel_info (1804), target_bitrate_info (1806), res_info (1808), ai_codec_DNN_info (1814), ai_codec_supplementary_info (1816) 등이 포함된다.
ai_codec_applied_channel_info (1804)는 AI 업스케일이 적용되는 색 채널을 나타내는 채널 정보이다. 영상은 RGB 포맷, YUV 포맷, YCbCr 포맷 등으로 표현될 수 있다. 만약 영상 데이터로부터 복원된 저해상도 영상이 YCbCr 포맷일 경우, 저해상도 영상은 휘도(luminance)에 관한 Y 채널의 저해상도 영상과 색차(chrominance)에 관한 Cb 채널의 저해상도 영상, 및 Cr 채널의 저해상도 영상을 포함한다. ai_codec_applied_channel_info (1804)는 3개의 채널 중 AI 업스케일이 적용되는 색 채널을 나타낼 수 있다. 그리고 AI 업스케일부(234)는 ai_codec_applied_channel_info (1804)이 나타내는 색 채널의 저해상도 영상을 AI 업스케일할 수 있다. AI 업스케일부(234)는 색 채널마다 서로 다른 업스케일 DNN 정보를 획득할 수 있다.
실시 예에 따라, AI 업스케일에 따른 연산량을 감소시키기 위해, 휘도에 관한 Y 채널의 저해상도 영상에 대하여만 AI 업스케일이 적용될 수 있다. 사람의 눈은 색차보다는 휘도의 화질에 민감하게 반응하므로, 모든 색 채널의 저해상도 영상이 AI 업스케일되는 경우와 Y 채널의 저해상도 영상만 AI 업스케일되는 경우 간에, 사람이 느끼는 주관적 화질은 차이가 미미할 수 있다.
그러므로 ai_codec_applied_channel_info (1804)는 Cb 채널의 저해상도 영상, 및 Cr 채널의 저해상도 영상이 AI 업스케일되는지 여부를 나타낼 수 있다. ai_codec_applied_channel_info (1804)가 Cb 채널의 저해상도 영상, 및 Cr 채널의 저해상도 영상이 AI 업스케일되지 않는다고 나타낼 경우, AI 업스케일부(234)는 Y 채널의 저해상도 영상에 대하여만 AI 업스케일을 적용할 수 있다. 반대로 ai_codec_applied_channel_info (1804)가 Cb 채널의 저해상도 영상, 및 Cr 채널의 저해상도 영상이 AI 업스케일된다고 나타낼 경우, AI 업스케일부(234)는 모든 채널의 저해상도 영상들에 대하여 AI 업스케일을 적용할 수 있다.
target_bitrate_info (1806)는 제 1 부호화(614) 결과 획득된 영상 데이터의 비트레이트를 나타내는 정보이다. AI 업스케일부(234)는 target_bitrate_info (1806)에 따라, 저해상도 영상의 화질에 적합한 업스케일 DNN 정보를 획득할 수 있다.
res_info (1808)는 제3 영상(145)과 같은 AI 업스케일된 고해상도 영상의 해상도에 관련된 해상도 정보를 나타낸다. res_info (1808)는 pic_width_org_luma(1810), pic_height_org_luma(1812)을 포함할 수 있다. pic_width_org_luma(1810), pic_height_org_luma(1812)는 각각 고해상도 영상의 너비와 높이를 나타내는 고해상도 영상 너비 정보와 고해상도 영상 높이 정보이다. AI 업스케일부(234)는 pic_width_org_luma(1810), pic_height_org_luma(1812)에 따라 결정된 고해상도 영상의 해상도와 제1 복호화부(232)에서 복원된 저해상도 영상의 해상도에 따라, AI 업스케일 비율을 결정할 수 있다.
일 실시 예에서, res_info (1808)는 pic_width_org_luma(1810), pic_height_org_luma(1812)을 포함하지 않고, 대신 저해상도 영상과 고해상도 영상의 해상도 비율을 나타내는 해상도 비율 정보를 포함할 수 있다. 따라서, AI 업스케일부(234)는, 제1 복호화부(232)에서 복원된 저해상도 영상의 해상도와 해상도 비율 정보에 따른 해상도 비율에 따라, 고해상도 영상의 해상도를 결정할 수 있다. 상기 해상도 비율 정보는 수직 해상도 비율 정보와 수평 해상도 비율 정보를 포함할 수 있다.
AI 업스케일부(234)는 res_info (1808)에 따라 결정된 AI 업스케일 비율에 따라, 저해상도 영상의 AI 업스케일에 적합한 업스케일 DNN 정보를 획득할 수 있다. 또는 AI 업스케일부(234)는 res_info (1808)에 따라 결정된 저해상도 영상의 해상도와 고해상도 영상의 해상도에 따라, 저해상도 영상의 AI 업스케일에 적합한 업스케일 DNN 정보를 획득할 수 있다.
ai_codec_DNN_info (1814)는 저해상도 영상의 AI 업스케일에 사용되는 상호 약속된 업스케일 DNN 정보를 가리키는 정보이다. AI 업스케일부(234)는 ai_codec_applied_channel_info (1804), target_bitrate_info (1806), res_info (1808) 등에 따라, 미리 저장된 복수의 디폴트 DNN 설정 정보들 중에 하나를 업스케일 DNN 정보로 결정할 수 있다. 또한 AI 업스케일부(234)는 고해상도 영상의 기타 특성(영상의 장르, 최대 휘도, 색역 등)을 추가로 고려하여, 미리 저장된 복수의 디폴트 DNN 설정 정보 중에 하나를 업스케일 DNN 정보로 결정할 수 있다.
만약, 특정 조건에 대응되는 디폴트 DNN 설정 정보가 2개 이상일 때, ai_codec_DNN_info (1814)는 2개 이상의 디폴트 DNN 설정 정보 중 하나를 나타낼 수 있다. 그리고 ai_codec_DNN_info (1814)가 나타내는 업스케일 DNN 정보를 이용하여, AI 업스케일부(234)는 저해상도 영상을 AI 업스케일할 수 있다.
일 실시 예에 따르면, 특정 조건에 대응되는 디폴트 DNN 설정 정보 가 2개 이상일 때, ai_codec_DNN_info (1814)는 2개 이상의 디폴트 DNN 설정 정보 중 현재 비디오 파일에 적용될 수 있는 2개 이상의 업스케일 DNN 정보를 나타낼 수 있다. 그리고 프레임 그룹 또는 프레임 단위로, ai_codec_DNN_info (1814)가 나타내는 2개 이상의 업스케일 DNN 정보 중 하나가 적응적으로 선택될 수 있다.
ai_codec_supplementary_info (1816)는 AI 업스케일에 관한 부가 정보를 나타낸다. ai_codec_supplementary_info (1816)는 비디오에 적용되는 업스케일 DNN 정보의 결정에 필요한 정보를 포함할 수 있다. ai_codec_supplementary_info (1816)는 장르, HDR 최대 조도, HDR 색역, HDR PQ 정보, 레이트 콘트롤 타입 등에 관한 정보, 제1 부호화에 사용되는 codec에 관한 정보 등을 포함할 수 있다.
도 18A의 ai_codec_applied_channel_info (1804), target_bitrate_info (1806), res_info (1808), ai_codec_DNN_info (1814), ai_codec_supplementary_info (1816)는 실시 예에 따라 일부가 생략될 수 있다. 상기 엘리먼트들이 포함된 데이터 구조(1800)를 가지는 비디오 AI 데이터는 모든 프레임 그룹들에 적용될 수 있다.
도 18B는 도 16에서 설명된 비디오 세그먼트 AI 데이터 또는 도 14, 도 15A 내지 15C, 도 17의 프레임 그룹 AI 데이터에 적용될 수 있는 데이터 구조(1820)의 일 실시 예를 나타낸다.
데이터 구조(1820)는 도 18A의 데이터 구조(1800)와 유사한 구조를 가진다. 도 18B의 ai_codec_info (1822), ai_codec_applied_channel_info (1826), target_bitrate_info (1828), res_info (1830), pic_width_org_luma (1832), pic_height_org_luma (1834), ai_codec_DNN_info (1836), ai_codec_supplementary_info (1838)은 도 18A의 ai_codec_applied_channel_info (1802), ai_codec_applied_channel_info (1804), target_bitrate_info (1806), res_info (1808), pic_width_org_luma (1810), pic_height_org_luma (1812), ai_codec_DNN_info (1814), ai_codec_supplementary_info (1816)와 동일한 기능을 수행할 수 있다.
다만 데이터 구조(1820)는 연속된 이전 데이터 단위와 현재 데이터 단위 간에 AI 보조 데이터가 동일한지 여부를 나타내는 AI 보조 데이터 종속 정보(dependent_ai_condition_info (1824))를 추가적으로 포함할 수 있다. 데이터 구조(1820)는, ai_codec_info (1822)가 저해상도 영상에 AI 업스케일이 적용됨을 나타낼 경우, dependent_ai_condition_info (1824)를 포함할 수 있다. 만약, ai_codec_info (1822)가 저해상도 영상에 AI 업스케일이 적용되지 않음을 나타낼 경우, 비디오 dependent_ai_condition_info (1824)는 데이터 구조(1820)에서 생략될 수 있다.
dependent_ai_condition_info (1824)가 연속된 이전 데이터 단위와 현재 데이터 단위 간에 AI 보조 데이터가 동일하다고 나타낼 경우, ai_codec_applied_channel_info (1826), target_bitrate_info (1828), res_info (1830), pic_width_org_luma (1832), pic_height_org_luma (1834), ai_codec_DNN_info (1836), ai_codec_supplementary_info (1838)은 데이터 구조(1820)에서 생략될 수 있다. 그리고 채널 정보, 목표 비트레이트 정보, 해상도 정보, DNN 정보, 및 부가 정보는 이전 데이터 단위의 ai_codec_applied_channel_info (1826), target_bitrate_info (1828), res_info (1830), pic_width_org_luma (1832), pic_height_org_luma (1834), ai_codec_DNN_info (1836), ai_codec_supplementary_info (1838)로부터 결정된다. 따라서, 복수의 데이터 단위에 대하여 동일한 AI 보조 데이터가 적용되는 경우, dependent_ai_condition_info (1824)에 따라 AI 데이터의 크기가 감소할 수 있다.
dependent_ai_condition_info (1824)가 연속된 이전 데이터 단위와 현재 데이터 단위 간에 AI 보조 데이터가 동일하지 않다고 나타낼 경우, 데이터 구조 는 ai_codec_applied_channel_info (1826), target_bitrate_info (1828), res_info (1830), pic_width_org_luma (1832), pic_height_org_luma (1834), ai_codec_DNN_info (1836), ai_codec_supplementary_info (1838)를 포함한다. 그리고, 현재 데이터 단위의 업스케일 DNN 정보는 이전 데이터 단위의 업스케일 DNN 정보와 상관없이 독립적으로 획득될 수 있다.
일 실시 예에서, 최초로 전송된 데이터 단위의 AI 보조 데이터 종속 정보는 생략될 수 있다. 따라서 두 번째로 전송된 비디오 세그먼트부터, AI 보조 데이터 종속 정보가 비디오 세그먼트의 헤더에 포함된다.
일 실시 예에서, AI 보조 데이터 종속 정보는 특정 AI 보조 데이터의 종속 여부만을 나타낼 수 있다. 예를 들어, AI 보조 데이터 종속 정보는 현재 데이터 단위가 이전 데이터 단위의 해상도 정보를 승계하는지 여부를 나타낼 수 있다. AI 보조 데이터 종속 정보에 따라 승계되는 AI 데이터는 ai_codec_info(1100), ai_codec_applied_channel_info (1804), target_bitrate_info (1806), res_info (1808), ai_codec_DNN_info (1814), ai_codec_supplementary_info (1816)중 적어도 하나를 포함할 수 있다.
도 18B에서, 상기 데이터 단위는 비디오 세그먼트 또는 프레임 그룹일 수 있다. 상기 데이터 단위가 비디오 세그먼트일 때, dependent_ai_condition_info (1824)는 연속된 이전 비디오 세그먼트와 현재 비디오 세그먼트 간의 AI 보조 데이터의 동일 여부를 나타낼 수 있다. 상기 데이터 단위가 프레임 그룹일 때, dependent_ai_condition_info (1824)는 연속된 이전 프레임 그룹과 현재 프레임 그룹 간의 AI 보조 데이터의 동일 여부를 나타낼 수 있다.
도 19는 도 18A의 데이터 구조(1800)가 구현된 신택스 테이블(1900)을 나타낸다.
신택스 테이블 (1900)에 따르면, ai_codec_info, ai_codec_applied_channel_info, target_bitrate, pic_width_org_luma, pic_height_org_luma, ai_codec_DNN_info, ai_codec_supplementary_info_flag 와 같은 신택스 요소(syntax element)가 파싱된다.
ai_codec_info 는 도 18A의 ai_codec_info (1802)에 대응되는 AI 타겟 데이터이다. ai_codec_info 가 AI 업스케일이 허용됨을 나타낼 경우(if(ai_codec_info)), AI 보조 데이터에 대응되는 신택스 요소들이 파싱된다. ai_codec_info 가 AI 업스케일이 허용되지 않음을 나타낼 경우, AI 보조 데이터에 대응되는 신택스 요소들은 파싱되지 않는다.
AI 보조 데이터에 대응되는 신택스 요소는 ai_codec_applied_channel_info, target_bitrate, pic_width_org_luma, pic_height_org_luma, ai_codec_DNN_info, ai_codec_supplementary_info_flag를 포함한다.
ai_codec_applied_channel_info 는 도 18A의 ai_codec_applied_channel_info (1804)에 대응되는 채널 정보이다. target_bitrate는 도 18A의 target_bitrate_info (1806)에 대응되는 목표 비트레이트 정보이다. pic_width_org_luma, pic_height_org_luma 는 각각 도 18A의 pic_width_org_luma(1810), pic_height_org_luma(1812)에 대응되는 고해상도 영상 너비 정보와 고해상도 영상 높이 정보이다. ai_codec_DNN_info는 도 18A의 ai_codec_DNN_info(1814)에 대응되는 DNN 정보이다.
ai_codec_supplementary_info_flag는 도 18A의 ai_codec_supplementary_info (1816)가 신택스 테이블(1900)에 포함되어 있는지 여부를 나타내는 부가 정보 플래그이다. 만약 ai_codec_supplementary_info_flag가 AI 업스케일에 이용되는 보조 정보가 파싱되지 않는다고 나타내는 경우, 추가적인 보조 정보는 획득되지 않는다. 그러나 ai_codec_supplementary_info_flag가 AI 업스케일에 이용되는 보조 정보가 파싱된다고 나타내는 경우(if(ai_codec_supplementary_info_flag)), 추가적인 보조 정보는 획득된다.
획득되는 추가적인 보조 정보는 genre_info, hdr_max_luminance, hdr_color_gamut, hdr_pq_type, 및 rate_control_type, 및 codec_type 등이 포함될 수 있다. genre_info는 영상 데이터의 콘텐츠의 장르, hdr_max_luminance는 고해상도 영상에 적용되는 HDR (High Dynamic Range) 최대 조도, hdr_color_gamut는 고해상도 영상에 적용되는 HDR 색역, hdr_pq_type는 고해상도 영상에 적용되는 HDR PQ (Perceptual Quantizer) 정보, rate_control_type는 제 1 부호화 결과 획득된 영상 데이터에 적용된 레이트 컨트롤 타입, codec_type은 제1 부호화에 사용되는 codec을 나타낸다. 실시 예에 따라, 보조 정보에 해당되는 상기 신택스 요소들 중 특정 신택스 요소가 파싱될 수 있다.
도 19의 신택스 테이블 (1900)은 예시에 불과하며, 도 18A의 데이터 구조(1800)의 엘리먼트들 중 일부가 신택스 테이블 (1900)에 포함될 수 있다. 또한, 데이터 구조(1800)에 포함되지 않은 엘리먼트가 신택스 테이블 (1900)에 포함될 수 있다.
실시 예에 따라, 도 19의 신택스 테이블 (1900)은, 도 18B의 데이터 구조(1820)와 마찬가지로, dependent_ai_condition_info와 같은 AI 보조 데이터 종속 정보를 포함할 수 있다. 따라서 AI 보조 데이터 종속 정보가 추가된 신택스 테이블 (1900)은 비디오 세그먼트 또는 프레임 그룹에 적용될 수 있다.
도 20은 도 14 내지 도 17에서 설명된 (프레임 그룹 AI 데이터 또는) 프레임 AI 데이터에 적용될 수 있는 데이터 구조(2000)의 일 실시 예를 나타낸다.
상기 데이터 구조(2000)에는 프레임 단위로 적응적으로 업스케일 DNN 정보를 결정하기 위한 엘리먼트들이 포함된다. 상기 엘리먼트들은 ai_codec_frame_info (2002), dependent_ai_condition_frame_info (2004), ai_codec_frame_DNN_info (2006), ai_codec_enhancement_flag (2008), ai_codec_artifact_removal_flag (2014) 등을 포함할 수 있다. 도 20 에 나타난 엘리먼트의 배열 순서는 예시일 뿐, 통상의 기술자는 상기 엘리먼트의 배열 순서를 변경하여 실시할 수 있다.
ai_codec_frame_info (2002)는 현재 프레임에 AI 업스케일이 허용되는지 여부를 나타내는 프레임 AI 타겟 데이터이다. ai_codec_frame_info (2002)에 따라, 현재 프레임에 AI 업스케일이 허용될 경우, 데이터 구조(2000)는 현재 프레임의 AI 업스케일에 관련된 프레임 AI 보조 데이터를 포함한다. 그렇지 않을 경우, 현재 프레임에는 AI 업스케일이 적용되지 않으며, 데이터 구조(2000)는 프레임 AI 보조 데이터를 포함하지 않는다. 프레임 AI 보조 데이터는 프레임에 적용되는 AI 보조 데이터를 의미한다.
일 실시 예에 따라, ai_codec_frame_info (2002)에 따라 현재 프레임에 AI 업스케일이 허용될 경우, 데이터 구조(2000)는 dependent_ai_condition_frame_info (2004)를 포함할 수 있다. dependent_ai_condition_frame_info (2004)는 연속된 이전 프레임과 현재 프레임 간에 프레임 AI 보조 데이터가 동일한지 여부를 나타내는 프레임 AI 보조 데이터 종속 정보이다. dependent_ai_condition_frame_info (2004)가 연속된 이전 프레임과 현재 프레임 간에 프레임 AI 보조 데이터가 동일하다고 나타낼 경우, 데이터 구조(2000)는 현재 프레임에 대한 추가적인 프레임 AI 보조 데이터를 포함하지 않고, 현재 프레임의 업스케일 DNN 정보는 이전 프레임의 업스케일 DNN 정보와 동일하게 결정된다. dependent_ai_condition_frame_info (2004)가 연속된 이전 프레임과 현재 프레임 간에 프레임 AI 보조 데이터가 동일하지 않다고 나타내는 경우, 데이터 구조(2000)는 현재 프레임에 대한 추가적인 프레임 AI 보조 데이터를 포함하고, 현재 프레임의 업스케일 DNN 정보는 이전 프레임의 업스케일 DNN 정보와는 독립적으로 획득된다. 상기 추가적인 프레임 AI 보조 데이터는 ai_codec_frame_DNN_info (2006), ai_codec_enhancement_flag (2008), ai_codec_artifact_removal_flag (2014)을 포함할 수 있다.
ai_codec_frame_DNN_info (2006)는 현재 프레임의 상위 데이터 유닛에 대한 복수의 업스케일 DNN 정보 중 현재 프레임의 업스케일 DNN 정보를 나타내는 프레임 DNN 정보이다. 도 18A의 ai_codec_DNN_info (1814)가 비디오에 대한 2개 이상의 업스케일 DNN 정보를 나타낼 경우, ai_codec_frame_DNN_info (2006)는 상기 2개 이상의 업스케일 DNN 정보로부터 현재 프레임의 업스케일 DNN 정보를 결정할 수 있다. 또는 도 18B의 ai_codec_DNN_info (1834)가 비디오 세그먼트 또는 프레임 그룹에 대한 2개 이상의 업스케일 DNN 정보를 나타낼 경우, ai_codec_frame_DNN_info (2006)는 상기 2개 이상의 업스케일 DNN 정보로부터 현재 프레임의 업스케일 DNN 정보를 결정할 수 있다. 만약, 도 18A의 ai_codec_DNN_info (1814) 또는 도 18B의 ai_codec_DNN_info (1834)가 하나의 업스케일 DNN 정보만 나타낼 경우, ai_codec_frame_DNN_info (2006)는 생략될 수 있다.
ai_codec_enhancement_flag (2008)는 AI 업스케일 정확도의 향상 프로세스가 활성화되는지 여부를 나타내는 AI 향상 정보이다. ai_codec_enhancement_flag (2008)가 AI 업스케일 정확도의 향상 프로세스가 활성화되었음을 나타내는 경우, AI 업스케일된 고해상도 영상의 샘플들 중 일부가 부호화 파라미터 정보에 따라 조정된다. ai_codec_enhancement_flag (2008)가 AI 업스케일 정확도의 향상 프로세스가 활성화되지 않음을 나타내는 경우, 상기 향상 프로세스는 생략된다.
부호화 파라미터는 부호화단에서 원본 영상(105) 또는 제1 영상(115)를 부호화할 때 발생된다. 부호화 파라미터는 데이터 단위(최대 부호화 단위, 부호화 단위, 예측 단위, 변환 단위 또는 픽셀 단위)의 예측, 변환 및 인루프 필터링 프로세스에 따라 생성될 수 있다. 부호화 파라미터는 움직임 벡터, 예측 움직임 벡터, 인트라 모드, 잔차 신호 관련 정보, SAO 파라미터 등의 정보를 포함한다.
부호화 파라미터 정보는 상기 부호화 파라미터에 따른 향상 프로세스에 필요한 정보이다. 부호화 파라미터 정보는 향상 프로세스를 위하여 참조되는 부호화 파라미터의 타입을 나타내는 부호화 파라미터 타입 정보와 현재 프레임에서 향상 프로세스의 적용 영역을 나타내는 부호화 파라미터 맵 정보를 포함할 수 있다.
ai_codec_enhancement_flag (2008)가 AI 업스케일 정확도의 향상 프로세스가 활성화되었음을 나타내는 경우, 데이터 구조(2000)는 부호화 파라미터 타입 정보인 encod_param_type (2010)과 부호화 파라미터 맵 정보인 encod_param_map (2012)를 포함할 수 있다. 예를 들어, encod_param_type (2010)이 움직임 벡터를 나타낼 수 있다. 그리고 encod_param_map (2012)은 AI 업스케일된 고해상도 영상에서 움직임 벡터에 따른 향상 프로세스의 적용 영역을 나타낼 수 있다. 그리고 움직임 벡터에 따라 상기 적용 영역의 픽셀이 수정될 수 있다.
실시 예에 따라, encod_param_type (2010)은 2개 이상의 부호화 파라미터들을 나타낼 수 있다. 그리고 encod_param_map (2012)은 각 부호화 파라미터에 대한 향상 프로세스의 적용 영역을 나타낼 수 있다.
실시 예에 따라, 데이터 구조(2000)에서 encod_param_type (2010) 및 encod_param_map (2012)은 생략될 수 있다. 따라서, 상기 향상 프로세스에 참조되는 하나 이상의 부호화 파라미터와 각 부호화 파라미터의 적용 영역이 미리 결정될 수 있다.
ai_codec_artifact_removal_flag (2014)는 AI 업스케일된 고해상도 영상의 아티팩트(artifact) 제거가 수행되는지 여부를 나타내는 아티팩트 제거 정보이다. 고해상도 영상의 아티팩트 제거를 위하여, 상기 아티팩트 제거 정보에 따라, AI 업스케일 전 저해상도 영상의 픽셀들을 보정하거나, 제2 DNN에 따른 AI 업스케일 후 고해상도 영상의 픽셀들을 보정함으로써, 아티팩트가 제거될 수 있다.
아티팩트 제거 정보는 아티팩트의 타입을 나타내는 아티팩트 타입 정보와 아티팩트가 위치한 아티팩트 영역을 나타내는 아티팩트 맵 정보를 포함할 수 있다. 또한 아티팩트 제거 정보는 영상의 아티팩트 타입의 수를 나타내는 아티팩트 타입 개수 정보를 포함할 수 있다. 따라서, 데이터 구조(2000)는 아티팩트 타입 개수 정보에 따른 개수만큼 아티팩트 타입 정보와 아티팩트 맵 정보를 포함할 수 있다.
아티팩트의 타입은 컨투어(contour) 아티팩트, 링잉(ringing) 아티팩트 및 앨리어싱(aliasing) 아티팩트 등을 포함한다. 그리고 아티팩트의 타입마다 한 개 이상의 아티팩트 영역이 결정된다. 예를 들어, 컨투어 아티팩트에 대하여 한 개 이상의 아티팩트 영역이 결정되고, 링잉 아티팩트에 대하여 한 개 이상의 아티팩트 영역이 결정될 수 있다.
ai_codec_artifact_removal_flag (2014)가 AI 업스케일된 고해상도 영상의 아티팩트 제거가 수행됨을 나타내는 경우, 데이터 구조(2000)는 아티팩트 타입 개수 정보인 num_artifact_type (2016) 등을 포함할 수 있다. 만약 ai_codec_artifact_removal_flag (2014)가 AI 업스케일된 고해상도 영상의 아티팩트 제거가 수행되지 않음을 나타내는 경우, 데이터 구조(2000)에는 num_artifact_type (2016) 등이 생략된다.
데이터 구조(2000)는 num_artifact_type (2016)가 나타내는 개수만큼 아티팩트 타입 정보인 artifact_type (2018)를 포함할 수 있다. 또한 데이터 구조(2000)는 각 artifact_type (2018)에 대한 아티팩트 맵 정보를 포함할 수 있다. 데이터 구조(2000)의 아티팩트 맵 정보는 아티팩트 영역의 개수를 나타내는 num_artifact_map (2020)를 포함할 수 있다. 그리고 데이터 구조(2000)는 각 아티팩트 영역의 위치와 크기를 나타내는 map_x_pos (2022), map_y_pos (2024), map_width (2026), map_height (2028)을 포함할 수 있다.
실시 예에 따라, 데이터 구조(2000)에서, 도 20의 dependent_ai_condition_frame_info (2004), ai_codec_frame_DNN_info (2006), ai_codec_enhancement_flag (2008), ai_codec_artifact_removal_flag (2014)의 일부가 생략될 수 있다.
실시 예에 따라, 프레임 대신 프레임 그룹에 도 20의 데이터 구조(2000)가 적용될 수 있다. 프레임 그룹에 데이터 구조(2000)가 적용될 경우, 프레임 그룹에 포함된 모든 프레임에 동일한 업스케일 DNN 정보, AI 향상 정보 및 아티팩트 제거 정보가 적용될 수 있다. 또한 프레임 그룹에 데이터 구조(2000)가 적용될 경우, 데이터 구조(2000)는 ai_codec_frame_info (2002), dependent_ai_condition_frame_info (2004), 및 ai_codec_frame_DNN_info (2006) 대신 프레임 그룹에 적용되는 ai_codec_frame_group_info, dependent_ai_condition_frame_group_info, 및 ai_codec_frame_group_DNN_info를 포함할 수 있다. 그리고 ai_codec_enhancement_flag (2008), encod_param_type (2010), encod_param_map (2012), ai_codec_artifact_removal_flag (2014), num_artifact_type (2016), artifact_type (2018), num_artifact_map (2020), map_x_pos (2022), map_y_pos (2024), map_width (2026), 및 map_height (2028) 은 프레임 그룹의 모든 프레임에 적용될 수 있다.
일 실시 예에 따르면, 도 18A의 데이터 구조(1800)는 비디오 AI 데이터에 적용될 수 있다. 그리고 도 20의 데이터 구조(2000)은 프레임 AI 데이터에 적용될 수 있다. 데이터 구조(1800)에 따른 비디오 AI 데이터는 모든 프레임에 공통적으로 적용되는 AI 데이터를 포함하고, 데이터 구조(2000)에 따른 프레임 AI 데이터는 프레임에 적응적으로 적용되는 AI 데이터를 포함한다.
일 실시 예에 따르면, 도 18A의 데이터 구조(1800)는 비디오 AI 데이터에 적용될 수 있다. 그리고 도 20의 데이터 구조(2000)은 프레임 그룹 AI 데이터에 적용될 수 있다. 데이터 구조(1800)에 따른 비디오 AI 데이터는 모든 프레임에 공통적으로 적용되는 AI 데이터를 포함하고, 데이터 구조(2000)에 따른 프레임 그룹 AI 데이터는 프레임 그룹에 적응적으로 적용되는 AI 데이터를 포함한다. 그리고 프레임 그룹에 포함된 모든 프레임에 동일한 AI 데이터가 적용된다.
일 실시 예에 따르면, 도 18B의 데이터 구조(1820)는 비디오 세그먼트 AI 데이터 또는 프레임 그룹 AI 데이터에 적용될 수 있다. 그리고 도 20의 데이터 구조(2000)은 프레임 AI 데이터에 적용될 수 있다. 데이터 구조(1820)에 따른 비디오 세그먼트 AI 데이터 또는 프레임 그룹 AI 데이터는 비디오 세그먼트 또는 프레임 그룹의 모든 프레임에 공통적으로 적용되는 AI 데이터를 포함하고, 데이터 구조(2000)에 따른 프레임 AI 데이터는 프레임에 적응적으로 적용되는 AI 데이터를 포함한다.
일 실시 예에 따르면, 도 18B의 데이터 구조(1820)는 비디오 세그먼트 AI 데이터에 적용될 수 있다. 그리고 도 20의 데이터 구조(2000)은 프레임 그룹 AI 데이터에 적용될 수 있다. 데이터 구조(1800)에 따른 비디오 세그먼트 AI 데이터는 비디오 세그먼트의 모든 프레임에 공통적으로 적용되는 AI 데이터를 포함하고, 데이터 구조(2000)에 따른 프레임 그룹 AI 데이터는 프레임 그룹에 적응적으로 적용되는 AI 데이터를 포함한다. 그리고 프레임 그룹에 포함된 모든 프레임에 동일한 AI 데이터가 적용된다.
도 21은 도 20의 데이터 구조(2000)가 구현된 신택스 테이블(2100)을 나타낸다.
신택스 테이블 (2100)에 따르면, ai_codec_frame_info, dependent_ai_condition_frame_info, ai_codec_frame_DNN_info, ai_codec_enhancement_flag, 및 ai_codec_artifact_removal_flag 와 같은 신택스 요소가 파싱된다.
ai_codec_frame_info 는 도 20의 ai_codec_frame_info (2002)에 대응되는 프레임 AI 타겟 데이터이다. ai_codec_frame_info가 AI 업스케일이 허용됨을 나타낼 경우(if(ai_codec_frame_info)), 프레임 AI 보조 데이터에 대응되는 신택스 요소들이 파싱된다. ai_codec_frame_info가 AI 업스케일이 허용되지 않음을 나타낼 경우, 프레임 AI 보조 데이터에 대응되는 신택스 요소들은 파싱되지 않는다.
프레임 AI 보조 데이터에 대응되는 신택스 요소는 dependent_ai_condition_frame_info, ai_codec_frame_DNN_info, ai_codec_enhancement_flag, ai_codec_artifact_removal_flag 를 포함할 수 있다. 도 21의 dependent_ai_condition_frame_info, ai_codec_frame_DNN_info, ai_codec_enhancement_flag, ai_codec_artifact_removal_flag는 도 20의 dependent_ai_condition_frame_info (2004), ai_codec_frame_DNN_info (2006), ai_codec_enhancement_flag (2008), ai_codec_artifact_removal_flag (2014)에 대응된다.
ai_codec_frame_info가 AI 업스케일이 허용됨을 나타낼 경우, dependent_ai_condition_frame_info가 획득된다. dependent_ai_condition_frame_info가 연속된 이전 프레임과 현재 프레임 간에 프레임 AI 보조 데이터가 동일하다고 나타낼 경우, 현재 프레임의 업스케일 DNN 정보는 이전 프레임의 업스케일 DNN 정보와 동일하게 결정된다. 만약 dependent_ai_condition_frame_info가 연속된 이전 프레임과 현재 프레임 간에 프레임 AI 보조 데이터가 동일하지 않다고 나타낼 경우, ai_codec_frame_DNN_info, ai_codec_enhancement_flag, ai_codec_artifact_removal_flag에 따라, 현재 프레임의 업스케일 DNN 정보, AI 향상 정보, 아티팩트 제거 정보가 결정된다.
ai_codec_frame_DNN_info는 현재 프레임의 상위 데이터 유닛에 대한 복수의 업스케일 DNN 정보중 현재 프레임의 업스케일 DNN 정보를 나타낸다.
ai_codec_enhancement_flag는 AI 업스케일 정확도의 향상 프로세스가 활성화되는지 여부를 나타낸다. ai_codec_enhancement_flag가 향상 프로세스가 활성화됨을 나타낼 경우(if(ai_codec_enhancement_flag)), 부호화 파라미터 타입을 나타내는 encod_param_type과 부호화 파라미터 영역을 나타내는 encod_param_map이 획득된다.
ai_codec_artifact_removal_flag는 AI 업스케일된 고해상도 영상의 아티팩트 제거가 수행되는지 여부를 나타낸다. ai_codec_artifact_removal_flag가 고해상도 영상의 아티팩트 제거가 수행됨을 나타낼 때(if(ai_codec_artifact_removal_flag)), 아티팩트 타입의 개수를 나타내는 num_artifact_type이 획득된다. num_artifact_type이 나타내는 개수만큼(for(i=0; i<num_artifact_type; i++)), 아티팩트의 타입을 나타내는 artifact_type과 아티팩트 영역의 개수를 나타내는 num_artifact_map이 획득된다. 그리고 num_artifact_map의 개수만큼(for(i=0; i<num_artifact_map; i++)), 아티팩트 영역의 위치 및 크기를 나타내는 map_x_pos, map_y_pos, map_width, map_height가 획득된다.
도 21의 신택스 테이블 (2100)은 예시에 불과하며, 도 20의 데이터 구조(2000)의 엘리먼트들 중 일부가 신택스 테이블 (2100)에 포함될 수 있다. 또한, 데이터 구조(2000)에 포함되지 않은 엘리먼트가 신택스 테이블 (2100)에 포함될 수 있다.
도 22는 AI 복호화기에 따른 영상 복호화 방법의 일 실시예의 순서도이다.
단계 2210에서, 영상 데이터와 상기 영상 데이터의 AI 업스케일에 관한 AI 데이터가 포함된 AI 부호화 데이터를 포함하는 비디오 파일이 수신된다. 단계 2210에 따른 AI 부호화 데이터 수신은 통신부(212)에 의하여 수행될 수 있다.
단계 2220에서, 상기 비디오 파일의 메타데이터 박스로부터 상기 AI 부호화 데이터의 AI 데이터를 획득하고, 상기 비디오 파일의 미디어데이터 박스로부터, 상기 AI 부호화 데이터의 영상 데이터가 획득된다. 영상 데이터와 AI 데이터가 분리된 경우, 단계 2220에 따른 영상 데이터와 AI 데이터의 획득은 파싱부(212)에 의하여 수행될 수 있다. 또는 AI 데이터가 영상 데이터에 포함된 경우, 제1 복호화부(232)에 의하여, 영상 데이터로부터 AI 데이터가 획득될 수 있다.
일 실시 예에 따르면, AI 부호화 데이터는 영상 데이터와 AI 데이터의 동기화에 관한 동기화 데이터를 포함할 수 있다. 동기화 데이터는 영상 데이터의 복호화 순서 또는 재생 순서에 따라, 영상 데이터와 AI 데이터의 관계를 나타낼 수 있다. 동기화 데이터는 비디오 헤더와 비디오 AI 데이터의 동기화, 프레임 그룹 헤더와 프레임 그룹 AI 데이터의 동기화, 및 프레임 헤더와 프레임 AI 데이터의 동기화에 대한 정보를 포함할 수 있다.
단계 2230에서, 영상 데이터를 복호화하여, 현재 프레임의 저해상도 영상이 복원된다. 단계 2230에 따른 저해상도 영상의 복원은 제1 복호화부(232)에 의하여 수행될 수 있다.
단계 2240에서, AI 데이터로부터, 현재 프레임의 업스케일 DNN 정보가 획득된다. 단계 2240에 따른 현재 프레임의 업스케일 DNN 정보의 획득은 AI 업스케일부(234)에 의하여 수행될 수 있다.
일 실시 예에 따르면, AI 데이터는 도 12의 AI 데이터의 계층 구조에 따라 비디오 AI 데이터, 프레임 그룹 AI 데이터 및 프레임 AI 데이터로 구성될 수 있다. 추가적으로 AI 데이터는 도 16의 비디오 세그먼트 AI 데이터를 포함할 수 있다. 상기 계층 구조에 따른 AI 데이터는, 대응되는 계층에 적용되는 업스케일 DNN 정보를 나타낼 수 있다.
일 실시 예에 따르면, AI 데이터는 비디오 AI 데이터를 포함할 수 있다. AI 데이터에 비디오 AI 데이터만 포함된 경우, 비디오 AI 데이터에 따라 복수의 디폴트 DNN 설정 정보로부터 영상 데이터의 모든 프레임들에 적용되는 업스케일 DNN 정보가 획득될 수 있다.
일 실시 예에 따르면, AI 데이터는 프레임 그룹 AI 데이터를 포함할 수 있다. AI 데이터에 프레임 그룹 AI 데이터만 포함된 경우, 프레임 그룹 AI 데이터에 따라 복수의 디폴트 DNN 설정 정보로부터 프레임 그룹의 모든 프레임에 적용되는 업스케일 DNN 정보가 프레임 그룹에 적응적으로 획득될 수 있다.
일 실시 예에 따르면, AI 데이터는 프레임 AI 데이터를 포함할 수 있다. AI 데이터에 프레임 AI 데이터만 포함된 경우, 프레임 AI 데이터에 따라 복수의 디폴트 DNN 설정 정보로부터 프레임에 적용되는 업스케일 DNN 정보가 프레임에 적응적으로 될 수 있다.
일 실시 예에 따르면, AI 데이터는 비디오 AI 데이터와 함께 프레임 그룹 AI 데이터를 포함할 수 있다. AI 데이터에 비디오 AI 데이터 및 프레임 그룹 AI 데이터만 포함된 경우, 비디오 AI 데이터에 따라 복수의 디폴트 DNN 설정 정보로부터 하나 이상의 업스케일 DNN 정보가 획득될 수 있다. 그리고 프레임 그룹 AI 데이터에 따라, 상기 하나 이상의 업스케일 DNN 정보로부터, 프레임 그룹의 프레임들에 적용되는 업스케일 DNN 정보가 선택될 수 있다.
일 실시 예에 따르면, AI 데이터는 비디오 AI 데이터와 함께 프레임 AI 데이터를 포함할 수 있다. AI 데이터에 비디오 AI 데이터 및 프레임 AI 데이터만 포함된 경우, 비디오 AI 데이터에 따라 복수의 디폴트 DNN 설정 정보로부터 하나 이상의 업스케일 DNN 정보가 획득될 수 있다. 그리고 프레임 AI 데이터에 따라, 상기 하나 이상의 업스케일 DNN 정보로부터, 프레임에 적용되는 업스케일 DNN 정보가 선택될 수 있다.
일 실시 예에 따르면, AI 데이터는 프레임 그룹 AI 데이터와 함께 프레임 AI 데이터를 포함할 수 있다. AI 데이터에 프레임 그룹 AI 데이터 및 프레임 AI 데이터만 포함된 경우, 프레임 그룹 AI 데이터에 따라 복수의 디폴트 DNN 설정 정보로부터 하나 이상의 업스케일 DNN 정보가 획득될 수 있다. 그리고 프레임 AI 데이터에 따라, 상기 하나 이상의 업스케일 DNN 정보로부터, 프레임에 적용되는 업스케일 DNN 정보가 선택될 수 있다.
일 실시 예에 따르면, AI 데이터는 비디오 세그먼트 AI 데이터를 포함할 수 있다. AI 데이터에 비디오 세그먼트 AI 데이터만 포함된 경우, 비디오 세그먼트 AI 데이터에 따라, 복수의 디폴트 DNN 설정 정보로부터 비디오 세그먼트의 모든 프레임들에 적용되는 업스케일 DNN 정보가 획득될 수 있다.
일 실시 예에 따르면, AI 데이터는 비디오 세그먼트 AI 데이터와 함께 비디오 AI 데이터를 포함할 수 있다. AI 데이터에 비디오 AI 데이터 및 비디오 세그먼트 AI 데이터만 포함된 경우, 비디오 AI 데이터에 따라 복수의 디폴트 DNN 설정 정보로부터 하나 이상의 업스케일 DNN 정보가 획득될 수 있다. 그리고 비디오 세그먼트 AI 데이터에 따라, 상기 하나 이상의 업스케일 DNN 정보로부터, 비디오 세그먼트의 모든 프레임들에 적용되는 업스케일 DNN 정보가 선택될 수 있다.
일 실시 예에 따르면, AI 데이터는 비디오 세그먼트 AI 데이터와 함께 프레임 그룹 AI 데이터 또는 프레임 AI 데이터를 포함할 수 있다. AI 데이터에 비디오 세그먼트 AI 데이터와 함께 프레임 그룹 AI 데이터 또는 프레임 AI 데이터가 포함된 경우, 비디오 세그먼트 AI 데이터에 따라 복수의 디폴트 DNN 설정 정보로부터 하나 이상의 업스케일 DNN 정보가 획득될 수 있다. 그리고 프레임 그룹 AI 데이터 또는 프레임 AI 데이터에 따라, 상기 하나 이상의 업스케일 DNN 정보로부터, 프레임 그룹 또는 프레임에 적용되는 업스케일 DNN 정보가 선택될 수 있다.
일 실시 예에 따르면, AI 데이터는 비디오 AI 데이터, 비디오 세그먼트 AI 데이터, 프레임 그룹 AI 데이터 및 프레임 AI 데이터를 모두 포함할 수 있다. AI 데이터가 비디오 AI 데이터, 비디오 세그먼트 AI 데이터, 프레임 그룹 AI 데이터 및 프레임 AI 데이터를 모두 포함할 때, 비디오 AI 데이터에 따라, 복수의 디폴트 DNN 설정 정보로부터, 비디오에 적용될 수 있는 하나 이상의 업스케일 DNN 정보가 한정될 수 있다. 그리고 비디오 세그먼트 AI 데이터에 따라, 상기 비디오에 적용될 수 있는 하나 이상의 업스케일 DNN 정보로부터, 비디오 세그먼트에 적용될 수 있는 하나 이상의 업스케일 DNN 정보가 선택될 수 있다. 그리고 프레임 그룹 AI 데이터에 따라, 상기 비디오 세그먼트에 적용될 수 있는 하나 이상의 업스케일 DNN 정보로부터, 프레임 그룹에 적용될 수 있는 하나 이상의 업스케일 DNN 정보가 선택될 수 있다. 그리고 프레임 AI 데이터에 따라, 상기 프레임 그룹에 적용될 수 있는 하나 이상의 업스케일 DNN 정보로부터, 프레임에 적용되는 업스케일 DNN 정보가 선택될 수 있다. 상기 실시 예에서, 비디오 AI 데이터, 비디오 세그먼트 AI 데이터, 프레임 그룹 AI 데이터 및 프레임 AI 데이터 중 일부가 상기 설명된 계층적 AI 데이터 구조에서 제외될 수 있다.
일 실시 예에 따르면, AI 데이터는, AI 업스케일이 적용되는지 여부를 나타내는 AI 타겟 데이터, 및 AI 업스케일이 적용될 경우, AI 업스케일에 사용되는 업스케일 DNN 정보에 관한 AI 보조 데이터를 포함할 수 있다.
비디오 AI 데이터는 영상 데이터에 AI 업스케일이 적용되는지 여부를 나타내는 비디오 AI 타겟 데이터 및 영상 데이터에 포함된 프레임들의 AI 업스케일에 적용될 수 있는 하나 이상의 업스케일 DNN 정보에 관한 비디오 AI 보조 데이터를 포함할 수 있다. 비디오 AI 타겟 데이터가 영상 데이터에 포함된 프레임들에 AI 업스케일이 적용됨을 나타낼 때, 비디오 AI 보조 데이터에 따라 하나 이상의 업스케일 DNN 정보가 획득된다.
비디오 세그먼트 AI 데이터는 비디오 세그먼트에 AI 업스케일이 적용되는지 여부를 나타내는 비디오 세그먼트 AI 타겟 데이터 및 비디오 세그먼트에 포함된 프레임들의 AI 업스케일에 적용될 수 있는 하나 이상의 업스케일 DNN 정보에 관한 비디오 세그먼트 AI 보조 데이터를 포함할 수 있다. 비디오 세그먼트 AI 타겟 데이터가 비디오 세그먼트에 포함된 프레임들에 AI 업스케일이 적용됨을 나타낼 때, 비디오 세그먼트 AI 보조 데이터에 따라 비디오 세그먼트의 하나 이상의 업스케일 DNN 정보가 획득된다.
프레임 그룹 AI 데이터는 프레임 그룹에 AI 업스케일이 적용되는지 여부를 나타내는 프레임 그룹 AI 타겟 데이터 및 프레임 그룹에 포함된 프레임들의 AI 업스케일에 적용될 수 있는 하나 이상의 업스케일 DNN 정보에 관한 프레임 그룹 AI 보조 데이터를 포함할 수 있다. 프레임 그룹 AI 타겟 데이터가 프레임 그룹에 포함된 프레임들에 AI 업스케일이 적용됨을 나타낼 때, 프레임 그룹 AI 보조 데이터에 따라 프레임 그룹의 하나 이상의 업스케일 DNN 정보가 획득된다.
프레임 AI 데이터는 프레임에 AI 업스케일이 적용되는지 여부를 나타내는 프레임 AI 타겟 데이터 및 프레임의 AI 업스케일에 사용되는 업스케일 DNN 정보에 관한 프레임 AI 보조 데이터를 포함할 수 있다. 프레임 AI 타겟 현재 프레임에 AI 업스케일이 적용됨을 나타낼 때, 프레임 AI 보조 데이터에 따라 현재 프레임의 업스케일 DNN 정보가 획득된다
일 실시 예에 따르면, 비디오 세그먼트 AI 데이터는 연속된 이전 비디오 세그먼트와 현재 비디오 세그먼트 간에 비디오 세그먼트 AI 보조 데이터가 동일한지 여부를 나타내는 비디오 세그먼트 AI 보조 데이터 종속 정보를 포함할 수 있다. 비디오 세그먼트 AI 보조 데이터 종속 정보가 연속된 이전 비디오 세그먼트와 현재 비디오 세그먼트 간에 비디오 세그먼트 AI 보조 데이터가 동일함을 나타낼 때, 현재 비디오 세그먼트의 비디오 세그먼트 AI 보조 데이터는 이전 비디오 세그먼트의 비디오 세그먼트 AI 보조 데이터와 동일하게 결정된다.
또한 프레임 그룹 AI 데이터는 연속된 이전 프레임 그룹과 현재 프레임 그룹 간에 프레임 그룹 AI 보조 데이터가 동일한지 여부를 나타내는 프레임 그룹 AI 보조 데이터 종속 정보를 포함할 수 있다. 그리고 프레임 그룹 AI 보조 데이터 종속 정보가 연속된 이전 프레임 그룹와 현재 프레임 그룹 간에 프레임 그룹 AI 보조 데이터가 동일함을 나타낼 때, 현재 프레임 그룹의 프레임 그룹 AI 보조 데이터는 이전 프레임 그룹의 프레임 그룹 AI 보조 데이터와 동일하게 결정된다.
또한 프레임 AI 데이터는 연속된 이전 프레임과 현재 프레임 간에 프레임 AI 보조 데이터가 동일한지 여부를 나타내는 프레임 AI 보조 데이터 종속 정보를 포함할 수 있다. 그리고 프레임 AI 보조 데이터 종속 정보가 연속된 이전 프레임과 현재 프레임 간에 프레임 AI 보조 데이터가 동일함을 나타낼 때, 현재 프레임의 프레임 AI 보조 데이터는 이전 프레임의 프레임 AI 보조 데이터와 동일하게 결정된다.
일 실시 예에 따르면, 동기화 데이터에 따라, 영상 데이터 전체에 적용되는 비디오 AI 데이터, 비디오 세그먼트에 대응되는 비디오 세그먼트 AI 데이터, 프레임 그룹에 적용되는 프레임 그룹 AI 데이터, 및 프레임에 적용되는 프레임 AI 데이터가 결정될 수 있다.
일 실시 예에 따르면, AI 데이터는 AI 업스케일이 적용되는 색 채널을 나타내는 채널 정보를 포함할 수 있다. 그리고 채널 정보가 나타내는 색 채널에 대하여 업스케일 DNN 정보가 획득될 수 있다.
일 실시 예에 따르면, AI 데이터는 영상 데이터에 따른 저해상도 영상의 비트레이트를 나타내는 목표 비트레이트 정보 및 AI 업스케일된 고해상도 영상의 해상도에 관련된 해상도 정보 중 적어도 하나를 포함할 수 있다. 그리고 목표 비트레이트 정보 및 해상도 정보 중 적어도 하나에 따라, 비디오, 비디오 세그먼트, 또는 프레임 그룹에 대한 2개 이상의 업스케일 DNN 정보가 결정될 수 있다. 또한 프레임 AI 데이터에 따라, 상기 2개 이상의 업스케일 DNN 정보로부터 현재 프레임의 업스케일 DNN 정보가 결정될 수 있다.
단계 2250에서, 현재 프레임의 업스케일 DNN 정보에 따라, 저해상도 영상을 AI 업스케일함으로써, 저해상도 영상에 대응되는 고해상도 영상이 생성된다. 단계 2260에 따른 고해상도 영상 생성은 AI 업스케일부(234)에 의하여 수행될 수 있다.
일 실시 예에 따르면, 생성된 고해상도 영상의 정확도는 부호화 파라미터에 따른 AI 업스케일 향상 프로세스에 따라 향상될 수 있다. 또는 생성된 고해상도 영상의 아티팩트은 아티팩트 제거 프로세스에 따라 제거될 수 있다.
도 12 내지 도 21에서 설명된 AI 업스케일에 대한 기능이 도 22의 비디오 복호화 방법에 적용될 수 있다.
도 23은 AI 부호화기에 따른 영상 부호화 방법의 일 실시예의 순서도이다.
단계 2310에서, 현재 프레임의 고해상도 영상을 저해상도 영상으로 AI 다운스케일하기 위한, 다운스케일 DNN 정보가 결정된다. 단계 2310에 따른 AI 데이터의 결정은 AI 다운스케일부(612)에 의하여 수행될 수 있다.
목표 비트레이트 정보 및 해상도 정보 중 적어도 하나에 따라, 비디오, 비디오 세그먼트, 또는 프레임 그룹에 대하여 2개 이상의 다운스케일 DNN 정보가 결정될 수 있다. 그리고 프레임 AI 데이터에 따라, 상기 2개 이상의 다운스케일 DNN 정보로부터 현재 프레임의 다운스케일 DNN 정보가 결정될 수 있다.
단계 2320에서, 다운스케일 DNN 정보를 이용하여, 현재 프레임의 고해상도 영상을 AI 다운스케일함으로써, 현재 프레임의 저해상도 영상이 생성된다. 단계 2330에 따른 저해상도 영상 생성은 AI 다운스케일부(612)에 의하여 수행될 수 있다.
단계 2330에서, 현재 프레임의 저해상도 영상의 AI 업스케일에 사용되는, AI 데이터가 생성된다. 단계 2330에 따른 저해상도 영상 생성은 AI 다운스케일부(612)에 의하여 수행될 수 있다. AI 업스케일에 사용되는 AI 데이터는 단계 2310에서 생성된 다운스케일 DNN 정보를 참조하여 생성될 수 있다.
일 실시 예에 따르면, AI 데이터는 도 12의 AI 데이터의 계층 구조에 따라 비디오 AI 데이터, 프레임 그룹 AI 데이터 및 프레임 AI 데이터로 구성될 수 있다. 추가적으로 AI 데이터는 도 16의 비디오 세그먼트 AI 데이터를 포함할 수 있다. 상기 계층 구조에 따른 AI 데이터는, 대응되는 계층에 적용되는 업스케일 DNN 정보를 나타낼 수 있다.
일 실시 예에 따르면, AI 데이터는 비디오 AI 데이터를 포함할 수 있다. AI 데이터에 비디오 AI 데이터만 포함된 경우, 비디오 AI 데이터는 복수의 디폴트 DNN 설정 정보로부터 영상 데이터의 모든 프레임들에 적용되는 업스케일 DNN 정보를 나타낼 수 있다.
일 실시 예에 따르면, AI 데이터는 프레임 그룹 AI 데이터를 포함할 수 있다. AI 데이터에 프레임 그룹 AI 데이터만 포함된 경우, 프레임 그룹 AI 데이터는 복수의 디폴트 DNN 설정 정보로부터 프레임 그룹의 모든 프레임에 적용되는 업스케일 DNN 정보를 나타낼 수 있다.
일 실시 예에 따르면, AI 데이터는 프레임 AI 데이터를 포함할 수 있다. AI 데이터에 프레임 AI 데이터만 포함된 경우, 프레임 AI 데이터는 복수의 디폴트 DNN 설정 정보로부터 프레임에 적용되는 업스케일 DNN 정보를 나타낼 수 있다.
일 실시 예에 따르면, AI 데이터는 비디오 AI 데이터와 함께 프레임 그룹 AI 데이터를 포함할 수 있다. AI 데이터에 비디오 AI 데이터 및 프레임 그룹 AI 데이터만 포함된 경우, 비디오 AI 데이터는 복수의 디폴트 DNN 설정 정보로부터 하나 이상의 업스케일 DNN 정보를 나타낼 수 있다. 그리고 프레임 그룹 AI 데이터에 따라, 상기 하나 이상의 업스케일 DNN 정보로부터, 프레임 그룹의 프레임들에 적용되는 업스케일 DNN 정보를 나타낼 수 있다.
일 실시 예에 따르면, AI 데이터는 비디오 AI 데이터와 함께 프레임 AI 데이터를 포함할 수 있다. AI 데이터에 비디오 AI 데이터 및 프레임 AI 데이터만 포함된 경우, 비디오 AI 데이터는 복수의 디폴트 DNN 설정 정보로부터 하나 이상의 업스케일 DNN 정보를 나타낼 수 있다. 그리고 프레임 AI 데이터는, 상기 하나 이상의 업스케일 DNN 정보로부터, 프레임에 적용되는 업스케일 DNN 정보를 나타낼 수 있다.
일 실시 예에 따르면, AI 데이터는 프레임 그룹 AI 데이터와 함께 프레임 AI 데이터를 포함할 수 있다. AI 데이터에 프레임 그룹 AI 데이터 및 프레임 AI 데이터만 포함된 경우, 프레임 그룹 AI 데이터는 복수의 디폴트 DNN 설정 정보로부터 하나 이상의 업스케일 DNN 정보를 나타낼 수 있다. 그리고 프레임 AI 데이터는, 상기 하나 이상의 업스케일 DNN 정보로부터, 프레임에 적용되는 업스케일 DNN 정보를 나타낼 수 있다.
일 실시 예에 따르면, AI 데이터는 비디오 세그먼트 AI 데이터를 포함할 수 있다. AI 데이터에 비디오 세그먼트 AI 데이터만 포함된 경우, 비디오 세그먼트 AI 데이터는, 복수의 디폴트 DNN 설정 정보로부터 비디오 세그먼트의 모든 프레임들에 적용되는 업스케일 DNN 정보를 나타낼 수 있다.
일 실시 예에 따르면, AI 데이터는 비디오 세그먼트 AI 데이터와 함께 비디오 AI 데이터를 포함할 수 있다. AI 데이터에 비디오 AI 데이터 및 비디오 세그먼트 AI 데이터만 포함된 경우, 비디오 AI 데이터는, 복수의 디폴트 DNN 설정 정보로부터 하나 이상의 업스케일 DNN 정보를 나타낼 수 있다. 그리고 비디오 세그먼트 AI 데이터는, 상기 하나 이상의 업스케일 DNN 정보로부터, 비디오 세그먼트의 모든 프레임들에 적용되는 업스케일 DNN 정보를 나타낼 수 있다.
일 실시 예에 따르면, AI 데이터는 비디오 세그먼트 AI 데이터와 함께 프레임 그룹 AI 데이터 또는 프레임 AI 데이터를 포함할 수 있다. AI 데이터에 비디오 세그먼트 AI 데이터와 함께 프레임 그룹 AI 데이터 또는 프레임 AI 데이터가 포함된 경우, 비디오 세그먼트 AI 데이터는, 복수의 디폴트 DNN 설정 정보로부터 하나 이상의 업스케일 DNN 정보를 나타낼 수 있다. 그리고 프레임 그룹 AI 데이터 또는 프레임 AI 데이터는, 상기 하나 이상의 업스케일 DNN 정보로부터, 프레임 그룹 또는 프레임에 적용되는 업스케일 DNN 정보를 나타낼 수 있다.
일 실시 예에 따르면, AI 데이터는 비디오 AI 데이터, 비디오 세그먼트 AI 데이터, 프레임 그룹 AI 데이터 및 프레임 AI 데이터를 모두 포함할 수 있다. AI 데이터가 비디오 AI 데이터, 비디오 세그먼트 AI 데이터, 프레임 그룹 AI 데이터 및 프레임 AI 데이터를 모두 포함할 때, 비디오 AI 데이터는, 복수의 디폴트 DNN 설정 정보로부터, 비디오에 적용될 수 있는 하나 이상의 업스케일 DNN 정보를 나타낼 수 있다. 그리고 비디오 세그먼트 AI 데이터는, 상기 비디오에 적용될 수 있는 하나 이상의 업스케일 DNN 정보로부터, 비디오 세그먼트에 적용될 수 있는 하나 이상의 업스케일 DNN 정보를 나타낼 수 있다. 그리고 프레임 그룹 AI 데이터는, 상기 비디오 세그먼트에 적용될 수 있는 하나 이상의 업스케일 DNN 정보로부터, 프레임 그룹에 적용될 수 있는 하나 이상의 업스케일 DNN 정보를 나타낼 수 있다. 그리고 프레임 AI 데이터는, 상기 프레임 그룹에 적용될 수 있는 하나 이상의 업스케일 DNN 정보로부터, 프레임에 적용되는 업스케일 DNN 정보를 나타낼 수 있다. 상기 실시 예에서, 비디오 AI 데이터, 비디오 세그먼트 AI 데이터, 프레임 그룹 AI 데이터 및 프레임 AI 데이터 중 하나가 상기 설명된 계층적 AI 데이터 구조에서 제외될 수 있다.
일 실시 예에 따르면, AI 데이터는 AI 업스케일이 적용되는지 여부를 나타내는 AI 타겟 데이터를 포함할 수 있다. 또한 AI 데이터는, AI 업스케일이 적용되는 경우, AI 다운스케일에 사용된 다운스케일 DNN 정보에 대응되는 업스케일 DNN 정보에 관한 AI 보조 데이터를 포함할 수 있다.
비디오 AI 데이터는 영상 데이터에 AI 업스케일이 적용되는지 여부를 나타내는 비디오 AI 타겟 데이터 및 영상 데이터에 포함된 프레임들의 AI 업스케일에 적용될 수 있는 하나 이상의 업스케일 DNN 정보에 관한 비디오 AI 보조 데이터를 포함할 수 있다. 영상 데이터에 AI 업스케일이 적용되는지 여부에 따라 비디오 AI 타겟 데이터가 결정될 수 있다. 그리고 영상 데이터에 포함된 프레임들의 하나 이상의 업스케일 DNN 정보에 따라 비디오 AI 보조 데이터가 결정될 수 있다.
비디오 세그먼트 AI 데이터는 비디오 세그먼트에 AI 업스케일이 적용되는지 여부를 나타내는 비디오 세그먼트 AI 타겟 데이터 및 비디오 세그먼트에 포함된 프레임들의 AI 업스케일에 적용될 수 있는 하나 이상의 업스케일 DNN 정보에 관한 비디오 세그먼트 AI 보조 데이터를 포함할 수 있다. 비디오 세그먼트 AI 데이터는 비디오 세그먼트에 AI 업스케일이 적용되는지 여부에 따라 비디오 세그먼트 AI 타겟 데이터가 결정될 수 있다. 비디오 세그먼트에 포함된 프레임들의 하나 이상의 업스케일 DNN 정보에 따라 비디오 세그먼트 AI 보조 데이터를 포함할 수 있다.
프레임 그룹 AI 데이터는 프레임 그룹에 AI 업스케일이 적용되는지 여부를 나타내는 프레임 그룹 AI 타겟 데이터 및 프레임 그룹에 포함된 프레임들의 AI 업스케일에 적용될 수 있는 하나 이상의 업스케일 DNN 정보에 관한 프레임 그룹 AI 보조 데이터를 포함할 수 있다. 프레임 그룹에 AI 업스케일이 적용되는지 여부에 따라 프레임 그룹 AI 타겟 데이터가 결정될 수 있다. 그리고 프레임 그룹에 포함된 프레임들의 AI 업스케일에 적용될 수 있는 하나 이상의 업스케일 DNN 정보에 따라 프레임 그룹 AI 보조 데이터가 결정될 수 있다.
프레임 AI 데이터는 프레임에 AI 업스케일이 적용되는지 여부를 나타내는 프레임 AI 타겟 데이터 및 프레임의 AI 업스케일에 사용되는 업스케일 DNN 정보에 관한 프레임 AI 보조 데이터를 포함할 수 있다.
현재 프레임에 AI 업스케일이 적용되는지 여부에 따라 프레임 AI 타겟 데이터가 결정될 수 있다. 또한 현재 프레임의 AI 업스케일에 사용되는 업스케일 DNN 정보에 따라, 프레임 AI 보조 데이터가 결정될 수 있다.
일 실시 예에 따르면, 비디오 세그먼트 AI 데이터는 연속된 이전 비디오 세그먼트와 현재 비디오 세그먼트 간에 비디오 세그먼트 AI 보조 데이터가 동일한지 여부를 나타내는 비디오 세그먼트 AI 보조 데이터 종속 정보를 포함할 수 있다. 연속된 이전 비디오 세그먼트와 현재 비디오 세그먼트 간에 비디오 세그먼트 AI 보조 데이터가 동일한지 여부에 따라, 비디오 세그먼트 AI 보조 데이터 종속 정보가 결정된다.
그리고 프레임 그룹 AI 데이터는 연속된 이전 프레임 그룹과 현재 프레임 그룹 간에 프레임 그룹 AI 보조 데이터가 동일한지 여부를 나타내는 프레임 그룹 AI 보조 데이터 종속 정보를 포함할 수 있다. 연속된 이전 프레임 그룹과 현재 프레임 그룹 간에 프레임 그룹 AI 보조 데이터가 동일한지 여부에 따라, 프레임 그룹 AI 보조 데이터 종속 정보가 결정된다.
그리고 프레임 AI 데이터는 연속된 이전 프레임과 현재 프레임 간에 프레임 AI 보조 데이터가 동일한지 여부를 나타내는 프레임 AI 보조 데이터 종속 정보를 포함할 수 있다. 연속된 이전 프레임과 현재 프레임 간에 프레임 AI 보조 데이터가 동일한지 여부에 따라, 프레임 AI 보조 데이터 종속 정보가 결정된다.
일 실시 예에 따르면, AI 부호화 데이터는 AI 데이터와 영상 데이터의 동기화에 대한 동기화 데이터를 포함할 수 있다. 동기화 데이터는 영상 데이터와 비디오 AI 데이터의 동기화, 비디오 세그먼트와 비디오 세그먼트 AI 데이터의 동기화, 프레임 그룹과 프레임 그룹 AI 데이터의 동기화, 현재 프레임과 프레임 AI 데이터의 동기화에 관한 데이터를 포함할 수 있다.
일 실시 예에 따르면, AI 데이터는 현재 프레임의 AI 업스케일에 적용되는 색 채널을 나타내는 채널 정보를 포함할 수 있다. 그리고 채널 정보가 나타내는 색 채널에 대한 업스케일 DNN 정보가 결정될 수 있다.
일 실시 예에 따르면, AI 데이터는 저해상도 영상의 비트레이트를 나타내는 목표 비트레이트 정보 및 고해상도 영상의 해상도를 나타내는 해상도 정보 중 적어도 하나를 포함할 수 있다.
단계 2340에서, 현재 프레임의 저해상도 영상을 부호화함으로써, 영상 데이터가 획득된다. 단계 2340에 따른 영상 데이터 획득은 제1 부호화부(614)에 의하여 수행될 수 있다.
단계 2350에서, 영상 데이터와 AI 데이터를 포함하는 AI 부호화 데이터가 생성된다. 단계 2350에 따른 AI 부호화 데이터 생성은 데이터 처리부(632)에 의하여 수행될 수 있다. 실시 예에 따라, 영상 데이터와 AI 데이터는 하나의 단일 파일에 포함되지 않고, 별개의 파일로 구성될 수 있다.
단계 2360에서 상기 생성된 AI 부호화 데이터의 영상 데이터가 삽입된 미디어데이터 박스와 상기 AI 부호화 데이터의 AI 데이터가 삽입된 메타데이터 박스를 포함하는 비디오 파일이 출력된다. 단계 2360에 따른 AI 부호화 데이터 출력은 통신부(634)에 의하여 수행될 수 있다.
도 12 내지 도 21에서 설명된 AI 업스케일에 대응되는 AI 다운스케일의 기능이 도 23의 비디오 부호화 방법에 적용될 수 있다.
도 24는 일 실시예에 따른 영상 복호화 장치의 구성을 나타내는 블록도이다.
도 24을 참조하면, 일 실시예에 따른 영상 복호화 장치(2400)는 통신부(2410), 프로세서(2420) 및 메모리(2430)를 포함할 수 있다.
통신부(2410)는 AI 부호화 데이터를 수신할 수 있다. 또는 통신부(2410)는 프로세서(2420)의 제어에 의해 외부 장치(예를 들어, 서버)로부터 AI 데이터와 영상 데이터를 수신할 수 있다.
프로세서(2420)는 영상 복호화 장치(2400)를 전반적으로 제어할 수 있다. 일 실시예에 따른 프로세서(2420)는 메모리(2430)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다. 프로세서(2420)는 제1 복호화부(232) 및 AI 업스케일부(234)의 기능을 수행할 수 있다. 프로세서(2420)는 하나 이상의 범용 프로세서로 구성될 수 있다.
일 실시 예에 따르면, 프로세서(2420)는 그래픽 프로세서(2422)와 AI 전용 프로세서(2424)를 포함할 수 있다. 또한 프로세서는 그래픽 프로세서(2422) 및 AI 전용 프로세서(2424) 중 적어도 하나를 통합한 SoC(System On Chip) 형태로 구현될 수 있다. 프로세서(2422)는 영상 복호화 장치(2400)의 전반적인 동작 및 영상 복호화 장치(2400)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다.
그래픽 프로세서(2422)는 영상의 복호화 및 후처리에 특화하도록 설계된 프로세서이다. 따라서 그래픽 프로세서(2422)는 영상 복호화 장치(2400)가 수신한 영상 데이터에 대한 처리를 수행할 수 있으며, 제1 복호화부(232)의 저해상도 영상 복원 기능을 효율적으로 수행할 수 있다. AI 전용 프로세서(2424)는 AI 연산에 특화하도록 설계된 프로세서이다. 따라서 AI 전용 프로세서(2424)는 AI 업스케일부(234)의 저해상도 영상의 AI 업스케일 기능을 효율적으로 수행할 수 있다.
통신부(2410)를 통해 영상 복호화 장치(2400)에 입력된 영상 데이터와 AI 데이터는 프로세서(2420)에 의하여 처리된다. 영상 데이터의 복호화에 관한 연산이 그래픽 프로세서(2422)에 의하여 수행됨으로써, 저해상도 영상이 생성될 수 있다. 그리고 저해상도 영상의 AI 업스케일에 관한 연산은 AI 전용 프로세서(2424)에 의하여 수행될 수 있다. 따라서 AI 전용 프로세서(2424)에 의하여, 저해상도 영상이 AI 업스케일된 고해상도 영상이 생성될 수 있다.
프로세서(2420)는 하나의 그래픽 프로세서(2422)를 포함한 것으로 묘사되었지만, 실시 예에 따라, 2개 이상의 그래픽 프로세서(2422)를 포함할 수도 있다. 또한 프로세서(2420)는 하나의 AI 전용 프로세서(2424)를 포함한 것으로 묘사되었지만, 실시 예에 따라, 2개 이상의 AI 전용 프로세서(2424)를 포함할 수도 있다. 또한 프로세서(2420)는 하나 이상의 범용 프로세서를 포함할 수 있다. 그리고 하나 이상의 범용 프로세서에 따라, AI 업스케일에 필요한 부가적인 프로세스가 수행될 수 있다. AI 전용 프로세서(2424)는 하드웨어 FPGA로 구현될 수 있다.
일 실시예에 따른 메모리(2430)는 영상 복호화 장치(2400)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(2430)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 그리고 메모리(2430)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(2420)에 의해 실행될 수 있다. 메모리(2430)는 통신부(2410)와 프로세서(2420)로부터 비롯된 데이터를 저장할 수 있다. 또한 메모리(2430)는 프로세서(2420)가 요구하는 데이터를 프로세서(2420)에 전송할 수 있다.
일 실시예에 따른 영상 복호화 장치(2400)는 도 2 에서 설명한 영상 복호화 장치의 각 기능들 및 도 22에서 설명한 영상 복호화 방법의 각 단계들 중 적어도 하나를 수행할 수 있다.
도 25는 일 실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 25를 참조하면, 일 실시예에 따른 영상 부호화 장치(2500)는 통신부(2510), 프로세서(2520) 및 메모리(2530)를 포함할 수 있다.
일 실시예에 따른 프로세서(2520)는 영상 부호화 장치(2500)를 전반적으로 제어할 수 있다. 일 실시예에 따른 프로세서(2520)는 메모리(2530)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다. 프로세서(2520)는 AI 다운스케일부(612) 및 제1 부호화부(614)의 기능을 수행할 수 있다. 프로세서(2520)는 하나 이상의 범용 프로세서로 구성될 수 있다.
일 실시 예에 따르면, 프로세서(2520)는 그래픽 프로세서(2522)와 AI 전용 프로세서(2524)를 포함할 수 있다. 또한 프로세서는 그래픽 프로세서(2522) 및 AI 전용 프로세서(2524) 중 적어도 하나를 통합한 SoC(System On Chip) 형태로 구현될 수 있다. 프로세서(2522)는 영상 부호화 장치(2500)의 전반적인 동작 및 영상 부호화 장치(2500)의 내부 구성 요소들 사이의 신호 흐름을 제어하고, 데이터를 처리하는 기능을 수행한다.
그래픽 프로세서(2522)는 영상의 부호화 및 후처리에 특화하도록 설계된 프로세서이다. 따라서 그래픽 프로세서(2522)는 제1 부호화부(614)의 저해상도 영상 부호화 기능을 효율적으로 수행할 수 있다. AI 전용 프로세서(2524)는 AI 연산에 특화하도록 설계된 프로세서이다. 따라서 AI 전용 프로세서(2524)는 AI 다운스케일부(612)의 고해상도 영상의 AI 다운스케일 기능을 효율적으로 수행할 수 있다. AI 전용 프로세서(2524)는 하드웨어 FPGA로 구현될 수 있다.
프로세서(2520)에 의하여, 고해상도 영상의 AI 다운스케일과 저해상도 영상의 부호화가 수행된다. 고해상도 영상의 AI 다운스케일을 위한 연산이 AI 전용 프로세서(2524)에 의하여 수행됨으로써, 저해상도 영상이 생성될 수 있다, 그리고 AI 전용 프로세서(2524)에 의하여, 저해상도 영상의 AI 업스케일에 필요한, AI 데이터가 생성될 수 있다. 저해상도 영상의 부호화을 위한 연산은 그래픽 프로세서(2522)에 의하여 수행됨으로써, 영상 데이터가 생성될 수 있다.
통신부(2510)는, 프로세서(2520)의 제어에 따라, AI 데이터와 영상 데이터를 포함하는 AI 부호화 데이터의 단일 파일을 생성할 수 있다. 그리고 통신부(2510)는, 프로세서(2520)의 제어에 따라, AI 부호화 데이터의 단일 파일을 영상 부호화 장치(2500) 외부로 출력할 수 있다. 또는 통신부(2510)는, 프로세서(2520)의 제어에 따라, AI 데이터를 포함하는 파일과 영상 데이터를 포함하는 파일을 각각 생성할 수 있다. 그리고 통신부(2510)는, 프로세서(2520)의 제어에 따라, AI 데이터를 포함하는 파일과 영상 데이터를 포함하는 파일을 각각 영상 부호화 장치(2500) 외부로 출력할 수 있다.
프로세서(2520)는 하나의 그래픽 프로세서(2522)를 포함한 것으로 묘사되었지만, 실시 예에 따라, 2개 이상의 그래픽 프로세서(2522)를 포함할 수도 있다. 또한 프로세서(2520)는 하나의 AI 전용 프로세서(2524)를 포함한 것으로 묘사되었지만, 실시 예에 따라, 2개 이상의 AI 전용 프로세서(2524)를 포함할 수도 있다. 또한 프로세서(2520)는 하나 이상의 범용 프로세서를 포함할 수 있다. 그리고 하나 이상의 범용 프로세서에 따라, AI 업스케일에 필요한 부가적인 프로세스가 수행될 수 있다.
일 실시예에 따른 메모리(2530)는 영상 부호화 장치(2500)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(2530)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(2530)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(2520)에 의해 실행될 수 있다. 메모리(2530)는 원본 영상(105)과 같은 고해상도 영상을 저장할 수 있다. 메모리(2530)는 통신부(2510)와 프로세서(2520)로부터 비롯된 데이터를 저장할 수 있다. 또한 메모리(2530)는 프로세서(2520)가 요구하는 데이터를 프로세서(2520)에 전송할 수 있다.
일 실시예에 따른 영상 부호화 장치(2500)는 도 7 에서 설명한 영상 복호화 장치의 각 기능들 및 도 23에서 설명한 영상 부호화 방법의 각 단계들 중 적어도 하나를 수행할 수 있다.
한편, 상술한 본 개시의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 작성된 프로그램은 매체에 저장될 수 있다.
매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체가 있다.
한편, 상술한 DNN과 관련된 모델은, 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈(예를 들어, 명령어(instruction)를 포함하는 프로그램 모듈)로 구현되는 경우, DNN 모델은 컴퓨터로 읽을 수 있는 판독 가능한 기록매체에 저장될 수 있다.
또한, DNN 모델은 하드웨어 칩 형태로 집적되어 전술한 영상 복호화 장치(200) 또는 영상 부호화 장치(600)의 일부가 될 수도 있다. 예를 들어, DNN 모델은 인공 지능을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예를 들어, CPU 또는 애플리케이션 프로세서) 또는 그래픽 전용 프로세서(예를 들어, GPU)의 일부로 제작될 수도 있다.
또한, DNN 모델은 다운로드 가능한 소프트웨어 형태로 제공될 수도 있다. 컴퓨터 프로그램 제품은 제조사 또는 전자 마켓을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션)을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사 또는 전자 마켓의 서버, 또는 중계 서버의 저장매체가 될 수 있다.
이상, 본 개시의 기술적 사상을 바람직한 실시 예를 들어 상세하게 설명하였으나, 본 개시의 기술적 사상은 상기 실시 예들에 한정되지 않고, 본 개시의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형 및 변경이 가능하다.

Claims (22)

  1. AI 부호화 데이터를 포함하는 비디오 파일이 저장된 컴퓨터로 기록가능한 기록 매체에 있어서,
    상기 AI 부호화 데이터는,
    고해상도 영상을 AI 다운스케일하여 생성된 저해상도 영상의 부호화 정보를 포함하는 영상 데이터; 및
    상기 영상 데이터에 따라 복원된 저해상도 영상의 AI 업스케일에 대한 AI 데이터 포함하고,
    상기 AI 데이터는,
    하나 이상의 프레임에 AI 업스케일이 적용되는지 여부를 나타내는 AI 타겟 데이터; 및
    상기 하나 이상의 프레임에 AI 업스케일이 적용될 경우, 미리 설정된 복수의 디폴트 DNN 설정 정보 중에서, 상기 하나 이상의 프레임의 AI 업스케일에 사용되는 업스케일 DNN 정보에 관한 AI 보조 데이터를 포함하는 것을 특징으로 하는 컴퓨터로 기록가능한 기록 매체.
  2. 제1항에 있어서,
    상기 AI 타겟 데이터는,
    영상 데이터에 포함된 프레임들에 AI 업스케일이 적용되는지 여부를 나타내는 비디오 AI 타겟 데이터;
    비디오 세그먼트에 포함된 프레임들에 AI 업스케일이 적용되는지 여부를 나타내는 비디오 세그먼트 AI 타겟 데이터;
    프레임 그룹에 포함된 프레임들에 AI 업스케일이 적용되는지 여부를 나타내는 프레임 그룹 AI 타겟 데이터; 및
    상기 현재 프레임에 AI 업스케일이 적용되는지 여부를 나타내는 프레임 AI 타겟 데이터 중 적어도 하나를 포함하는 것을 특징으로 하는 컴퓨터로 기록가능한 기록 매체.
  3. 제1항에 있어서,
    상기 AI 보조 데이터는,
    영상 데이터에 포함된 프레임들의 AI 업스케일에 공통적으로 적용되는 하나 이상의 업스케일 DNN 정보에 대한 비디오 AI 보조 데이터;
    비디오 세그먼트에 포함된 프레임들의 AI 업스케일에 공통적으로 적용되는 하나 이상의 업스케일 DNN 정보에 대한 비디오 세그먼트 AI 보조 데이터
    프레임 그룹에 포함된 프레임들의 AI 업스케일에 공통적으로 적용되는 하나 이상의 업스케일 DNN 정보에 대한 프레임 그룹 AI 보조 데이터; 및
    상기 현재 프레임의 AI 업스케일에 적용되는 업스케일 DNN 정보에 대한 프레임 AI 보조 데이터 중 적어도 하나를 포함하는 것을 특징으로 하는 컴퓨터로 기록가능한 기록 매체.
  4. 제1항에 있어서,
    상기 비디오 파일은,
    상기 영상 데이터를 포함하는 미디어데이터 박스; 및
    상기 영상 데이터에 대한 메타 데이터를 포함하는 메타데이터 박스를 포함하고,
    상기 AI 데이터는 메타데이터 박스에 포함된 것을 특징으로 하는 컴퓨터로 기록가능한 기록 매체.
  5. 제4항에 있어서,
    상기 메타데이터 박스는,
    상기 영상 데이터와 상기 AI 데이터의 동기화에 관한 동기화 데이터를 포함하고,
    상기 AI 데이터는,
    상기 동기화 데이터에 기초하여, 상기 영상 데이터의 프레임들의 재생 순서 또는 복호화 순서에 따라, 복호화되도록 설정된 것을 특징으로 하는 컴퓨터로 기록가능한 기록 매체.
  6. 제1항에 있어서,
    상기 AI 데이터는 상기 영상 데이터에 삽입된 것을 특징으로 하고,
    상기 영상 데이터의 AI 업스케일에 대한 비디오 AI 데이터는 상기 영상 데이터의 프레임들에 공통적으로 적용되는 비디오 부호화 파라미터와 함께 복호화되도록 상기 영상 데이터 안에 위치하고,
    상기 현재 프레임이 포함된 현재 비디오 세그먼트의 AI 업스케일에 대한 비디오 세그먼트 AI 데이터는 상기 비디오 세그먼트의 프레임들에 공통적으로 적용되는 비디오 세그먼트 부호화 파라미터와 함께 복호화되도록 상기 영상 데이터 안에 위치하고,
    상기 현재 프레임이 포함된 현재 프레임 그룹의 AI 업스케일에 대한 프레임 그룹 AI 데이터는 상기 프레임 그룹의 프레임들에 공통적으로 적용되는 프레임 그룹 파라미터와 함께 복호화되도록 상기 영상 데이터 안에 위치하고,
    상기 현재 프레임의 AI 업스케일에 대한 프레임 AI 데이터는 상기 현재 프레임의 부호화 정보와 함께 복호화되도록 상기 영상 데이터 안에 위치한 것을 특징으로 하는 컴퓨터로 기록가능한 기록 매체.
  7. 제6항에 있어서,
    상기 영상 데이터는,
    상기 영상 데이터의 비디오 부호화 파라미터를 포함하는 비디오 헤더,
    상기 현재 비디오 세그먼트의 비디오 세그먼트 부호화 파라미터를 포함하는 비디오 세그먼트 헤더,
    상기 현재 프레임 그룹의 프레임 그룹 부호화 파라미터를 포함하는 프레임 그룹 헤더, 및
    상기 현재 프레임의 부호화 정보를 포함하는 프레임 헤더를 포함하고,
    상기 비디오 AI 데이터는 상기 비디오 헤더에 포함되거나 상기 비디오 헤더의 바로 이전 또는 이후에 위치하는 것을 특징으로 하고,
    상기 비디오 세그먼트 AI 데이터는 상기 비디오 세그먼트 헤더에 포함되거나 상기 비디오 세그먼트 헤더의 바로 이전 또는 이후에 위치하는 것을 특징으로 하고,
    상기 프레임 그룹 AI 데이터는 상기 프레임 그룹 헤더에 포함되거나 상기 프레임 그룹 헤더의 바로 이전 또는 이후에 위치하는 것을 특징으로 하고,
    상기 프레임 AI 데이터는 상기 프레임 헤더에 포함되거나, 상기 프레임 헤더의 바로 이전 또는 이후에 위치하는 것을 특징으로 하는 컴퓨터로 기록가능한 기록 매체.
  8. 제1항에 있어서,
    상기 비디오 파일은,
    상기 영상 데이터에 대한 메타 데이터를 포함하는 메타데이터 박스; 및
    상기 AI 부호화 데이터를 소정의 시간을 분할한 상기 복수의 비디오 세그먼트 데이터 박스를 포함하고,
    상기 복수의 비디오 세그먼트는 각각,
    비디오 세그먼트 데이터를 포함하는 세그먼트 미디어데이터 박스; 및
    비디오 세그먼트 데이터에 대한 메타 데이터를 포함하는 세그먼트 메타데이터 박스를 포함하고,
    상기 AI 데이터는,
    상기 영상 데이터의 모든 프레임의 AI 업스케일에 적용되는 비디오 AI 데이터 및 상기 비디오 세그먼트의 모든 프레임의 AI 업스케일에 적용되는 비디오 세그먼트 AI 데이터를 포함하고,
    상기 비디오 AI 데이터는 상기 메타데이터 박스에 포함되고, 상기 비디오 세그먼트 AI 데이터는 상기 세그먼트 메타데이터 박스에 포함된 것을 특징으로 하는 컴퓨터로 기록가능한 기록 매체.
  9. 제3항에 있어서,
    상기 AI 데이터는,
    연속된 이전 비디오 세그먼트와 현재 비디오 세그먼트 간에 비디오 세그먼트 AI 보조 데이터가 동일한지 여부를 나타내는 비디오 세그먼트 AI 보조 데이터 종속 정보,
    연속된 이전 프레임 그룹과 현재 프레임 그룹 간에 프레임 그룹 AI 보조 데이터가 동일한지 여부를 나타내는 프레임 그룹 AI 보조 데이터 종속 정보, 및
    연속된 이전 프레임과 현재 프레임 간에 프레임 AI 보조 데이터가 동일한지 여부를 나타내는 프레임 AI 보조 데이터 종속 정보 중 적어도 하나를 포함하고,
    상기 비디오 세그먼트 AI 보조 데이터 종속 정보가 연속된 이전 비디오 세그먼트와 현재 비디오 세그먼트 간에 비디오 세그먼트 AI 보조 데이터가 동일함을 나타낼 때, 상기 현재 비디오 세그먼트에 대한 상기 비디오 세그먼트 AI 보조 데이터는 상기 AI 데이터로부터 생략되고,
    상기 프레임 그룹 AI 보조 데이터 종속 정보가 연속된 이전 프레임 그룹와 현재 프레임 그룹 간에 프레임 그룹 AI 보조 데이터가 동일함을 나타낼 때, 상기 현재 프레임 그룹에 대한 상기 프레임 그룹 AI 보조 데이터는 상기 AI 데이터로부터 생략되고,
    프레임 AI 보조 데이터 종속 정보가 연속된 이전 프레임과 현재 프레임 간에 프레임 AI 보조 데이터가 동일함을 나타낼 때, 상기 현재 프레임에 대한 상기 프레임 AI 보조 데이터는 상기 AI 데이터로부터 생략되는 것을 특징으로 하는 컴퓨터로 기록가능한 기록 매체.
  10. 제1항에 있어서,
    상기 AI 보조 데이터는,
    AI 업스케일이 적용되는 색 채널을 나타내는 채널 정보;
    상기 저해상도 영상의 비트레이트를 나타내는 목표 비트레이트 정보; 및
    상기 AI 업스케일된 고해상도 영상의 해상도에 관련된 해상도 정보 중 적어도 하나를 포함하는 컴퓨터로 기록가능한 기록 매체.
  11. AI 업스케일을 이용한 비디오 복호화 방법에 있어서,
    영상 데이터와 상기 영상 데이터의 AI 업스케일에 관한 AI 데이터가 포함된 AI 부호화 데이터를 포함하는 비디오 파일을 수신하는 단계;
    상기 비디오 파일의 메타데이터 박스로부터 상기 AI 부호화 데이터의 AI 데이터를 획득하고, 상기 비디오 파일의 미디어데이터 박스로부터, 상기 AI 부호화 데이터의 영상 데이터를 획득하는 단계;
    상기 영상 데이터를 복호화하여, 현재 프레임의 저해상도 영상을 복원하는 단계;
    상기 AI 데이터로부터, 상기 현재 프레임의 업스케일 DNN 정보를 획득하는 단계; 및
    상기 현재 프레임의 업스케일 DNN 정보에 따라, 상기 저해상도 영상을 AI 업스케일함으로써, 상기 저해상도 영상에 대응되는 고해상도 영상을 생성하는 단계를 포함하는 비디오 복호화 방법.
  12. 제11항에 있어서,
    상기 AI 데이터는,
    상기 현재 프레임의 AI 업스케일에 대한 프레임 AI 데이터, 상기 현재 프레임이 포함된 프레임 그룹의 AI 업스케일에 대한 프레임 그룹 AI 데이터, 상기 현재 프레임이 포함된 비디오 세그먼트의 AI 업스케일에 대한 비디오 세그먼트 AI 데이터, 또는 현재 프레임이 포함된 비디오의 AI 업스케일에 대한 비디오 AI 데이터 중 적어도 하나를 포함하는 것을 특징으로 하는 비디오 복호화 방법.
  13. 제11항에 있어서,
    상기 AI 데이터는,
    하나 이상의 프레임들에 AI 업스케일이 적용되는지 여부를 나타내는 AI 타겟 데이터; 및
    상기 하나 이상의 프레임들의 AI 업스케일에 사용되는 업스케일 DNN 정보에 관한 AI 보조 데이터를 포함하고,
    상기 업스케일 DNN 정보를 결정하는 단계는,
    상기 AI 타겟 데이터에 따라, 상기 하나 이상의 프레임들에 AI 업스케일이 적용되는지 여부를 결정하는 단계; 및
    상기 하나 이상의 프레임들에 AI 업스케일이 적용됨이 결정된 경우, 상기 AI 보조 데이터에 따라, 상기 하나 이상의 프레임들에 적용되는 하나 이상의 업스케일 DNN 정보를 결정하는 단계를 포함하는 비디오 복호화 방법.
  14. 제11항에 있어서,
    상기 AI 데이터는,
    상기 저해상도 영상의 비트레이트를 나타내는 목표 비트레이트 정보 및 상기 AI 업스케일된 고해상도 영상의 해상도에 관련된 해상도 정보 중 적어도 하나를 포함하고,
    상기 현재 프레임의 업스케일 DNN 정보를 획득하는 단계는,
    상기 목표 비트레이트 정보 및 상기 해상도 정보 중 적어도 하나에 따라, 복수의 디폴트 DNN 설정 정보로부터 상기 하나 이상의 프레임의 2개 이상의 업스케일 DNN 정보를 획득하는 것을 특징으로 하는 비디오 복호화 방법.
  15. 제11항에 있어서,
    상기 비디오 파일의 메타데이터 박스는,
    상기 영상 데이터와 상기 AI 데이터의 동기화에 대한 동기화 데이터를 포함하고,
    상기 AI 데이터를 획득하는 단계는,
    상기 동기화 데이터가 나타내는 상기 영상 데이터와 상기 AI 데이터의 부호화 순서 또는 재생 순서에 따라, 상기 현재 프레임에 대응되는 상기 AI 데이터를 획득하는 것을 특징으로 하는 비디오 복호화 방법.
  16. AI 다운스케일을 이용한 비디오 부호화 방법에 있어서,
    현재 프레임의 고해상도 영상을 저해상도 영상으로 AI 다운스케일하기 위한, 다운스케일 DNN 정보를 결정하는 단계;
    상기 다운스케일 DNN 정보에 따라, 상기 현재 프레임의 고해상도 영상을 AI 다운스케일함으로써, 상기 현재 프레임의 저해상도 영상을 생성하는 단계;
    상기 현재 프레임의 저해상도 영상의 AI 업스케일에 사용되는, 상기 다운스케일 DNN 정보에 대응되는 업스케일 DNN 정보에 대한, AI 데이터를 생성하는 단계;
    상기 현재 프레임의 저해상도 영상을 부호화함으로써, 영상 데이터를 획득하는 단계;
    상기 영상 데이터와 상기 AI 데이터를 포함하는 AI 부호화 데이터를 생성하는 단계; 및
    상기 AI 부호화 데이터의 영상 데이터가 삽입된 미디어데이터 박스와 상기 AI 부호화 데이터의 AI 데이터가 삽입된 메타데이터 박스를 포함하는 비디오 파일을 출력하는 단계를 포함하는 비디오 부호화 방법.
  17. 제16항에 있어서,
    상기 AI 데이터는,
    상기 현재 프레임의 AI 업스케일에 대한 프레임 AI 데이터, 상기 현재 프레임이 포함된 프레임 그룹의 AI 업스케일에 대한 프레임 그룹 AI 데이터, 상기 현재 프레임이 포함된 비디오 세그먼트의 AI 업스케일에 대한 비디오 세그먼트 AI 데이터, 또는 현재 프레임이 포함된 비디오의 AI 업스케일에 대한 비디오 AI 데이터인 것을 특징으로 하는 비디오 부호화 방법.
  18. 제16항에 있어서,
    상기 AI 데이터는,
    하나 이상의 프레임들에 AI 업스케일이 적용되는지 여부를 나타내는 AI 타겟 데이터; 및
    상기 하나 이상의 프레임들에 AI 업스케일이 적용되는 경우, 상기 하나 이상의 프레임들의 AI 업스케일에 사용되는 업스케일 DNN 정보에 관한 AI 보조 데이터를 포함하고,
    상기 AI 데이터를 결정하는 단계는,
    상기 하나 이상의 프레임들에 AI 업스케일이 적용되는지 여부에 따라, 상기 AI 타겟 데이터를 결정하는 단계; 및
    상기 AI 업스케일이 적용될 상기 하나 이상의 프레임들의 업스케일 DNN 정보에 따라, 상기 AI 보조 데이터를 결정하는 단계를 포함하는 비디오 부호화 방법.
  19. 제16항에 있어서,
    상기 AI 데이터는,
    상기 저해상도 영상의 비트레이트를 나타내는 목표 비트레이트 정보 및 상기 고해상도 영상의 해상도를 나타내는 해상도 정보 중 적어도 하나를 포함하고,
    상기 AI 데이터를 생성하는 단계는,
    상기 목표 비트레이트 정보 및 상기 해상도 정보 중 적어도 하나에 따라, 복수의 디폴트 DNN 설정 정보로부터 하나 이상의 프레임의 2개 이상의 업스케일 DNN 정보를 결정하는 것을 특징으로 하는 비디오 부호화 방법.
  20. 제16항에 있어서,
    상기 비디오 파일의 메타데이터 박스는,
    상기 AI 데이터와 상기 영상 데이터의 동기화에 대한 동기화 데이터를 포함하고,
    상기 AI 데이터를 결정하는 단계는,
    상기 영상 데이터와 상기 AI 데이터의 부호화 순서 또는 재생 순서에 따라, 동기화 데이터를 결정하는 단계를 포함하는 것을 특징으로 하는 비디오 부호화 방법.
  21. AI 업스케일을 이용한 비디오 복호화 방법을 수행하는 비디오 복호화 장치에 있어서,
    영상 데이터와 상기 영상 데이터의 AI 업스케일에 관한 AI 데이터가 포함된 AI 부호화 데이터를 포함하는 비디오 파일을 수신하는 통신부;
    상기 비디오 파일의 메타데이터 박스로부터 상기 AI 부호화 데이터의 AI 데이터를 획득하고, 상기 비디오 파일의 미디어데이터 박스로부터, 상기 AI 부호화 데이터의 영상 데이터를 획득하는 파싱부;
    상기 영상 데이터를 복호화하여, 현재 프레임의 저해상도 영상을 복원하는 제1 복호화부; 및
    상기 AI 데이터로부터, 상기 현재 프레임의 업스케일 DNN 정보를 획득하고, 상기 현재 프레임의 업스케일 DNN 정보에 따라, 상기 저해상도 영상을 AI 업스케일함으로써, 상기 저해상도 영상에 대응되는 고해상도 영상을 생성하는 AI 업스케일부를 포함하는 비디오 복호화 장치.
  22. AI 다운스케일을 이용한 비디오 부호화 방법을 수행하는 비디오 부호화 장치에 있어서,
    현재 프레임의 고해상도 영상을 저해상도 영상으로 AI 다운스케일하기 위한, 다운스케일 DNN 정보를 결정하고, 상기 다운스케일 DNN 정보에 따라, 상기 현재 프레임의 고해상도 영상을 AI 다운스케일함으로써, 상기 현재 프레임의 저해상도 영상을 생성하고, 상기 현재 프레임의 저해상도 영상의 AI 업스케일에 사용되는, AI 데이터를 생성하는 AI 다운스케일부;
    상기 현재 프레임의 저해상도 영상을 부호화함으로써, 영상 데이터를 결정하는 제1 부호화부;
    상기 영상 데이터와 상기 AI 데이터를 포함하는 AI 부호화 데이터를 결정하는 데이터 처리부; 및
    상기 AI 부호화 데이터의 영상 데이터가 삽입된 미디어데이터 박스와 상기 AI 부호화 데이터의 AI 데이터가 삽입된 메타데이터 박스를 포함하는 비디오 파일을 출력하는 통신부를 포함하는 비디오 부호화 장치.
PCT/KR2019/013344 2018-10-19 2019-10-11 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 Ceased WO2020080751A1 (ko)

Priority Applications (6)

Application Number Priority Date Filing Date Title
EP19873762.9A EP3866466A1 (en) 2018-10-19 2019-10-11 Encoding method and apparatus thereof, and decoding method and apparatus thereof
CN201980068908.7A CN112889283B (zh) 2018-10-19 2019-10-11 编码方法及其设备以及解码方法及其设备
US16/743,613 US10819992B2 (en) 2018-10-19 2020-01-15 Methods and apparatuses for performing encoding and decoding on image
US16/860,563 US10819993B2 (en) 2018-10-19 2020-04-28 Methods and apparatuses for performing encoding and decoding on image
US17/080,827 US11190782B2 (en) 2018-10-19 2020-10-26 Methods and apparatuses for performing encoding and decoding on image
US17/498,859 US11647210B2 (en) 2018-10-19 2021-10-12 Methods and apparatuses for performing encoding and decoding on image

Applications Claiming Priority (6)

Application Number Priority Date Filing Date Title
KR20180125406 2018-10-19
KR10-2018-0125406 2018-10-19
KR20190041111 2019-04-08
KR10-2019-0041111 2019-04-08
KR10-2019-0076569 2019-06-26
KR1020190076569A KR102525578B1 (ko) 2018-10-19 2019-06-26 부호화 방법 및 그 장치, 복호화 방법 및 그 장치

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US16/743,613 Continuation US10819992B2 (en) 2018-10-19 2020-01-15 Methods and apparatuses for performing encoding and decoding on image

Publications (1)

Publication Number Publication Date
WO2020080751A1 true WO2020080751A1 (ko) 2020-04-23

Family

ID=70283518

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KR2019/013344 Ceased WO2020080751A1 (ko) 2018-10-19 2019-10-11 부호화 방법 및 그 장치, 복호화 방법 및 그 장치

Country Status (1)

Country Link
WO (1) WO2020080751A1 (ko)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153387A (zh) * 2020-08-28 2020-12-29 山东云海国创云计算装备产业创新中心有限公司 一种ai视频解码系统
WO2022124546A1 (ko) * 2020-12-09 2022-06-16 삼성전자 주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
US20220385914A1 (en) * 2021-05-27 2022-12-01 Samsung Electronics Co., Ltd. Methods and apparatus for processing of high-resolution video content
US12073595B2 (en) 2020-12-09 2024-08-27 Samsung Electronics Co., Ltd. AI encoding apparatus and operation method of the same, and AI decoding apparatus and operation method of the same

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
US20170347061A1 (en) * 2015-02-19 2017-11-30 Magic Pony Technology Limited Machine Learning for Visual Processing
KR101885855B1 (ko) * 2017-03-30 2018-08-07 단국대학교 산학협력단 고해상도 추정 기법을 활용한 영상 신호 전송
KR20180100976A (ko) * 2017-03-03 2018-09-12 한국전자통신연구원 딥 신경망 기반 블러 영상 학습을 이용한 영상 부호화/복호화 방법 및 장치
KR20180108288A (ko) * 2017-03-24 2018-10-04 주식회사 엔씨소프트 영상 압축 장치 및 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
US20170347061A1 (en) * 2015-02-19 2017-11-30 Magic Pony Technology Limited Machine Learning for Visual Processing
KR20180100976A (ko) * 2017-03-03 2018-09-12 한국전자통신연구원 딥 신경망 기반 블러 영상 학습을 이용한 영상 부호화/복호화 방법 및 장치
KR20180108288A (ko) * 2017-03-24 2018-10-04 주식회사 엔씨소프트 영상 압축 장치 및 방법
KR101885855B1 (ko) * 2017-03-30 2018-08-07 단국대학교 산학협력단 고해상도 추정 기법을 활용한 영상 신호 전송

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3866466A4 *

Cited By (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112153387A (zh) * 2020-08-28 2020-12-29 山东云海国创云计算装备产业创新中心有限公司 一种ai视频解码系统
WO2022124546A1 (ko) * 2020-12-09 2022-06-16 삼성전자 주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
KR20220081648A (ko) * 2020-12-09 2022-06-16 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
US12073595B2 (en) 2020-12-09 2024-08-27 Samsung Electronics Co., Ltd. AI encoding apparatus and operation method of the same, and AI decoding apparatus and operation method of the same
KR102853858B1 (ko) * 2020-12-09 2025-09-01 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
US20220385914A1 (en) * 2021-05-27 2022-12-01 Samsung Electronics Co., Ltd. Methods and apparatus for processing of high-resolution video content
US12526423B2 (en) * 2021-05-27 2026-01-13 Samsung Electronics Co., Ltd. Methods and apparatus for processing of high-resolution video content

Similar Documents

Publication Publication Date Title
WO2021086016A2 (en) Apparatus and method for performing artificial intelligence (ai) encoding and ai decoding on image
WO2020246756A1 (en) Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080765A1 (en) Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080827A1 (en) Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
WO2020080873A1 (en) Method and apparatus for streaming data
EP3868096A1 (en) Artificial intelligence encoding and artificial intelligence decoding methods and apparatuses using deep neural network
WO2021251611A1 (en) Apparatus and method for performing artificial intelligence encoding and decoding on image by using low-complexity neural network
WO2021242066A1 (en) Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080698A1 (ko) 영상의 주관적 품질을 평가하는 방법 및 장치
WO2020080665A1 (en) Methods and apparatuses for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2020080782A1 (en) Artificial intelligence (ai) encoding device and operating method thereof and ai decoding device and operating method thereof
WO2021086032A1 (en) Image encoding method and apparatus and image decoding method and apparatus
EP3811618A1 (en) Method and apparatus for streaming data
WO2021033867A1 (en) Decoding apparatus and operating method of the same, and artificial intelligence (ai) up-scaling apparatus and operating method of the same
WO2022098207A1 (ko) 인공지능 부호화 및 인공지능 복호화를 수행하기 위한 방법 및 장치
WO2021251658A1 (en) Method and apparatus for adaptive artificial intelligence downscaling for upscaling during video telephone call
WO2021172834A1 (en) Apparatus and method for performing artificial intelligence encoding and artificial intelligence decoding on image by using pre-processing
WO2021054697A1 (ko) 영상의 ａｉ 부호화 방법 및 장치, 영상의 ａｉ 복호화 방법 및 장치
WO2021162446A1 (en) Method and apparatus for streaming vr image
WO2020080751A1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
EP3811617A1 (en) Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
WO2022097921A1 (ko) 영상 내 관심 오브젝트 영역을 위한 ai 부호화 장치 및 방법, 및 ai 복호화 장치 및 방법
EP3868097A1 (en) Artificial intelligence (ai) encoding device and operating method thereof and ai decoding device and operating method thereof
WO2021091178A1 (en) Artificial intelligence (ai) encoding apparatus and operating method thereof and ai decoding apparatus and operating method thereof
EP3811619A1 (en) Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 19873762

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2019873762

Country of ref document: EP

Effective date: 20210519

WWG Wipo information: grant in national office

Ref document number: 201980068908.7

Country of ref document: CN

WWG Wipo information: grant in national office

Ref document number: 202117022187

Country of ref document: IN