KR20200044665A - 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 - Google Patents

부호화 방법 및 그 장치, 복호화 방법 및 그 장치 Download PDF

Info

Publication number
KR20200044665A
KR20200044665A KR1020190076569A KR20190076569A KR20200044665A KR 20200044665 A KR20200044665 A KR 20200044665A KR 1020190076569 A KR1020190076569 A KR 1020190076569A KR 20190076569 A KR20190076569 A KR 20190076569A KR 20200044665 A KR20200044665 A KR 20200044665A
Authority
KR
South Korea
Prior art keywords
image
information
codec
dnn
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190076569A
Other languages
English (en)
Other versions
KR102525578B1 (ko
Inventor
박필규
박영오
이종석
손유미
엄명진
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Priority to CN201980068908.7A priority Critical patent/CN112889283B/zh
Priority to PCT/KR2019/013344 priority patent/WO2020080751A1/ko
Priority to EP19873762.9A priority patent/EP3866466A1/en
Priority to US16/743,613 priority patent/US10819992B2/en
Priority to US16/860,563 priority patent/US10819993B2/en
Publication of KR20200044665A publication Critical patent/KR20200044665A/ko
Priority to US17/080,827 priority patent/US11190782B2/en
Priority to US17/498,859 priority patent/US11647210B2/en
Application granted granted Critical
Publication of KR102525578B1 publication Critical patent/KR102525578B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/102—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or selection affected or controlled by the adaptive coding
    • H04N19/132—Sampling, masking or truncation of coding units, e.g. adaptive resampling, frame skipping, frame interpolation or high-frequency transform coefficient masking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/30—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using hierarchical techniques, e.g. scalability
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G06N3/0455—Auto-encoder networks; Encoder-decoder networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/134—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the element, parameter or criterion affecting or controlling the adaptive coding
    • H04N19/146—Data rate or code amount at the encoder output
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/17—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object
    • H04N19/172—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being an image region, e.g. an object the region being a picture, frame or field
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/182—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being a pixel
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/10—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding
    • H04N19/169—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding
    • H04N19/184—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using adaptive coding characterised by the coding unit, i.e. the structural portion or semantic portion of the video signal being the object or the subject of the adaptive coding the unit being bits, e.g. of the compressed video stream
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/42—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by implementation details or hardware specially adapted for video compression or decompression, e.g. dedicated software implementation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/50—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding
    • H04N19/59—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using predictive coding involving spatial sub-sampling or interpolation, e.g. alteration of picture size or resolution
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/70—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals characterised by syntax aspects related to video coding, e.g. related to compression standards
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N19/00—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals
    • H04N19/85—Methods or arrangements for coding, decoding, compressing or decompressing digital video signals using pre-processing or post-processing specially adapted for video compression
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Multimedia (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Mathematical Physics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Biophysics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Compression Or Coding Systems Of Tv Signals (AREA)
  • Image Processing (AREA)

Abstract

원본 영상의 AI 다운스케일이 허용되는지 여부에 따라, 원본 영상이 AI 다운스케일된 제1 영상에 대응되는 제2 영상에 DNN(Deep Neural Network)을 통한 AI 업스케일이 허용되는지 여부를 나타내는 AI 코덱 타겟 데이터를 생성하는 단계, 및 AI 코덱 타겟 데이터가 제2 영상에 DNN을 통한 AI 업스케일이 허용됨을 나타낼 때, 원본 영상의 AI 다운스케일에 관한 정보에 따라, 제2 영상의 AI 업스케일에 필요한 AI 코덱 보조 데이터를 생성하는 단계, 원본 영상의 AI 다운스케일에 관련된 정보에 기초하여, DNN을 통해 원본 영상을 AI 다운스케일함으로써, 제1 영상을 생성하는 단계, 및 제1 영상을 부호화하여, 영상 데이터를 생성하는 단계를 포함하는 영상 부호화 방법이 제공된다.

Description

부호화 방법 및 그 장치, 복호화 방법 및 그 장치 {Method and Apparatus for video encoding and Method and Apparatus for video decoding}
본 개시는 영상 처리 분야에 관한 것이다. 보다 구체적으로, 본 개시는 딥 뉴럴 네트워크(Deep Neural Network)를 이용하여 영상을 부호화 및 복호화하는 장치 및 방법에 관한 것이다.
영상은 소정의 데이터 압축 표준, 예를 들어 MPEG (Moving Picture Expert Group) 표준 등을 따르는 코덱(codec)에 의해 부호화된 후 비트스트림의 형태로 기록매체에 저장되거나 통신 채널을 통해 전송된다.
고해상도/고화질의 영상을 재생, 저장할 수 있는 하드웨어의 개발 및 보급에 따라, 고해상도/고화질의 영상을 효과적으로 부호화 및 복호화할 수 있는 코덱의 필요성이 증대하고 있다.
일 실시예에 따른 영상의 부호화 및 복호화 방법, 및 장치는 DNN(Deep Neural Network)를 이용하여 낮은 비트레이트로 영상을 부호화 및 복호화하는 것을 기술적 과제로 한다.
더불어 본 개시의 일 실시 예에 따른 영상 부호화 방법 및 영상 복호화 방법을 컴퓨터에서 실행시키기 위한 프로그램을 기록한 컴퓨터로 읽을 수 있는 기록매체가 개시된다.
본 개시에 있어서, 원본 영상의 AI 다운스케일이 허용되는지 여부에 따라, 상기 원본 영상이 AI 다운스케일된 제1 영상에 대응되는 제2 영상에 DNN(Deep Neural Network)을 통한 AI 업스케일이 허용되는지 여부를 나타내는 AI 코덱 타겟 데이터를 생성하는 단계, 및, 상기 AI 코덱 타겟 데이터가 상기 제2 영상에 상기 DNN을 통한 AI 업스케일이 허용됨을 나타낼 때, 상기 원본 영상의 AI 다운스케일에 관한 정보에 따라, 상기 제2 영상의 AI 업스케일에 필요한 AI 코덱 보조 데이터를 생성하는 단계, 상기 원본 영상의 AI 다운스케일에 관련된 정보에 기초하여, 상기 DNN을 통해 상기 원본 영상을 AI 다운스케일함으로써, 상기 제1 영상을 생성하는 단계, 및 상기 제1 영상을 부호화하여, 영상 데이터를 생성하는 단계를 포함하는 영상 부호화 방법이 제공된다.
본 개시에 있어서, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 상기 프로세서는, 원본 영상의 AI 다운스케일이 허용되는지 여부에 따라, 상기 원본 영상이 AI 다운스케일된 제1 영상에 대응되는 제2 영상에 DNN을 통한 AI 업스케일이 허용되는지 여부를 나타내는 AI 코덱 타겟 데이터를 생성하고, 상기 AI 코덱 타겟 데이터가 상기 제2 영상에 상기 DNN을 통한 AI 업스케일이 허용됨을 나타낼 때, 상기 원본 영상의 AI 다운스케일에 관한 정보에 따라, 상기 제2 영상의 AI 업스케일에 필요한 AI 코덱 보조 데이터를 생성하고, 상기 원본 영상의 AI 다운스케일에 관련된 정보에 기초하여, 상기 DNN을 통해 상기 원본 영상을 AI 다운스케일함으로써, 상기 제1 영상을 생성하고, 상기 제1 영상을 부호화하여, 영상 데이터를 생성하는 것을 특징으로 하는 영상 부호화 장치가 제공된다.
본 개시에 있어서, 영상 데이터에 기초하여 현재 프레임의 제2 영상을 제1 복호화하는 단계, 상기 제2 영상에 DNN(Deep Neural Network)을 통한 AI 업스케일이 허용되는지 여부를 나타내는 AI 코덱 타겟 데이터를 획득하는 단계, 및 상기 AI 코덱 타겟 데이터가 상기 제2 영상에 DNN을 통한 AI 업스케일이 허용됨을 나타낼 때, 상기 제2 영상의 AI 업스케일에 필요한 AI 코덱 보조 데이터를 획득하는 단계, 상기 AI 코덱 보조 데이터에 기초하여 상기 DNN을 통해 상기 제2 영상을 AI 업스케일하여, 상기 현재 프레임의 제3 영상을 생성하는 단계를 포함하는 영상 복호화 방법이 제공된다.
본 개시에 있어서, 하나 이상의 인스트럭션들을 저장하는 메모리, 및 상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고, 상기 프로세서는, 영상 데이터에 기초하여 현재 프레임의 제2 영상을 제1 복호화하고, 상기 제2 영상에 DNN(Deep Neural Network)을 통한 AI 업스케일이 허용되는지 여부를 나타내는 AI 코덱 타겟 데이터를 획득하고, 상기 AI 코덱 타겟 데이터가 상기 영상에 DNN을 통한 AI 업스케일이 허용됨을 나타낼 때, 상기 제2 영상의 AI 업스케일에 필요한 AI 코덱 보조 데이터를 획득하고, 상기 AI 코덱 보조 데이터에 기초하여 상기 DNN을 통해 상기 제2 영상을 AI 업스케일하여, 상기 현재 프레임의 제3 영상을 획득하는 것을 특징으로 하는 영상 복호화 장치가 제공된다.
본 개시에 있어서, 영상 정보가 저장된 컴퓨터로 기록가능한 기록 매체에 있어서, 상기 영상 관련 정보는 영상 데이터와 AI데이터를 포함하고, 상기 영상 데이터는 제2 영상의 부호화 정보를 포함하고, 상기 AI데이터는 AI 코덱 타겟 데이터와 AI코덱 보조 데이터를 포함하고, 상기 AI 코덱 타겟 데이터는, 상기 영상 데이터로부터 생성된 제2 영상에 DNN(Deep Neural Network)을 통한 AI 업스케일이 허용되는지 여부를 나타내고, 상기 AI 코덱 보조 데이터는, 상기 AI코덱 타겟 정보에 따라 상기 제1 복호화된 제2영상에 DNN을 통한 AI 업스케일이 허용됨을 나타낼 때, 상기 제2 영상의 AI 업스케일에 따른 제3 영상의 생성에 관한 정보를 나타내는 것을 특징으로 하는 컴퓨터로 기록가능한 기록 매체가 제공된다.
본 실시 예가 이루고자 하는 기술적 과제는 상기된 바와 같은 기술적 과제들로 한정되지 않으며, 이하의 실시 예들로부터 또 다른 기술적 과제들이 유추될 수 있다.
본 실시 예에서, DNN에 따른 저해상도 이미지의 업스케일에 필요한 AI 코덱 타겟 데이터를 획득하는 다양한 방법이 제공된다. AI 코덱 타겟 데이터의 효율적인 전송으로 인하여 영상의 압축률 및 화질이 개선될 수 있다.
본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
도 1은 일 실시예에 따른 AI 부호화 과정 및 AI 복호화 과정을 설명하기 위한 도면이다.
도 2는 일 실시예에 따른 AI 복호화 장치의 구성을 나타내는 블록도이다.
도 3은 제 2 영상의 AI 업스케일을 위한 제 2 DNN을 나타내는 예시적인 도면이다.
도 4는 컨볼루션 레이어에 의한 컨볼루션 연산을 설명하기 위한 도면이다.
도 5는 여러 영상 관련 정보들과 여러 파라미터 세트들 사이의 매핑 관계를 나타내는 예시적인 도면이다.
도 6은 복수의 프레임으로 구성된 제 2 영상을 도시하는 도면이다.도 7은 일 실시예에 따른 AI 부호화 장치의 구성을 나타내는 블록도이다.
도 8은 원본 영상의 AI 다운스케일을 위한 제 1 DNN을 나타내는 예시적인 도면이다.
도 9은 제 1 DNN 및 제 2 DNN을 훈련시키는 방법을 설명하기 위한 도면이다.
도 10는 AI 복호화 미지원 디바이스와 AI 복호화 지원 디바이스의 비디오 파일 복호화 과정을 나타낸다.
도 11는 영상 데이터와 AI 데이터를 제공하는 서버와 상기 미디어 데이터를 제공받는 클라이언트 간의 데이터 송수신 프로세스를 나타낸다.
도 12a는 비디오 파일의 헤더의 메타데이터에 포함된 AI 데이터를 나타낸다.
도 12b는 세그먼트의 헤더의 메타데이터에 포함된 AI 데이터를 나타낸다.
도 13는 현재 시퀀스에 대한 AI 코덱 시퀀스 신택스 테이블을 나타낸다.
도 14은 현재 프레임에 대한 AI 코덱 프레임 신택스 테이블을 나타낸다.
도 15은 AI 코덱에 따른 AI 복호화를 수행하는 영상 복호화 방법의 순서도이다.
도 16는 AI 코덱에 따른 AI 부호화를 수행하는 영상 부호화 방법의 순서도이다.
도 17은 일 실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 18은 일 실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
본 명세서에서 인용되는 도면을 보다 충분히 이해하기 위하여 각 도면의 간단한 설명이 제공된다.
본 개시는 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고, 이를 상세한 설명을 통해 상세히 설명하고자 한다. 그러나, 이는 본 개시의 실시 형태에 대해 한정하려는 것이 아니며, 본 개시는 여러 실시예들의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
실시예를 설명함에 있어서, 관련된 공지 기술에 대한 구체적인 설명이 본 개시의 요지를 불필요하게 흐릴 수 있다고 판단되는 경우 그 상세한 설명을 생략한다. 또한, 명세서의 설명 과정에서 이용되는 숫자(예를 들어, 제 1, 제 2 등)는 하나의 구성요소를 다른 구성요소와 구분하기 위한 식별기호에 불과하다.
또한, 본 명세서에서, 일 구성요소가 다른 구성요소와 "연결된다" 거나 "접속된다" 등으로 언급된 때에는, 상기 일 구성요소가 상기 다른 구성요소와 직접 연결되거나 또는 직접 접속될 수도 있지만, 특별히 반대되는 기재가 존재하지 않는 이상, 중간에 또 다른 구성요소를 매개하여 연결되거나 또는 접속될 수도 있다고 이해되어야 할 것이다.
또한, 본 명세서에서 '~부(유닛)', '모듈' 등으로 표현되는 구성요소는 2개 이상의 구성요소가 하나의 구성요소로 합쳐지거나 또는 하나의 구성요소가 보다 세분화된 기능별로 2개 이상으로 분화될 수도 있다. 또한, 이하에서 설명할 구성요소 각각은 자신이 담당하는 주기능 이외에도 다른 구성요소가 담당하는 기능 중 일부 또는 전부의 기능을 추가적으로 수행할 수도 있으며, 구성요소 각각이 담당하는 주기능 중 일부 기능이 다른 구성요소에 의해 전담되어 수행될 수도 있음은 물론이다.
또한, 본 명세서에서, '영상(image)' 또는 '픽처'는 비디오의 정지영상, 복수의 연속된 정지영상(또는 프레임)으로 구성된 동영상, 또는 비디오를 나타낼 수 있다.
또한, 본 명세서에서 'DNN(deep neural network)의 파라미터'는 뉴럴 네트워크를 이루는 각 레이어의 연산 과정에서 이용되는 값으로서 예를 들어, 입력 값을 소정 연산식에 적용할 때 이용되는 가중치를 포함할 수 있다. 또한, 파라미터는 매트릭스 형태로 표현될 수 있다. 파라미터는 훈련의 결과로 설정되는 값으로서, 필요에 따라 별도의 훈련 데이터(training data)를 통해 갱신될 수 있다.
또한, 본 명세서에서 '제 1 DNN'은 영상의 AI 다운스케일을 위해 이용되는 DNN을 의미하고, '제 2 DNN'은 영상의 AI 업스케일을 위해 이용되는 DNN을 의미한다.
또한, 본 명세서에서 '원본 영상'은 AI 부호화의 대상이 되는 영상을 의미하고, '제 1 영상'은 AI 부호화 과정에서 원본 영상의 AI 다운스케일 결과 생성된 영상을 의미한다. 또한, '제 2 영상'은 AI 복호화 과정에서 제 1 복호화를 통해 생성된 영상을 의미하고, '제 3 영상'은 AI 복호화 과정에서 제 2 영상을 AI 업스케일하여 생성된 영상을 의미한다.
또한, 본 명세서에서 'AI 다운스케일'은 AI 기반으로 영상의 해상도를 감소시키는 처리를 의미하고, '제 1 부호화'는 주파수 변환 기반의 영상 압축 방법에 의한 부호화 처리를 의미한다. 또한, '제 1 복호화'는 주파수 변환 기반의 영상 복원 방법에 의한 복호화 처리를 의미하고, 'AI 업스케일'은 AI 기반으로 영상의 해상도를 증가시키는 처리를 의미한다.
도 1은 일 실시예에 따른 AI(artificial intelligence) 부호화 과정 및 AI 복호화 과정을 설명하기 위한 도면이다.
전술한 바와 같이 영상의 해상도가 급격히 커짐에 따라 부호화/복호화를 위한 정보 처리량이 많아지게 되고, 이에 따라 영상의 부호화 및 복호화 효율을 향상시키기 위한 방안이 필요하다.
도 1에 도시된 바와 같이, 본 개시의 일 실시예에 따르면, 해상도가 큰 원본 영상(105)을 AI 다운스케일(110)하여 제 1 영상(115)을 생성한다. 그리고, 상대적으로 작은 해상도의 제 1 영상(115)을 대상으로 하여 제 1 부호화(120) 및 제 1 복호화(130)를 수행하므로, 원본 영상(105)을 대상으로 하여 제 1 부호화(120) 및 제 1 복호화(130)를 수행하는 경우에 비해 처리되는 비트레이트를 크게 감소시킬 수 있다.
도 1을 참조하여 상세히 설명하면, 일 실시예는 AI 부호화 과정에서, 원본 영상(105)을 AI 다운스케일(110)하여 제 1 영상(115)을 생성하고, 제 1 영상(115)을 제 1 부호화(120)한다. AI 복호화 과정에서는, AI 부호화 결과 생성된 AI 데이터와 영상 데이터를 포함하는 AI 부호화 데이터를 수신하고, 제 1 복호화(130)를 통해 제 2 영상(135)을 생성하고, 제 2 영상(135)을 AI 업스케일(140)하여 제 3 영상(145)을 생성한다.
AI 부호화 과정을 좀 더 상세히 살펴보면, 원본 영상(105)을 입력받으면, 소정 해상도 또는 소정 화질의 제 1 영상(115)을 생성하기 위해 원본 영상(105)을 AI 다운스케일(110)한다. 이때, AI 다운스케일(110)은 AI 기반으로 수행되는데, AI 다운스케일(110)을 위한 AI는 제 2 영상(135)의 AI 업스케일(140)을 위한 AI와 연계되어 훈련되어야(trained connectively) 한다. 왜냐하면, AI 다운스케일(110)을 위한 AI와 AI 업스케일(140)을 위한 AI가 분리되어 훈련되는 경우, AI 부호화 대상인 원본 영상(105)과 AI 복호화를 통해 복원된 제 3 영상(145) 사이의 차이가 커지게 되기 때문이다.
본 개시의 실시예에서는, AI 부호화 과정과 AI 복호화 과정에서 이러한 연계 관계를 유지하기 위해, AI 데이터를 이용할 수 있다. 따라서, AI 부호화 과정을 통해 생성된 AI 데이터는 업스케일 타겟을 나타내는 정보를 포함하여야 하고, AI 복호화 과정에서는 AI 데이터에 기초하여 확인되는 업스케일 타겟에 따라 제 2 영상(135)을 AI 업스케일(140)하여야 한다.
AI 다운스케일(110)을 위한 AI 및 AI 업스케일(140)을 위한 AI는 DNN(deep neural network)으로 구현될 수 있다. 도 9를 참조하여 후술하는 바와 같이, 제 1 DNN과 제 2 DNN은 소정 타겟 하에 손실 정보의 공유를 통해 연계 훈련되므로, AI 부호화 장치는 제 1 DNN과 2 DNN이 연계 훈련할 때 이용된 타겟 정보를 AI 복호화 장치로 제공하고, AI 복호화 장치는 제공받은 타겟 정보에 기초하여 제 2 영상(135)을 타겟하는 해상도로 AI 업스케일(140)할 수 있다.
도 1에 도시된 제 1 부호화(120) 및 제 1 복호화(130)에 대해 상세히 설명하면, 원본 영상(105)으로부터 AI 다운스케일(110)된 제 1 영상(115)은 제 1 부호화(120)를 통해 정보량이 감축될 수 있다. 제 1 부호화(120)는, 제 1 영상(115)을 예측하여 예측 데이터를 생성하는 과정, 제 1 영상(115)과 예측 데이터 사이의 차이에 해당하는 잔차 데이터를 생성하는 과정, 공간 영역 성분인 잔차 데이터를 주파수 영역 성분으로 변환(transformation)하는 과정, 주파수 영역 성분으로 변환된 잔차 데이터를 양자화(quantization)하는 과정 및 양자화된 잔차 데이터를 엔트로피 부호화하는 과정 등을 포함할 수 있다. 이와 같은 제 1 부호화 과정(120)은 MPEG-2, H.264 AVC(Advanced Video Coding), MPEG-4, HEVC(High Efficiency Video Coding), VC-1, VP8, VP9 및 AV1(AOMedia Video 1) 등 주파수 변환을 이용한 영상 압축 방법 중의 하나를 통해 구현될 수 있다.
제 1 영상(115)에 대응하는 제 2 영상(135)은 영상 데이터의 제 1 복호화(130)를 통해 복원될 수 있다. 제 1 복호화(130)는, 영상 데이터를 엔트로피 복호화하여 양자화된 잔차 데이터를 생성하는 과정, 양자화된 잔차 데이터를 역양자화하는 과정, 주파수 영역 성분의 잔차 데이터를 공간 영역 성분으로 변환하는 과정, 예측 데이터를 생성하는 과정 및 예측 데이터와 잔차 데이터를 이용하여 제 2 영상(135)을 복원하는 과정 등을 포함할 수 있다. 이와 같은 제 1 복호화(130) 과정은 제 1 부호화(120) 과정에서 사용된 MPEG-2, H.264, MPEG-4, HEVC, VC-1, VP8, VP9 및 AV1 등 주파수 변환을 이용한 영상 압축 방법 중의 하나에 대응되는 영상 복원 방법을 통해 구현될 수 있다.
AI 부호화 과정을 통해 생성된 AI 부호화 데이터는, 제 1 영상(115)의 제 1 부호화(120) 결과 생성된 영상 데이터 및 원본 영상(105)의 AI 다운스케일(110)과 관련된 AI 데이터를 포함할 수 있다. 영상 데이터는 제 1 복호화(130) 과정에서 이용될 수 있으며, AI 데이터는 AI 업스케일(140) 과정에서 이용될 수 있다.
영상 데이터는 비트스트림 형태로 전송될 수 있다. 영상 데이터는 제 1 영상(115) 내 픽셀 값들에 기초하여 생성되는 데이터, 예를 들어, 제 1 영상(115)과 제 1 영상(115)의 예측 데이터 사이의 차이인 잔차 데이터를 포함할 수 있다. 또한, 영상 데이터는 제 1 영상(115)의 제 1 부호화(120) 과정에서 이용된 정보들을 포함한다. 예를 들어, 영상 데이터는 제 1 영상(115)을 제 1 부호화(120)하는데 이용된 모드(mode) 정보(예를 들어, 예측 모드 정보, 움직임 정보 등) 및 제 1 부호화(120)에서 이용된 양자화 파라미터 관련 정보 등을 포함할 수 있다. 영상 데이터는 MPEG-2, H.264 AVC, MPEG-4, HEVC, VC-1, VP8, VP9 및 AV1 등 주파수 변환을 이용하는 영상 압축 방법 중 제 1 부호화(120) 과정에서 이용된 영상 압축 방법의 규칙, 예를 들어, 신택스(syntax)에 따라 생성될 수 있다.
AI 데이터는 제 2 DNN에 기반한 AI 업스케일(140)에 이용된다. 전술한 바와 같이, 제 1 DNN과 제 2 DNN은 연계 훈련되기 때문에, AI 데이터는 제 2 DNN을 통한 제 2 영상(135)의 정확한 AI 업스케일(140)이 수행될 수 있게 하는 정보를 포함한다. AI 복호화 과정에서는 AI 데이터에 기반하여 제 2 영상(135)을 타겟하는 해상도 및 화질로 AI 업스케일(140)할 수 있다.
AI 데이터는 비트스트림의 형태로 영상 데이터와 함께 전송될 수 있다. 또는, 구현예에 따라, AI 데이터는 프레임이나 패킷 형태로 영상 데이터와 구분되어 전송될 수도 있다. AI 부호화 결과 생성된 영상 데이터와 AI 데이터는 동일한 네트워크 또는 서로 상이한 네트워크를 통해 전송될 수 있다.
도 2는 일 실시예에 따른 AI 복호화 장치(200)의 구성을 도시하는 블록도이다.
도 2를 참조하면, 일 실시예에 따른 AI 복호화 장치(200)는 수신부(210) 및 AI 복호화부(230)를 포함할 수 있다. 수신부(210)는 통신부(212), 파싱부(214) 및 출력부(216)를 포함할 수 있다. AI 복호화부(230)는 제 1 복호화부(232) 및 AI 업스케일부(234)를 포함할 수 있다.
수신부(210)는 AI 부호화 결과 생성된 AI 부호화 데이터를 수신 및 파싱하고, 영상 데이터와 AI 데이터를 구분하여 AI 복호화부(230)로 출력한다.
구체적으로, 통신부(212)는 네트워크를 통해 AI 부호화 결과 생성된 AI 부호화 데이터를 수신한다. AI 부호화 결과 생성된 AI 부호화 데이터는 영상 데이터와 AI 데이터를 포함한다. 영상 데이터와 AI 데이터는 동종 네트워크 또는 이종 네트워크를 통해 수신될 수 있다.
파싱부(214)는 통신부(212)를 통해 수신된 AI 부호화 데이터를 전달받아 파싱(parsing)하여 영상 데이터와 AI 데이터로 구분한다. 예를 들어, 통신부(212)로부터 획득된 데이터의 헤더를 읽어, 해당 데이터가 영상 데이터인지 또는 AI 데이터인지를 구분할 수 있다. 일 예에서, 파싱부(214)는 통신부(212)를 통해 수신된 데이터의 헤더를 통해 영상 데이터와 AI 데이터를 구분하여 출력부(216)로 전달하고, 출력부(216)는 각각의 구분된 데이터를 제 1 복호화부(232) 및 AI 업스케일부(234)로 전달한다. 이 때, AI 부호화 데이터에 포함된 영상 데이터가 소정의 코덱(예를 들어, MPEG-2, H.264, MPEG-4, HEVC, VC-1, VP8, VP9 또는 AV1)을 통해 생성된 영상 데이터인 것으로 확인할 수도 있다. 이 경우, 영상 데이터가 상기 확인된 코덱으로 처리될 수 있도록, 출력부(216)를 통해 해당 정보를 제 1 복호화부(232)로 전달할 수 있다.
일 실시예에서, 파싱부(214)가 파싱하는 AI 부호화 데이터는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium) 등을 포함하는 데이터 저장 매체로부터 획득된 것일 수도 있다.
제 1 복호화부(232)는 영상 데이터에 기초하여 제 1 영상(115)에 대응하는 제 2 영상(135)을 복원한다. 제 1 복호화부(232)에 의해 생성된 제 2 영상(135)은 AI 업스케일부(234)로 제공된다. 구현예에 따라서는, 영상 데이터에 포함된 모드 정보(예를 들어, 예측 모드 정보, 움직임 정보 등), 양자화 파라미터 정보 등의 제 1 복호화 관련 정보가 AI 업스케일부(234)로 더 제공될 수 있다.
AI 데이터를 수신한 AI 업스케일부(234)는 AI 데이터에 기초하여 제 2 영상(135)을 AI 업스케일한다. 구현예에 따라서는, 영상 데이터에 포함된 모드 정보, 양자화 파라미터 정보 등의 제 1 복호화 관련 정보를 더 이용하여 AI 업스케일 할 수 있다.
일 실시예에 따른 수신부(210) 및 AI 복호화부(230)는 개별적인 장치로 설명되었으나, 하나의 프로세서를 통해 구현될 수 있다. 이 경우, 전용 프로세서로 구현될 수도 있고, AP 또는 CPU, GPU와 같은 범용 프로세서와 S/W의 조합을 통해 구현될 수도 있다. 또한, 전용 프로세서의 경우, 본 개시의 실시예를 구현하기 위한 메모리를 포함하여 구현되거나, 외부 메모리를 이용하기 위한 메모리 처리부를 포함하여 구현될 수 있다.
또한, 수신부(210) 및 AI 복호화부(230)는 하나 이상의 프로세서로 구성될 수도 있다. 이 경우, 전용 프로세서들의 조합으로 구현될 수도 있고, AP 또는 CPU, GPU와 같은 다수의 범용 프로세서들과 S/W의 조합을 통해 구현될 수도 있다. 마찬가지로 AI 업스케일부(234)와 제 1 복호화부(232)도 각각 서로 다른 프로세서로 구현될 수 있다.
AI 업스케일부(234)로 제공되는 AI 데이터는, 제 2 영상(135)을 AI 업스케일할 수 있게 하는 정보들을 포함한다. 이때, 업스케일 타겟은 제 1 DNN의 다운스케일에 대응하여야 한다. 따라서, AI 데이터는 제 1 DNN의 다운스케일 타겟을 확인할 수 있는 정보가 포함되어야 한다.
AI 데이터에 포함된 정보를 구체적으로 예시하면, 원본 영상(105)의 해상도와 제 1 영상(115)의 해상도의 차이 정보, 제 1 영상(115) 관련 정보가 있다.
차이 정보는, 원본 영상(105) 대비 제 1 영상(115)의 해상도 변환 정도에 대한 정보(예를 들어, 해상도 변환률 정보)로 표현될 수 있다. 그리고, 복원된 제 2 영상(135)의 해상도를 통해 제 1 영상(115)의 해상도를 알게 되고 이를 통해 해상도 변환 정도를 확인할 수 있기 때문에, 차이 정보는 원본 영상(105)의 해상도 정보만으로 표현될 수도 있다. 여기서 해상도 정보는 가로/세로의 화면 사이즈로 표현될 수도 있고, 비율(16:9, 4:3 등)과 한 축의 사이즈로 표현될 수도 있다. 또한, 기 설정된 해상도 정보가 있는 경우는 인덱스 또는 플래그의 형태로 표현될 수도 있다.
그리고, 제 1 영상(115) 관련 정보는, 제 1 영상(115)의 제 1 부호화 결과 생성된 영상 데이터의 비트레이트 및 제 1 영상(115)의 제 1 부호화시 이용된 코덱 타입 중 적어도 하나에 대한 정보를 포함할 수 있다.
차이 정보와 제 1 영상(115) 관련 정보는 하나의 AI 데이터로 전달될 수도 있고, 필요에 따라 각각 전달되어 처리될 수도 있다.
AI 업스케일부(234)는 AI 데이터에 포함된 차이 정보 및 제 1 영상(115) 관련 정보 중 적어도 하나에 기초하여 제 2 영상(135)의 업스케일 타겟을 결정할 수 있다. 업스케일 타겟은 예를 들어, 제 2 영상(135)을 어느 정도의 해상도로 업스케일하여야 하는지를 나타낼 수 있다. AI 업스케일부(234)는 업스케일 타겟이 결정되면, 업스케일 타겟에 대응하는 제 3 영상(145)을 생성하기 위해 제 2 DNN을 통해 제 2 영상(135)을 AI 업스케일한다.
AI 업스케일부(234)가 업스케일 타겟에 맞춰 제 2 영상(135)을 AI 업스케일하는 방법을 설명하기에 앞서, 제 2 DNN을 통한 AI 업스케일 과정에 대해 도 3 및 도 4를 참조하여 설명한다.
도 3은 제 2 영상(135)의 AI 업스케일을 위한 제 2 DNN(300)을 나타내는 예시적인 도면이다.
도 3에 도시된 바와 같이, 제 2 영상(135)은 제 1 컨볼루션 레이어(310)로 입력된다. 도 3에 도시된 제 1 컨볼루션 레이어(310)에 표시된 3X3X4는 3 x 3의 크기의 4개의 필터 커널을 이용하여 1개의 입력 영상에 대해 컨볼루션 처리를 하는 것을 예시한다. 컨볼루션 처리 결과 4개의 필터 커널에 의해 생성된 4개의 특징 맵은 각각 제 1 활성화 레이어(320)로 입력된다. 제 1 활성화 레이어(320)는 각각의 특징 맵에 대해 비선형(Non-linear) 특성을 부여할 수 있다. 제 1 활성화 레이어(320)는 시그모이드 함수(sigmoid function), Tanh 함수, ReLU(Rectified Linear Unit) 함수 등을 포함할 수 있으나, 이에 한정되는 것은 아니다.
제 1 활성화 레이어(320)에서 비선형 특성을 부여하는 것은, 제 1 컨볼루션 레이어(310)를 통한 출력인, 특징 맵의 일부 샘플 값을 변경하여 출력하는 것을 의미한다. 이때, 변경은 비선형 특성을 적용하여 수행된다.
제 1 활성화 레이어(320)의 출력이 제 2 컨볼루션 레이어(330)로 입력된다. 제 2 컨볼루션 레이어(330)에 표시된 3X3X4는 3 x 3의 크기의 4개의 필터 커널을 이용하여 입력 데이터에 대해 컨볼루션 처리하는 것을 예시한다. 제 2 컨볼루션 레이어(330)의 출력은 제 2 활성화 레이어(340)로 입력된다. 제 2 활성화 레이어(340)는 입력 데이터에 대해 비선형 특성을 부여할 수 있다.
제 2 활성화 레이어(340)의 출력은 제 3 컨볼루션 레이어(350)로 입력된다. 도 3에 도시된 제 3 컨볼루션 레이어(350)에 표시된 3X3X1는 3 x 3의 크기의 1개의 필터 커널을 이용하여 1개의 출력 영상을 만들기 위해 컨볼루션 처리를 하는 것을 예시한다. 제 3 컨볼루션 레이어(350)는 최종 영상을 출력하기 위한 레이어로서 1개의 필터 커널을 이용하여 1개의 출력을 생성한다. 본 개시의 예시에 따르면, 제 3 컨볼루션 레이어(350)는 컨벌루션 연산 결과를 통해 제 3 영상(145)을 출력할 수 있다.
제 2 DNN(300)의 제 1 컨볼루션 레이어(310), 제 2 컨볼루션 레이어(330) 및 제 3 컨볼루션 레이어(350)의 필터 커널의 개수, 필터 커널의 파라미터 등을 나타내는 DNN 설정 정보는 후술하는 바와 같이 복수 개일 수 있는데, 복수의 DNN 설정 정보는 제 1 DNN의 복수의 DNN 설정 정보와 연계되어야 한다. 제 2 DNN의 복수의 DNN 설정 정보와 제 1 DNN의 복수의 DNN 설정 정보 사이의 연계는, 제 1 DNN 및 제 2 DNN의 연계 학습을 통해 구현될 수 있다.
도 3은 제 2 DNN(300)이 세 개의 컨볼루션 레이어(310, 330, 350)와 두 개의 활성화 레이어(320, 340)를 포함하고 있는 것으로 도시하고 있으나, 이는 하나의 예시일 뿐이며, 구현예에 따라서, 컨볼루션 레이어 및 활성화 레이어의 개수는 다양하게 변경될 수 있다. 또한, 구현예에 따라서, 제 2 DNN(300)은 RNN(recurrent neural network)을 통해 구현될 수도 있다. 이 경우는 본 개시의 예시에 따른 제 2 DNN(300)의 CNN 구조를 RNN 구조로 변경하는 것을 의미한다.
도 4를 참조하여, 컨볼루션 레이어의 컨볼루션 연산에 대해 보다 상세히 설명한다.
미리 결정된 2차원의 크기를 갖는 필터 커널(430)(도 4에서는 3 X 3 크기의 필터 커널)의 파라미터들과 그에 대응하는 입력 영상(410) 내 픽셀 값들 사이의 곱 연산 및 덧셈 연산을 통해 특징 맵(450)이 생성될 수 있다.
도 4는 특징 맵(450)의 샘플 값을 획득하기 위한 필터 커널(430)과 입력 영상(410) 사이의 컨볼루션 연산을 도시하고 있다.
도 4에서 입력 영상(410)에 표시된 I1 내지 I49는 입력 영상(410) 내 픽셀들을 나타내고, 필터 커널(430)에 표시된 F1 내지 F9는 필터 커널(430)의 파라미터들을 나타낸다. 또한, 특징 맵(450)에 표시된 M1 내지 M9는 특징 맵(450)의 샘플들을 나타낸다. 필터 커널(430)의 파라미터는, 제 1 DNN과의 연계 학습을 통해 그 값이 최적화될 수 있다. 후술하는 바와 같이, AI 업스케일부(234)는 필터 커널의 파라미터를, AI 데이터에 기초하여 결정한 업스케일 타겟에 대응하는 파라미터로 세팅함으로써, 다운스케일 타겟에 대응하는 업스케일 타겟으로 제 2 영상(135)을 AI 업스케일할 수 있다.
컨볼루션 연산 과정에서, 입력 영상(410)의 I1, I2, I3, I8, I9, I10, I15, I16, I17의 픽셀 값들 각각과 필터 커널(430)의 F1, F2, F3, F4, F5, F6, F7, F8 및 F9 각각의 곱 연산이 수행되고, 곱 연산의 결과 값들을 조합(예를 들어, 덧셈 연산)한 값이 특징 맵(450)의 M1의 값으로 할당될 수 있다. 컨볼루션 연산의 스트라이드(stride)가 2라면, 입력 영상(410)의 I3, I4, I5, I10, I11, I12, I17, I18, I19의 픽셀 값들 각각과 필터 커널(430)의 F1, F2, F3, F4, F5, F6, F7, F8 및 F9 각각의 곱 연산이 수행되고, 곱 연산의 결과 값들을 조합한 값이 특징 맵(450)의 M2의 값으로 할당될 수 있다.
필터 커널(430)이 입력 영상(410)의 마지막 픽셀에 도달할 때까지 스트라이드에 따라 이동하는 동안 입력 영상(410) 내 픽셀 값들과 필터 커널(430)의 파라미터들 사이의 컨볼루션 연산이 수행됨으로써, 소정 크기를 갖는 특징 맵(450)이 획득될 수 있다.
본 개시에 따르면, 제 1 DNN과 제 2 DNN의 연계 훈련을 통해 제 2 DNN의 파라미터들, 예를 들어, 필터 커널(430)의 F1, F2, F3, F4, F5, F6, F7, F8 및 F9의 값이 최적화될 수 있다. 전술한 바와 같이, AI 업스케일부(234)는 AI 데이터에 기초하여, 제 1 DNN의 다운스케일 타겟에 대응하는 업스케일 타겟을 결정하고, 결정된 업스케일 타겟에 대응하는 파라미터들을 필터 커널(430)의 F1, F2, F3, F4, F5, F6, F7, F8 및 F9의 값으로 결정할 수 있다.
도 4와 관련하여 설명한 컨볼루션 연산 과정은 하나의 예시일 뿐이며, 이에 한정되는 것은 아니다.
이하에서, AI 업스케일부(234)가 업스케일 타겟에 맞춰 제 2 영상(135)을 AI 업스케일하는 방법을 설명한다.
일 실시예에서, AI 업스케일부(234)는 제 2 DNN에 세팅 가능한 복수의 DNN 설정 정보를 저장할 수 있다.
여기서, DNN 설정 정보는 제 2 DNN에 포함되는 컨볼루션 레이어의 수, 컨볼루션 레이어별 필터 커널의 개수 및 각 필터 커널의 파라미터 중 적어도 하나에 대한 정보를 포함할 수 있다. 복수의 DNN 설정 정보는 다양한 업스케일 타겟에 각각 대응될 수 있으며, 특정 업스케일 타겟에 대응되는 DNN 설정 정보에 기반하여 제 2 DNN이 동작할 수 있다. DNN 설정 정보에 따라 제 2 DNN이 서로 다른 구조를 가질 수 있다. 예를 들어, 어느 DNN 설정 정보에 따라 제 2 DNN이 3개의 컨볼루션 레이어를 포함할 수 있고, 다른 DNN 설정 정보에 따라 제 2 DNN이 4개의 컨볼루션 레이어를 포함할 수 있다.
일 실시예에서, DNN 설정 정보는 제 2 DNN에서 사용되는 필터 커널의 파라미터만을 포함할 수도 있다. 이 경우, 제 2 DNN의 구조는 변경되지 않는 대신, DNN 설정 정보에 따라 내부의 필터 커널의 파라미터만이 달라질 수 있다.
AI 업스케일부(234)는 복수의 DNN 설정 정보 중 제 2 영상(135)의 AI 업스케일을 위한 DNN 설정 정보를 획득할 수 있다. 여기서 사용되는 복수의 DNN 설정 정보 각각은 미리 결정된 해상도 및/또는 미리 결정된 화질의 제 3 영상(145)을 생성하기 위한 정보로, 제 1 DNN과 연계하여 훈련된 것이다.
예를 들어, 복수의 DNN 설정 정보 중 어느 하나의 DNN 설정 정보는 제 2 영상(135)의 해상도보다 2배 큰 해상도의 제 3 영상(145), 예를 들어, 2K (2048*1080)의 제 2 영상(135)보다 2배 큰 4K(4096*2160)의 제 3 영상(145)을 생성하기 위한 정보들을 포함할 수 있고, 다른 하나의 DNN 설정 정보는 제 2 영상(135)의 해상도보다 4배 큰 해상도의 제 3 영상(145), 예를 들어, 2K (2048*1080)의 제 2 영상(135)보다 4배 큰 8K(8192*4320)의 제 3 영상(145)을 생성하기 위한 정보들을 포함할 수 있다.
복수의 DNN 설정 정보 각각은 AI 부호화 장치(600)의 제 1 DNN의 DNN 설정 정보와 연계되어 만들어진 것이며, AI 업스케일부(234)는 제 1 DNN의 DNN 설정 정보의 축소 비율에 대응되는 확대 비율에 따라 복수의 DNN 설정 정보 중 하나의 DNN 설정 정보를 획득한다. 이를 위해, AI 업스케일부(234)는 제 1 DNN의 정보를 확인하여야 한다. 제 1 DNN의 정보를 AI 업스케일부(234)가 확인하기 위해, 일 실시예에 따른 AI 복호화 장치(200)는 AI 부호화 장치(600)로부터 제 1 DNN의 정보를 포함하는 AI 데이터를 수신한다.
다시 말하면, AI 업스케일부(234)는 AI 부호화 장치(600)로부터 수신되는 정보들을 이용하여, 제 1 영상(115)을 생성하기 위해 이용된 제 1 DNN의 DNN 설정 정보가 타겟하는 정보를 확인하고, 그와 연계 훈련된 제 2 DNN의 DNN 설정 정보를 획득할 수 있는 것이다.
복수의 DNN 설정 정보 중 제 2 영상(135)의 AI 업스케일을 위한 DNN 설정 정보가 획득되면, 획득된 DNN 설정 정보에 따라 동작하는 제 2 DNN에 기초하여 입력 데이터가 처리될 수 있다.
예를 들어, 어느 하나의 DNN 설정 정보가 획득되면, 도 3에 도시된 제 2 DNN(300)의 제 1 컨볼루션 레이어(310), 제 2 컨볼루션 레이어(330) 및 제 3 컨볼루션 레이어(350) 각각에 대해서, 각 레이어에 포함되는 필터 커널의 개수와 필터 커널의 파라미터들을, 상기 획득된 DNN 설정 정보에 포함된 값으로 설정한다.
구체적으로, 도 4에 도시된 제 2 DNN의 어느 하나의 컨볼루션 레이어에서 이용되는 3 X 3의 필터 커널의 파라미터들이 {1, 1, 1, 1, 1, 1, 1, 1, 1}로 세팅되도록 하고, 이후 DNN 설정 정보의 변경이 있는 경우, 이를 변경된 DNN 설정 정보에 포함된 파라미터들인 {2, 2, 2, 2, 2, 2, 2, 2, 2}로 교체할 수 있는 것이다.
AI 업스케일부(234)는 AI 데이터에 포함된 정보에 기초하여 복수의 DNN 설정 정보 중 제 2 영상(135)을 업스케일하기 위한 DNN 설정 정보를 획득할 수 있는데, DNN 설정 정보를 획득하는데 이용되는 AI 데이터에 대해 구체적으로 설명한다.
일 실시예에서, AI 업스케일부(234)는 AI 데이터에 포함된 차이 정보에 기초하여, 복수의 DNN 설정 정보 중 제 2 영상(135)을 업스케일하기 위한 DNN 설정 정보를 획득할 수 있다. 예를 들어, 차이 정보에 기초하여 원본 영상(105)의 해상도(예를 들어, 4K(4096*2160))가 제 1 영상(115)의 해상도(예를 들어, 2K (2048*1080))보다 2배 큰 것으로 확인된 경우, AI 업스케일부(234)는 제 2 영상(135)의 해상도를 2배 증가시킬 수 있는 DNN 설정 정보를 획득할 수 있다.
다른 실시예에서, AI 업스케일부(234)는 AI 데이터에 포함된 제 1 영상(115) 관련 정보에 기초하여, 복수의 DNN 설정 정보 중 제 2 영상(135)을 AI 업스케일하기 위한 DNN 설정 정보를 획득할 수 있다. AI 업스케일부(234)는 영상 관련 정보들과 DNN 설정 정보들 사이의 매핑 관계를 미리 결정하고, 제 1 영상(115) 관련 정보에 매핑된 DNN 설정 정보를 획득할 수 있다.
도 5는 여러 영상 관련 정보들과 여러 DNN 설정 정보들 사이의 매핑 관계를 나타내는 예시적인 도면이다.
도 5에 따른 실시예를 통해, 본 개시의 일 실시예의 AI 부호화/AI 복호화 과정은 해상도의 변화만을 고려하는 것이 아님을 알 수 있다. 도 5에 도시된 바와 같이, SD, HD, Full HD와 같은 해상도, 10Mbps, 15Mbps, 20Mbps와 같은 비트레이트, 그리고 AV1, H.264, HEVC와 같은 코덱 정보를 개별적으로 또는 모두 고려하여 DNN 설정 정보의 선택이 이루어질 수 있다. 이러한 고려를 위해서는 AI 훈련 과정에서 각각의 요소들을 고려한 훈련이 부호화, 복호화 과정에 연계되어 이루어져야 한다(도 9 참조).
따라서, 훈련 내용에 따라서 도 5에 도시된 바와 같이, 코덱 타입, 영상의 해상도 등을 포함하는 영상 관련 정보에 기반하여 복수의 DNN 설정 정보가 구비된 경우, AI 복호화 과정에서 전달받는 제 1 영상(115) 관련 정보에 기반하여 제 2 영상(135)의 AI 업스케일을 위한 DNN 설정 정보를 획득할 수 있다.
즉, AI 업스케일부(234)는 도 5에 도시된 표의 좌측에 도시된 영상 관련 정보와 표 우측의 DNN 설정 정보를 매칭하고 있음으로써, 영상 관련 정보에 따른 DNN 설정 정보를 사용할 수 있는 것이다.
도 5에 예시된 바와 같이, 제 1 영상(115) 관련 정보로부터 제 1 영상(115)의 해상도가 SD이고, 제 1 영상(115)의 제 1 부호화 결과 생성된 영상 데이터의 비트레이트가 10Mbps이고, 제 1 영상(115)이 AV1 코덱으로 제 1 부호화된 것으로 확인되면, AI 업스케일부(234)는 복수의 DNN 설정 정보 중 A DNN 설정 정보를 사용할 수 있다.
또한, 제 1 영상(115) 관련 정보로부터 제 1 영상(115)의 해상도가 HD이고, 제 1 부호화 결과 생성된 영상 데이터의 비트레이트가 15Mbps이고, 제 1 영상(115)이 H.264 코덱으로 제 1 부호화된 것으로 확인되면, AI 업스케일부(234)는 복수의 DNN 설정 정보 중 B DNN 설정 정보를 사용할 수 있다.
또한, 제 1 영상(115) 관련 정보로부터 제 1 영상(115)의 해상도가 Full HD이고, 제 1 영상(115)의 제 1 부호화 결과 생성된 영상 데이터의 비트레이트가 20Mbps이고, 제 1 영상(115)이 HEVC 코덱으로 제 1 부호화된 것으로 확인되면, AI 업스케일부(234)는 복수의 DNN 설정 정보 중 C DNN 설정 정보를 사용하고, 제 1 영상(115)의 해상도가 Full HD이고, 제 1 영상(115)의 제 1 부호화 결과 생성된 영상 데이터의 비트레이트가 15Mbps이고, 제 1 영상(115)이 HEVC 코덱으로 제 1 부호화된 것으로 확인되면, AI 업스케일부(234)는 복수의 DNN 설정 정보 중 D DNN 설정 정보를 사용할 수 있다. 제 1 영상(115)의 제 1 부호화 결과 생성된 영상 데이터의 비트레이트가 20Mbps인지 또는 15Mbps인지에 따라 C DNN 설정 정보와 D DNN 설정 정보 중에서 어느 하나가 선택된다. 동일 해상도의 제 1 영상(115)을 동일 코덱으로 제 1 부호화하였을 때, 영상 데이터의 비트레이트가 서로 상이하다는 것은, 복원되는 영상의 화질이 서로 상이하다는 것을 의미한다. 따라서, 제 1 DNN과 제 2 DNN은 소정 화질에 기반하여 연계 훈련될 수 있으며, 이에 따라 AI 업스케일부(234)는 제 2 영상(135)의 화질을 나타내는, 영상 데이터의 비트레이트에 따라 DNN 설정 정보를 획득할 수 있다.
또 다른 실시예에서, AI 업스케일부(234)는 제 1 복호화부(232)로부터 제공되는 정보(모드 정보, 양자화 파라미터 정보 등)와 AI 데이터에 포함된 제 1 영상(115) 관련 정보를 모두 고려하여 복수의 DNN 설정 정보 중 제 2 영상(135)을 AI 업스케일하기 위한 DNN 설정 정보를 획득할 수도 있다. 예를 들어, AI 업스케일부(234)는 제 1 복호화부(232)로부터 제 1 영상(115)의 제 1 부호화 과정에서 이용된 양자화 파라미터 정보를 전달받고, AI 데이터로부터 제 1 영상(115)의 부호화 결과 생성된 영상 데이터의 비트레이트를 확인하고, 양자화 파라미터 및 비트레이트에 대응하는 DNN 설정 정보를 획득할 수도 있다. 동일한 비트레이트라도 영상의 복잡도에 따라 복원 영상의 화질 정도에 차이가 있을 수 있으며, 비트레이트는 제 1 부호화되는 제 1 영상(115) 전체를 대표하는 값으로서 제 1 영상(115) 내에서도 각 프레임의 화질이 서로 다를 수 있다. 따라서, 제 1 복호화부(232)로부터 각 프레임 별로 획득할 수 있는 모드 정보 (예를 들어, 예측 모드 정보, 움직임 정보 등) 및/또는 양자화 파라미터를 함께 고려하면, AI 데이터만 이용하는 것에 비해 제 2 영상(135)에 보다 적합한 DNN 설정 정보를 획득할 수 있다.
또한, 구현예에 따라, AI 데이터는 상호 약속된 DNN 설정 정보의 식별자를 포함할 수 있다. DNN 설정 정보의 식별자는, 제 1 DNN의 다운스케일 타겟에 대응하는 업스케일 타겟으로, 제 2 영상(135)을 AI 업스케일할 수 있도록, 제 1 DNN과 제 2 DNN 간 연계 훈련된 DNN 설정 정보의 쌍을 구분하기 위한 정보이다. AI 업스케일부(234)는 AI 데이터에 포함된 DNN 설정 정보의 식별자를 획득한 후, DNN 설정 정보의 식별자에 대응하는 DNN 설정 정보를 사용하여 제 2 영상(135)을 AI 업스케일할 수 있다.
또한, 구현예에 따라, AI 데이터는 DNN 설정 정보를 포함할 수도 있다. AI 업스케일부(234)는 AI 데이터에 포함된 DNN 설정 정보를 획득한 후, 해당 DNN 설정 정보를 사용하여 제 2 영상(135)을 AI 업스케일할 수도 있다.
구현예에 따라, DNN 설정 정보를 구성하는 정보들(예를 들어, 컨볼루션 레이어의 수, 컨볼루션 레이어별 필터 커널의 개수, 각 필터 커널의 파라미터 등)들이 룩업 테이블 형태로 저장되어 있는 경우, AI 업스케일부(234)는 AI 데이터에 포함된 정보에 기초하여 룩업 테이블 값들 중에서 선택된 일부를 조합하여 DNN 설정 정보를 획득하고, 획득된 DNN 설정 정보를 사용하여 제 2 영상(135)을 AI 업스케일할 수도 있다.
구현예에 따라, AI 업스케일부(234)는 업스케일 타겟에 대응되는 DNN의 구조가 결정되면, 결정된 DNN의 구조에 대응하는 DNN 설정 정보, 예를 들어, 필터 커널의 파라미터들을 획득할 수도 있다.
AI 업스케일부(234)는 제 1 DNN과 관련된 정보를 포함하는 AI 데이터를 통해 제 2 DNN의 DNN 설정 정보를 획득하고, 획득된 DNN 설정 정보로 세팅된 제 2 DNN을 통해 제 2 영상(135)을 AI 업스케일하는 데, 이는, 제 2 영상(135)의 특징을 직접 분석하여 업스케일하는 것과 비교하여 메모리 사용량과 연산량이 감소될 수 있다.
일 실시예에서, 제 2 영상(135)이 복수의 프레임으로 구성된 경우, AI 업스케일부(234)는 소정 개수의 프레임 별로 DNN 설정 정보를 독립적으로 획득할 수 있고, 또는, 전체 프레임에 대해 공통된 DNN 설정 정보를 획득할 수도 있다.
도 6은 복수의 프레임으로 구성된 제 2 영상(135)을 도시하는 도면이다.
도 6에 도시된 바와 같이, 제 2 영상(135)은 t0 내지 tn에 대응하는 프레임들로 이루어질 수 있다.
일 예시에서, AI 업스케일부(234)는 AI 데이터를 통해 제 2 DNN의 DNN 설정 정보를 획득하고, 획득한 DNN 설정 정보에 기초하여 t0 내지 tn에 대응하는 프레임들을 AI 업스케일할 수 있다. 즉, t0 내지 tn에 대응하는 프레임들이 공통된 DNN 설정 정보에 기초하여 AI 업스케일될 수 있다.
다른 예시에서, AI 업스케일부(234)는 t0 내지 tn에 대응하는 프레임들 중 일부의 프레임들, 예를 들어, t0 내지 ta에 대응하는 프레임들을 AI 데이터로부터 획득한 'A' DNN 설정 정보로 AI 업스케일하고, ta+1 내지 tb에 대응하는 프레임들을 AI 데이터로부터 획득한 'B' DNN 설정 정보로 AI 업스케일할 수 있다. 또한, AI 업스케일부(234)는 tb+1 내지 tn에 대응하는 프레임들을 AI 데이터로부터 획득한 'C' DNN 설정 정보로 AI 업스케일할 수 있다. 다시 말하면, AI 업스케일부(234)는 복수의 프레임들 중 소정 개수의 프레임을 포함하는 그룹마다 DNN 설정 정보를 독립적으로 획득하고, 그룹 각각에 포함된 프레임들을 독립적으로 획득한 DNN 설정 정보로 AI 업스케일할 수 있다.
또 다른 예시에서, AI 업스케일부(234)는 제 2 영상(135)을 구성하는 프레임별로 DNN 설정 정보를 독립적으로 획득할 수도 있다. 즉, 제 2 영상(135)이 3개의 프레임으로 구성되어 있는 경우, AI 업스케일부(234)는 첫 번째 프레임과 관련하여 획득한 DNN 설정 정보로 첫 번째 프레임을 AI 업스케일하고, 두 번째 프레임과 관련하여 획득한 DNN 설정 정보로 두 번째 프레임을 AI 업스케일하고, 세 번째 프레임과 관련하여 획득한 DNN 설정 정보로 세 번째 프레임을 AI 업스케일할 수 있다. 전술한, 제 1 복호화부(232)로부터 제공되는 정보(모드 정보, 양자화 파라미터 정보 등)와 AI 데이터에 포함된 제 1 영상(115) 관련 정보에 기초하여 DNN 설정 정보가 획득되는 방식에 따라, 제 2 영상(135)을 구성하는 프레임별로 DNN 설정 정보가 독립적으로 획득될 수 있다. 왜냐하면, 모드 정보, 양자화 파라미터 정보 등은 제 2 영상(135)을 구성하는 프레임마다 독립적으로 결정될 수 있기 때문이다.
또 다른 예시에서, AI 데이터는 AI 데이터에 기초하여 획득되는 DNN 설정 정보가 어느 프레임까지 유효한 것인지를 나타내는 정보를 포함할 수 있다. 예를 들어, AI 데이터 내에 DNN 설정 정보가 ta 프레임까지 유효하다는 정보가 포함되어 있는 경우, AI 업스케일부(234)는 AI 데이터에 기초하여 획득한 DNN 설정 정보로 t0 내지 ta 프레임들을 AI 업스케일한다. 그리고, 다른 AI 데이터 내에 DNN의 설정 정보가 tn 프레임까지 유효하다는 정보가 포함되어 있는 경우, AI 업스케일부(234)는 상기 다른 AI 데이터에 기초하여 획득한 DNN 설정 정보로 ta+1 내지 tn 프레임들을 AI 업스케일할 수 있다.
이하에서는, 도 7을 참조하여, 원본 영상(105)의 AI 부호화를 위한 AI 부호화 장치(600)에 대해 설명한다.
도 7은 일 실시예에 따른 AI 부호화 장치(600)의 구성을 도시하는 블록도이다.
도 7을 참조하면, AI 부호화 장치(600)는 AI 부호화부(610) 및 전송부(630)를 포함할 수 있다. AI 부호화부(610)는 AI 다운스케일부(612) 및 제 1 부호화부(614)를 포함할 수 있다. 전송부(630)는 데이터 처리부(632) 및 통신부(634)를 포함할 수 있다.
도 7은 AI 부호화부(610) 및 전송부(630)를 개별적인 장치로 도시하고 있으나, AI 부호화부(610) 및 전송부(630)는 하나의 프로세서를 통해 구현될 수 있다. 이 경우, 전용 프로세서로 구현될 수도 있고, AP 또는 CPU, GPU와 같은 범용 프로세서와 S/W의 조합을 통해 구현될 수도 있다. 또한, 전용 프로세서의 경우, 본 개시의 실시예를 구현하기 위한 메모리를 포함하여 구현되거나, 외부 메모리를 이용하기 위한 메모리 처리부를 포함하여 구현될 수 있다.
또한, AI 부호화부(610) 및 전송부(630)는 하나 이상의 프로세서로 구성될 수도 있다. 이 경우, 전용 프로세서들의 조합으로 구현될 수도 있고, AP 또는 CPU, GPU와 같은 다수의 범용 프로세서들과 S/W의 조합을 통해 구현될 수도 있다. 마찬가지로 AI 다운스케일부(612)와 제 1 부호화부(614)도 각각 서로 다른 프로세서로 구현될 수 있다.
AI 부호화부(610)는 원본 영상(105)의 AI 다운스케일 및 제 1 영상(115)의 제 1 부호화를 수행하고, AI 데이터 및 영상 데이터를 전송부(630)로 전달한다. 전송부(630)는 AI 데이터 및 영상 데이터를 AI 복호화 장치(200)로 전송한다.
영상 데이터는 제 1 영상(115)의 제 1 부호화 결과 생성된 데이터를 포함한다. 영상 데이터는 제 1 영상(115) 내 픽셀 값들에 기초하여 생성되는 데이터, 예를 들어, 제 1 영상(115)과 제 1 영상(115)의 예측 데이터 사이의 차이인 잔차 데이터를 포함할 수 있다. 또한, 영상 데이터는 제 1 영상(115)의 제 1 부호화 과정에서 이용된 정보들을 포함한다. 예를 들어, 영상 데이터는 제 1 영상(115)을 제 1 부호화하는데 이용된 모드(mode) 정보(예를 들어, 예측 모드 정보, 움직임 정보 등) 및 제 1 영상(115)을 제 1 부호화하는데 이용된 양자화 파라미터 관련 정보 등을 포함할 수 있다.
AI 데이터는, AI 업스케일부(234)가 제 1 DNN의 다운스케일 타겟에 대응하는 업스케일 타겟으로 제 2 영상(135)을 AI 업스케일할 수 있게 하는 정보들을 포함한다. 일 예에서, AI 데이터는 원본 영상(105)과 제 1 영상(115) 사이의 차이 정보를 포함할 수 있다. 또한, AI 데이터는 제 1 영상(115) 관련 정보를 포함할 수도 있다. 제 1 영상(115) 관련 정보는, 제 1 영상(115)의 해상도, 제 1 영상(115)의 제 1 부호화 결과 생성된 영상 데이터의 비트레이트 및 제 1 영상(115)의 제 1 부호화시 이용된 코덱 타입 중 적어도 하나에 대한 정보를 포함할 수 있다.
일 실시예에서, AI 데이터는, 제 1 DNN의 다운스케일 타겟에 대응하는 업스케일 타겟으로 제 2 영상(135)이 AI 업스케일될 수 있도록, 상호 약속된 DNN 설정 정보의 식별자를 포함할 수 있다.
또한, 일 실시예에서, AI 데이터는 제 2 DNN에 세팅 가능한 DNN 설정 정보를 포함할 수도 있다.
AI 다운스케일부(612)는 제 1 DNN을 통해 원본 영상(105)으로부터 AI 다운스케일된 제 1 영상(115)을 생성할 수 있다. AI 다운스케일부(612)는 미리 결정된 기준에 기초하여 원본 영상(105)의 다운스케일 타겟을 결정할 수 있다.
다운스케일 타겟에 부합하는 제 1 영상(115)의 생성을 위해, AI 다운스케일부(612)는 제 1 DNN에 세팅 가능한 복수의 DNN 설정 정보를 저장할 수 있다. AI 다운스케일부(612)는 복수의 DNN 설정 정보 중 다운스케일 타겟에 대응하는 DNN 설정 정보를 획득하고, 획득된 DNN 설정 정보로 세팅된 제 1 DNN을 통해 원본 영상(105)을 AI 다운스케일한다.
상기 복수의 DNN 설정 정보 각각은 미리 결정된 해상도 및/또는 미리 결정된 화질의 제 1 영상(115)을 생성하기 위해 훈련된 것일 수 있다. 예를 들어, 복수의 DNN 설정 정보 중 어느 하나의 DNN 설정 정보는 원본 영상(105)의 해상도보다 1/2배만큼 작은 해상도의 제 1 영상(115), 예를 들어, 4K(4096*2160)의 원본 영상(105)보다 1/2배 작은 2K (2048*1080)의 제 1 영상(115)을 생성하기 위한 정보들을 포함할 수 있고, 다른 하나의 DNN 설정 정보는 원본 영상(105)의 해상도보다 1/4배만큼 작은 해상도의 제 1 영상(115), 예를 들어, 8K(8192*4320)의 원본 영상(105)보다 1/4배 작은 2K (2048*1080)의 제 1 영상(115)을 생성하기 위한 정보들을 포함할 수 있다.
구현예에 따라, DNN 설정 정보를 구성하는 정보들(예를 들어, 컨볼루션 레이어의 수, 컨볼루션 레이어별 필터 커널의 개수, 각 필터 커널의 파라미터 등)들이 룩업 테이블 형태로 저장되어 있는 경우, AI 다운스케일부(612)는 다운스케일 타겟에 따라 룩업 테이블 값들 중에서 선택된 일부를 조합하여 DNN 설정 정보를 획득하고, 획득된 DNN 설정 정보를 사용하여 원본 영상(105)을 AI 다운스케일할 수도 있다.
구현예에 따라, AI 다운스케일부(612)는 다운스케일 타겟에 대응되는 DNN의 구조를 결정하고, 결정된 DNN의 구조에 대응하는 DNN 설정 정보, 예를 들어, 필터 커널의 파라미터들을 획득할 수도 있다.
원본 영상(105)의 AI 다운스케일을 위한 복수의 DNN 설정 정보는, 제 1 DNN과 제 2 DNN이 연계 훈련됨으로써, 최적화된 값을 가질 수 있다. 여기서, 각 DNN 설정 정보는 제 1 DNN에 포함되는 컨볼루션 레이어의 수, 컨볼루션 레이어별 필터 커널의 개수 및 각 필터 커널의 파라미터 중 적어도 하나를 포함한다.
AI 다운스케일부(612)는 원본 영상(105)의 AI 다운스케일을 위해 결정된 DNN 설정 정보로 제 1 DNN을 세팅하여, 소정 해상도 및/또는 소정 화질의 제 1 영상(115)을 제 1 DNN을 통해 생성할 수 있다. 복수의 DNN 설정 정보 중 원본 영상(105)의 AI 다운스케일을 위한 DNN 설정 정보가 획득되면, 제 1 DNN 내 각 레이어는 DNN 설정 정보에 포함된 정보들에 기초하여 입력된 데이터를 처리할 수 있다.
이하에서는, AI 다운스케일부(612)가 다운스케일 타겟을 결정하는 방법에 대해 설명한다. 상기 다운스케일 타겟은 예를 들어, 원본 영상(105)으로부터 얼마나 해상도가 감소한 제 1 영상(115)을 생성해야 하는지를 나타낼 수 있다.
일 실시예에서, AI 다운스케일부(612)는 압축률, 압축 품질, 압축 히스토리 정보 및 원본 영상(105)의 타입 중 적어도 하나에 기초하여 다운스케일 타겟을 결정할 수 있다.
일 예에서, AI 다운스케일부(612)는 미리 설정되거나, 사용자로부터 입력받은 압축률 또는 압축 품질 등에 기반하여 다운스케일 타겟을 결정할 수 있다.
다른 예로, AI 다운스케일부(612)는 AI 부호화 장치(600)에 저장된 압축 히스토리 정보를 이용하여 다운스케일 타겟을 결정할 수도 있다. 예를 들어, AI 부호화 장치(600)가 이용할 수 있는 압축 히스토리 정보에 따르면, 사용자가 선호하는 부호화 품질 또는 압축률 등이 결정될 수 있으며, 압축 히스토리 정보에 기초하여 결정된 부호화 품질 등에 따라 다운스케일 타겟이 결정될 수 있다. 예를 들면, 압축 히스토리 정보에 따라 가장 많이 이용된 적이 있는 부호화 품질에 따라 제 1 영상(115)의 해상도, 화질 등이 결정될 수 있다.
또 다른 예로, AI 다운스케일부(612)는 압축 히스토리 정보에 따라 소정의 임계 값보다 많이 이용된 적이 있는 부호화 품질(예를 들면, 소정의 임계값보다 많이 이용된 적이 있는 부호화 품질의 평균 품질)에 기초하여 다운스케일 타겟을 결정할 수도 있다.
또 다른 예로, AI 다운스케일부(612)는 원본 영상(105)의 해상도, 타입(예를 들어, 파일의 형식)등에 기초하여 다운스케일 타겟을 결정할 수도 있다.
일 실시예에서, 원본 영상(105)이 복수의 프레임으로 구성된 경우, AI 다운스케일부(612)는 소정 개수의 프레임 별로 다운스케일 타겟을 독립적으로 결정할 수 있고, 또는, 전체 프레임에 대해 공통된 다운스케일 타겟을 결정할 수도 있다.
일 예시에서, AI 다운스케일부(612)는 원본 영상(105)을 구성하는 프레임들을 소정 개수의 그룹으로 구분하고, 각 그룹별로 다운스케일 타겟을 독립적으로 결정할 수 있다. 각 그룹에 대해 서로 동일하거나 서로 상이한 다운스케일 타겟이 결정될 수 있다. 그룹들에 포함된 프레임들의 개수는 그룹별로 동일하거나 상이할 수 있다.
다른 예시에서, AI 다운스케일부(612)는 원본 영상(105)을 구성하는 프레임별로 다운스케일 타겟을 독립적으로 결정할 수 있다. 각각의 프레임에 대해 서로 동일하거나 서로 상이한 다운스케일 타겟이 결정될 수 있다.
이하에서는, AI 다운스케일의 기반이 되는 제 1 DNN(700)의 예시적인 구조에 대해 설명한다.
도 8은 원본 영상(105)의 AI 다운스케일을 위한 제 1 DNN(700)을 나타내는 예시적인 도면이다.
도 8에 도시된 바와 같이, 원본 영상(105)은 제 1 컨볼루션 레이어(710)로 입력된다. 제 1 컨볼루션 레이어(710)는 5 x 5의 크기의 32개의 필터 커널을 이용하여 원본 영상(105)에 대해 컨볼루션 처리를 한다. 컨볼루션 처리 결과 생성된 32개의 특징 맵은 제 1 활성화 레이어(720)로 입력된다. 제 1 활성화 레이어(720)는 32개의 특징 맵에 대해 비선형(Non-linear) 특성을 부여할 수 있다.
제 1 활성화 레이어(720)의 출력이 제 2 컨볼루션 레이어(730)로 입력된다. 제 2 컨볼루션 레이어(730)는 5 x 5의 크기의 32개의 필터 커널을 이용하여 입력 데이터에 대해 컨볼루션 처리를 한다. 컨볼루션 처리 결과 출력된 32개의 특징 맵은 제 2 활성화 레이어(740)로 입력되고, 제 2 활성화 레이어(740)는 32개의 특징 맵에 대해 비선형 특성을 부여할 수 있다.
제 2 활성화 레이어(740)의 출력은 제 3 컨볼루션 레이어(750)로 입력된다. 제 3 컨볼루션 레이어(750)는 5 x 5의 크기의 1개의 필터 커널을 이용하여 입력된 데이터에 대해 컨볼루션 처리를 한다. 컨볼루션 처리 결과 제 3 컨볼루션 레이어(750)로부터 1개의 영상이 출력될 수 있다. 제 3 컨볼루션 레이어(750)는 최종 영상을 출력하기 위한 레이어로서 1개의 필터 커널을 이용하여 1개의 출력을 생성한다. 본 개시의 예시에 따르면, 제 3 컨볼루션 레이어(750)는 컨벌루션 연산 결과를 통해 제 1 영상(115)을 출력할 수 있다.
제 1 DNN(700)의 제 1 컨볼루션 레이어(710), 제 2 컨볼루션 레이어(730) 및 제 3 컨볼루션 레이어(750)의 필터 커널의 개수, 필터 커널의 파라미터 등을 나타내는 DNN 설정 정보는 복수 개일 수 있는데, 복수의 DNN 설정 정보는 제 2 DNN의 복수의 DNN 설정 정보와 연계되어야 한다. 제 1 DNN의 복수의 DNN 설정 정보와 제 2 DNN의 복수의 DNN 설정 정보 사이의 연계는, 제 1 DNN 및 제 2 DNN의 연계 학습을 통해 구현될 수 있다.
도 8은 제 1 DNN(700)이 세 개의 컨볼루션 레이어(710, 730, 750)와 두 개의 활성화 레이어(720, 740)를 포함하고 있는 것으로 도시하고 있으나, 이는 하나의 예시일 뿐이며, 구현예에 따라서, 컨볼루션 레이어 및 활성화 레이어의 개수는 다양하게 변경될 수 있다. 또한, 구현예에 따라서, 제 1 DNN(700)은 RNN(recurrent neural network)을 통해 구현될 수도 있다. 이 경우는 본 개시의 예시에 따른 제 1 DNN(700)의 CNN 구조를 RNN 구조로 변경하는 것을 의미한다.
다시 도 7을 참조하면, AI 다운스케일부(612)로부터 제 1 영상(115)을 전달받은 제 1 부호화부(614)는 제 1 영상(115)을 제 1 부호화하여 제 1 영상(115)이 가지는 정보량을 감축시킬 수 있다. 제 1 부호화부(614)에 의한 제 1 부호화 결과 제 1 영상(115)에 대응하는 영상 데이터가 생성될 수 있다.
데이터 처리부(632)는 AI 데이터 및 영상 데이터 중 적어도 하나가 소정의 형태로 전송될 수 있게 처리한다. 예를 들어, AI 데이터 및 영상 데이터를 비트스트림 형태로 전송하여야 하는 경우, 데이터 처리부(632)는 AI 데이터가 비트스트림 형태로 표현되도록 AI 데이터를 처리하고, 통신부(634)를 통해 하나의 비트스트림 형태의 AI 데이터 및 영상 데이터를 전송한다. 다른 예로, 데이터 처리부(632)는 AI 데이터가 비트스트림 형태로 표현되도록 AI 데이터를 처리하고, 통신부(634)를 통해 AI 데이터에 해당하는 비트스트림 및 영상 데이터에 해당하는 비트스트림 각각을 통신부(634)를 통해 전송한다. 또 다른 예로, 데이터 처리부(632)는 AI 데이터가 프레임 또는 패킷으로 표현되도록 AI 데이터를 처리하고, 비트스트림 형태의 영상 데이터와, 프레임 또는 패킷 형태의 AI 데이터를 통신부(634)를 통해 전송한다.
통신부(630)는 네트워크를 통해 AI 부호화 결과 생성된 AI 부호화 데이터를 전송한다. AI 부호화 결과 생성된 AI 부호화 데이터는 영상 데이터와 AI 데이터를 포함한다. 영상 데이터와 AI 데이터는 동종 네트워크 또는 이종 네트워크를 통해 전송될 수 있다.
일 실시예에서, 데이터 처리부(632)의 처리 결과 생성된 AI 부호화 데이터는 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium) 등을 포함하는 데이터 저장 매체에 저장될 수도 있다.
이하에서는, 도 9를 참조하여, 제 1 DNN(700)과 제 2 DNN(300)을 연계 훈련시키는 방법에 대해 설명한다.
도 9는 제 1 DNN(700) 및 제 2 DNN(300)을 훈련시키는 방법을 설명하기 위한 도면이다.
일 실시예에서 AI 부호화 과정을 통해 AI 부호화된 원본 영상(105)이 AI 복호화 과정을 통해 제 3 영상(145)으로 복원되는데, AI 복호화 결과 생성된 제 3 영상(145)과 원본 영상(105)과의 유사성을 유지하기 위해서는 AI 부호화 과정 및 AI 복호화 과정에 연관성이 필요하다. 즉, AI 부호화 과정에서 손실된 정보를 AI 복호화 과정에서 복원할 수 있어야 하는데, 이를 위해 제 1 DNN(700)과 제 2 DNN(300)의 연계 훈련이 요구된다.
정확한 AI 복호화를 위해서는 궁극적으로 도 9에 도시된 제 3 훈련 영상(804)과 원본 훈련 영상(801) 사이의 비교 결과에 대응하는 제 3 손실 정보(830)를 감소시킬 필요가 있다. 따라서, 제 3 손실 정보(830)는 제 1 DNN(700) 및 제 2 DNN(300)의 훈련 모두에 이용된다.
먼저, 도 9에 도시된 훈련 과정에 대해 설명한다.
도 9에서, 원본 훈련 영상(original training image)(801)은 AI 다운스케일의 대상이 되는 영상이고, 제 1 훈련 영상(first training image)(802)은 원본 훈련 영상(801)로부터 AI 다운스케일된 영상이다. 또한, 제 3 훈련 영상(third training image)(804)은 제 1 훈련 영상(802)으로부터 AI 업스케일된 영상이다.
제 1 DNN(700) 및 제 2 DNN(300)의 연계 훈련을 위해, 원본 훈련 영상(801)이 제 1 DNN(700)으로 입력된다. 제 1 DNN(700)으로 입력된 원본 훈련 영상(801)은 AI 다운스케일되어 제 1 훈련 영상(802)으로 출력되고, 제 1 훈련 영상(802)이 제 2 DNN(300)에 입력된다. 제 1 훈련 영상(802)에 대한 AI 업스케일 결과 제 3 훈련 영상(804)이 출력된다.
도 9를 참조하면, 제 2 DNN(300)으로 제 1 훈련 영상(802)이 입력되고 있는데, 구현예에 따라, 제 1 훈련 영상(802)의 제 1 부호화 및 제 1 복호화 과정을 거쳐 생성된 제 2 훈련 영상(second training image)이 제 2 DNN(300)으로 입력될 수도 있다. 제 2 훈련 영상을 제 2 DNN으로 입력시키기 위해 MPEG-2, H.264, MPEG-4, HEVC, VC-1, VP8, VP9 및 AV1 중 어느 하나의 코덱이 이용될 수 있다. 구체적으로, 제 1 훈련 영상(802)의 제 1 부호화 및 제 1 훈련 영상(802)에 대응하는 영상 데이터의 제 1 복호화에, MPEG-2, H.264, MPEG-4, HEVC, VC-1, VP8, VP9 및 AV1 중 어느 하나의 코덱이 이용될 수 있다.
도 9를 참조하면, 제 1 DNN(700)을 통해 제 1 훈련 영상(802)이 출력되는 것과 별개로, 원본 훈련 영상(801)으로부터 레거시 다운스케일된 축소 훈련 영상(803)이 생성된다. 여기서, 레거시 다운스케일은 바이리니어(bilinear) 스케일, 바이큐빅(bicubic) 스케일, 란조스(lanczos) 스케일 및 스테어 스탭(stair step) 스케일 중 적어도 하나를 포함할 수 있다.
원본 영상(105)의 구조적 특징을 기준으로 제 1 영상(115)의 구조적 특징이 크게 벗어나는 것을 방지하기 위해, 원본 훈련 영상(801)의 구조적 특징을 보존하는 축소 훈련 영상(803)을 생성하는 것이다.
훈련의 진행 전 제 1 DNN(700) 및 제 2 DNN(300)은 미리 결정된 DNN 설정 정보로 세팅될 수 있다. 훈련이 진행됨에 따라 제 1 손실 정보(810), 제 2 손실 정보(820) 및 제 3 손실 정보(830)가 결정될 수 있다.
제 1 손실 정보(810)는 축소 훈련 영상(803)과 제 1 훈련 영상(802)의 비교 결과에 기초하여 결정될 수 있다. 일 예에서, 제 1 손실 정보(810)는 축소 훈련 영상(803)의 구조적 정보와 제 1 훈련 영상(802)의 구조적 정보 사이의 차이에 해당할 수 있다. 구조적 정보는, 영상의 휘도, 대비, 히스토그램 등 영상으로부터 추출 가능한 다양한 특징을 포함할 수 있다. 제 1 손실 정보(810)는 원본 훈련 영상(801)의 구조적 정보가 제 1 훈련 영상(802)에서 어느 정도로 유지되고 있는지를 나타낸다. 제 1 손실 정보(810)가 작을수록 제 1 훈련 영상(802)의 구조적 정보가 원본 훈련 영상(801)의 구조적 정보와 유사해진다.
제 2 손실 정보(820)는 제 1 훈련 영상(802)의 공간적 복잡도에 기반하여 결정될 수 있다. 일 예에서, 공간적 복잡도로서, 제 1 훈련 영상(802)의 총 분산(total variance)값이 이용될 수 있다. 제 2 손실 정보(820)는 제 1 훈련 영상(802)을 제 1 부호화하여 생성한 영상 데이터의 비트레이트와 관련된다. 제 2 손실 정보(820)가 작을수록 영상 데이터의 비트레이트가 작은 것으로 정의된다.
제 3 손실 정보(830)는 원본 훈련 영상(801)과 제 3 훈련 영상(804)의 비교 결과에 기초하여 결정될 수 있다. 제 3 손실 정보(830)는 원본 훈련 영상(801)과 제 3 훈련 영상(804)의 차이에 대한 L1-norm 값, L2-norm 값, SSIM 값, PSNR-HVS 값, MS-SSIM 값, VIF 값 및 VMAF 값 중 적어도 하나를 포함할 수 있다. 제 3 손실 정보(830)는 제 3 훈련 영상(804)이 원본 훈련 영상(801)과 어느 정도로 유사한지를 나타낸다. 제 3 손실 정보(830)가 작을수록 제 3 훈련 영상(804)이 원본 훈련 영상(801)에 더 유사해진다.
도 9를 참조하면, 제 1 손실 정보(810), 제 2 손실 정보(820) 및 제 3 손실 정보(830)가 제 1 DNN(700)의 훈련에 이용되고, 제 3 손실 정보(830)는 제 2 DNN(300)의 훈련에 이용된다. 즉, 제 3 손실 정보(830)는 제 1 DNN(700) 및 제 2 DNN(300)의 훈련에 모두 이용된다.
제 1 DNN(700)은 제 1 손실 정보(810), 제 2 손실 정보(820) 및 제 3 손실 정보(830)에 기초하여 결정된 최종 손실 정보가 감소 또는 최소화되도록 파라미터를 갱신할 수 있다. 또한, 제 2 DNN(300)은 제 3 손실 정보(830)가 감소 또는 최소화되도록 파라미터를 갱신할 수 있다.
제 1 DNN(700) 및 제 2 DNN(300)의 훈련을 위한 최종 손실 정보는 아래의 수학식 1과 같이 결정될 수 있다.
[수학식 1]
Figure pat00001
상기 수학식 1에서, LossDS는 제 1 DNN(700)의 훈련을 위해 감소 또는 최소화되어야 할 최종 손실 정보를 나타내고, LossUS는 제 2 DNN(300)의 훈련을 위해 감소 또는 최소화되어야 할 최종 손실 정보를 나타낸다. 또한, a, b, c는 미리 결정된 소정의 가중치에 해당할 수 있다.
즉, 제 1 DNN(700)은 수학식 1의 LossDS가 감소되는 방향으로 파라미터들을 갱신하고, 제 2 DNN(300)은 LossUS가 감소되는 방향으로 파라미터들을 갱신하게 된다. 훈련 과정에서 도출된 LossDS에 따라 제 1 DNN(700)의 파라미터들이 갱신되면, 갱신된 파라미터에 기초하여 생성되는 제 1 훈련 영상(802)이 이전 훈련 과정에서의 제 1 훈련 영상(802)과 달라지게 되고, 그에 따라 제 3 훈련 영상(804) 역시 이전 훈련 과정에서의 제 3 훈련 영상(804)과 달라지게 된다. 제 3 훈련 영상(804)이 이전 훈련 과정에서의 제 3 훈련 영상(804)과 달라지게 되면, 제 3 손실 정보(830) 역시 새롭게 결정되며, 그에 따라 제 2 DNN(300)은 파라미터들을 갱신한다. 제 3 손실 정보(830)가 새롭게 결정되면, LossDS 역시 새롭게 결정되므로, 제 1 DNN(700)은 새롭게 결정된 LossDS에 따라 파라미터들을 갱신한다. 즉, 제 1 DNN(700)의 파라미터 갱신은, 제 2 DNN(300)의 파라미터 갱신을 야기하고, 제 2 DNN(300)의 파라미터 갱신은 제 1 DNN(700)의 파라미터 갱신을 야기하는 것이다. 다시 말하면, 제 1 DNN(700) 및 제 2 DNN(300)은 제 3 손실 정보(830)의 공유를 통해 연계 훈련되므로, 제 1 DNN(700)의 파라미터들과 제 2 DNN(300)의 파라미터들이 서로 연관성을 가지고 최적화될 수 있는 것이다.
앞서, AI 복호화 장치(200)의 AI 업스케일부(234) 및 AI 부호화 장치(600)의 AI 다운스케일부(612)는 복수의 DNN 설정 정보를 저장하는 것으로 설명하였는데, AI 업스케일부(234) 및 AI 다운스케일부(612)에 저장되는 복수의 DNN 설정 정보 각각을 훈련시키는 방법에 대해 설명한다.
수학식 1과 관련하여 설명한 바와 같이, 제 1 DNN(700)의 경우, 제 1 훈련 영상(802)의 구조적 정보와 원본 훈련 영상(801)의 구조적 정보 사이의 유사 정도(제 1 손실 정보(810)), 제 1 훈련 영상(802)의 제 1 부호화 결과 생성되는 영상 데이터의 비트레이트(제 2 손실 정보(820)) 및 제 3 훈련 영상(804)과 원본 훈련 영상(801) 사이의 차이(제 3 손실 정보(830))를 고려하여 파라미터를 갱신하게 된다.
자세히 설명하면, 원본 훈련 영상(801)의 구조적 정보와 유사하면서, 제 1 부호화를 하였을 때 생성되는 영상 데이터의 비트레이트가 작은 제 1 훈련 영상(802)이 생성 가능하도록 하는 동시에, 제 1 훈련 영상(802)을 AI 업스케일하는 제 2 DNN(300)이 원본 훈련 영상(801)에 유사한 제 3 훈련 영상(804)을 생성할 수 있도록, 제 1 DNN(700)의 파라미터가 갱신될 수 있다.
수학식 1의 a, b, c의 가중치가 조절됨으로써, 제 1 DNN(700)의 파라미터들이 최적화되는 방향이 상이해지게 된다. 예를 들어, b의 가중치를 높게 결정하는 경우, 제 3 훈련 영상(804)의 퀄리티보다 비트레이트가 낮아지는 것에 더 중요도를 두고 제 1 DNN(700)의 파라미터가 갱신될 수 있다. 또한, c의 가중치를 높게 결정하는 경우, 비트레이트가 높아지는 것이나, 원본 훈련 영상(801)의 구조적 정보가 유지되는 것보다 제 3 훈련 영상(804)의 퀄리티가 증가하도록 하는 것에 더 중요도를 두고 제 1 DNN(700)의 파라미터가 갱신될 수 있다.
또한, 제 1 훈련 영상(802)을 제 1 부호화하는데 이용되는 코덱의 타입에 따라 제 1 DNN(700)의 파라미터들이 최적화되는 방향이 상이해질 수 있다. 왜냐하면, 코덱의 종류에 따라, 제 2 DNN(300)으로 입력될 제 2 훈련 영상이 달라질 수 있기 때문이다.
즉, 가중치 a, 가중치 b, 가중치 c 및 제 1 훈련 영상(802)의 제 1 부호화를 위한 코덱의 종류에 기반하여 제 1 DNN(700)의 파라미터들과 제 2 DNN(300)의 파라미터들이 연계하여 갱신될 수 있는 것이다. 따라서, 가중치 a, 가중치 b, 가중치 c 각각을 소정의 값으로 결정하고, 코덱의 종류를 소정의 종류로 결정한 후, 제 1 DNN(700)과 제 2 DNN(300)을 훈련시키면, 서로 연계되어 최적화된 제 1 DNN(700)의 파라미터들과 제 2 DNN(300)의 파라미터들이 결정될 수 있다.
그리고, 가중치 a, 가중치 b, 가중치 c 및 코덱의 종류를 변경한 후, 제 1 DNN(700)과 제 2 DNN(300)을 훈련시키면, 서로 연계되어 최적화된 제 1 DNN(700)의 파라미터들과 제 2 DNN(300)의 파라미터들이 결정될 수 있다. 다시 말하면, 가중치 a, 가중치 b, 가중치 c 및 코덱의 종류 각각의 값을 변경하면서 제 1 DNN(700)과 제 2 DNN(300)을 훈련시키면 서로 연계되어 훈련된 복수의 DNN 설정 정보가 제 1 DNN(700) 및 제 2 DNN(300)에서 결정될 수 있는 것이다.
도 10는 AI 복호화 미지원 디바이스와 AI 복호화 지원 디바이스의 비디오 파일 복호화 과정을 나타낸다.
비디오 파일(900)은 영상 데이터(902)와 AI 데이터(904)를 포함한다. 영상 데이터(902)는, AI 부호화 장치(300)에 의하여 생성된 제2 영상(135)의 부호화 정보를 포함한다. AI 데이터(904)는, 제2 영상(135)의 AI 업스케일에 이용되는 정보를 포함한다.
AI 데이터(904)는 AI 코덱 타겟 데이터와 AI 코덱 보조 데이터를 포함한다. AI 코덱 타겟 데이터는 제2 영상(135)의 AI 업스케일이 허용되는지 여부를 나타낸다. 그리고 AI 코덱 보조 데이터는, 도 3의 제 2 DNN(300)에 의한 제2 영상(135)의 AI 업스케일 방법을 결정하기 위한 정보를 나타낸다. AI 코덱 타겟 데이터가 제2 영상(135)의 AI 업스케일이 허용됨을 나타내면, AI 코덱 보조 데이터에 의하여 제2 영상(135)이 AI 업스케일될 수 있다.
도 10에서 AI 데이터(904)는 부호화되어 비트스트림에 포함되거나, 또는 비디오 파일(900)의 헤더의 메타데이터에 포함될 수 있다. 또한 실시 예에 따라, 도9와 도시된 바와 달리, AI 데이터(904)는 비디오 파일(900)에 포함되지 않고, 외부 파일로부터 획득될 수 있다.
AI 복호화 미지원 디바이스(910)는 제1 복호화부(912)를 사용하여 영상 데이터(902) 을 제1 복호화함으로써 제2 영상(135)을 출력할 수 있다. 그러나 AI 복호화 미지원 디바이스(910)는, 제2 DNN(300)에 따른 AI 복호화를 지원하지 않기 때문에, AI 데이터(904)를 이용하여 제3 영상(145)과 같은 고해상도 영상을 출력할 수 없다.
AI 복호화 지원 디바이스(920)의 제1 복호화부(922)는 영상 데이터(902)로부터 제2 영상(135)을 생성할 수 있다. 또한 AI 코덱 타겟 데이터에 따라 제2 영상(135)의 AI 업스케일이 허용될 경우, AI 복호화 지원 디바이스(920)의 AI 업스케일부(926)는 AI 데이터(904)의 AI 코덱 보조 데이터에 따라 제2 영상(135)을 AI 업스케일함으로써, 도 1의 제3 영상(145)과 같은 고해상도 영상을 출력할 수 있다.
도 10에서, AI 복호화 지원 디바이스(920)의 제1 복호화부(922)와 AI 업스케일부(924)를 설명의 편의상 구분하였으나, 제1 복호화부(922)와 AI 업스케일부(924)의 기능은 단일 프로세서에 의하여 수행될 수 있다.
상기 AI 데이터(904)는 도 12a 내지 도 14에서 자세히 설명된다.
도 11는 영상 데이터와 AI 데이터를 제공하는 서버(1000)와 상기 미디어 데이터를 제공받는 클라이언트(1002) 간의 데이터 송수신 프로세스를 나타낸다.
단계 1010에서, 클라이언트(1002)는 서버(1000)에 부가 정보를 요청할 수 있다. 상기 요청에 응답하여, 단계 1020에서, 서버(1000)는 클라이언트(1002)에게 부가 정보를 제공할 수 있다. 부가 정보는 서버(1000)가 보유하고 있는 후보 미디어 데이터의 정보를 나타낼 수 있다. 후보 미디어 데이터는 영상에 관한 영상 데이터 및 AI 데이터를 포함할 수 있다. 그리고 부가 정보에는 복수의 영상 데이터에 대한 각각의 품질 정보 및 AI 스케일 변환 정보 등이 포함될 수 있다. 품질 정보에는 복수의 영상 데이터 각각의 해상도, 비트레이트 값이 포함될 수 있으며, AI 스케일 변환 정보에는 영상 데이터가 AI 다운스케일된 영상 데이터인지 여부 및 AI 업스케일에 필요한 데이터 등이 포함될 수 있다. 부가 정보는 MPEG DASH 표준의 미디어 설명 서술 (Media Presentation Description, MPD) 등일 수 있다.
단계 1030에서, 클라이언트(1002)는 부가 정보가 나타내는 복수의 미디어 데이터 중 하나의 미디어 데이터를 서버(1000)에 요청할 수 있다. 예를 들어, 클라이언트(1002)가 지원하는 비트레이트에 따라 클라이언트(1002)가 요청하는 미디어 데이터가 결정될 수 있다. 또는 클라이언트(1002)가 제2 DNN(300)을 이용한 AI 업스케일을 지원하는지 여부에 따라 클라이언트(1002)가 요청하는 미디어 데이터가 결정될 수 있다.
그리고 단계 1040에서, 서버(1000)는 클라이언트(1002)에게 미디어 데이터의 영상 데이터와 함께 AI 데이터를 전송할 수 있다. 그리고 클라이언트(1002)는 영상 데이터를 제1 복호화하고, 제1 복호화된 저해상도 영상을 AI 데이터에 따라 AI 업스케일할 수 있다.
동일한 컨텐츠에 대하여 아래와 같은 조건의 4개의 후보 미디어 데이터를 보유하는 서버(1000)를 이하 예시로 설명한다.
비디오 종류 축소 해상도 원본 해상도 프레임율(장/초) 비트레이트(bit/초)
제1 후보 미디어 데이터 7680 x 4320 30/1 100000000
제2 후보 미디어 데이터 7680 x 4320 30/1 80000000
제3 후보 미디어 데이터 3840 x 2160 7680 x 4320 30/1 50000000
제4 후보 미디어 데이터 3840 x 2160 7680 x 4320 30/1 40000000
제1 후보 미디어 데이터와 제2 후보 미디어 데이터의 축소 해상도 및 프레임율은 7680 x 4320과 30/1이고, 비트레이트은 각각 100000000과 80000000 bit/초이다. 그리고 제3 후보 미디어 데이터와 제4 후보 미디어 데이터의 축소 해상도 및 프레임율은 3840 x 2160과 30/1이고, 비트레이트는 각각 50000000과 40000000bit/초이다. 상기 표의 축소 해상도는 원본 영상(105)이 AI 다운스케일된 제1 영상(115)의 해상도를 나타내고, 원본 해상도는 원본 영상(105)의 해상도를 나타낸다. 상기 제3 후보 미디어 데이터와 제4 후보 미디어 데이터는 각각 상기 제1 후보 미디어 데이터와 제2 후보 미디어 데이터를 1/2로 AI 다운스케일하여 생성된다. 따라서 상기 제3 후보 미디어 데이터와 제4 후보 미디어 데이터의 비트레이트는 상기 제1 후보 미디어 데이터와 제2 후보 미디어 데이터의 비트레이트의 절반이다. 따라서 클라이언트(1002)가 요청한 영상 데이터의 비트레이트가 낮은 경우, 또는 서버(1000)와 클라이언트(1002)의 연결이 좋지 않은 경우, 제3 후보 미디어 데이터 또는 제4 후보 미디어 데이터가 선택될 수 있다.제3 후보 미디어 데이터 또는 제4 후보 미디어 데이터가 선택될 경우, AI 코덱이 지원되는 클라이언트(1002)는 제2 DNN(300)을 이용하여 제3 후보 미디어 데이터와 제4 후보 미디어 데이터의 해상도를 7680 x 4320로 AI 업스케일하여 원본 해상도로 재생할 수 있다. 만약 클라이언트(1002)가 AI 코덱을 지원하지 않는 경우, 클라이언트(1002)는 제3 후보 미디어 데이터 또는 제4 후보 미디어 데이터를 축소 해상도에 따라 재생할 수 있다.
도 11의 부가 정보는 구현가능한 여러가지 실시 예들 중 하나이며, 당 분야에서 통상의 지식을 가진 자에 의하여 변형되어 실시 될 수 있다.
도 12a는 비디오 파일의 헤더의 메타데이터에 포함된 AI 데이터를 나타낸다. 비디오 파일의 헤더는 비디오 파일의 데이터의 맨 앞에 위치한 데이터를 의미하며, 비디오 파일이 제공하는 영상 데이터의 메타데이터를 저장한다. 상기 메타 데이터에는 AI 데이터가 포함될 수 있다. 이하 저해상도 영상은 원본 영상(105)으로부터 AI 다운스케일된 제1 영상(115) 및 제1 영상(115)과 동일한 해상도를 가지는 제2 영상(135)을 포함한다. 그리고 고해상도 영상은 원본 영상(105) 및 제2 영상(135)이 AI 업스케일된 제3 영상(145)를 포함한다. 도 12a의 데이터 구조는 네트워크 패킷에 포함될 수 있다.
비디오 파일의 헤더에 저장된 AI 데이터에는 ai_codec_info(1100), res_info (1110), org_offset_info (1120), rszd_offset_info (1130), phase_info (1140), color_format_info (1150), ai_codec_filter_set_info (1160), ai_codec_level_info (1170), ai_codec_supplementary_info (1180) 등이 포함될 수 있다. 도 12a 에 나타난 상기 AI 데이터의 배열 순서는 예시일 뿐, 통상의 기술자는 상기 AI 데이터의 배열 순서를 변경하여 실시할 수 있다.
일 실시 예에서, ai_codec_info(1100)는 제2 영상(135)과 같은 저해상도 영상에 업스케일이 적용되는지 여부를 나타내는 AI 코덱 타겟 데이터를 의미한다.
일 실시 예에서, ai_codec_info(1100)는 저해상도 영상에 업스케일이 적용되는지 여부와 함께 업스케일을 수행하는 AI 업스케일부의 식별 번호를 나타낼 수 있다. 예를 들어, AI 복호화 지원 디바이스는 2개 이상의 서로 다른 AI 업스케일 방식에 따라 AI 업스케일을 지원하는 AI 업스케일부를 포함할 수 있다. 또한 AI 복호화 지원 디바이스는, AI 업스케일부의 업데이트로 인하여, 버전이 다른 2개 이상의 AI 업스케일부를 포함할 수 있다. 따라서, ai_codec_info(1100)는 저해상도 영상에 업스케일이 적용될 때, 상기 2개 이상의 AI 업스케일부 중 하나의 식별 번호를 나타낼 수 있다.
ai_codec_info(1100)가 비디오 파일의 영상에 업스케일이 적용됨을 나타낼 경우, AI 업스케일에 관한 AI 코덱 보조 데이터가 비디오 파일의 헤더로부터 획득된다. 반대로 ai_codec_info(1100)가 비디오 파일의 영상에 AI 업스케일이 적용되지 않음을 나타낼 경우, AI 코덱 보조 데이터는 비디오 파일의 헤더로부터 획득되지 않는다. 상기 AI 코덱 보조 데이터는 res_info (1110), org_offset_info (1120), rszd_offset_info (1130), phase_info (1140), color_format_info (1150), ai_codec_filter_set_info (1160), ai_codec_level_info (1170), ai_codec_supplementary_info (1180) 등이 포함된다.
res_info (1110)는 비디오 파일에 포함된 영상 데이터의 해상도에 관련된 해상도 정보를 나타낸다. res_info (1110)는 원본 영상(105), 제1 영상(115)의 해상도에 관한 정보를 포함할 수 있다. 또한 res_info (1110)는 제2 영상(135), 제3 영상(145)의 해상도에 관한 정보를 포함할 수 있다. 도 12a에 따르면, res_info (1110)는 pic_width_org_luma(1111), pic_height_org_luma(1112), pic_width_rszd_luma(1113), pic_height_rszd_luma(1114) 등을 포함할 수 있다.
일 실시 예에서, pic_width_org_luma(1111), pic_height_org_luma(1112)는 비디오 파일에 포함된 프레임의 원본 영상(105)의 너비와 높이를 나타낸다. 또한 pic_width_org_luma(1111), pic_height_org_luma(1112)는 제3 영상(145)의 너비와 높이를 나타낼 수 있다. 따라서 pic_width_org_luma(1111), pic_height_org_luma(1112)에 기초하여 프레임의 원본 영상(105)의 해상도가 결정될 수 있다.
일 실시 예에서, pic_width_rszd_luma(1113), pic_height_rszd_luma(1114)는 비디오 파일에 포함된 프레임의 제1 영상(115) 및 제2 영상(135)과 같은 저해상도 영상의 너비와 높이를 나타낸다. 따라서 pic_width_rszd_luma(1113), pic_height_rszd_luma(1114)에 기초하여 프레임의 저해상도 영상의 해상도가 결정될 수 있다.
일 실시 예에서, pic_width_org_luma(1104), pic_height_org_luma(1106)가 res_info (1110)에 포함되지 않고, 대신 저해상도 영상과 고해상도 영상의 해상도 비율을 나타내는 정보가 포함될 수 있다. 따라서, pic_width_rszd_luma(1108), pic_height_rszd_luma(1110)로부터 결정된 축소 해상도와 저해상도 영상과 고해상도 영상의 해상도 비율로부터 원본 해상도가 결정될 수 있다.
일 실시 예에서, pic_width_org_luma(1111)와 pic_width_rszd_luma(1113)에 따라 수평 해상도 비율이 결정될 수 있다. 그리고 pic_height_org_luma(1112)와 pic_height_rszd_luma(1114)에 따라 수직 해상도 비율이 결정될 수 있다.
일 실시 예에서, res_info (1110)는 색 채널마다 해상도 정보를 포함할 수 있다. 예를 들어, pic_width_org_luma(1111), pic_height_org_luma(1112), pic_width_rszd_luma(1113), pic_height_rszd_luma(1114)는 루마 영상의 해상도에 관한 정보를 나타낸다. 마찬가지로, 도 12a에는 도시되지 않았지만, res_info (1110)는 크로마 영상 (예: Cb 영상, Cr 영상)의 해상도에 관한 정보를 추가적으로 포함할 수 있다.
일 실시 예에서, 크로마 영상의 해상도에 관한 정보는, 루마 영상의 해상도에 관한 정보와 루마 영상과 크로마 영상의 색 포맷을 나타내는 정보에 기초하여 유도될 수 있다. 제2 영상(135)과 같은 저해상도 영상과 고해상도 영상의 색 포맷이 동일한 경우, 루마 영상의 해상도 비율과 크로마 영상의 해상도 비율이 동일하게 결정된다. 그러나 저해상도 영상과 고해상도 영상의 색 포맷이 동일하지 않은 경우, 루마 영상의 해상도 비율과 크로마 영상의 해상도 비율이 다르게 결정된다. 예를 들어, 고해상도 영상의 색 포맷이 YCbCr 4:2:0이고, 제2 영상(135)과 같은 저해상도 영상의 색 포맷이 YCbCr 4:4:4인 경우, 크로마 영상의 해상도 비율은 루마 영상의 해상도 비율의 절반으로 결정될 수 있다.
일 실시 예에서, res_info (1110)는 AI 업스케일된 영상의 해상도를 나타내는 pic_width_tgt_luma(미도시), pic_height_tgt_luma(미도시)를 포함할 수 있다. 원본 영상(105)의 해상도와 제3 영상(145)의 해상도가 다를 경우, 원본 영상(105)으로부터 결정된 pic_width_org_luma(1111), pic_height_org_luma(1112) 뿐만 아니라, 제3 영상(145)의 해상도를 나타내는 pic_width_tgt_luma(미도시), pic_height_tgt_luma(미도시)가 추가적으로 전송될 수 있다. 따라서 pic_width_org_luma(1111), pic_height_org_luma(1112) 대신 pic_width_tgt_luma(미도시), pic_height_tgt_luma(미도시)에 기초하여 AI 업스케일에 이용되는 해상도 비율이 결정될 수 있다.
일 실시 예에서, 비디오 파일의 프레임들의 저해상도 영상들은 상기 결정된 해상도 비율에 따라 AI 업스케일될 수 있다.
org_offset_info (1120)는 고해상도 영상의 오프셋 정보를 나타낸다. 그리고 rszd_offset_info (1130)는 저해상도 영상의 오프셋 정보를 나타낸다. 오프셋은 영상의 전체 영역과 AI 부호화 적용 영역 간의 픽셀 간격을 의미한다. 고해상도 영상의 오프셋 정보에 따라 고해상도 영상으로부터 AI 부호화 적용 영역이 결정된다. 그리고 저해상도 영상의 오프셋 정보에 따라 저해상도 영상에서 AI 부호화 적용 영역이 결정된다.
org_offset_info (1120)은 org_offset_present_flag (1121), org_left_offset (1122), org_top_offset (1123), org_right_offset (1124), org_bottom_offset (1125) 등을 포함할 수 있다. org_offset_present_flag (1121)는 고해상도 영상의 오프셋 정보(org_left_offset (1122), org_top_offset (1123), org_right_offset (1124), org_bottom_offset (1125))를 획득할 수 있는지 여부를 나타낸다. 그리고 org_left_offset (1122), org_top_offset (1123), org_right_offset (1124), org_bottom_offset (1125)는 각각 고해상도 영상 좌측 오프셋, 고해상도 영상 상측 오프셋, 고해상도 영상 우측 오프셋 및 고해상도 영상 하측 오프셋을 나타낸다. 고해상도 영상 좌측 오프셋은 고해상도 영상의 최좌측 픽셀과 고해상도 영상의 AI 부호화 적용 영역의 최좌측 픽셀의 픽셀 거리를 나타낸다. 고해상도 영상 상측 오프셋은 고해상도 영상의 최상측 픽셀과 고해상도 영상의 AI 부호화 적용 영역의 최상측 픽셀의 픽셀 거리를 나타낸다. 고해상도 영상 우측 오프셋은 고해상도 영상의 최우측 픽셀과 고해상도 영상의 AI 부호화 적용 영역의 최우측 픽셀의 픽셀 거리를 나타낸다. 고해상도 영상 하측 오프셋은 고해상도 영상의 최하측 픽셀과 고해상도 영상의 AI 부호화 적용 영역의 최하측 픽셀의 픽셀 거리를 나타낸다.
고해상도 영상의 오프셋 정보는 고해상도 영상의 전체 영역과 AI 부호화 적용 영역 간의 오프셋을 나타낸다. 고해상도 영상의 AI 부호화 적용 영역은, AI 업스케일된 저해상도 영상의 AI 부호화 적용 영역이 고해상도 영상에서 표시되는 영역을 의미한다. 고해상도 영상의 오프셋 정보에 따라, 고해상도 영상의 전체 영역으로부터 AI 업스케일이 적용되는 고해상도 영상의 AI 부호화 적용 영역이 결정된다. 예를 들어, 고해상도 영상의 해상도가 7680 x 4320이고, org_left_offset (1122), org_top_offset (1123), org_right_offset (1124), org_bottom_offset (1125)이 20일 경우, 고해상도 영상의 가장자리로부터 20 픽셀 거리 이내의 픽셀들은 고해상도 영상의 AI 부호화 적용 영역에서 제외된다. 따라서 고해상도 영상의 AI 부호화 적용 영역의 해상도는 7640 x 4280으로 결정된다.
org_offset_present_flag (1121)가 고해상도 영상의 오프셋 정보를 획득될 수 없다고 나타내면, 고해상도 영상의 좌측 오프셋, 상측 오프셋, 우측 오프셋, 하측 오프셋은 모두 0으로 결정된다. 즉, 고해상도 영상의 AI 부호화 적용 영역은 고해상도 영상의 전체 영역으로 결정된다.
rszd_offset_info (1130)는 rszd_offset_present_flag (1131), rszd_left_offset (1132), rszd_top_offset (1133), rszd_right_offset (1134), rszd_bottom_offset (1135) 등을 포함할 수 있다. rszd_offset_present_flag (1131), rszd_left_offset (1132), rszd_top_offset (1133), rszd_right_offset (1134), rszd_bottom_offset (1135) 등이 비디오 파일에 포함되어 있는지 여부를 나타낸다. 그리고 rszd_left_offset (1132), rszd_top_offset (1133), rszd_right_offset (1134), rszd_bottom_offset (1135)은 각각 저해상도 영상 좌측 오프셋, 저해상도 영상 상측 오프셋, 저해상도 영상 우측 오프셋 및 저해상도 영상 하측 오프셋을 나타낸다. 저해상도 영상 좌측 오프셋은 저해상도 영상의 최좌측 픽셀과 저해상도 영상의 AI 부호화 적용 영역의 최좌측 픽셀의 픽셀 거리를 나타낸다. 저해상도 영상 상측 오프셋은 저해상도 영상의 최상측 픽셀과 저해상도 영상의 AI 부호화 적용 영역의 최상측 픽셀의 픽셀 거리를 나타낸다. 저해상도 영상 우측 오프셋은 저해상도 영상의 최우측 픽셀과 저해상도 영상의 AI 부호화 적용 영역의 최우측 픽셀의 픽셀 거리를 나타낸다. 저해상도 영상 하측 오프셋은 저해상도 영상의 최하측 픽셀과 저해상도 영상의 AI 부호화 적용 영역의 최하측 픽셀의 픽셀 거리를 나타낸다.
저해상도 영상의 오프셋 정보는 저해상도 영상의 전체 영역과 AI 부호화 적용 영역 간의 오프셋을 나타낸다. 저해상도 영상의 AI 부호화 적용 영역은 저해상도 영상에서 AI 업스케일이 적용되는 영역을 의미한다. 저해상도 영상의 오프셋 정보에 따라, 저해상도 영상의 전체 영역으로부터 AI 업스케일이 적용되는 저해상도 영상의 AI 부호화 적용 영역이 결정된다. 예를 들어, 저해상도 영상의 해상도가 3840 x 2160이고, rszd_left_offset (1132), rszd_top_offset (1133), rszd_right_offset (1134), rszd_bottom_offset (1135)이 10일 경우, 저해상도 영상의 가장자리로부터 10 픽셀 거리 이내의 픽셀들은 저해상도 영상의 AI 부호화 적용 영역에서 제외된다. 따라서 저해상도 영상의 AI 부호화 적용 영역의 해상도는 3820 x 2140으로 결정된다.
rszd_offset_present_flag (1131)가 저해상도 영상의 오프셋 정보를 획득될 수 없다고 나타내면, 저해상도 영상의 좌측 오프셋, 상측 오프셋, 우측 오프셋, 하측 오프셋은 모두 0으로 결정된다. 즉, 저해상도 영상의 AI 부호화 적용 영역은 저해상도 영상의 전체 영역으로 결정된다.
저해상도 영상의 오프셋 정보와 고해상도 영상의 오프셋 정보에 따라, 해상도 비율이 결정될 수 있다. 예를 들어, 저해상도 영상의 AI 부호화 적용 영역과 고해상도 영상의 AI 부호화 적용 영역의 크기 차이에 따라 수직 해상도 비율 및 수평 해상도 비율이 결정될 수 있다.
phase_info (1140)는 제2 영상(135)과 같은 저해상도 영상에 포함된 픽셀들에 대한 위상 정보를 나타낸다. 위상 정보는 AI 업스케일에서 저해상도 영상에 포함된 픽셀들의 위상 변화를 나타낸다. phase_info (1140)에 나타난 픽셀의 위상 변화에 기초하여, AI 업스케일에 사용되는 업스케일용 DNN가 결정될 수 있다.
저해상도 영상과 고해상도 영상을 정렬하는 방식에는, 영 위상 정렬 방식(zero-phase alignment) 및 대칭 정렬 방식(symmetric alignment)이 있다. 영 위상 정렬 방식에 따르면, 저해상도 영상과 고해상도 영상의 좌측 상단 픽셀을 기준으로 저해상도 영상과 고해상도 영상의 픽셀들을 정렬되므로, AI 업스케일에 따른 위상 변화가 발생하지 않는다. 그러나 대칭 정렬 방식에 따르면, 저해상도 영상과 고해상도 영상의 중앙을 기준으로 저해상도 영상과 고해상도 영상의 픽셀들을 정렬되므로, 저해상도 영상과 고해상도 영상의 픽셀들 간에 AI 업샘플링에 따른 위상 변화가 발생할 수 있다. 따라서 phase_info (1140)에 나타난 픽셀의 위상 변화에 따라 AI 업스케일에 사용되는 업스케일용 DNN를 결정함으로써 AI 업스케일의 정확도가 증가할 수 있다.
phase_info (1140)는 phase_set_present_flag (1141), phase_hor_luma (1142), phase_ver_luma (1143), phase_hor_chroma (1144), phase_ver_chroma (1145) 등을 포함할 수 있다. phase_set_present_flag (1141)는 phase_hor_luma (1142), phase_ver_luma (1143), phase_hor_chroma (1144), phase_ver_chroma (1145) 등이 비디오 파일에 포함되어 있는지 여부를 나타낸다. phase_hor_luma (1142) 및 phase_ver_luma (1143)는 각각 루마 영상의 수평 위상 변화와 수직 위상 변화를 나타낸다. phase_hor_chroma (1144), phase_ver_chroma (1145)는 각각 크로마 영상의 수평 위상 변화와 수직 위상 변화를 나타낸다.
color_format_info (1150)는 색 포맷 정보를 나타낸다. color_format_info (1150)는 org_color_format (1151)과 rszd_color_format (1152)을 포함할 수 있다. org_color_format (1151)과 rszd_color_format (1152)는 각각 제2 영상(135)과 같은 저해상도 영상과 제3 영상(145)과 같은 고해상도 영상의 색 포맷을 나타낸다. 상기 색 포맷은 픽셀의 색을 구성하는 색 성분과 함께 색 성분들의 비율을 나타낼 수 있다. 예를 들어, 색 포맷은 YCbCr 4:4:4, YCbCr 4:2:2, YCbCr 4:2:0 과 같이 표현될 수 있다. 앞서 설명된 바와 같이, 저해상도 영상과 고해상도 영상의 색 포맷(색 성분들의 비율)에 차이가 있는 경우, 색 성분마다 해상도 비율이 다르게 결정될 수 있다. 또한 해상도 정보로부터 결정된 루마 영상의 해상도 비율과 저해상도 영상과 고해상도 영상의 색 포맷의 차이에 따라 크로마 영상의 해상도 비율이 결정될 수 있다.
ai_codec_DNN_info (1160)는 비디오 파일에 적용될 수 있는 업스케일용 DNN에 관한 DNN 정보를 나타낸다. DNN 정보는 업스케일용 DNN에 대한 DNN 설정 정보를 포함할 수 있다. 또는 DNN 정보는 업스케일용 DNN의 식별자를 포함할 수 있다. 또는 DNN 정보는 업스케일용 DNN에 대한 룩업테이블의 값의 식별자를 포함할 수 있다. 일 실시 예에 따르면, 비디오 파일의 프레임들의 제2 영상(135)과 같은 저해상도 영상은 ai_codec_DNN_info (1160)에 따라 결정된 DNN 설정 정보에 대응되는 업스케일용 DNN을 이용하여 AI 업스케일 될 수 있다. 또한 ai_codec_DNN_info (1160)는 2개 이상의 DNN 설정 정보를 나타낼 수 있다. 따라서 ai_codec_DNN_info (1160)에 따른 2개 이상의 DNN 설정 정보에 대응하는, 2개 이상의 업스케일용 DNN가 생성될 수 있다.
일 실시 예에 따르면, ai_codec_DNN_info (1160)에는 업스케일용 DNN에 사용되는 DNN 설정 정보가 포함될 수 있다. 상기 DNN 설정 정보는 컨볼루션 레이어의 개수에 관한 정보, 각 컨볼루션 레이어에 포함된 필터 커널의 개수 및 크기에 관한 정보 및 각 필터 커널의 가중치 및 바이어스에 관한 파라미터에 관한 정보 등을 포함할 수 있다. 따라서, ai_codec_DNN_info (1160)에 포함된 DNN 설정 정보에 따라, 상기 비디오 파일에 적용될 수 있는 업스케일용 DNN이 결정될 수 있다.
일 실시 예에 따르면, ai_codec_DNN_info (1160)는 미리 저장된 복수의 업스케일용 DNN들 중 상기 비디오 파일에 적용될 수 있는 업스케일용 DNN의 식별자를 나타낼 수 있다. 따라서, ai_codec_DNN_info (1160)는 DNN 설정 정보를 직접 포함하는 대신, 미리 저장된 복수의 업스케일용 DNN들 중 비디오 파일에 적용될 수 있는 업스케일용 DNN의 식별자를 나타낼 수 있다. 그리고 ai_codec_DNN_info (1160)이 나타내는 식별자에 따라, 비디오 파일에 적용될 업스케일용 DNN이 결정될 수 있다. ai_codec_DNN_info (1160)는 미리 저장된 복수의 업스케일용 DNN들 중 2개 이상의 업스케일용 DNN들의 식별자들을 나타낼 수 있다.
일 실시 예에 따르면, ai_codec_DNN_info (1160)는 비디오 파일의 영상 데이터의 특성에 대응되는 미리 저장된 복수의 업스케일용 DNN들 중 상기 비디오 파일에 적용될 수 있는 업스케일용 DNN의 식별자를 나타낼 수 있다. 예를 들어, ai_codec_DNN_info (1160)는, 도 12a 및 12b의 AI 데이터에 따라, 영상 데이터의 비트 레이트가 20Mbps이고, 영상 데이터의 해상도 비율이 2인 경우(예를 들어, 해상도가 4K에서 8K로 업스케일링된 경우), 상기 영상 데이터의 특성에 적용될 수 있는 미리 저장된 복수의 업스케일용 DNN들 중, 상기 비디오 파일에 적용될 수 있는 업스케일용 DNN의 식별자를 나타낼 수 있다. 상기 실시 예에서, 해상도 비율, 비트 레이트 대신 영상 데이터의 다른 특성이 고려될 수 있다. 또한 해상도 비율, 비트 레이트와 함께 영상 데이터의 다른 특성이 고려될 수 있다.
일 실시 예에 따르면, DNN 설정 정보를 구성하는 컨볼루션 레이어의 수, 컨볼루션 레이어별 필터 커널의 개수, 각 필터 커널의 파라미터 등에 대한 값들이 룩업 테이블에 저장된 경우, ai_codec_DNN_info (1160)는 업스케일용 DNN에 관한 룩업 테이블의 값들의 식별자를 나타낼 수 있다. 예를 들어, ai_codec_DNN_info (1160)는 컨볼루션 레이어의 수에 관한 룩업 테이블의 값의 식별자, 컨볼루션 레이어별 필터 커널의 개수에 관한 룩업 테이블의 값의 식별자, 각 필터 커널의 파라미터에 관한 룩업 테이블의 값의 식별자 등을 포함할 수 있다. 그리고 ai_codec_DNN_info (1160)의 식별자에 따른 룩업 테이블의 값들을 조합하여 DNN 설정 정보가 결정될 수 있다. 또한 상기 DNN 설정 정보에 대응되는 업스케일용 DNN이 비디오 파일에 포함된 저해상도 영상의 AI 업스케일에 사용될 수 있다.
일 실시 예에 따르면, 컨볼루션 레이어의 수 및 컨볼루션 레이어별 필터 커널의 개수는 미리 정해지고, 각 필터 커널의 파라미터 등에 대한 값들이 룩업 테이블에 저장된 경우, ai_codec_DNN_info (1160)는 필터 커널의 파라미터에 관한 룩업 테이블의 값의 식별자를 포함할 수 있다, 그리고 미리 정해진 컨볼루션 레이어의 수 및 컨볼루션 레이어별 필터 커널의 개수와 함께, 필터 커널의 파라미터에 관한 룩업 테이블의 값의 식별자에 따라 DNN 설정 정보가 결정될 수 있다.
일 실시 예에 따르면, 필터 커널의 파라미터 등에 대한 값들만 룩업 테이블에 저장된 경우, ai_codec_DNN_info (1160)은 컨볼루션 레이어의 수에 관한 정보 및 컨볼루션 레이어별 필터 커널의 개수에 대한 정보와 함께, 필터 커널의 파라미터에 관한 룩업 테이블의 값의 식별자를 포함할 수 있다, 그리고 컨볼루션 레이어의 수 및 컨볼루션 레이어별 필터 커널의 개수와 함께, 필터 커널의 파라미터에 관한 룩업 테이블의 값의 식별자에 따라 DNN 설정 정보가 결정될 수 있다.
일 실시 예에 따르면, ai_codec_DNN_info (1160)는 ai_codec_DNN_info (1160)에 따라 결정된 업스케일용 DNN가 적용되는 영상 데이터의 특성을 나타낼 수 있다. 예를 들어, ai_codec_DNN_info (1160)는 영상 데이터의 비트 레이트가 20Mbps이고, 영상 데이터의 해상도 비율이 2인 경우, ai_codec_DNN_info (1160)에 따른 업스케일용 DNN이 적용될 수 있다는 정보를 추가적으로 포함할 수 있다. 따라서 ai_codec_DNN_info (1160)에 따른 업스케일용 DNN은, 영상 데이터의 비트 레이트가 20Mbps이고, 영상 데이터의 해상도 비율이 2인 경우에, 저해상도 영상의 AI 업스케일에 적용될 수 있다. 상기 실시 예에서, 해상도 비율, 비트 레이트 대신 영상 데이터의 다른 특성이 고려될 수 있다. 또한 해상도 비율, 비트 레이트와 함께 영상 데이터의 다른 특성이 고려될 수 있다.
일 실시 예에 따르면, ai_codec_DNN_info (1160)이 생략되고, 도 12a 및 12b의 AI 데이터에 의하여 결정된 영상 데이터의 특성에 따라 미리 저장된 복수의 업스케일용 DNN들 중 하나가 프레임의 저해상도 영상의 AI 업스케일을 위한 업스케일용 DNN으로 선택될 수 있다. 예를 들어, 영상 데이터의 비트 레이트가 20Mbps이고, 영상 데이터의 해상도 비율이 2인 경우, ai_codec_DNN_info (1160)를 획득하지 않고, 상기 비트레이트 및 해상도 비율에 대응되는 미리 저장된 업스케일용 DNN이 선택될 수 있다. 상기 실시 예에서, 해상도 비율, 비트 레이트 대신 영상 데이터의 다른 특성이 고려될 수 있다. 또한 해상도 비율, 비트 레이트와 함께 영상 데이터의 다른 특성이 고려될 수 있다.
ai_codec_level_info (1170)는 비디오에 포함된 프레임들의 양자화 레벨을 나타낸다. 비디오 파일에서 제공하는 영상의 비트레이트는 양자화 레벨에 의하여 조절된다. 예를 들어, 양자화 레벨이 높을 경우, 데이터 손실이 증가하여 비트레이트가 감소한다. 반대로, 양자화 레벨이 낮을 경우, 데이터 손실이 감소하는 대신 비트레이트가 증가한다. 그러므로 양자화 레벨에 따른 화질 저하의 정도를 고려하여 업스케일용 DNN의 파라미터가 결정될 필요가 있다. 따라서 비디오의 프레임들의 저해상도 영상은 양자화 레벨에 따라 선택된 업스케일용 DNN을 이용하여 AI 업스케일될 수 있다.
일 실시 예에서, ai_codec_level_info (1170)는 비디오에 포함된 프레임들의 양자화 레벨의 범위를 나타낼 수 있다. 예를 들어, ai_codec_level_info (1170)가 1을 나타낼 경우, 비디오에 포함된 프레임들의 양자화 레벨의 범위는 1~10 일 수 있다. 또 다른 예로, ai_codec_level_info (1170)가 2를 나타낼 경우, 비디오에 포함된 프레임들의 양자화 레벨의 범위는 11~20 일 수 있다.
ai_codec_supplementary_info (1180)는 AI 업스케일에 사용되는 부가 정보를 의미한다. 일 실시 예에서, 상기 부가 정보는 상기 언급된 정보 외에도 색 범위, HDR 최대 조도, HDR 색역, HDR PQ 정보, 코덱 정보, 목표 비트레이트, 레이트 콘트롤 타입 등에 관한 정보 등을 포함할 수 있다.
상기와 같이 언급된 요소들에 따라, 제2 영상의 AI 업스케일에 필요한 업스케일용 DNN이 선택된다. 상기 언급된 해상도 정보, 오프셋 정보, 위상 정보, 색 포맷 정보, DNN 정보, 양자화 레벨 정보, 부가 정보 및 비디오 파일의 영상 종류에 따라 저해상도 영상의 AI 업스케일에 필요한 업스케일용 DNN가 획득될 수 있다.
상기 비디오 파일의 영상은 스포츠 영상, 풍경 영상, 애니메이션 영상, 인공 영상 등 중 하나로 분류될 수 있다. 그리고 비디오 파일의 영상이 어떤 영상 항목에 분류되는지에 따라, AI 업스케일에 사용되는 업스케일용 DNN가 결정될 수 있다.
실시 예에 따라, 도 12a에서 설명된 비디오 파일의 헤더는 res_info (1110), org_offset_info (1120), rszd_offset_info (1130), phase_info (1140), color_format_info (1150), ai_codec_DNN_info (1160), ai_codec_level_info (1170), ai_codec_supplementary_info (1180) 중 적어도 하나를 포함하도록 구성될 수 있다. 그리고 도 12a에서 비디오 파일의 헤더로부터 획득되는 것으로 묘사된 AI 데이터는, 비디오 파일의 헤더로부터 획득되지 않고, 대신 도 13 및 14의 AI 코덱 하이 레벨 신택스에 따라 획득될 수 있다. 예를 들어, AI 코덱 비디오 신택스, AI 코덱 시퀀스 신택스 및 AI 코덱 프레임 신택스에 따라, 도 12a에서 언급된 AI 데이터가 복호화될 수 있다.
도 13a에서 비디오 파일의 헤더로부터 획득된 AI 데이터는, 도 13 및 14의 AI 코덱 하이 레벨 신택스에 따라 중복하여 획득될 수 있다. 따라서, 비디오 파일의 헤더로부터 획득된 AI 데이터와 AI 코덱 하이 레벨 신택스에 따라 획득된 AI 데이터를 모두 고려하여, 저해상도 영상이 AI 업스케일될 수 있다. 예를 들어, 비디오 파일의 헤더로부터 해상도 정보가 추출된 경우에도, AI 코덱 시퀀스 신택스에 따라 해상도 정보가 획득될 수 있다. 그리고 비디오 파일의 헤더로부터 추출된 해상도 정보와 AI 코덱 시퀀스 신택스에 따라 획득된 해상도 정보 중 우선적으로 적용되도록 설정된 해상도 정보에 따라, 저해상도 영상이 AI 업스케일될 수 있다.
도 12a의 비디오 파일의 헤더는 구현가능한 여러가지 실시 예들 중 하나이며, 당 분야에서 통상의 지식을 가진 자에 의하여 변형되어 실시 될 수 있다.
도 12b는 세그먼트의 헤더의 메타데이터에 포함된 AI 데이터를 나타낸다. 세그먼트는 AI 부호화된 영상 데이터를 기 설정된 시간 단위에 기초하여 분할하여 생성된 데이터 단위를 의미한다.
영상 데이터가 서버에서 클라이언트로 스트리밍될 때, 영상 데이터는 소정의 시간 단위로 분할되어 전송될 수 있다. 예를 들어, 영상 데이터에 대응되는 영상의 재생 시간이 10분이고, 영상이 10초 단위의 세그먼트로 분할될 경우, 영상 데이터는 60개의 세그먼트로 구성될 수 있다. 상기 세그먼트의 시간 단위는 실시 예에 따라 다르게 결정될 수 있다.
그리고 클라이언트가 서버에 영상 데이터의 전송을 요청한 경우, 클라이언트가 요청한 재생 구간에 대응되는 한 개 이상의 세그먼트가 서버에서 클라이언트로 전송될 수 있다. 세그먼트들은 각 세그먼트에 대하여 부여된 재생 순서에 따라 순차적으로 서버에서 클라이언트로 전송될 수 있다. 그리고 세그먼트의 헤더는 도 12a에서 설명된 AI 데이터를 포함할 수 있다.
실시간 스트리밍에서, 네트워크 상태에 따라 전송되는 미디어 데이터가 변경될 수 있다. 네트워크 상태는 혼잡도 및 기타 요소에 따라 결정될 수 있다. 예를 들어, 네트워크의 최대 비트레이트가 100000000 bit/초일 때, 제1 후보 미디어 데이터의 세그먼트가 서버에서 클라이언트로 전송될 수 있다. 그러나 네트워크의 최대 비트레이트가 50000000 bit/초로 감소한 경우, 제1 후보 미디어 데이터의 세그먼트는 전송될 수 없다. 따라서 네트워크 상태가 임계치 이상의 변동이 있을 경우, 새로운 미디어 데이터에 대응되는 AI 데이터가 전송될 수 있다.
따라서 세그먼트의 헤더에는 현재 세그먼트가 이전 세그먼트의 AI 데이터를 승계하는지 여부를 나타내는 세그먼트 종속 정보가 포함될 수 있다. 만약 네트워크 상태의 임계치 이상의 변동이 있을 경우, 세그먼트 종속 정보는 현재 세그먼트가 이전 세그먼트의 AI 데이터를 승계하지 않도록 설정될 수 있다. 그리고 세그먼트 종속 정보에 따라, 새로운 AI 데이터가 현재 세그먼트의 헤더로부터 획득될 수 있다.
도 12b에 따르면, 세그먼트의 헤더는 도 12a의 AI 데이터와 함께, 세그먼트 종속 정보를 나타내는 dependent_ai_condition_info (1190)를 포함한다. 만약 dependent_ai_condition_info (1190)가 현재 세그먼트가 이전 세그먼트의 AI 데이터를 승계함을 나타낼 때, 현재 세그먼트의 헤더에는 AI 데이터가 포함되지 않는다. 대신 현재 세그먼트의 AI 데이터는 이전 세그먼트의 AI 데이터와 동일하도록 결정된다. 만약 dependent_ai_condition_info (1190)가 현재 세그먼트가 이전 세그먼트의 AI 데이터를 승계하지 않음을 나타낼 때, 현재 세그먼트의 헤더에는 AI 데이터가 포함된다. 따라서 현재 세그먼트의 헤더에 포함된 AI 데이터가 획득될 수 있다. 세그먼트 종속 정보에 따라 현재 세그먼트의 헤더에 포함된 AI 데이터의 크기가 감소할 수 있다.
일 실시 예에서, 최초로 전송된 세그먼트의 세그먼트 종속 정보는 생략될 수 있다. 그리고 최초로 전송된 세그먼트의 헤더에는 AI 데이터가 포함된다. 또한 두 번째로 전송된 세그먼트부터, 세그먼트 종속 정보가 세그먼트의 헤더에 포함된다.
일 실시 예에서, 세그먼트 종속 정보는 특정 AI 데이터의 종속 여부만을 나타낼 수 있다. 예를 들어, 세그먼트 종속 정보는 현재 세그먼트가 이전 세그먼트의 AI 코덱 타겟 데이터를 승계하는지 여부를 나타낼 수 있다. 또는 세그먼트 종속 정보는 현재 세그먼트가 이전 세그먼트의 AI 코덱 타겟 데이터와 해상도 정보를 승계하는지 여부를 나타낼 수 있다. 세그먼트 종속 정보에 따라 승계되는 AI 데이터는 ai_codec_info(1100), res_info (1110), org_offset_info (1120), rszd_offset_info (1130), phase_info (1140), color_format_info (1150), ai_codec_DNN_info (1160), ai_codec_level_info (1170), ai_codec_supplementary_info (1180) 중 적어도 하나를 포함할 수 있다.
도 13 및 도 14는 영상의 AI 업스케일에 관한 AI 데이터의 하이 레벨 신택스 테이블을 나타낸다.
구체적으로, 도 13의 ai_codec_usage_sequence는 현재 시퀀스의 프레임들에 대하여 적용되는 AI 코덱 시퀀스 신택스 테이블을 나타낸다. AI 코덱 시퀀스 신택스 테이블은, 시퀀스에 포함된 프레임들에 적용되는 시퀀스 AI 데이터를 영상 데이터로부터 획득하는 과정을 나타낸다.
도 13의 AI 코덱 시퀀스 신택스 테이블에 따르면, ai_codec_sequence_available_info, ai_codec_applied_channel_info, pic_width_in_org_luma_samples, pic_height_in_org_luma_samples, pic_width_in_resized_luma_samples, pic_height_in_resized_luma_samples, default_ai_codec_level_info, default_ai_codec_filter_set_info와 같은 신택스 요소(syntax element)가 파싱될 수 있다.
ai_codec_sequence_available_info 는 현재 시퀀스에 AI 업스케일이 허용되는지 여부를 나타낸다. ai_codec_sequence_available_info에 따라, 현재 시퀀스에 AI 업스케일이 허용될 경우, AI 업스케일에 관련된 신택스 요소들이 파싱된다. 그렇지 않을 경우, 시퀀스의 모든 프레임에는 AI 업스케일이 적용되지 않는다.
ai_codec_applied_channel_info는 AI 업스케일이 필요한 색 채널을 나타내는 채널 정보이다. 프레임의 영상은 색 채널 별로 제공될 수 있다. 따라서 프레임이 YCbCr 타입인 경우, 프레임은 Y 채널에 대한 영상, Cb 채널에 대한 영상, Cr 채널에 대한 영상을 포함할 수 있다. 따라서 ai_codec_applied_channel_info 에 따라 상기 3 종류의 영상 중 어떤 영상에 AI 업스케일이 적용되는지 결정될 수 있다. 또한, 일 실시 예에 따라, ai_codec_applied_channel_info는 RGB 색 채널 중 AI 업스케일이 필요한 색 채널을 나타낼 수 있다. 또 다른 예로, ai_codec_applied_channel_info는 YUV 색 채널 중 AI 업스케일이 필요한 색 채널을 나타낼 수 있다. 실시 예에 따라, ai_codec_applied_channel_info와 같은 채널 정보는 도 12a의 메타데이터에 포함될 수 있다.
pic_width_in_org_luma_samples, pic_height_in_org_luma_samples는 각각 시퀀스에 포함된 프레임의 고해상도 영상의 너비와 높이를 나타낸다. 따라서 pic_width_in_org_luma_samples, pic_height_in_org_luma_samples에 기초하여, 프레임의 고해상도 영상의 원본 해상도가 결정될 수 있다. 그리고 pic_width_in_resized_luma_samples, pic_height_in_resized_luma_samples는 각각 시퀀스에 포함된 프레임의 제2 영상(135)과 같은 저해상도 영상의 너비와 높이를 나타낸다. 따라서 pic_width_in_resized_luma_samples, pic_height_in_resized_luma_samples에 기초하여, 프레임의 저해상도 영상의 축소 해상도가 결정될 수 있다. pic_width_in_org_luma_samples, pic_height_in_org_luma_samples, pic_width_in_resized_luma_samples, pic_height_in_resized_luma_samples를 이용하여, 시퀀스에 포함된 프레임들에 적용되는 해상도 비율이 결정될 수 있다.
일 실시 예에 따르면, pic_width_in_org_luma_samples, pic_height_in_org_luma_samples가 파싱되지 않고, 저해상도 영상과 고해상도 영상의 해상도 비율을 나타내는 정보가 파싱될 수 있다. 따라서, pic_width_in_resized_luma_samples, pic_height_in_resized_luma_samples로부터 결정된 축소 해상도와 저해상도 영상과 고해상도 영상의 해상도 비율로부터 원본 해상도가 결정될 수 있다.
일 실시 예에 따라, pic_width_in_org_luma_samples, pic_height_in_org_luma_samples, pic_width_in_resized_luma_samples, pic_height_in_resized_luma_samples와 같이 해상도 관련 정보는 도 12a의 비디오 파일의 헤더의 메타데이터에 포함될 수 있다. 따라서 pic_width_in_org_luma_samples, pic_height_in_org_luma_samples, pic_width_in_resized_luma_samples, pic_height_in_resized_luma_samples가 나타내는 저해상도 영상과 고해상도 영상의 해상도는 비디오에 포함된 모든 프레임에 적용될 수 있다.
default_ai_codec_level_info는 시퀀스의 프레임들에 적용되는 디폴트 양자화 레벨을 나타낸다. 도 13 및 도 14에서 설명된 양자화 레벨은 제2 영상(135)과 같은 저해상도 영상의 제1 복호화에 이용되는 양자화 레벨을 나타낸다. 그리고 상기 디폴트 양자화 레벨은 시퀀스에 포함된 프레임들에 공통적으로 적용되는 양자화 레벨의 디폴트 값을 나타낸다.
일 실시 예에 따라, default_ai_codec_level_info는 도 12a의 비디오 파일의 헤더의 메타데이터에 포함될 수 있다. 따라서 default_ai_codec_level_info가 나타내는 디폴트 양자화 레벨은 비디오에 포함된 모든 프레임에 적용될 수 있다.
일 실시 예에서, default_ai_codec_level_info는 시퀀스의 프레임들의 디폴트 양자화 레벨의 범위를 나타낼 수 있다. 예를 들어, default_ai_codec_level_info가 1을 나타낼 경우, 시퀀스의 프레임들의 디폴트 양자화 레벨의 범위는 1~10 일 수 있다. 또 다른 예로, default_ai_codec_level_info가 2를 나타낼 경우, 시퀀스의 프레임들의 디폴트 양자화 레벨의 범위는 11~20 일 수 있다.
도 14에서 프레임의 DNN 정보를 결정하는 방법의 일 실시 예가 설명된다.
default_ai_codec_DNN_info는 시퀀스의 프레임들에 적용되는 디폴트 업스케일용 DNN를 나타내는 디폴트 DNN 정보이다. 디폴트 DNN 정보는 디폴트 업스케일용 DNN에 대한 DNN 설정 정보를 포함할 수 있다. 또는 디폴트 DNN 정보는 디폴트 업스케일용 DNN의 식별자를 포함할 수 있다. 또는 디폴트 DNN 정보는 디폴트 업스케일용 DNN에 대한 룩업테이블의 값의 식별자를 포함할 수 있다. 시퀀스의 프레임에 대하여 디폴트 업스케일용 DNN이 적용됨이 결정될 경우, 상기 디폴트 업스케일용 DNN은 프레임에 적용될 수 있다. 반대로, 시퀀스의 프레임에 대하여 디폴트 업스케일용 DNN이 적용되지 않음이 결정될 경우, 상기 디폴트 업스케일용 DNN이 아닌 다른 업스케일용 DNN이 프레임에 적용될 수 있다. .
일 실시 예에 따르면, default_ai_codec_DNN_info 에는 디폴트 업스케일용 DNN에 사용되는 DNN 설정 정보가 포함될 수 있다. 상기 DNN 설정 정보는 컨볼루션 레이어의 개수에 관한 정보, 각 컨볼루션 레이어에 포함된 필터 커널의 개수 및 크기에 관한 정보 및 각 필터 커널의 가중치 및 바이어스에 관한 파라미터에 관한 정보 등을 포함할 수 있다.
일 실시 예에 따르면, default_ai_codec_DNN_info 는 미리 저장된 복수의 업스케일용 DNN들 중 상기 시퀀스에 적용될 수 있는 디폴트 업스케일용 DNN의 식별자를 나타낼 수 있다. 또는, default_ai_codec_DNN_info 는 시퀀스의 영상 데이터의 특성에 대응되는 미리 저장된 복수의 업스케일용 DNN들 중 상기 시퀀스에 적용될 수 있는 업스케일용 DNN의 식별자를 나타낼 수 있다.
일 실시 예에 따르면, DNN 설정 정보를 구성하는 컨볼루션 레이어의 수, 컨볼루션 레이어별 필터 커널의 개수, 각 필터 커널의 파라미터 등에 대한 값들이 룩업 테이블에 저장된 경우, default_ai_codec_DNN_info 는 디폴트 업스케일용 DNN에 관한 룩업 테이블의 값들의 식별자를 나타낼 수 있다. 그리고 default_ai_codec_DNN_info 의 식별자에 따른 룩업 테이블의 값들에 따라 디폴트 업스케일용 DNN이 결정될 수 있다.
일 실시 예에 따르면, 컨볼루션 레이어의 수 및 컨볼루션 레이어별 필터 커널의 개수는 미리 정해지고, 각 필터 커널의 파라미터 등에 대한 값들이 룩업 테이블에 저장된 경우, default_ai_codec_DNN_info 는 필터 커널의 파라미터에 관한 룩업 테이블의 값의 식별자를 포함할 수 있다, 그리고 미리 정해진 컨볼루션 레이어의 수 및 컨볼루션 레이어별 필터 커널의 개수와 함께, 필터 커널의 파라미터에 관한 룩업 테이블의 값의 식별자에 따라 디폴트 DNN 설정 정보가 결정될 수 있다.
일 실시 예에 따르면, 필터 커널의 파라미터 등에 대한 값들만 룩업 테이블에 저장된 경우, default_ai_codec_DNN_info 은 컨볼루션 레이어의 수에 관한 정보 및 컨볼루션 레이어별 필터 커널의 개수에 대한 정보와 함께, 필터 커널의 파라미터에 관한 룩업 테이블의 값의 식별자를 포함할 수 있다. 그리고 컨볼루션 레이어의 수 및 컨볼루션 레이어별 필터 커널의 개수와 함께, 필터 커널의 파라미터에 관한 룩업 테이블의 값의 식별자에 따라 디폴트 DNN 설정 정보가 결정될 수 있다.
일 실시 예에 따르면, default_ai_codec_DNN_info 이 생략되고, 도 13의 AI 데이터에 의하여 결정된 영상 데이터의 특성에 따라 미리 저장된 복수의 업스케일용 DNN들 중 하나가 디폴트 업스케일용 DNN으로 선택될 수 있다.
org_offset_present_flag는 고해상도 영상의 오프셋 정보가 AI 코덱 시퀀스 신택스에서 획득되는지 여부를 나타낸다. org_offset_present_flag가 고해상도 영상의 오프셋 정보를 AI 코덱 시퀀스 신택스에서 획득될 수 있다고 나타내면, org_left_offset, org_top_offset, org_right_offset, org_bottom_offset이 획득된다. org_left_offset, org_top_offset, org_right_offset, org_bottom_offset는 각각 고해상도 영상의 좌측 오프셋, 상측 오프셋, 우측 오프셋, 하측 오프셋을 나타낸다. org_left_offset, org_top_offset, org_right_offset, org_bottom_offset에 따라 시퀀스의 모든 프레임들의 고해상도 영상의 AI 부호화 적용 영역이 결정될 수 있다.
org_offset_present_flag가 고해상도 영상의 오프셋 정보를 AI 코덱 시퀀스 신택스에서 획득될 수 없다고 나타내면, 시퀀스의 모든 프레임들의 고해상도 영상의 좌측 오프셋, 상측 오프셋, 우측 오프셋, 하측 오프셋은 모두 0으로 결정된다. 즉, 시퀀스의 모든 프레임들의 고해상도 영상의 AI 부호화 적용 영역은 고해상도 영상의 전체 영역으로 결정된다.
rszd_offset_present_flag는 저해상도 영상의 오프셋 정보가 AI 코덱 시퀀스 신택스에서 획득되는지 여부를 나타낸다. rszd_offset_present_flag가 저해상도 영상의 오프셋 정보를 AI 코덱 시퀀스 신택스에서 획득될 수 있다고 나타내면, rszd_left_offset, rszd_top_offset, rszd_right_offset, rszd_bottom_offset이 획득된다. rszd_left_offset, rszd_top_offset, rszd_right_offset, rszd_bottom_offset는 각각 저해상도 영상의 좌측 오프셋, 상측 오프셋, 우측 오프셋, 하측 오프셋을 나타낸다. rszd_left_offset, rszd_top_offset, rszd_right_offset, rszd_bottom_offset에 따라 시퀀스의 모든 프레임들의 저해상도 영상의 AI 부호화 적용 영역이 결정될 수 있다.
rszd_offset_present_flag가 저해상도 영상의 오프셋 정보를 AI 코덱 시퀀스 신택스에서 획득될 수 없다고 나타내면, 시퀀스의 모든 프레임들의 저해상도 영상의 좌측 오프셋, 상측 오프셋, 우측 오프셋, 하측 오프셋은 모두 0으로 결정된다. 즉, 시퀀스의 모든 프레임들의 저해상도 영상의 AI 부호화 적용 영역은 저해상도 영상의 전체 영역으로 결정된다.
phase_set_present_flag는 저해상도 영상의 위상 정보가 AI 코덱 시퀀스 신택스에서 획득되는지 여부를 나타낸다. phase_set_present_flag가 저해상도 영상의 오프셋 정보를 AI 코덱 시퀀스 신택스에서 획득될 수 있다고 나타내면, phase_hor_luma, phase_ver_luma, phase_hor_chroma, phase_ver_chroma가 획득된다.
phase_hor_luma, phase_ver_luma는 루마 영상의 수평 위상 변화와 수직 위상 변화를 나타낸다. phase_hor_luma, phase_ver_luma에 따른 위상 변화에 따라 루마 영상의 업스케일용 DNN이 선택될 수 있다.
phase_hor_chroma, phase_ver_chroma는 크로마 영상의 수평 위상 변화와 수직 위상 변화를 나타낸다. phase_hor_chroma, phase_ver_chroma에 따른 위상 변화에 따라 크로마 영상의 업스케일용 DNN이 선택될 수 있다.
AI 코덱 시퀀스 신택스 테이블에 따라, 시퀀스에 포함된 프레임들에 적용되는 보조 정보가 파싱될 수 있다. 도 13에 따르면, ai_codec_supplementary_info_flag는 제2 영상(135)의 AI 업스케일에 이용되는 보조 정보가 비트스트림에 포함되는지 여부를 나타낸다.
만약 ai_codec_supplementary_info_flag가 AI 업스케일에 이용되는 보조 정보가 파싱되지 않는다고 나타내는 경우, 시퀀스에 포함된 프레임들에 적용되는 보조 정보는 획득되지 않는다.
그러나 ai_codec_supplementary_info_flag가 AI 업스케일에 이용되는 보조 정보가 파싱된다고 나타내는 경우, color_range, color_format, hdr_max_luminance, hdr_color_gamut, hdr_pq_type, codec_info, target_bitrate, rate_control_type 등이 파싱될 수 있다. color_range는 시퀀스에 적용되는 색 범위, color_format은 시퀀스에 적용되는 색 포맷, hdr_max_luminance는 시퀀스에 적용되는 HDR (High Dynamic Range) 최대 조도, hdr_color_gamut는 시퀀스에 적용되는 HDR 색역, hdr_pq_type는 시퀀스에 적용되는 HDR PQ (Perceptual Quantizer) 정보, codec_info는 시퀀스에 적용되는 코덱 정보, target_bitrate는 시퀀스에 적용되는 목표 비트레이트, rate_control_type는 시퀀스에 적용되는 레이트 컨트롤 타입을 나타낸다. 실시 예에 따라, 보조 정보에 해당되는 상기 신택스 요소들 중 특정 신택스 요소가 파싱될 수 있다.
상기 색 범위는 픽셀 값의 범위를 나타낸다. 예를 들어, color_range가 full range를 나타낼 경우, 비트 뎁스가 8비트인 영상의 픽셀 값의 범위는 0부터 255로 설정된다. 그리고 color_range가 limited range를 나타낼 경우, 비트 뎁스가 8비트인 영상의 픽셀 값의 범위는 16부터 235로 설정된다.
상기 색 포맷은 색을 구성하는 색 성분의 구조를 나타낸다. 예를 들어, color_format은 RGB 888, YUV 444, YUV 422, YUV 420 중에 하나를 나타낼 수 있다.
hdr_max_luminance, hdr_color_gamut, hdr_pq_type 은 영상에 HDR이 적용될 때, HDR에 관련된 정보를 나타낸다.
codec_info 는 제2 영상(135)과 같은 저해상도 영상의 제1 복호화에 필요한 코덱을 나타낸다. 상기 codec_info는 H.264, HEVC, AV1, VP9 또는 VC-1 등을 나타낼 수 있다.
target_bitrate 저해상도 영상의 전송에 요구되는 비트레이트를 나타낸다. rate_control_type은 비트레이트를 제어하는 방법을 나타낸다. 예를 들어, rate_control_type 은 CBR(Constant Bit Rate), VBR(Variable Bit Rate), ABR(Adaptive Bit Rate) 중 하나를 나타낼 수 있다.
도 13에서 색 채널, 해상도에 관한 정보, 오프셋에 관한 정보, 위상에 관한 정보, 및 보조 정보가 시퀀스 단위로 결정되지만, 실시 예에 따라, 색 채널, 원본 해상도, 축소 해상도에 관한 정보 및 보조 정보는 프레임, 장면(scene) 또는 비디오 단위로 결정될 수 있다. 예를 들어, 장면 단위로 원본 해상도 및 축소 해상도가 결정될 경우, 장면에 포함된 모든 프레임의 원본 해상도 및 축소 해상도가 동일하게 결정될 수 있다.
도 13의 AI 코덱 시퀀스 신택스는 시퀀스에 관한 부호화 정보 중 가장 먼저 처리된다.
도 14의 ai_codec_usage_frame_syntax는 현재 프레임에 대하여 적용되는 AI 코덱 프레임 신택스 테이블을 나타낸다. AI 코덱 프레임 신택스 테이블은 프레임의 프레임 AI 데이터가 파싱되는 과정을 나타낸다. 현재 프레임은 AI 복호화의 대상이 되는 영상(image)에 대응되는 프레임을 의미한다. 프레임 AI 데이터는 현재 프레임에 대하여 적용되는 AI 데이터를 나타낸다.
도 14의 AI 코덱 프레임 신택스 테이블에 따르면, ai_codec_frame_available_info, ai_codec_level_info과 ai_codec_ filter_set_info가 파싱될 수 있다.
ai_codec_frame_available_info 는 현재 프레임에 AI 업스케일이 허용되는지 여부를 나타낸다. ai_codec_frame_available_info에 따라, 현재 프레임에 AI 업스케일이 허용될 경우, AI 업스케일에 관련된 신택스 요소들이 파싱된다. 그렇지 않을 경우, 현재 프레임에는 AI 업스케일이 적용되지 않는다.
ai_codec_level_info는 프레임에 적용되는 양자화 레벨을 나타낸다. 일 실시 예에서, ai_codec_level_info는 도 13의 default_ai_codec_level_info의 디폴트 양자화 레벨이 현재 프레임에 적용되는지 여부를 나타낼 수 있다. 만약 ai_codec_level_info가 디폴트 양자화 레벨이 현재 프레임에 적용되지 않음을 나타내는 경우, ai_codec_level_info는 디폴트 값이 아닌 다른 값을 나타낼 수 있다. 만약 ai_codec_level_info가 디폴트 양자화 레벨이 현재 프레임에 적용된다고 나타내는 경우, 현재 프레임의 양자화 레벨은 디폴트 값으로 결정될 수 있다.
일 실시 예에서, ai_codec_level_info는 default_ai_codec_level_info에 따른 디폴트 양자화 레벨과 현재 프레임에 적용되는 양자화 레벨의 차이 값을 나타낼 수 있다. 따라서 현재 프레임에 적용되는 양자화 레벨은 default_ai_codec_level_info에 따른 디폴트 양자화 레벨의 값과 ai_codec_level_info이 나타내는 차이 값을 더함으로써 결정될 수 있다.
일 실시 예에서, ai_codec_level_info는 현재 프레임의 양자화 레벨의 범위를 나타낼 수 있다. 예를 들어, ai_codec_level_info가 1을 나타낼 경우, 현재 프레임의 양자화 레벨의 범위는 1~10 일 수 있다. 또 다른 예로, ai_codec_level_info가 2를 나타낼 경우, 현재 프레임의 양자화 레벨의 범위는 11~20 일 수 있다.
ai_codec_DNN_info는 프레임에 적용되는 필터 세트의 식별 번호를 나타낸다. 일 실시 예에서, ai_codec_DNN_info는 도 13의 default_ai_codec_DNN_info의 업스케일용 DNN이 현재 프레임에 적용되는지 여부를 나타낼 수 있다. 만약 ai_codec_DNN_info가 디폴트 업스케일용 DNN이 현재 프레임에 적용되지 않음을 나타내는 경우, ai_codec_DNN_info는 디폴트 업스케일용 DNN이 아닌 다른 업스케일용 DNN의 식별 번호를 나타낼 수 있다. 만약 ai_codec_DNN_info가 디폴트 업스케일용 DNN이 현재 프레임에 적용된다고 나타내는 경우, 현재 프레임의 필터 세트는 디폴트 업스케일용 DNN으로 결정된다. .
일 실시 예에서, 만약 ai_codec_DNN_info가 디폴트 업스케일용 DNN이 현재 프레임에 적용되지 않음을 나타내는 경우, ai_codec_DNN_info는 컨볼루션 레이어의 개수에 관한 정보, 각 컨볼루션 레이어에 포함된 필터 커널의 개수 및 크기에 관한 정보 및 각 필터 커널의 가중치 및 바이어스에 관한 파라미터에 관한 정보 등을 포함하는 DNN 설정 정보가 포함될 수 있다.
일 실시 예에서, ai_codec_DNN_info는 미리 저장된 복수의 업스케일용 DNN들 중 상기 프레임의 업스케일용 DNN의 식별자를 나타낼 수 있다. 또는, ai_codec_DNN_info 는 프레임의 영상 데이터의 특성에 대응되는 미리 저장된 복수의 업스케일용 DNN들 중 상기 프레임에 적용될 수 있는 업스케일용 DNN의 식별자를 나타낼 수 있다.
일 실시 예에서, ai_codec_DNN_info는 업스케일용 DNN에 관한 룩업 테이블의 값들의 식별자를 나타낼 수 있다. 만약 필터 커널의 파라미터 등에 대한 값들만 룩업 테이블에 저장된 경우, ai_codec_DNN_info 는 컨볼루션 레이어의 수에 관한 정보 및 컨볼루션 레이어별 필터 커널의 개수에 대한 정보와 함께, 필터 커널의 파라미터에 관한 룩업 테이블의 값의 식별자를 포함할 수 있다. 만약 컨볼루션 레이어의 수 및 컨볼루션 레이어별 필터 커널의 개수는 미리 정해지고, 각 필터 커널의 파라미터 등에 대한 값들이 룩업 테이블에 저장된 경우, ai_codec_DNN_info 는 필터 커널의 파라미터에 관한 룩업 테이블의 값의 식별자를 포함할 수 있다.
일 실시 예에 따르면, ai_codec_DNN_info 이 생략되고, 도 13 및 14의 AI 데이터에 의하여 결정된 영상 데이터의 특성에 따라 미리 저장된 복수의 업스케일용 DNN들 중 하나가 업스케일용 DNN으로 선택될 수 있다.
도 14에 따르면 프레임 단위로 양자화 레벨과 필터 세트가 결정되지만, 실시 예에 따라, 양자화 레벨과 필터 세트는 시퀀스, 장면(scene) 또는 비디오 단위로 결정될 수 있다. 예를 들어, 시퀀스 단위로 양자화 레벨이 결정될 경우, 시퀀스에 포함된 모든 프레임의 양자화 레벨은 동일하게 결정될 수 있다.
일 실시 예에서, 프레임 AI 데이터는 부호화 파라미터 정보를 포함할 수 있다. 부호화 파라미터 정보는 원본 영상(105)을 AI 다운스케일하지 않고 부호화할 때, 발생하는 부호화 데이터를 나타낸다. 부호화 파라미터 정보는 데이터 단위(최대 부호화 단위, 부호화 단위, 예측 단위, 변환 단위 또는 픽셀 단위)별로 사용되는 부호화 파라미터를 나타내는 부호화 파라미터 맵을 포함할 수 있다. 부호화 파라미터는 움직임 벡터, 예측 움직임 벡터, 인트라 모드, 잔차 신호 관련 정보, SAO 파라미터 등의 정보를 포함한다. 부호화 파라미터 맵은 영상이 수직 및 수평 분할되어 생성된 데이터 단위 구조들에 대하여 적용되는 부호화 파라미터 정보를 나타내는 데이터 맵이다. 그리고 부호화 파라미터 맵의 각 픽셀은 자신이 속한 데이터 단위에 대한 부호화 파라미터에 따라 AI 업스케일될 수 있다.
일 실시 예에 따르면, 현재 픽셀에 대응되는 부호화 파라미터를 고려하여 제2 DNN의 훈련이 수행될 수 있다. 따라서 제2 영상(135)의 AI 업스케일에 있어서, 부호화 파라미터를 고려하여, 복수의 업스케일용 DNN 후보들 중 업스케일용 DNN을선택함으로써, 제2 영상(135)의 AI 업스케일 정확도가 향상될 수 있다.
예를 들어, 제3 영상(145)의 픽셀을 생성하기 위한 업스케일용 DNN를 선택하기 위하여, 상기 픽셀이 속한 예측 단위의 움직임 벡터가 고려될 수 있다. 따라서 복수의 업스케일용 DNN 후보들 중, 상기 픽셀이 속한 예측 단위의 움직임 벡터에 따라 상기 픽셀을 생성하기 위한 업스케일용 DNN이 선택될 수 있다. 이와 같이 원본 영상(105)을 AI 다운스케일하지 않고 부호화할 때 생성된 부호화 파라미터를 이용함으로써, AI 업스케일의 정확도가 향상될 수 있다.
도 14의 AI 코덱 프레임 신택스 테이블에서 ai_codec_enhancement_flag 는 현재 프레임에 부호화 파라미터 정보가 획득되는지 여부를 나타낸다. ai_codec_enhancement_flag는 부호화 파라미터 정보가 획득되는지 여부와 함께, 추가적으로 부호화 파라미터의 타입의 개수를 나타낼 수 있다.
만약 ai_codec_enhancement_flag가 현재 프레임에 대하여 부호화 파라미터 정보의 획득을 나타내는 경우, 부호화 파라미터의 타입을 나타내는 org_encod_param_type과 부호화 파라미터 맵을 나타내는 org_encod_param_map이 획득된다. org_encod_param_type과 org_encod_param_map에 따라 AI 업스케일에 필요한 부호화 파라미터들이 결정된다.
일 실시 예에서, 프레임 AI 데이터는 제2 영상(135)의 AI 업스케일에 의하여 생성된 제3 영상(145)의 아티팩트(artifact) 제거에 관한 아티팩트 제거 정보를 포함할 수 있다. 제2 DNN에 따른 AI 업스케일에 따라 제3 영상(145)에 아티팩트가 발생할 수 있다. 따라서 제3 영상(145)의 아티팩트를 제거하기 위하여, 제2 DNN에 따른 AI 업스케일 수행 전 제2 영상(135)의 픽셀들을 보정하거나, 제2 DNN에 따른 AI 업스케일 후 제3 영상(145)의 픽셀들을 보정함으로써, 제2 DNN에 따른 AI 업스케일로부터 발생하는 아티팩트가 제거될 수 있다. 따라서 아티팩트가 제거됨으로써, 제3 영상(145)의 품질이 향상될 수 있다.
아티팩트 제거 정보는 아티팩트 타입 및 아티팩트 맵을 포함할 수 있다. 아티팩트 타입은 제2 DNN에 따른 AI 업스케일에 따라 제3 영상(145)에 발생한 아티팩트를 구분하기 위한 정보이다. 아티팩트 맵은 아티팩트 제거가 수행되는 영역을 나타내는 데이터 맵이다.
현재 프레임에서 제거되는 아티팩트의 타입은 여러 종류로 결정될 수 있다. 아티팩트의 타입은 컨투어(contour) 아티팩트, 링잉(ringing) 아티팩트 및 앨리어싱(aliasing) 아티팩트 등을 포함하며, 상기 아티팩트에 한정되지 않는다. 아티팩트의 타입마다 한 개 이상의 아티팩트 맵이 결정된다. 예를 들어, 컨투어 아티팩트에 대하여 한 개 이상의 아티팩트 맵이 결정되고, 링잉 아티팩트에 대하여, 컨투어 아티팩트의 한 개 이상의 아티팩트 맵과 다른, 한 개 이상의 아티팩트 맵이 결정될 수 있다.
실시 예에 따라, 도 14의 AI 코덱 프레임 신택스 테이블에서 ai_codec_artifact_removal_flag는 현재 프레임에 아티팩트 제거 기능이 수행되는지 여부를 나타낸다. ai_codec_artifact_removal_flag가 현재 프레임에 아티팩트 제거 기능이 수행됨을 나타낼 경우, 아티팩트 타입의 개수를 나타내는 num_artifact_type가 획득된다. 아티팩트 타입에 따른 개수만큼 아티팩트 타입에 대한 정보를 나타내는 artifact_type 이 획득된다. 또한 각 아티팩트 타입에 대한 아티팩트 맵의 개수를 나타내는 num_artifact_map이 획득된다. 그리고 각 아티팩트 맵에 대하여, 아티팩트 맵의 시작 위치를 나타내는 map_x_pos, map_y_pos와 아티팩트 맵의 크기를 나타내는 map_width, map_height가 획득된다. 상기 획득된 정보에 따라, 현재 프레임 상에서 하나 이상의 아티팩트 맵이 결정된다. 상기 결정된 하나 이상의 아티팩트 맵에 따라 현재 프레임에 대하여 아티팩트 제거 기능이 수행된다.
도 13의 ai_codec_usage_sequence_syntax에서 획득될 수 있는 신택스 요소들은, 실시 예에 따라, ai_codec_usage_sequence_syntax 대신 도 14의 ai_codec_usage_frame_syntax에서 획득될 수 있다.
도 13 및 14의 신택스 요소는 정수 형태로 전송될 수 있다. 또한 실시 예에 따라, CABAC, CAVLC 등으로 엔트로피 부호화되어 전송될 수 있다.
실시 예에 따라, 도 13 및 14의 신택스 테이블에서 획득되는 AI 업스케일에 관련된 정보는, 부가 정보에 따라 생략될 수 있다. 예를 들어, 부가 정보의 AI 스케일 변환 정보에 영상의 원본 해상도 및 축소 해상도가 표시된 경우, 도 13의 신택스 테이블에 따라 pic_width_in_org_luma_samples, pic_height_in_org_luma_samples, pic_width_in_resized_luma_samples, pic_height_in_resized_luma_samples 을 파싱하지 않고, 부가 정보에 표시된 정보에 따라 제2 영상(135) 및 제3 영상(145)의 해상도가 결정될 수 있다.
실시 예에 따라, 도 13 및 14의 신택스 테이블에서 획득되는 AI 데이터는, 비디오 파일의 헤더에 저장된 메타데이터에 AI 데이터가 포함되어 있는지 여부에 따라, 생략될 수 있다. 예를 들어, 메타데이터에 저해상도 영상 및 고해상도 영상의 해상도에 관한 정보가 포함된 경우, 도 13의 신택스 테이블에 따라 pic_width_in_org_luma_samples, pic_height_in_org_luma_samples, pic_width_in_resized_luma_samples, pic_height_in_resized_luma_samples 을 파싱하지 않고, 메타데이터에 표시된 정보에 따라 제2 영상(135) 및 제3 영상(145)의 해상도가 결정될 수 있다.
도 14의 AI 코덱 프레임 신택스는 프레임에 관한 부호화 정보 중 가장 먼저 처리된다.
도 13 및 14의 신택스 테이블은 구현가능한 여러가지 실시 예들 중 하나이며, 당 분야에서 통상의 지식을 가진 자에 의하여 변형되어 실시될 수 있다.
도 15는 AI 복호화기에 따른 영상 복호화 방법의 순서도이다.
일 실시 예에서, 단계 1410 내지 1440에 앞서 도 9의 학습 결과에 따라 제2 DNN의 내부 파라미터가 갱신될 수 있다. 또는 서버로부터 제2 DNN의 내부 파라미터의 갱신 정보를 포함하는 AI 업스케일 갱신 정보를 획득하고, AI 업스케일 갱신 정보에 따라, 제2 DNN의 내부 파라미터가 갱신될 수 있다. 따라서 제2 DNN의 필터 커널의 파라미터들은 AI 업스케일 갱신 정보에 따라 변경될 수 있다.
일 실시 예에서, 단계 1410 내지 1440에 앞서 클라이언트로서 영상 복호화 장치는 서버에 동일한 콘텐츠에 대한 다양한 품질의 후보 미디어 데이터들을 설명하는 도 11의 부가 정보를 요청할 수 있다. 그리고 부가 정보의 요청에 따라, 영상 복호화 장치는 서버로부터 부가 정보를 수신할 수 있다. 상기 부가 정보는 MPEG DASH 표준의 미디어 설명 서술일 수 있다.
또한 부가 정보에서 설명된 다양한 품질의 후보 미디어 데이터들 중 서버와 영상 복호화 장치의 환경에 따라 선택된 후보 미디어 데이터가 서버에 요청될 수 있다. 그리고 서버로부터 요청된 후보 미디어 데이터에 관한 영상 데이터와 AI 데이터가 영상 복호화 장치에 수신될 수 있다.
단계 1410에서, 영상 데이터에 기초하여 현재 프레임의 제2 영상(135)이 제1 복호화된다.
단계 1420에서, 제2 영상(135)에 DNN을 통한 AI 업스케일이 허용되는지 여부를 나타내는 AI 코덱 타겟 데이터가 획득된다.
일 실시 예에서, AI 코덱 타겟 데이터는 도 13 및 14와 같이 영상 데이터가 부호화된 비트스트림을 파싱함으로써 획득될 수 있다. 또는 AI 코덱 타겟 데이터는 도 12a 및 12b와 같이 비디오 파일의 헤더로부터 획득될 수 있다. 또는 부가 정보로부터 AI 코덱 타겟 데이터가 획득될 수 있다.
일 실시 예에서, 부가 정보에 포함된 해상도 정보에 기초하여, 제2 영상(135)의 AI 업스케일이 적용되는지 여부가 결정될 수 있다. 예를 들어, 부가 정보에 하나의 해상도만이 제공되는 경우, 제2 영상(135)의 AI 업스케일이 수행되지 않을 수 있다. 반대로 부가 정보에 두 개의 해상도가 제공되는 경우, 상기 두 개의 해상도의 해상도 비율에 따라 제2 영상(135)의 AI 업스케일이 수행될 수 있다.
단계 1430에서, AI 코덱 타겟 데이터가 상기 영상에 DNN을 통한 AI 업스케일이 허용됨을 나타낼 때, 제2 영상(135)의 AI 업스케일에 필요한 AI 코덱 보조 데이터가 획득된다.
일 실시 예에서, AI 코덱 보조 데이터는 상기 현재 프레임의 제2 영상(135)의 AI 업스케일이 허용되는 색 채널을 나타내는 채널 정보를 포함할 수 있다. 예를 들어, 채널 정보는 RGB 색 채널 중 AI 업스케일이 필요한 채널을 나타낼 수 있다. 또 다른 예로, 채널 정보는 YCbCr 색 채널 중 AI 업스케일이 필요한 색 채널을 나타낼 수 있다.
일 실시 예에서, AI 코덱 보조 데이터는 현재 프레임의 제2 영상(135)의 해상도와 제3 영상(145)의 해상도를 나타내는 해상도 정보를 포함할 수 있다. 또는 해상도 정보는 현재 프레임의 제2 영상(135)과 제3 영상(145)의 해상도 비율을 나타낼 수 있다.
일 실시 예에서, AI 코덱 보조 데이터는 현재 프레임의 제2 영상(135)의 오프셋 정보와 제3 영상(145)의 오프셋 정보를 포함할 수 있다. 그리고 현재 프레임의 제2 영상(135)의 오프셋 정보에 따른 제2 영상(135)의 AI 부호화 적용 영역과 제3 영상(145)의 오프셋 정보에 따른 제3 영상(145)의 AI 부호화 적용 영역에 따라 제2 영상(135)과 제3 영상(145)의 해상도 비율이 결정될 수 있다.
일 실시 예에서, AI 코덱 보조 데이터는 제 2 영상(135)에 포함된 픽셀들에 대한 위상 정보를 포함할 수 있다. 그리고 현재 프레임의 제 2 영상(135)의 AI 업스케일에 사용되는 업스케일용 DNN는 상기 위상 정보가 표시하는 위상 변화에 기초하여 결정될 수 있다.
일 실시 예에서, AI 코덱 보조 데이터는 제 2 영상(135)의 색 포맷 정보와 제3 영상(145)의 색 포맷 정보를 포함할 수 있다. 그리고 제 2 영상(135)의 색 포맷 정보와 제3 영상(145)의 색 포맷 정보에 따라, 루마 영상의 해상도 비율로부터 크로마 영상의 해상도 비율이 결정될 수 있다.
일 실시 예에서, AI 코덱 보조 데이터는 현재 프레임의 제2 영상(135)의 제1 복호화에 사용된 양자화 레벨을 나타내는 양자화 레벨 정보를 포함할 수 있다. 일 실시 예에서, AI 코덱 보조 데이터는 현재 프레임의 제2 영상(135)의 AI 업스케일에 사용되는 필터 세트를 나타내는 필터 세트 정보를 포함할 수 있다.
일 실시 예에서, AI 코덱 보조 데이터는 제2 영상(135)의 AI 업스케일에 필요한 부가 정보를 더 포함할 수 있다.
일 실시 예에서, AI 코덱 보조 데이터는 도 11의 부가 정보로부터 결정될 수 있다. 예를 들어, 부가 정보가 축소 해상도와 원본 해상도를 포함할 경우, 현재 프레임의 해상도 비율이 부가 정보에 표시된 축소 해상도와 원본 해상도에 따라 결정될 수 있다. 또한 부가 정보가 양자화 레벨과 필터 세트를 포함할 경우, 현재 프레임의 양자화 레벨과 필터 세트는 부가 정보에 따라 결정될 수 있다. 마찬가지로, 채널 정보 역시 부가 정보로부터 결정될 수 있다.
일 실시 예에서, AI 코덱 보조 데이터는 도 12a와 같이 비디오 파일의 헤더로부터 획득될 수 있다. 또는 AI 코덱 보조 데이터는 도 13 및 14의 하이 레벨 신택스에 따라 신택스 요소를 복호화함으로써 획득될 수 있다.
일 실시 예에서, 현재 프레임을 포함하는 하이 레벨 유닛에 관한 하이 레벨 AI 코덱 보조 데이터가 획득될 수 있다. 그리고 현재 프레임에 관한 프레임 AI 코덱 보조 데이터가 획득될 수 있다. 또한 하이 레벨 AI 코덱 보조 데이터와 프레임 AI 코덱 보조 데이터에 따라 현재 프레임의 AI 코덱 보조 데이터가 결정될 수 있다. 하이 레벨 유닛은, 복수의 프레임이 포함된 비디오, 시퀀스, 장면(scene) 중 하나이다.
일 실시 예에서, 하이 레벨 AI 코덱 보조 데이터는 하이 레벨 유닛에 포함된 프레임들에 대한 해상도 정보를 포함할 수 있다. 하이 레벨 유닛의 해상도 정보는 하이 레벨 유닛에 포함된 프레임들의 제2 영상(135)의 해상도와 제3 영상(145)의 해상도를 나타낼 수 있다. 또는 하이 레벨 유닛의 해상도 정보는 하이 레벨 유닛에 포함된 프레임들의 제2 영상(135)과 제3 영상(145)의 해상도 비율을 나타낼 수 있다. 상기 하이 레벨 유닛의 해상도 정보에 따라, 하이 레벨 유닛에 포함된 모든 프레임의 해상도 비율이 결정될 수 있다.
일 실시 예에서, 하이 레벨 AI 코덱 보조 데이터는 하이 레벨 유닛에 포함된 프레임들에 대한 채널 정보를 포함할 수 있다. 하이 레벨 유닛의 채널 정보는 하이 레벨 유닛에 포함된 프레임들의 제2 영상(135)의 AI 업스케일이 허용되는 색 채널을 나타낼 수 있다. 따라서 하이 레벨 유닛의 채널 정보에 따라 하이 레벨 유닛의 모든 프레임에 대하여 어떤 색 채널의 제2 영상(135)의 AI 업스케일이 허용되는지 여부가 결정될 수 있다.
일 실시 예에서, 하이 레벨 AI 코덱 보조 데이터는 하이 레벨 유닛에 포함된 프레임들에 대한 디폴트 양자화 레벨 정보를 포함하고, 프레임 AI 코덱 보조 데이터는 현재 프레임에 대한 양자화 레벨 정보를 포함할 수 있다. 디폴트 양자화 레벨 정보는, 하이 레벨 유닛에 포함된 프레임들에 공통적으로 적용되는 양자화 레벨의 디폴트 값을 나타낸다. 그리고 양자화 레벨 정보는, 현재 프레임에 디폴트 양자화 레벨이 적용되는지 여부를 나타낼 수 있다. 또한 양자화 레벨 정보는 디폴트 양자화 레벨이 현재 프레임에 적용되지 않을 경우, 디폴트 값이 아닌 다른 값을 나타낼 수 있다.
일 실시 예에서, 하이 레벨 AI 코덱 보조 데이터는 하이 레벨 유닛에 포함된 프레임들에 대한 디폴트 필터 세트 정보를 포함하고, 프레임 AI 코덱 보조 데이터는 현재 프레임에 대한 필터 세트 정보를 포함할 수 있다. 디폴트 필터 세트 정보는, 하이 레벨 유닛에 포함된 프레임들에 공통적으로 적용되는 디폴트 필터 세트의 식별 번호를 나타낸다. 그리고 필터 세트 정보는, 현재 프레임에 디폴트 필터 세트가 적용되는지 여부를 나타낼 수 있다. 또한 필터 세트 정보는 디폴트 필터 세트가 적용되지 않을 경우, 디폴트 필터 세트가 아닌 필터 세트의 식별 번호를 나타낼 수 있다.
일 실시 예에서, 하이 레벨 AI 코덱 보조 데이터는 하이 레벨 유닛에 포함된 프레임들에 적용되는 오프셋 정보를 포함할 수 있다. 하이 레벨 유닛의 오프셋 정보에 따라 하이 레벨 유닛의 모든 프레임의 오프셋이 결정될 수 있다. 따라서 하이 레벨 유닛의 모든 프레임의 제2 영상(135)에 대하여 동일한 크기 및 위치의 AI 부호화 적용 영역이 설정될 수 있다. 마찬가지로, 하이 레벨 유닛에 포함된 모든 프레임의 제3 영상(145)에 대하여 동일한 크기 및 위치의 AI 부호화 적용 영역이 설정될 수 있다.
일 실시 예에서, 하이 레벨 AI 코덱 보조 데이터는 하이 레벨 유닛에 포함된 프레임들에 적용되는 위상 정보를 포함할 수 있다. 하이 레벨 유닛의 위상 정보에 따라 하이 레벨 유닛의 모든 프레임의 픽셀들의 위상 변화가 결정될 수 있다. 따라서 하이 레벨 유닛의 모든 프레임의 제2 영상(135)에 대한 AI 업스케일에 사용되는 업스케일용 DNN은 상기 위상 변화에 따라 결정될 수 있다.
일 실시 예에서, 하이 레벨 AI 코덱 보조 데이터는 하이 레벨 유닛에 포함된 프레임들에 적용되는 색 포맷 정보를 포함할 수 있다. 하이 레벨 유닛의 색 포맷 정보에 따라 하이 레벨 유닛의 모든 프레임의 제2 영상(135) 및 제3 영상(145)의 색 포맷이 결정될 수 있다. 따라서 하이 레벨 유닛의 모든 프레임의 제2 영상(135)에 대한 AI 업스케일에 사용되는 업스케일용 DNN는 제2 영상(135) 및 제3 영상(145)의 색 포맷 차이에 따라 결정될 수 있다.
일 실시 예에서, 프레임 AI 코덱 보조 데이터는 현재 프레임에 적용되는 부호화 파라미터 정보를 포함할 수 있다. 상기 부호화 파라미터 정보가 나타내는 부호화 파라미터에 따라 현재 프레임의 제2 영상(135)의 픽셀을 업스케일하기 위하여 필요한 업스케일용 DNN가 선택될 수 있다.
단계 1440에서, AI 코덱 보조 데이터에 기초하여 제2 DNN을 통해 제2 영상(135)을 AI 업스케일함으로써, 현재 프레임의 제3 영상(145)이 획득된다.
일 실시 예에서, 상기 채널 정보에 따라 상기 현재 프레임의 상기 제2 영상(135)의 AI 업스케일이 허용될 경우, 제2 DNN을 통해 제2 영상(135)을 AI 업스케일함으로써, 제3 영상(145)이 획득될 수 있다.
일 실시 예에서, AI 코덱 보조 데이터에 포함된 해상도 정보에 기초하여 결정된 해상도 비율에 따라 현재 프레임의 제2 영상(135)이 제2 DNN을 통해 AI 업스케일될 수 있다.
일 실시 예에서, AI 코덱 보조 데이터에 포함된 양자화 레벨 정보가 나타내는 양자화 레벨에 따라 현재 프레임의 제2 영상(135)이 DNN을 통해 AI 업스케일될 수 있다.
일 실시 예에서, 디폴트 양자화 레벨 정보가 획득된 경우, 디폴트 양자화 레벨 정보 및 양자화 레벨 정보에 따라 현재 프레임의 양자화 레벨이 결정될 수 있다. 예를 들어, 양자화 레벨 정보가 현재 프레임의 양자화 레벨이 디폴트 값임을 나타낼 경우, 현재 프레임의 양자화 레벨은 디폴트 값으로 결정될 수 있다. 또는 양자화 레벨 정보가 현재 프레임의 양자화 레벨이 디폴트 값이 아님을 나타낼 경우, 현재 프레임의 양자화 레벨은 디폴트 값이 아닌 양자화 레벨 정보가 표시하는 값으로 결정될 수 있다.
일 실시 예에서, AI 코덱 보조 데이터에 포함된 필터 세트 정보가 나타내는 필터 세트를 이용하여 현재 프레임의 상기 제2 영상(135)이 AI 업스케일될 수 있다.
일 실시 예에서, 디폴트 필터 세트 정보가 획득된 경우, 디폴트 필터 세트 정보 및 필터 세트 정보에 따라 현재 프레임의 필터 세트가 결정될 수 있다. 예를 들어, 필터 세트 정보가 현재 프레임에 디폴트 필터 세트가 적용됨을 나타낼 경우, 현재 프레임의 필터 세트는 디폴트 필터 세트로 결정될 수 있다. 또는 필터 세트 정보가 현재 프레임에 디폴트 필터 세트가 적용되지 않음을 나타낼 경우, 현재 프레임의 필터 세트는 디폴트 필터 세트가 아닌 필터 세트 정보가 나타내는 필터 세트로 결정될 수 있다.
일 실시 예에서, 부가 정보는, 다양한 품질의 영상들의 양자화 레벨 정보 및 필터 세트 정보 중 적어도 하나를 포함할 수 있다. 그리고 서버에 요청한 후보 미디어 데이터의 양자화 레벨 정보가 나타내는 양자화 레벨 및 필터 세트 정보의 필터 세트 중 적어도 하나에 따라 제2 영상(135)을 AI 업스케일할 수 있다. 예를 들어, DNN 정보에 따른 복수의 업스케일용 DNN들 중 현재 프레임의 양자화 레벨 및 필터 세트에 대응되는 업스케일용 DNN에 따라 제2 영상(135)이 AI 업스케일될 수 있다.
추가적으로, 도 15의 영상 복호화 방법은 도 2의 영상 복호화 장치(200)의 기능을 수행하는 단계를 포함할 수 있다.
도 16은 AI 부호화기에 따른 영상 부호화 방법의 순서도이다.
일 실시 예에서, 단계 1510 내지 1540에 앞서 도 8의 학습 결과에 따라 제1 DNN의 내부 파라미터가 갱신될 수 있다. 또는 제1 DNN의 내부 파라미터는 제1 DNN의 내부 파라미터의 갱신에 관한 AI 업스케일 갱신 정보에 따라 갱신될 수 있다.
일 실시 예에서, 단계 1510 내지 1540에 앞서 AI 복호화를 수행하는 클라이언트로부터 동일한 콘텐츠에 대한 다양한 품질의 후보 미디어 데이터들을 설명하는 부가 정보의 요청이 수신될 수 있다. 그리고 부가 정보의 요청에 대응하여, 부가 정보가 클라이언트에게 전송될 수 있다.
클라이언트로부터 부가 정보에서 설명된 다양한 품질의 후보 미디어 데이터들 중 클라이언트가 선택한 후보 미디어 데이터의 식별 번호가 수신된다. 그리고 선택된 후보 미디어 데이터의 영상 데이터 및 AI 데이터가 클라이언트에게 전송될 수 있다.
부가 정보는 다양한 품질의 후보 미디어 데이터들 각각의 해상도 정보, 양자화 레벨 정보, 필터 세트 정보 등을 포함할 수 있다. 그리고 부가 정보로부터 유추가능한 정보는 AI 데이터에 포함되지 않고 생략될 수 있다.
단계 1510에서, 원본 영상의 AI 다운스케일이 허용되는지 여부에 따라, 원본 영상이 AI 다운스케일된 제1 영상에 대응되는 제2 영상에 DNN(Deep Neural Network)을 통한 AI 업스케일이 허용되는지 여부를 나타내는 AI 코덱 타겟 데이터가 생성될 수 있다.
단계 1520에서, AI 코덱 타겟 데이터가 제2 영상에 DNN을 통한 AI 업스케일이 허용됨을 나타낼 때, 원본 영상의 AI 다운스케일에 관한 정보에 따라, 제2 영상의 AI 업스케일에 필요한 AI 코덱 보조 데이터가 생성될 수 있다.
일 실시 예에서, AI 코덱 보조 데이터는 원본 영상(105)의 AI 다운스케일이 허용되는 색 채널로부터 제2 영상(135)의 AI 업스케일이 허용되는 색 채널을 나타내는 채널 정보, 현재 프레임의 제1 영상(115)의 해상도와 원본 영상(105)의 해상도를 나타내는 해상도 정보, 현재 프레임의 양자화 레벨을 나타내는 양자화 레벨 정보, 현재 프레임의 필터 세트를 나타내는 필터 세트 정보를 포함할 수 있다. 또한 AI 코덱 보조 데이터는 원본 영상(105)의 오프셋 정보와 제1 영상(115)의 오프셋 정보에 따른 제2 영상(135)의 오프셋 정보와 제3 영상(145)의 오프셋 정보, 제1 영상(115)에 포함된 픽셀들의 위상 변화에 따른 제2 영상(165)의 위상 정보, 원본 영상(105)과 제1 영상(115)의 색 포맷에 따른 제 2 영상(135)의 색 포맷 정보와 제3 영상(145)의 색 포맷 정보, 원본 영상(105)의 부호화에 따른 부호화 파라미터 정보를 포함할 수 있다.
일 실시 예에서, 상기 AI 코덱 보조 데이터는 프레임을 포함하는 하이 레벨 유닛에 적용되는 하이 레벨 AI 코덱 보조 데이터와 프레임에 적용되는 프레임 AI 코덱 보조 데이터를 포함할 수 있다. 상기 하이 레벨 유닛은, 복수의 프레임이 포함된 비디오, 시퀀스, 또는 장면(scene)일 수 있다.
하이 레벨 AI 코덱 보조 데이터는 상기 하이 레벨 유닛에 포함된 프레임들에 대한 해상도 정보, 채널 정보, 디폴트 양자화 레벨 정보, 디폴트 필터 세트 정보, 오프셋 정보, 색 포맷 정보, 위상 정보 등을 포함할 수 있다. 그리고 프레임 AI 코덱 보조 데이터는 현재 프레임에 대한 양자화 레벨 정보 및 필터 세트 정보 등을 포함할 수 있다. 상기 해상도 정보, 채널 정보, 디폴트 양자화 레벨 정보, 디폴트 필터 세트 정보, 양자화 레벨 정보, 필터 세트 정보, 오프셋 정보, 색 포맷 정보, 위상 정보는 도 15에서 설명된 바와 같다.
단계 1530에서, 원본 영상의 AI 다운스케일에 관련된 정보에 기초하여, DNN을 통해 원본 영상을 AI 다운스케일함으로써, 제1 영상(115)이 생성될 수 있다.
일 실시 예에서, 원본 영상(105)의 색 채널에 따라, 원본 영상(105)을 AI 다운스케일함으로써, 제1 영상(115)이 생성될 수 있다. 예를 들어, AI 다운스케일이 허용되는 색 채널에 대하여 현재 프레임의 원본 영상(105)이 AI 다운스케일 될 수 있다.
일 실시 예에서, 현재 프레임의 제1 영상(115)의 해상도와 원본 영상(105)의 해상도에 따라, 원본 영상(105)을 AI 다운스케일함으로써, 제1 영상(115)이 생성될 수 있다. 또는 현재 프레임의 제1 영상(115)과 원본 영상(105)의 해상도 비율에 따라, 원본 영상(105)을 AI 다운스케일함으로써, 제1 영상(115)이 생성될 수 있다.
일 실시 예에서, 현재 프레임의 양자화 레벨에 따라 원본 영상(105)을 AI 다운스케일함으로써, 제1 영상(115)이 생성될 수 있다. 일 실시 예에서, 현재 프레임의 필터 세트에 따라, 원본 영상(105)을 AI 다운스케일함으로써, 제1 영상(115)이 생성될 수 있다. 일 실시 예에서 현재 프레임의 필터 세트와 양자화 레벨에 따라 결정된 업스케일용 DNN를 이용하여, 원본 영상(105)을 AI 다운스케일함으로써, 제1 영상(115)이 생성될 수 있다.
단계 1540에서, 제1 영상(115)을 부호화하여, 영상 데이터가 생성될 수 있다. 일 실시 예에서, 현재 프레임의 양자화 레벨에 따라 제1 영상(115)이 부호화될 수 있다.
상기 제1 영상(115)은 H.264 AVC, HEVC, AV1, VP9 또는 VC-1에 따라 부호화될 수 있다. 상기 제1 영상(115)의 신택스 요소를 포함한 비트스트림이 출력될 수 있다.
추가적으로, 도 16의 영상 부호화 방법은 도 6의 영상 복호화 장치(600)의 기능을 수행하는 단계를 포함할 수 있다.
도 17은 일 실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 17을 참조하면, 일 실시예에 따른 영상 복호화 장치(1600)는 프로세서(1610) 및 메모리(1620)를 포함할 수 있다.
일 실시예에 따른 프로세서(1610)는 영상 복호화 장치(1600)를 전반적으로 제어할 수 있다. 일 실시예에 따른 프로세서(1610)는 메모리(1620)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다.
일 실시예에 따른 메모리(1620)는 영상 복호화 장치(1600)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(1620)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(1620)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(1610)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(1610)는 도 2 및 도 6에서 설명한 영상 복호화 장치의 각 기능들 및 도 15에서 설명한 영상 부호화 방법의 각 단계들 중 적어도 하나를 수행할 수 있다.
도 18은 일 실시예에 따른 영상 부호화 장치의 구성을 나타내는 블록도이다.
도 18를 참조하면, 일 실시예에 따른 영상 부호화 장치(1700)는 프로세서(1710) 및 메모리(1720)를 포함할 수 있다.
일 실시예에 따른 프로세서(1710)는 영상 부호화 장치(1700)를 전반적으로 제어할 수 있다. 일 실시예에 따른 프로세서(1710)는 메모리(1720)에 저장되는 하나 이상의 프로그램들을 실행할 수 있다.
일 실시예에 따른 메모리(1720)는 영상 부호화 장치(1700)를 구동하고 제어하기 위한 다양한 데이터, 프로그램 또는 어플리케이션을 저장할 수 있다. 메모리(1720)에 저장되는 프로그램은 하나 이상의 인스트럭션들을 포함할 수 있다. 메모리(1720)에 저장된 프로그램(하나 이상의 인스트럭션들) 또는 어플리케이션은 프로세서(1710)에 의해 실행될 수 있다.
일 실시예에 따른 프로세서(1710)는 도 6에서 영상 부호화 장치(600)의 각 기능들 및 도 16에서 설명한 영상 부호화 방법의 각 단계들 중 적어도 하나를 수행할 수 있다. 한편, 상술한 본 개시의 실시예들은 컴퓨터에서 실행될 수 있는 프로그램으로 작성가능하고, 작성된 프로그램은 매체에 저장될 수 있다.
매체는 컴퓨터로 실행 가능한 프로그램을 계속 저장하거나, 실행 또는 다운로드를 위해 임시 저장하는 것일 수도 있다. 또한, 매체는 단일 또는 수개 하드웨어가 결합된 형태의 다양한 기록수단 또는 저장수단일 수 있는데, 어떤 컴퓨터 시스템에 직접 접속되는 매체에 한정되지 않고, 네트워크 상에 분산 존재하는 것일 수도 있다. 매체의 예시로는, 하드 디스크, 플로피 디스크 및 자기 테이프와 같은 자기 매체, CD-ROM 및 DVD와 같은 광기록 매체, 플롭티컬 디스크(floptical disk)와 같은 자기-광 매체(magneto-optical medium), 및 ROM, RAM, 플래시 메모리 등을 포함하여 프로그램 명령어가 저장되도록 구성된 것이 있을 수 있다. 또한, 다른 매체의 예시로, 애플리케이션을 유통하는 앱 스토어나 기타 다양한 소프트웨어를 공급 내지 유통하는 사이트, 서버 등에서 관리하는 기록매체 내지 저장매체도 들 수 있다.
한편, 상술한 DNN과 관련된 모델은, 소프트웨어 모듈로 구현될 수 있다. 소프트웨어 모듈(예를 들어, 명령어(instruction)를 포함하는 프로그램 모듈)로 구현되는 경우, DNN 모델은 컴퓨터로 읽을 수 있는 판독 가능한 기록매체에 저장될 수 있다.
또한, DNN 모델은 하드웨어 칩 형태로 집적되어 전술한 영상 복호화 장치(200) 또는 영상 부호화 장치(600)의 일부가 될 수도 있다. 예를 들어, DNN 모델은 인공 지능을 위한 전용 하드웨어 칩 형태로 제작될 수도 있고, 또는 기존의 범용 프로세서(예를 들어, CPU 또는 애플리케이션 프로세서) 또는 그래픽 전용 프로세서(예를 들어, GPU)의 일부로 제작될 수도 있다.
또한, DNN 모델은 다운로드 가능한 소프트웨어 형태로 제공될 수도 있다. 컴퓨터 프로그램 제품은 제조사 또는 전자 마켓을 통해 전자적으로 배포되는 소프트웨어 프로그램 형태의 상품(예를 들어, 다운로드 가능한 애플리케이션)을 포함할 수 있다. 전자적 배포를 위하여, 소프트웨어 프로그램의 적어도 일부는 저장 매체에 저장되거나, 임시적으로 생성될 수 있다. 이 경우, 저장 매체는 제조사 또는 전자 마켓의 서버, 또는 중계 서버의 저장매체가 될 수 있다.
이상, 본 개시의 기술적 사상을 바람직한 실시 예를 들어 상세하게 설명하였으나, 본 개시의 기술적 사상은 상기 실시 예들에 한정되지 않고, 본 개시의 기술적 사상의 범위 내에서 당 분야에서 통상의 지식을 가진 자에 의하여 여러 가지 변형 및 변경될 수 있다.

Claims (25)

  1. 원본 영상의 AI 다운스케일이 허용되는지 여부에 따라, 상기 원본 영상이 AI 다운스케일된 제1 영상에 대응되는 제2 영상에 DNN(Deep Neural Network)을 통한 AI 업스케일이 허용되는지 여부를 나타내는 AI 코덱 타겟 데이터를 생성하는 단계; 및
    상기 AI 코덱 타겟 데이터가 상기 제2 영상에 상기 DNN을 통한 AI 업스케일이 허용됨을 나타낼 때, 상기 원본 영상의 AI 다운스케일에 관한 정보에 따라, 상기 제2 영상의 AI 업스케일에 필요한 AI 코덱 보조 데이터를 생성하는 단계;
    상기 원본 영상의 AI 다운스케일에 관련된 정보에 기초하여, 상기 DNN을 통해 상기 원본 영상을 AI 다운스케일함으로써, 상기 제1 영상을 생성하는 단계; 및
    상기 제1 영상을 부호화하여, 영상 데이터를 생성하는 단계를 포함하는 영상 부호화 방법.
  2. 제1항에 있어서,
    상기 AI 코덱 보조 데이터를 생성하는 단계는,
    AI 다운스케일이 허용된 색 채널에 따라, AI 업스케일이 허용되는 색 채널을 나타내는 채널 정보를 생성하는 단계를 포함하고,
    상기 제1 영상을 생성하는 단계는,
    상기 원본 영상의 색 채널이 AI 다운스케일이 허용된 색 채널일 때, 상기 DNN을 통해 상기 원본 영상을 AI 다운스케일함으로써, 제1 영상을 생성하는 것을 특징으로 하는 영상 부호화 방법.
  3. 제1항에 있어서,
    상기 원본 영상의 AI 다운스케일에 관한 정보는,
    상기 원본 영상의 해상도와 상기 제1 영상의 해상도를 나타내는 해상도 정보, 양자화 레벨을 나타내는 양자화 레벨 정보, 상기 제1 영상의 AI 다운스케일에 사용되는 필터 세트를 나타내는 필터 세트 정보, 상기 원본 영상의 오프셋과 상기 제1 영상의 오프셋을 나타내는 오프셋 정보, 상기 원본 영상의 위상 변경을 나타내는 위상 정보 및 상기 원본 영상의 색 포맷과 상기 제1 영상의 색 포맷을 나타내는 색 포맷 정보 중 적어도 하나를 포함하고,
    상기 제1 영상을 생성하는 단계는,
    상기 해상도 정보, 상기 오프셋 정보, 상기 위상 정보 및 상기 색 포맷 정보 중 적어도 하나에 따라 해상도 비율을 결정하는 단계; 및
    상기 결정된 해상도 비율, 상기 양자화 레벨 정보가 나타내는 양자화 레벨, 상기 필터 세트 정보가 나타내는 필터 세트 중 적어도 하나에 따라, 상기 원본 영상을 상기 DNN을 통해 AI 다운스케일하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  4. 제3항에 있어서,
    상기 제1 영상을 생성하는 단계는,
    상기 필터 세트에 포함된 복수의 파라미터 세트 중 상기 해상도 비율 및 상기 양자화 레벨 중 적어도 하나에 따라 결정된 파라미터 세트에 따라 상기 원본 영상을 AI 다운스케일하는 것을 특징으로 하는 영상 부호화 방법.
  5. 제1항에 있어서,
    상기 영상 부호화 방법은,
    상기 AI 코덱 타겟 데이터 및 상기 AI 코덱 보조 데이터를 상기 영상 데이터를 포함하는 비디오 파일의 헤더에 삽입하는 단계를 더 포함하는 영상 부호화 방법.
  6. 제1항에 있어서,
    상기 제2 영상의 AI 업스케일에 필요한 AI 코덱 보조 데이터를 생성하는 단계는,
    현재 프레임을 포함하는 하이 레벨 유닛에 적용되는 하이 레벨 AI 코덱 보조 데이터를 생성하는 단계;
    상기 현재 프레임의 원본 영상의 AI 다운스케일에 관련된 정보에 기초하여, 상기 현재 프레임에 적용되는 프레임 AI 코덱 보조 데이터를 생성하는 단계를 포함하는 것을 특징으로 하는 영상 부호화 방법.
  7. 제6항에 있어서,
    상기 하이 레벨 AI 코덱 보조 데이터를 생성하는 단계는,
    상기 하이 레벨 유닛에 포함된 프레임들의 양자화 레벨의 디폴트 값을 나타내는 디폴트 양자화 레벨 정보를 생성하는 것을 특징으로 하고,
    상기 프레임 AI 코덱 보조 데이터를 생성하는 단계는,
    상기 현재 프레임의 양자화 레벨이 디폴트 양자화 레벨인지 여부 및 상기 양자화 레벨이 디폴트 양자화 레벨이 아닌 때, 상기 현재 프레임의 양자화 레벨에 따라 양자화 레벨 정보를 생성하는 것을 특징으로 하는 영상 부호화 방법.
  8. 제6항에 있어서,
    상기 하이 레벨 AI 코덱 보조 데이터를 생성하는 단계는,
    상기 하이 레벨 유닛에 포함된 프레임들의 디폴트 필터 세트를 나타내는 디폴트 필터 세트 정보를 생성하는 것을 특징으로 하고,
    상기 프레임 AI 코덱 보조 데이터를 생성하는 단계는,
    상기 현재 프레임에 디폴트 필터 세트가 적용되는지 여부 및 상기 현재 프레임에 디폴트 필터 세트가 적용되지 않는 때, 상기 현재 프레임의 필터 세트를 나타내는 필터 세트 정보를 생성하는 것을 특징으로 하는 영상 부호화 방법.
  9. 하나 이상의 인스트럭션들을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    원본 영상의 AI 다운스케일이 허용되는지 여부에 따라, 상기 원본 영상이 AI 다운스케일된 제1 영상에 대응되는 제2 영상에 DNN을 통한 AI 업스케일이 허용되는지 여부를 나타내는 AI 코덱 타겟 데이터를 생성하고,
    상기 AI 코덱 타겟 데이터가 상기 제2 영상에 상기 DNN을 통한 AI 업스케일이 허용됨을 나타낼 때, 상기 원본 영상의 AI 다운스케일에 관한 정보에 따라, 상기 제2 영상의 AI 업스케일에 필요한 AI 코덱 보조 데이터를 생성하고,
    상기 원본 영상의 AI 다운스케일에 관련된 정보에 기초하여, 상기 DNN을 통해 상기 원본 영상을 AI 다운스케일함으로써, 상기 제1 영상을 생성하고,
    상기 제1 영상을 부호화하여, 영상 데이터를 생성하는 것을 특징으로 하는 영상 부호화 장치.
  10. 영상 데이터에 기초하여 현재 프레임의 제2 영상을 제1 복호화하는 단계;
    상기 제2 영상에 DNN(Deep Neural Network)을 통한 AI 업스케일이 허용되는지 여부를 나타내는 AI 코덱 타겟 데이터를 획득하는 단계; 및
    상기 AI 코덱 타겟 데이터가 상기 제2 영상에 DNN을 통한 AI 업스케일이 허용됨을 나타낼 때, 상기 제2 영상의 AI 업스케일에 필요한 AI 코덱 보조 데이터를 획득하는 단계;
    상기 AI 코덱 보조 데이터에 기초하여 상기 DNN을 통해 상기 제2 영상을 AI 업스케일하여, 상기 현재 프레임의 제3 영상을 생성하는 단계를 포함하는 영상 복호화 방법.
  11. 제10항에 있어서,
    상기 AI 코덱 보조 데이터는 AI 업스케일이 허용되는 색 채널을 나타내는 채널 정보를 포함하고,
    상기 제3 영상을 획득하는 단계는,
    상기 현재 프레임의 상기 제2 영상의 색 채널이 채널 정보에 따라 AI 업스케일이 허용되는 색 채널일 때, 상기 DNN을 통해 상기 영상을 AI 업스케일함으로써, 제3 영상을 획득하는 것을 특징으로 하는 영상 복호화 방법.
  12. 제10항에 있어서,
    상기 AI 코덱 보조 데이터는,
    상기 제2 영상의 해상도와 상기 제3 영상의 해상도를 나타내는 해상도 정보, 양자화 레벨을 나타내는 양자화 레벨 정보, 상기 제2 영상의 AI 업스케일에 사용되는 필터 세트를 나타내는 필터 세트 정보, 상기 제2 영상의 오프셋과 상기 제3 영상의 오프셋을 나타내는 오프셋 정보, 상기 제2 영상의 위상 변경을 나타내는 위상 정보 및 상기 제2 영상의 색 포맷과 상기 제3 영상의 색 포맷을 나타내는 색 포맷 정보 중 적어도 하나를 포함하고,
    상기 제3 영상을 생성하는 단계는,
    상기 해상도 정보, 상기 오프셋 정보, 상기 위상 정보 및 상기 색 포맷 정보 중 적어도 하나에 따라 해상도 비율을 결정하는 단계; 및
    상기 결정된 해상도 비율, 상기 양자화 레벨 정보가 나타내는 양자화 레벨, 상기 필터 세트 정보가 나타내는 필터 세트 중 적어도 하나에 따라, 상기 제2 영상을 상기 DNN을 통해 AI 업스케일하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  13. 제12항에 있어서,
    상기 제3 영상을 생성하는 단계는,
    상기 필터 세트에 포함된 복수의 파라미터 세트 중 상기 해상도 비율 및 상기 양자화 레벨 중 적어도 하나에 따라 결정된 파라미터 세트에 따라 상기 제2 영상을 AI 업스케일하는 것을 특징으로 하는 영상 복호화 방법.
  14. 제10항에 있어서,
    상기 AI 코덱 타겟 데이터를 획득하는 단계는,
    상기 영상 데이터를 포함하는 비디오 파일의 헤더로부터 상기 AI 코덱 타겟 데이터를 획득하는 것을 특징으로 하고,
    상기 AI 코덱 보조 데이터를 획득하는 단계는,
    상기 AI 코덱 타겟 데이터가 상기 영상에 DNN을 통한 AI 업스케일이 허용됨을 나타낼 때, 상기 영상 데이터를 포함하는 비디오 파일의 헤더로부터 상기 AI 코덱 타겟 데이터를 획득하는 것을 특징으로 하는 영상 복호화 방법.
  15. 제10항에 있어서,
    상기 제2 영상의 AI 업스케일에 필요한 AI 코덱 보조 데이터를 획득하는 단계는,
    상기 현재 프레임을 포함하는 하이 레벨 유닛에 적용되는 하이 레벨 AI 코덱 보조 데이터를 획득하는 단계;
    상기 현재 프레임에 적용되는 프레임 AI 코덱 보조 데이터를 획득하는 단계; 및
    상기 하이 레벨 AI 코덱 보조 데이터와 상기 프레임 AI 코덱 보조 데이터에 따라 상기 현재 프레임의 AI 코덱 보조 데이터를 결정하는 단계를 포함하는 것을 특징으로 하는 영상 복호화 방법.
  16. 제15항에 있어서,
    상기 하이 레벨 AI 코덱 보조 데이터를 획득하는 단계는,
    상기 하이 레벨 유닛에 포함된 프레임들의 양자화 레벨의 디폴트 값을 나타내는 디폴트 양자화 레벨 정보를 획득하는 것을 특징으로 하고,
    상기 프레임 AI 코덱 보조 데이터를 획득하는 단계는,
    상기 현재 프레임의 양자화 레벨을 나타내는 양자화 레벨 정보를 획득하는 것을 특징으로 하고,
    상기 영상의 AI 업스케일에 필요한 AI 코덱 보조 데이터를 획득하는 단계는,
    상기 양자화 레벨 정보가 상기 현재 프레임에 디폴트 양자화 레벨이 적용됨을 표시하면, 상기 현재 프레임의 양자화 레벨이 디폴트 양자화 레벨로 결정되고,
    상기 양자화 레벨 정보가 상기 현재 프레임에 디폴트 양자화 레벨이 적용되지 않음을 표시하면, 상기 현재 프레임의 양자화 레벨이 상기 양자화 레벨 정보가 나타내는 양자화 레벨로 결정되는 것을 특징으로 하는 영상 복호화 장치.
  17. 제15항에 있어서,
    상기 하이 레벨 AI 코덱 보조 데이터를 획득하는 단계는,
    상기 하이 레벨 유닛에 포함된 프레임들의 디폴트 필터 세트를 나타내는 디폴트 필터 세트 정보를 획득하는 것을 특징으로 하고,
    상기 프레임 AI 코덱 보조 데이터를 획득하는 단계는,
    상기 현재 프레임의 필터 세트를 나타내는 필터 세트 정보를 획득하는 것을 특징으로 하고,
    상기 영상의 AI 업스케일에 필요한 AI 코덱 보조 데이터를 획득하는 단계는,
    상기 필터 세트 정보가 상기 현재 프레임에 디폴트 필터 세트가 적용됨을 표시하면, 상기 현재 프레임의 필터 세트는 디폴트 필터 세트로 결정되고,
    상기 필터 세트가 상기 현재 프레임에 디폴트 필터 세트가 적용되지 않음을 표시하면, 상기 현재 프레임의 필터 세트가 상기 필터 세트 정보가 나타내는 필터 세트로 결정되는 것을 특징으로 하는 영상 복호화 장치.
  18. 하나 이상의 인스트럭션들을 저장하는 메모리; 및
    상기 메모리에 저장된 상기 하나 이상의 인스트럭션들을 실행하는 프로세서를 포함하고,
    상기 프로세서는,
    영상 데이터에 기초하여 현재 프레임의 제2 영상을 제1 복호화하고,
    상기 제2 영상에 DNN(Deep Neural Network)을 통한 AI 업스케일이 허용되는지 여부를 나타내는 AI 코덱 타겟 데이터를 획득하고,
    상기 AI 코덱 타겟 데이터가 상기 영상에 DNN을 통한 AI 업스케일이 허용됨을 나타낼 때, 상기 제2 영상의 AI 업스케일에 필요한 AI 코덱 보조 데이터를 획득하고,
    상기 AI 코덱 보조 데이터에 기초하여 상기 DNN을 통해 상기 제2 영상을 AI 업스케일하여, 상기 현재 프레임의 제3 영상을 획득하는 것을 특징으로 하는 영상 복호화 장치.
  19. 영상 정보가 저장된 컴퓨터로 기록가능한 기록 매체에 있어서,
    영상 관련 정보는 영상 데이터와 AI데이터를 포함하고,
    상기 영상 데이터는 제2 영상의 부호화 정보를 포함하고,
    상기 AI데이터는 AI 코덱 타겟 데이터와 AI코덱 보조 데이터를 포함하고,
    상기 AI 코덱 타겟 데이터는, 상기 영상 데이터로부터 생성된 제2 영상에 DNN(Deep Neural Network)을 통한 AI 업스케일이 허용되는지 여부를 나타내고,
    상기 AI 코덱 보조 데이터는, 상기 AI코덱 타겟 정보에 따라 상기 제1 복호화된 제2영상에 DNN을 통한 AI 업스케일이 허용됨을 나타낼 때, 상기 제2 영상의 AI 업스케일에 따른 제3 영상의 생성에 관한 정보를 나타내는 것을 특징으로 하는
    컴퓨터로 기록가능한 기록 매체.
  20. 제19항에 있어서,
    상기 AI 코덱 보조 데이터는,
    AI 업스케일이 허용되는 색 채널을 나타내는 채널 정보, 상기 제2 영상의 해상도와 상기 제3 영상의 해상도를 나타내는 해상도 정보, 양자화 레벨을 나타내는 양자화 레벨 정보, 상기 제2 영상의 AI 업스케일에 사용되는 필터 세트를 나타내는 필터 세트 정보, 상기 제2 영상의 오프셋과 상기 제3 영상의 오프셋을 나타내는 오프셋 정보, 상기 제2 영상의 위상 변경을 나타내는 위상 정보 및 상기 제2 영상의 색 포맷과 상기 제3 영상의 색 포맷을 나타내는 색 포맷 정보 중 적어도 하나를 포함하는 것을 특징으로 하는 컴퓨터 기록가능한 기록 매체.
  21. 제20항에 있어서,
    상기 오프셋 정보는, 제2 영상 오프셋 허용 정보, 제2 영상 오프셋 정보 및 제3 영상 오프셋 허용 정보, 제3 영상 오프셋 정보를 포함하고,
    상기 제2 영상 오프셋 허용 정보는, 제2 영상 오프셋이 허용되는지 여부를 나타내고,
    상기 제2 영상 오프셋 정보는, 상기 제2 영상의 AI 부호화 적용 영역의 결정에 이용되는 오프셋을 나타내고, 상기 제2 영상 오프셋 허용 정보에 따라 상기 제2 영상 오프셋이 허용될 경우, 상기 오프셋 정보에 포함되고,
    상기 제3 영상 오프셋 허용 정보는, 제3 영상 오프셋이 허용되는지 여부를 나타내고,
    상기 제3 영상 오프셋 정보는, 상기 제3 영상의 AI 부호화 적용 영역의 결정에 이용되는 오프셋을 나타내고, 상기 제3 영상 오프셋 허용 정보에 따라 상기 제3 영상 오프셋이 허용될 경우, 상기 오프셋 정보에 포함되는 것을 특징으로 하는 컴퓨터 기록가능한 기록 매체.
  22. 제20항에 있어서,
    상기 위상 정보는, 위상 변화 허용 정보와 위상 변화 정보를 포함하고,
    상기 위상 변화 허용 정보는, 상기 제2 영상의 AI 업스케일에 있어서, 상기 제2 영상의 픽셀들의 위상 변화가 허용되는지 여부를 나타내고,
    상기 위상 변화 정보는, 상기 제2 영상의 파라미터 세트의 결정에 이용되는 상기 제2 영상의 픽셀들의 위상 변화의 크기를 나타내고, 상기 제2 영상에 포함된 픽셀들의 위상 변경이 허용된 경우 상기 위상 정보에 포함되는 것을 특징으로 하는 컴퓨터 기록가능한 기록 매체.
  23. 제19항에 있어서,
    상기 AI 코덱 보조 데이터는, 현재 프레임을 포함하는 하이 레벨 유닛에 적용되는 하이 레벨 AI 코덱 보조 데이터 및 상기 현재 프레임에 적용되는 프레임 AI 코덱 보조 데이터를 포함하는 것을 특징으로 하는 컴퓨터 기록가능한 기록 매체.
  24. 제23항에 있어서,
    상기 하이 레벨 AI 코덱 보조 데이터는, 상기 하이 레벨 유닛에 포함된 프레임들의 디폴트 양자화 레벨을 나타내는 디폴트 양자화 레벨 정보를 포함하고,
    상기 프레임 AI 코덱 보조 데이터는, 상기 현재 프레임의 양자화 레벨이 디폴트 양자화 레벨인지 여부 및 상기 양자화 레벨이 디폴트 양자화 레벨이 아닌 때, 상기 현재 프레임의 양자화 레벨을 나타내는 양자화 레벨 정보를 포함하는 것을 특징으로 하는 컴퓨터 기록가능한 기록 매체.
  25. 제23항에 있어서,
    상기 하이 레벨 AI 코덱 보조 데이터는, 상기 하이 레벨 유닛에 포함된 프레임들의 디폴트 필터 세트를 나타내는 디폴트 필터 세트 정보를 포함하고,
    상기 프레임 AI 코덱 보조 데이터는, 상기 현재 프레임에 디폴트 필터 세트가 적용되는지 여부 및 상기 현재 프레임에 디폴트 필터 세트가 적용되지 않는 때, 상기 현재 프레임의 필터 세트를 나타내는 필터 세트 정보를 포함하고,
    상기 필터 세트 정보는, AI 업스케일에 필요한 복수의 필터를 포함하는 필터 세트를 나타내는 것을 특징으로 하는 컴퓨터 기록가능한 기록 매체.
KR1020190076569A 2018-10-19 2019-06-26 부호화 방법 및 그 장치, 복호화 방법 및 그 장치 Active KR102525578B1 (ko)

Priority Applications (7)

Application Number Priority Date Filing Date Title
CN201980068908.7A CN112889283B (zh) 2018-10-19 2019-10-11 编码方法及其设备以及解码方法及其设备
PCT/KR2019/013344 WO2020080751A1 (ko) 2018-10-19 2019-10-11 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
EP19873762.9A EP3866466A1 (en) 2018-10-19 2019-10-11 Encoding method and apparatus thereof, and decoding method and apparatus thereof
US16/743,613 US10819992B2 (en) 2018-10-19 2020-01-15 Methods and apparatuses for performing encoding and decoding on image
US16/860,563 US10819993B2 (en) 2018-10-19 2020-04-28 Methods and apparatuses for performing encoding and decoding on image
US17/080,827 US11190782B2 (en) 2018-10-19 2020-10-26 Methods and apparatuses for performing encoding and decoding on image
US17/498,859 US11647210B2 (en) 2018-10-19 2021-10-12 Methods and apparatuses for performing encoding and decoding on image

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
KR20180125406 2018-10-19
KR1020180125406 2018-10-19
KR1020190041111 2019-04-08
KR20190041111 2019-04-08

Publications (2)

Publication Number Publication Date
KR20200044665A true KR20200044665A (ko) 2020-04-29
KR102525578B1 KR102525578B1 (ko) 2023-04-26

Family

ID=70466756

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190076569A Active KR102525578B1 (ko) 2018-10-19 2019-06-26 부호화 방법 및 그 장치, 복호화 방법 및 그 장치

Country Status (4)

Country Link
US (4) US10819992B2 (ko)
EP (1) EP3866466A1 (ko)
KR (1) KR102525578B1 (ko)
CN (1) CN112889283B (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2022124546A1 (ko) * 2020-12-09 2022-06-16 삼성전자 주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
US11455706B2 (en) 2020-09-15 2022-09-27 Samsung Electronics Co., Ltd. Electronic apparatus, control method thereof and electronic system
US12073595B2 (en) 2020-12-09 2024-08-27 Samsung Electronics Co., Ltd. AI encoding apparatus and operation method of the same, and AI decoding apparatus and operation method of the same

Families Citing this family (31)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6695947B2 (ja) * 2018-09-21 2020-05-20 ソニーセミコンダクタソリューションズ株式会社 固体撮像システム、画像処理方法及びプログラム
WO2020080873A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Method and apparatus for streaming data
WO2020080765A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Apparatuses and methods for performing artificial intelligence encoding and artificial intelligence decoding on image
KR102525576B1 (ko) 2018-10-19 2023-04-26 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
KR102525578B1 (ko) 2018-10-19 2023-04-26 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US11265580B2 (en) * 2019-03-22 2022-03-01 Tencent America LLC Supplemental enhancement information messages for neural network based video post processing
WO2021016770A1 (zh) * 2019-07-26 2021-02-04 Oppo广东移动通信有限公司 一种信息处理方法、网络设备、用户设备
KR102166337B1 (ko) 2019-09-17 2020-10-15 삼성전자주식회사 영상의 ａｉ 부호화 방법 및 장치, 영상의 ａｉ 복호화 방법 및 장치
US11140422B2 (en) * 2019-09-25 2021-10-05 Microsoft Technology Licensing, Llc Thin-cloud system for live streaming content
KR102287947B1 (ko) * 2019-10-28 2021-08-09 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
KR102436512B1 (ko) 2019-10-29 2022-08-25 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
WO2021251659A1 (en) 2020-06-11 2021-12-16 Samsung Electronics Co., Ltd. Method and apparatus for performing artificial intelligence encoding and artificial intelligence decoding
US11516538B1 (en) * 2020-09-29 2022-11-29 Amazon Technologies, Inc. Techniques for detecting low image quality
CN112261290B (zh) * 2020-10-16 2022-04-19 海信视像科技股份有限公司 显示设备、摄像头以及ai数据同步传输方法
CN112233038B (zh) * 2020-10-23 2021-06-01 广东启迪图卫科技股份有限公司 基于多尺度融合及边缘增强的真实图像去噪方法
CN114827622A (zh) 2021-01-19 2022-07-29 华为技术有限公司 分层编解码的方法及装置
CN113205599B (zh) * 2021-04-25 2022-06-14 武汉大学 一种视频三维融合时gpu加速的视频纹理更新方法
WO2022250397A1 (en) * 2021-05-27 2022-12-01 Samsung Electronics Co., Ltd. Methods and apparatus for processing of high-resolution video content
US12526423B2 (en) * 2021-05-27 2026-01-13 Samsung Electronics Co., Ltd. Methods and apparatus for processing of high-resolution video content
US12039702B2 (en) * 2021-07-22 2024-07-16 Qualcomm Incorporated Motion compensation for neural network enhanced images
CN117355864A (zh) 2021-08-13 2024-01-05 三星电子株式会社 基于ai的图像提供装置及其方法、以及基于ai的显示装置及其方法
MX2024005565A (es) * 2021-11-09 2024-05-22 Netflix Inc Tecnicas de reconstruccion de contenidos de video de escalado descendente.
US20230144735A1 (en) * 2021-11-09 2023-05-11 Netflix, Inc. Techniques for jointly training a downscaler and an upscaler for video streaming
EP4418659A4 (en) 2021-12-21 2025-03-05 Samsung Electronics Co., Ltd. AI-BASED IMAGE PROVIDING APPARATUS AND RELATED METHOD, AND AI-BASED DISPLAY APPARATUS AND RELATED METHOD
WO2023183756A1 (en) 2022-03-24 2023-09-28 Dolby Laboratories Licensing Corporation Neural networks for high dynamic range video super- resolution
KR102467091B1 (ko) * 2022-07-20 2022-11-16 블루닷 주식회사 효과적인 비디오 압축을 위한 슈퍼 레졸루션 영상 처리 방법 및 시스템
US12563196B2 (en) 2023-01-17 2026-02-24 Samsung Electronics Co., Ltd. Apparatus and method with video processing using neural network
US12581135B2 (en) 2023-01-17 2026-03-17 Samsung Electronics Co., Ltd. Apparatus and method with video processing using neural network
EP4611370A4 (en) * 2023-02-09 2026-02-25 Samsung Electronics Co Ltd ELECTRONIC DEVICE AND METHOD FOR PROCESSING EVOLVING CODEC IN AN ELECTRONIC DEVICE
CN116582687A (zh) * 2023-04-12 2023-08-11 百果园技术(新加坡)有限公司 基于ai的编码驱动策略调整方法、装置、设备和存储介质
WO2026057836A1 (en) * 2024-09-13 2026-03-19 Koninklijke Kpn N.V. Volumetric content data processing system and method

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150087103A (ko) * 2012-11-19 2015-07-29 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
KR101885855B1 (ko) * 2017-03-30 2018-08-07 단국대학교 산학협력단 고해상도 추정 기법을 활용한 영상 신호 전송

Family Cites Families (64)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100224801B1 (ko) 1993-08-31 1999-10-15 윤종용 스케일 팩터 조정회로
JP4034380B2 (ja) 1996-10-31 2008-01-16 株式会社東芝 画像符号化／復号化方法及び装置
US7400588B2 (en) 2003-08-01 2008-07-15 Thomson Licensing Dynamic rate adaptation using neural networks for transmitting video data
CN1973546B (zh) 2004-03-09 2010-05-12 汤姆森研究基金公司 用于高级视频编码的降低分辨率更新模式
CN100461864C (zh) 2005-06-25 2009-02-11 华为技术有限公司 基于数字水印的多媒体视频通信客观质量评价方法
US20160360155A1 (en) 2005-09-07 2016-12-08 Vidyo, Inc. System and method for scalable and low-delay videoconferencing using scalable video coding
CA2640246C (en) 2006-02-16 2014-12-02 Vidyo, Inc. System and method for thinning of scalable video coding bit-streams
KR101425602B1 (ko) 2008-03-12 2014-07-31 삼성전자주식회사 영상 부호화/복호화 장치 및 그 방법
EP2477415A3 (en) * 2010-11-21 2013-11-06 Human Monitoring Ltd Method and system of encoding and decoding media content
KR101955142B1 (ko) 2011-01-14 2019-03-06 지이 비디오 컴프레션, 엘엘씨 엔트로피 인코딩 및 디코딩 방식
JP2012191250A (ja) 2011-03-08 2012-10-04 Sony Corp 画像処理装置、画像処理方法、およびプログラム
US20140086319A1 (en) 2012-09-25 2014-03-27 Sony Corporation Video coding system with adaptive upsampling and method of operation thereof
EP2901683A1 (en) 2012-09-28 2015-08-05 VID SCALE, Inc. Adaptive upsampling for multi-layer video coding
US9143543B2 (en) 2012-11-30 2015-09-22 Google Technology Holdings LLC Method and system for multi-streaming multimedia data
US20140177706A1 (en) * 2012-12-21 2014-06-26 Samsung Electronics Co., Ltd Method and system for providing super-resolution of quantized images and video
KR102286856B1 (ko) 2013-06-12 2021-08-06 주식회사 케이티 스케일러블 비디오 신호 인코딩/디코딩 방법 및 장치
KR102062764B1 (ko) 2013-07-19 2020-02-21 삼성전자주식회사 모바일 단말 화면을 위한 3ｋ해상도를 갖는 디스플레이 영상 생성 방법 및 장치
US9251572B2 (en) 2013-07-26 2016-02-02 Qualcomm Incorporated System and method of correcting image artifacts
CN105684491B (zh) 2013-10-30 2020-02-07 株式会社Kt 用于在移动通信网络中配置双连接的方法及其装置
JP2017514367A (ja) 2014-03-28 2017-06-01 富士通株式会社 ベアラ管理装置、方法及び通信システム
KR101653039B1 (ko) 2014-05-22 2016-09-12 주식회사 칩스앤미디어 복호화 정보를 이용한 해상도 변환 장치 및 그 방법
WO2016021822A1 (en) 2014-08-07 2016-02-11 Lg Electronics Inc. Method for processing a packet data convergence protocol packet data unit at a user equipment in a dual connectivity systme and device therefor
EP3038370A1 (en) * 2014-12-22 2016-06-29 Alcatel Lucent Devices and method for video compression and reconstruction
KR20160080929A (ko) 2014-12-30 2016-07-08 한국전자통신연구원 클라우드 기반의 적응형 초고화질 멀티미디어 스트리밍 서비스 장치 및 방법
GB2539846B (en) * 2015-02-19 2017-11-01 Magic Pony Tech Ltd Online training of hierarchical algorithms
EP3278559B1 (en) * 2015-03-31 2021-05-05 Magic Pony Technology Limited Training end-to-end video processes
GB201603144D0 (en) * 2016-02-23 2016-04-06 Magic Pony Technology Ltd Training end-to-end video processes
EP3310058B1 (en) * 2015-06-12 2023-02-22 Panasonic Intellectual Property Management Co., Ltd. Image coding method, image decoding method, image coding device and image decoding device
WO2016205733A1 (en) 2015-06-19 2016-12-22 Huawei Technologies Co., Ltd. Template uniform resource locator signing
CN106470292B (zh) 2015-08-20 2019-08-27 联咏科技股份有限公司 图像处理装置及图像处理方法
PH12018500454B1 (en) 2015-09-03 2024-02-28 Mediatek Inc Method and apparatus of nueral network based processing in video coding
US10812831B2 (en) 2015-09-30 2020-10-20 Piksel, Inc. Video stream delivery via adaptive quality enhancement using error correction models
KR102309910B1 (ko) 2015-11-19 2021-10-08 한국전자기술연구원 비디오 부호화기의 최적 모드 결정 장치 및 최적 모드 결정을 이용한 비디오 부호화 방법
US9473758B1 (en) * 2015-12-06 2016-10-18 Sliver VR Technologies, Inc. Methods and systems for game video recording and virtual reality replay
KR20170087278A (ko) 2016-01-20 2017-07-28 한국전자통신연구원 비디오 압축 영상을 위한 거짓 등고선 검출과 제거 방법 및 장치
US10089717B2 (en) 2016-04-05 2018-10-02 Flipboard, Inc. Image scaling using a convolutional neural network
KR101974261B1 (ko) 2016-06-24 2019-04-30 한국과학기술원 Cnn 기반 인루프 필터를 포함하는 부호화 방법과 장치 및 복호화 방법과 장치
CA3026977A1 (en) 2016-07-25 2018-02-01 Philip Morris Products S.A. Manufacturing a fluid permeable heater assembly with cap
US11321609B2 (en) 2016-10-19 2022-05-03 Samsung Electronics Co., Ltd Method and apparatus for neural network quantization
US11593632B2 (en) 2016-12-15 2023-02-28 WaveOne Inc. Deep learning based on image encoding and decoding
CN108345939B (zh) 2017-01-25 2022-05-24 微软技术许可有限责任公司 基于定点运算的神经网络
US10902598B2 (en) 2017-01-27 2021-01-26 Arterys Inc. Automated segmentation utilizing fully convolutional networks
US11134253B2 (en) 2017-02-02 2021-09-28 Hewlett-Packard Development Company, L.P. Video compression
US10742708B2 (en) 2017-02-23 2020-08-11 Netflix, Inc. Iterative techniques for generating multiple encoded versions of a media title
US10423843B2 (en) * 2017-02-23 2019-09-24 Magna Electronics Inc. Vehicle vision system with enhanced traffic sign recognition
KR20180100976A (ko) 2017-03-03 2018-09-12 한국전자통신연구원 딥 신경망 기반 블러 영상 학습을 이용한 영상 부호화/복호화 방법 및 장치
US11468318B2 (en) 2017-03-17 2022-10-11 Portland State University Frame interpolation via adaptive convolution and adaptive separable convolution
KR101990092B1 (ko) 2017-03-24 2019-06-17 주식회사 엔씨소프트 영상 압축 장치 및 방법
US10410322B2 (en) 2017-04-05 2019-09-10 Here Global B.V. Deep convolutional image up-sampling
WO2018212599A1 (en) 2017-05-17 2018-11-22 Samsung Electronics Co., Ltd. Super-resolution processing method for moving image and image processing apparatus therefor
KR102511059B1 (ko) 2017-05-17 2023-03-17 삼성전자주식회사 동영상의 초해상 처리 방법 및 이를 위한 영상 처리 장치
WO2019087905A1 (ja) 2017-10-31 2019-05-09 シャープ株式会社 画像フィルタ装置、画像復号装置、および画像符号化装置
CN108022212B (zh) 2017-11-24 2022-07-01 腾讯科技（深圳）有限公司 高分辨率图片生成方法、生成装置及存储介质
CN108012157B (zh) * 2017-11-27 2020-02-04 上海交通大学 用于视频编码分数像素插值的卷积神经网络的构建方法
CN108305214B (zh) * 2017-12-28 2019-09-17 腾讯科技（深圳）有限公司 图像数据处理方法、装置、存储介质和计算机设备
KR102452653B1 (ko) 2018-02-20 2022-10-11 삼성전자주식회사 전자 장치, 영상 처리 방법 및 컴퓨터 판독가능 기록 매체
CN110300301B (zh) 2018-03-22 2023-01-13 华为技术有限公司 图像编解码方法和装置
GB2572537A (en) 2018-03-27 2019-10-09 Nokia Technologies Oy Generating or obtaining an updated neural network
CN108596109B (zh) * 2018-04-26 2021-04-13 浪潮集团有限公司 一种基于神经网络和运动矢量的目标检测方法及装置
KR102022648B1 (ko) 2018-08-10 2019-09-19 삼성전자주식회사 전자 장치, 이의 제어 방법 및 서버의 제어 방법
WO2020080827A1 (en) 2018-10-19 2020-04-23 Samsung Electronics Co., Ltd. Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
KR102525578B1 (ko) * 2018-10-19 2023-04-26 삼성전자주식회사 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR102287947B1 (ko) 2019-10-28 2021-08-09 삼성전자주식회사 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
WO2021251611A1 (en) 2020-06-11 2021-12-16 Samsung Electronics Co., Ltd. Apparatus and method for performing artificial intelligence encoding and decoding on image by using low-complexity neural network

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20150087103A (ko) * 2012-11-19 2015-07-29 엘지전자 주식회사 신호 송수신 장치 및 신호 송수신 방법
KR101885855B1 (ko) * 2017-03-30 2018-08-07 단국대학교 산학협력단 고해상도 추정 기법을 활용한 영상 신호 전송

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Feng Jiang, et al. An End-to-End Compression Framework Based on Convolutional Neural Networks, Cornell University, 2017-08-02, pp. 1-13* *
조승현, 딥 러닝 기반의 이미지와 비디오 압축 기술 분석, 방송공학회논문지, 한국방송미디어공학회, 2018-05, pp. 383-394* *

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11455706B2 (en) 2020-09-15 2022-09-27 Samsung Electronics Co., Ltd. Electronic apparatus, control method thereof and electronic system
WO2022124546A1 (ko) * 2020-12-09 2022-06-16 삼성전자 주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
KR20220081648A (ko) * 2020-12-09 2022-06-16 삼성전자주식회사 Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
US12073595B2 (en) 2020-12-09 2024-08-27 Samsung Electronics Co., Ltd. AI encoding apparatus and operation method of the same, and AI decoding apparatus and operation method of the same

Also Published As

Publication number Publication date
US10819993B2 (en) 2020-10-27
EP3866466A4 (en) 2021-08-18
US11647210B2 (en) 2023-05-09
US11190782B2 (en) 2021-11-30
US20200177898A1 (en) 2020-06-04
EP3866466A1 (en) 2021-08-18
US20210044813A1 (en) 2021-02-11
US10819992B2 (en) 2020-10-27
CN112889283A (zh) 2021-06-01
KR102525578B1 (ko) 2023-04-26
CN112889283B (zh) 2025-02-28
US20200260093A1 (en) 2020-08-13
US20220030260A1 (en) 2022-01-27

Similar Documents

Publication Publication Date Title
KR102525578B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
KR102500761B1 (ko) 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
KR102837710B1 (ko) 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
KR102287947B1 (ko) 영상의 ａｉ 부호화 및 ａｉ 복호화 방법, 및 장치
KR102285738B1 (ko) 영상의 주관적 품질을 평가하는 방법 및 장치
US11200639B1 (en) Apparatus and method for performing artificial intelligence encoding and decoding on image by using low-complexity neural network
KR102436512B1 (ko) 부호화 방법 및 그 장치, 복호화 방법 및 그 장치
US12407854B2 (en) Artificial intelligence (AI) encoding apparatus and method and AI decoding apparatus and method for region of object of interest in image
US12475528B2 (en) Image AI-coding method and device, and image AI-decoding method and device
CN114521327A (zh) 视频译码中的残差的量化
KR102312337B1 (ko) Ai 부호화 장치 및 그 동작방법, 및 ai 복호화 장치 및 그 동작방법
US20230281755A1 (en) Method and device for performing artificial intelligence encoding and artificial intelligence decoding
KR20200044662A (ko) 영상의 ａｉ 부호화 및 ａｉ 복호화를 위한 장치, 및 방법
US20220180568A1 (en) Ai encoding apparatus and operation method of the same, and ai decoding apparatus and operation method of the same
US12229915B2 (en) Image providing method and apparatus using artificial intelligence, and display method and apparatus using artificial intelligence
US11816872B2 (en) Method and apparatus for performing artificial intelligence encoding and artificial intelligence decoding
CN116458157A (zh) 用于图像中感兴趣的对象区域的ai编码装置和方法以及ai解码装置和方法
KR20220063063A (ko) 인공지능 부호화 및 인공지능 복호화를 수행하기 위한 방법 및 장치
US12482057B2 (en) Artificial intelligence-based image providing apparatus and method, and artificial intelligence-based display apparatus and method
KR102421719B1 (ko) 저복잡도 신경망을 이용한 영상의 ai 부호화 장치 및 방법, ai 복호화 장치 및 방법
KR20220063061A (ko) 영상 내 관심 오브젝트 영역을 위한 ai 부호화 장치 및 방법, 및 ai 복호화 장치 및 방법

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

E601 Decision to refuse application
E801 Decision on dismissal of amendment
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

PE0801 Dismissal of amendment

St.27 status event code: A-2-2-P10-P12-nap-PE0801

J201 Request for trial against refusal decision
PJ0201 Trial against decision of rejection

St.27 status event code: A-3-3-V10-V11-apl-PJ0201

J301 Trial decision

Free format text: TRIAL NUMBER: 2021101002680; TRIAL DECISION FOR APPEAL AGAINST DECISION TO DECLINE REFUSAL REQUESTED 20211018

Effective date: 20220829

PJ1301 Trial decision

St.27 status event code: A-3-3-V10-V15-crt-PJ1301

Decision date: 20220829

Appeal event data comment text: Appeal Kind Category : Appeal against decision to decline refusal, Appeal Ground Text : 2019 0076569

Appeal request date: 20211018

Appellate body name: Patent Examination Board

Decision authority category: Office appeal board

Decision identifier: 2021101002680

PS0901 Examination by remand of revocation

St.27 status event code: A-6-3-E10-E12-rex-PS0901

PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

PE0801 Dismissal of amendment

St.27 status event code: A-2-2-P10-P12-nap-PE0801

GRNO Decision to grant (after opposition)
PS0701 Decision of registration after remand of revocation

St.27 status event code: A-3-4-F10-F13-rex-PS0701

PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 4