KR20200073267A - 생성 적대 네트워크를 위한 트레이닝 방법, 이미지 처리 방법, 디바이스 및 저장 매체 - Google Patents

생성 적대 네트워크를 위한 트레이닝 방법, 이미지 처리 방법, 디바이스 및 저장 매체 Download PDF

Info

Publication number
KR20200073267A
KR20200073267A KR1020207014462A KR20207014462A KR20200073267A KR 20200073267 A KR20200073267 A KR 20200073267A KR 1020207014462 A KR1020207014462 A KR 1020207014462A KR 20207014462 A KR20207014462 A KR 20207014462A KR 20200073267 A KR20200073267 A KR 20200073267A
Authority
KR
South Korea
Prior art keywords
image
resolution
network
discrimination
output
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020207014462A
Other languages
English (en)
Other versions
KR102389173B1 (ko
Inventor
한원 류
단 주
파블로 나바레테 미첼리니
Original Assignee
보에 테크놀로지 그룹 컴퍼니 리미티드
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority claimed from CN201811155326.6A external-priority patent/CN109345455B/zh
Priority claimed from CN201811155252.6A external-priority patent/CN109255390B/zh
Priority claimed from CN201811155147.2A external-priority patent/CN109360151B/zh
Priority claimed from CN201811155930.9A external-priority patent/CN109345456B/zh
Application filed by 보에 테크놀로지 그룹 컴퍼니 리미티드 filed Critical 보에 테크놀로지 그룹 컴퍼니 리미티드
Publication of KR20200073267A publication Critical patent/KR20200073267A/ko
Application granted granted Critical
Publication of KR102389173B1 publication Critical patent/KR102389173B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G06F18/2148—Generating training patterns; Bootstrap methods, e.g. bagging or boosting characterised by the process organisation or structure, e.g. boosting cascade
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06K9/46—
    • G06K9/62—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0475—Generative networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/09—Supervised learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/094—Adversarial learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/20—Linear translation of whole images or parts thereof, e.g. panning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007—Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4046—Scaling of whole images or parts thereof, e.g. expanding or contracting using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00—Geometric image transformations in the plane of the image
    • G06T3/40—Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4053—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution
    • G06T3/4076—Scaling of whole images or parts thereof, e.g. expanding or contracting based on super-resolution, i.e. the output image resolution being higher than the sensor resolution using the original low-resolution images to iteratively correct the high-resolution images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/42—Global feature extraction by analysis of the whole pattern, e.g. using frequency domain transformations or autocorrelation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/75—Organisation of the matching processes, e.g. simultaneous or sequential comparisons of image or video features; Coarse-fine approaches, e.g. multi-scale approaches; using context analysis; Selection of dictionaries
    • G06V10/751—Comparing pixel values or logical combinations thereof, or feature values having positional relevance, e.g. template matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20212—Image combination

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Data Mining & Analysis (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Software Systems (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Mathematical Physics (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Computational Linguistics (AREA)
  • Biophysics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Mathematical Optimization (AREA)
  • Probability & Statistics with Applications (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

생성 적대 네트워크를 위한 트레이닝 방법, 이미지 처리 방법, 컴퓨터 디바이스 및 컴퓨터 판독가능 저장 매체. 트레이닝 방법은 생성 네트워크 트레이닝 단계를 포함한다. 생성 네트워크 트레이닝 단계는: 제2 해상도 샘플 이미지로부터 제1 해상도 샘플 이미지를 추출하는 단계(S1); 생성 네트워크에 제1 입력 이미지 및 제2 입력 이미지를 개별적으로 제공하여 제1 입력 이미지-기반 제1 출력 이미지 및 제2 입력 이미지-기반 제2 출력 이미지를 각각 생성하는 단계(S2); 판별 네트워크에 제1 출력 이미지 및 제2 해상도 샘플 이미지를 개별적으로 제공하고, 판별 네트워크가 제1 출력 이미지-기반 제1 판별 결과 및 제2 해상도 샘플 이미지-기반 제2 판별 결과를 출력하는 단계(S3); 및 생성 네트워크의 파라미터들을 조정하여 생성 네트워크의 손실 함수를 감소시키는 단계(S4)를 포함하고, 그에 의해 요구된 이미지들을 획득한다.

Description

생성 적대 네트워크를 위한 트레이닝 방법, 이미지 처리 방법, 디바이스 및 저장 매체
관련 출원에 대한 상호참조
본 출원은 2018년 9월 30일자로 SIPO에 출원된, 발명의 명칭이 "TRAINING METHOD FOR GENERATIVE ADVERSARIAL NETWORK, IMAGE PROCESSING METHOD, DEVICE AND STORAGE MEDIUM"인 중국 특허 출원 제201811155930.9호의 우선권을 주장하고; 본 출원은 2018년 9월 30일자로 SIPO에 출원된, 발명의 명칭이 "IMAGE DISCRIMINATION METHOD, DISCRIMINATOR AND COMPUTER-REDABLE STORAGE MEDIUM"인 중국 특허 출원 제201811155326.6호의 우선권을 주장하고; 본 출원은 2018년 9월 30일자로 SIPO에 출원된, 발명의 명칭이 "IMAGE PROCESSING METHOD AND SYSTEM, RESOLUTION ENHANCEMENT METHOD, AND READABLE STORAGE MEDIUM"인 중국 특허 출원 제201811155147.2호의 우선권을 주장하고; 본 출원은 2018년 9월 30일자로 SIPO에 출원된, 발명의 명칭이 "PREPROCESSING METHOD AND MODULE FOR TRAINING IMAGES, DISCRIMINATOR, AND READABLE STORAGE MEDIUM"인 중국 특허 출원 제201811155252.6호의 우선권을 주장하며, 그 개시내용은 본 명세서에 참조로 포함된다.
기술 분야
본 개시내용은 이미지 처리 분야에 관한 것이지만, 이에 제한되는 것은 아니며, 구체적으로는 생성 적대 네트워크(generative adversarial network)를 위한 트레이닝 방법, 트레이닝 방법에 의해 획득되는 생성 적대 네트워크를 사용하는 이미지 처리 방법, 컴퓨터 디바이스, 및 컴퓨터 판독가능 저장 매체에 관한 것이다.
컨볼루션 신경 네트워크는 일반적인 딥 러닝 네트워크이고, 이미지 식별, 이미지 분류, 초해상도 이미지 재구성 등을 달성하기 위해 요즘 이미지 처리 분야에 널리 적용되어 왔다.
현재의 초해상도 재구성 방법들에서, 제1 해상도 이미지에 기초하여 재구성된 제2 해상도 이미지(제2 해상도 이미지의 해상도는 제1 해상도 이미지의 해상도보다 높음)는 보통 상세 정보가 없고, 이는 제2 해상도 이미지가 비현실적으로 보이게 한다.
종래 기술에서의 기술적 문제점들 중 적어도 하나를 해결하기 위해, 본 개시내용은 생성 적대 네트워크를 위한 트레이닝 방법, 트레이닝 방법에 의해 획득된 생성 적대 네트워크를 사용하는 이미지 처리 방법, 컴퓨터 디바이스, 및 컴퓨터 판독가능 저장 매체를 제공한다.
위의 언급된 기술적 문제들 중 하나를 해결하기 위해, 본 개시내용은 생성 적대 네트워크를 위한 트레이닝 방법을 제공하고, 생성 적대 네트워크는 생성 네트워크 및 판별 네트워크를 포함하고, 생성 네트워크는 제1 해상도 이미지를 제2 해상도 이미지로 변환하도록 구성되고, 제2 해상도 이미지의 해상도는 제1 해상도 이미지의 해상도보다 높고, 트레이닝 방법은 생성 네트워크 트레이닝 절차를 포함하며, 이 생성 네트워크 트레이닝 절차는 다음을 포함한다:
제2 해상도 샘플 이미지로부터 제1 해상도 샘플 이미지를 추출하는 단계- 제2 해상도 샘플 이미지의 해상도는 제1 해상도 샘플 이미지의 해상도보다 높음 -;
생성 네트워크에 제1 입력 이미지 및 제2 입력 이미지를 개별적으로 제공하여 제1 입력 이미지에 기초한 제1 출력 이미지, 및 제2 입력 이미지에 기초한 제2 출력 이미지를 각각 생성하는 단계; - 제1 입력 이미지는 제1 해상도 샘플 이미지 및 제1 진폭을 갖는 노이즈 샘플에 대응하는 제1 노이즈 이미지를 포함하고, 제2 입력 이미지는 제1 해상도 샘플 이미지 및 제2 진폭을 갖는 노이즈 샘플에 대응하는 제2 노이즈 이미지를 포함하고; 제1 진폭은 0보다 크고, 제2 진폭은 0과 동일함 -;
판별 네트워크에 제1 출력 이미지 및 제2 해상도 샘플 이미지를 개별적으로 제공하여 판별 네트워크가 제1 출력 이미지에 기초한 제1 판별 결과, 및 제2 해상도 샘플 이미지에 기초한 제2 판별 결과를 출력할 수 있게 하는 단계; 및
생성 네트워크의 파라미터들을 조정하여 생성 네트워크의 손실 함수를 감소시키는 단계; - 생성 네트워크의 손실 함수는 제1 손실, 제2 손실 및 제3 손실을 포함하고, 손실 함수의 제1 손실은 제2 출력 이미지와 제2 해상도 샘플 이미지 사이의 재구성 오차에 기초하고; 손실 함수의 제2 손실은 제1 출력 이미지와 제2 해상도 샘플 이미지 사이의 지각 오차에 기초하고; 손실 함수의 제3 손실은 제1 판별 결과 및 제2 판별 결과에 기초함 -.
일부 구현들에서, 제2 출력 이미지와 제2 해상도 샘플 이미지 사이의 재구성 오차는 제2 출력 이미지와 제2 해상도 샘플 이미지 사이의 차이 이미지 매트릭스(difference image matrix)의 L1 놈(norm), 제2 출력 이미지와 제2 해상도 샘플 이미지 사이의 평균 제곱 오차, 및 제2 출력 이미지와 제2 해상도 샘플 이미지 사이의 구조적 유사성 인덱스 중 임의의 하나에 따라 결정된다.
일부 구현들에서, 제1 출력 이미지 및 제2 출력 이미지 둘 다는 해상도 향상 절차의 반복 프로세스를 통해 생성 네트워크에 의해 생성되고; 생성 네트워크의 손실 함수의 제1 손실은
Figure pct00001
이고,
Figure pct00002
여기서, X는 제2 해상도 샘플 이미지를 나타내고;
Figure pct00003
은 제2 출력 이미지를 나타내고;
Figure pct00004
은 제2 출력 이미지와 제2 해상도 샘플 이미지 사이의 재구성 오차를 나타내고;
L은 반복 프로세스에서의 해상도 향상 절차의 총 횟수를 나타내고; L≥1이고,
Figure pct00005
은 제2 입력 이미지에 기초하여 생성 네트워크에 의해 수행되는 반복 프로세스에서의 l번째 해상도 향상 절차의 종료 시 생성된 이미지를 나타내고; l≤L이고;
LR은 제1 해상도 샘플 이미지를 나타내고;
Figure pct00006
는
Figure pct00007
를 다운샘플링함으로써 획득된 이미지를 나타내고, 이미지의 해상도는 제1 해상도 샘플 이미지의 해상도와 동일하고;
HRl은 제2 해상도 샘플 이미지를 다운샘플링함으로써 획득된 이미지를 나타내고, 이미지의 해상도는
Figure pct00008
의 해상도와 동일하고;
E[ ]는 매트릭스 에너지의 계산을 나타내고;
λ1은 미리 설정된 가중치이다.
일부 구현들에서, 생성 네트워크의 손실 함수의 제2 손실은
Figure pct00009
이고,
Figure pct00010
여기서,
Figure pct00011
은 제1 출력 이미지를 나타내고;
Figure pct00012
은 제1 출력 이미지와 제2 해상도 샘플 이미지 사이의 지각 오차를 나타내고;
Figure pct00013
은 제1 입력 이미지에 기초하여 생성 네트워크에 의해 수행되는 반복 프로세스에서의 l번째 해상도 향상 절차의 종료 시 생성된 이미지를 나타내고;
Figure pct00014
는
Figure pct00015
를 다운샘플링함으로써 획득된 이미지를 나타내고, 이미지의 해상도는 제1 해상도 샘플 이미지의 해상도와 동일하고;
LCX( )는 컨텍스트적 손실 계산 함수이고;
λ2는 미리 설정된 가중치이다.
일부 구현들에서, 생성 네트워크의 손실 함수의 제3 손실은
Figure pct00016
이고,
Figure pct00017
여기서,
Figure pct00018
은 제1 입력 이미지에 기초하여 생성 네트워크에 의해 수행되는 반복 프로세스에서 생성되는 이미지 그룹을 나타내고, 이미지 그룹은 매회의 해상도 향상 절차의 종료 시 각각 생성되는 이미지들을 포함하고;
Figure pct00019
은 제2 해상도 샘플 이미지를 다운샘플링함으로써 획득된 이미지들을 나타내고, 이미지들은
Figure pct00020
에서의 이미지들과 일대일 대응하고, 각각은 대응하는 이미지의 해상도와 동일한 해상도를 갖고;
Figure pct00021
는 제1 판별 결과를 나타내고;
Figure pct00022
는 제2 판별 결과를 나타내고;
λ3은 미리 설정된 가중치이다.
일부 구현들에서, λ1：λ2：λ3=10:0.1:0.001이다.
일부 구현들에서, 노이즈 샘플은 랜덤 노이즈이다. 일부 구현들에서, 트레이닝 방법은 판별 네트워크 트레이닝 절차를 추가로 포함하고, 이 판별 네트워크 트레이닝 절차는: 판별 네트워크에 제1 출력 이미지 및 제2 해상도 샘플 이미지를 개별적으로 제공하여 판별 네트워크가 제1 출력 이미지에 기초한 판별 결과 및 제2 해상도 샘플 이미지에 기초한 판별 결과를 각각 출력할 수 있게 하는 단계; 및 판별 네트워크의 파라미터들을 조정하여 판별 네트워크의 손실 함수를 감소시키는 단계를 포함하고;
판별 네트워크 트레이닝 절차 및 생성 네트워크 트레이닝 절차는 미리 설정된 트레이닝 조건이 충족될 때까지 교대로 수행된다.
일부 구현들에서, 제1 출력 이미지 및 제2 출력 이미지 둘 다는 해상도 향상 절차의 반복 프로세스를 통해 생성 네트워크에 의해 생성되고, 반복 프로세스에서의 해상도 향상 절차의 총 횟수는 L이고; L이 1보다 클 때, 제1 입력 이미지에 기초하여 생성 네트워크에 의해 수행되는 반복 프로세스에서의 이전 L-1회의 해상도 향상 절차에서, 생성 네트워크는 해상도 향상 절차가 수행될 때마다 중간 이미지를 생성하고;
판별 네트워크 트레이닝 절차에서, 제1 출력 이미지가 판별 네트워크에 제공되는 동안, 제1 입력 이미지에 기초하여 생성 네트워크에 의해 생성되는 각각의 중간 이미지가 판별 네트워크에 제공되고; 제2 해상도 샘플 이미지가 판별 네트워크에 제공되는 동안, 그리고 제2 해상도 샘플 이미지를 다운샘플링함으로써 획득된 제3 해상도 샘플 이미지들이 판별 네트워크에 제공되고, 제3 해상도 샘플 이미지들은 중간 이미지들과 일대일 대응하고, 각각은 대응하는 중간 이미지의 해상도와 동일한 해상도를 갖는다.
따라서, 본 개시내용은 트레이닝 방법에 의해 획득되는 생성 적대 네트워크의 생성 네트워크를 사용하는 이미지 처리 방법을 추가로 제공하고, 이미지 처리 방법은 이미지의 해상도를 증가시키기 위해 사용되고, 다음을 포함한다:
생성 네트워크에 입력 이미지 및 기준 노이즈에 대응하는 노이즈 이미지를 제공하여 생성 네트워크가 입력 이미지에 기초하여 제2 해상도 이미지를 생성할 수 있게 하는 단계.
일부 구현들에서, 기준 노이즈의 진폭은 0에서 제1 진폭까지의 범위이다.
일부 구현들에서, 기준 노이즈는 랜덤 노이즈이다.
따라서, 본 개시내용은 컴퓨터 프로그램들을 저장하는 메모리 및 프로세서를 포함하는 컴퓨터 디바이스를 추가로 제공하고, 컴퓨터 프로그램들이 프로세서에 의해 실행될 때 위의 트레이닝 방법이 수행된다.
따라서, 본 개시내용은 컴퓨터 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체를 추가로 제공하고, 컴퓨터 프로그램들이 프로세서에 의해 실행될 때 위의 트레이닝 방법이 수행된다.
첨부 도면들은 본 개시내용의 추가의 이해를 제공하도록 의도되고, 본 명세서 내에 포함되고 그 일부를 구성한다. 도면들은, 이하의 특정 실시예들과 함께, 본 개시내용을 설명하도록 의도되지만, 본 개시내용에 임의의 제한을 행하지 않는다. 도면들에서:
도 1은 재구성 왜곡과 지각 왜곡 사이의 관계를 나타내는 개략도이다;
도 2는 본 개시내용의 실시예들에 따른 생성 네트워크 트레이닝 절차를 예시하는 흐름도이다; 및
도 3은 본 개시내용의 실시예들에 따른 생성 네트워크의 개략 구조도이다.
본 개시내용의 특정 실시예들은 첨부 도면들을 참조하여 이하에서 상세하게 설명될 것이다. 본 명세서에 설명된 특정 실시예들은 단지 본 개시내용을 예시하고 설명하기 위한 것이며, 본 개시내용에 임의의 제한을 행하지 않는다는 것을 이해해야 한다.
초해상도 이미지 재구성은 더 높은 해상도를 갖는 이미지를 획득하기 위해 초기 이미지의 해상도를 증가시키기 위한 기술이다. 초해상도 이미지 재구성에서, 재구성 왜곡 및 지각 왜곡은 초해상도 재구성 효과를 평가하기 위해 사용된다. 재구성 왜곡은 재구성 이미지와 기준 이미지 사이의 차이를 측정하기 위해 사용되고, 특정 평가 기준들은 평균 제곱 오차(MSE), 구조적 유사성 인덱스(SSIM), 및 피크 신호 대 노이즈비(PSNR)를 포함하고; 지각 왜곡은 주로 이미지가 더 자연 이미지처럼 보이게 하는 것에 초점을 맞춘다. 도 1은 재구성 왜곡과 지각 왜곡 사이의 관계를 나타내는 개략도이다. 도 1에 도시된 바와 같이, 재구성 왜곡이 비교적 작을 때, 지각 왜곡은 비교적 크고, 이 경우 재구성된 이미지는 더 평활하지만 상세들은 없다. 지각 왜곡이 비교적 작을 때, 재구성 왜곡은 비교적 크고, 이 경우 재구성된 이미지는 더 많은 상세들을 갖는다. 현재의 초해상도 이미지 재구성 방법들은 일반적으로 비교적 작은 재구성 왜곡을 목표로 하지만, 사람들은 일부 응용 시나리오들에서 풍부한 상세들을 갖는 재구성된 이미지들을 획득하는 것을 선호한다.
본 개시내용은 생성 적대 네트워크를 위한 트레이닝 방법을 제공하고, 생성 적대 네트워크는 생성 네트워크 및 판별 네트워크를 포함하고, 생성 네트워크는 제1 해상도 이미지를 제2 해상도 이미지로 변환하여 타겟 해상도를 갖는 제2 해상도 이미지를 획득하도록 구성되고, 제2 해상도 이미지의 해상도는 제1 해상도 이미지의 해상도보다 높다. 생성 네트워크는 해상도 향상 절차를 한번 수행함으로써 또는 해상도 향상 절차를 복수 회 반복함으로써 제2 해상도 이미지를 획득할 수 있다. 예를 들어, 처리될 이미지(즉, 제1 해상도 이미지)는 128x128의 해상도를 갖고, 타겟 해상도는 1024x1024이고, 생성 네트워크는 해상도를 8배 증가시키는 해상도 향상 절차를 한번 수행함으로써 1024x1024의 해상도를 갖는 제2 해상도 이미지를 획득할 수 있거나; 또는 생성 네트워크는 해상도 향상 절차를 반복함으로써 순차적으로 256x256 이미지, 512x512 이미지 및 1024x1024 이미지를 획득할 수 있으며, 이는 해상도를 2배, 3배 증가시킨다.
생성 적대 네트워크를 위한 트레이닝 방법은 생성 네트워크 트레이닝 절차를 포함한다. 도 2는 본 개시내용의 실시예들에 따른 생성 네트워크 트레이닝 절차를 예시하는 흐름도이다. 도 2에 도시된 바와 같이, 생성 네트워크 트레이닝 절차는 다음의 S1 내지 S4를 포함한다.
S1, 제2 해상도 샘플 이미지로부터 제1 해상도 샘플 이미지를 추출하는 단계- 제2 해상도 샘플 이미지의 해상도는 제1 해상도 샘플 이미지의 해상도보다 높음 -. 구체적으로, 제1 해상도 샘플 이미지는 제2 해상도 샘플 이미지를 다운샘플링함으로써 획득될 수 있다.
S2, 생성 네트워크에 제1 입력 이미지 및 제2 입력 이미지를 개별적으로 제공하여 제1 입력 이미지에 기초한 제1 출력 이미지, 및 제2 입력 이미지에 기초한 제2 출력 이미지를 각각 생성하는 단계- 제1 입력 이미지는 제1 해상도 샘플 이미지 및 제1 진폭을 갖는 노이즈 샘플에 대응하는 제1 노이즈 이미지를 포함하고, 제2 입력 이미지는 제1 해상도 샘플 이미지 및 제2 진폭을 갖는 노이즈 샘플에 대응하는 제2 노이즈 이미지를 포함함 -. 제1 진폭은 0보다 크고, 제2 진폭은 0과 동일하다.
노이즈 샘플의 진폭은 노이즈 샘플의 평균 요동 진폭이다. 예를 들어, 노이즈 샘플은 랜덤 노이즈이고, 노이즈 샘플에 대응하는 이미지의 평균은 μ이고, 노이즈 샘플에 대응하는 이미지의 분산은 σ인데, 즉, 노이즈 샘플에 대응하는 이미지의 대부분의 픽셀 값들은 μ-σ로부터 μ+σ까지 요동하고, 이 경우 노이즈 진폭은 μ이다. 이미지 처리 프로세스에서 임의의 이미지가 매트릭스의 형태로 도시되고, 픽셀 값들이 이미지 매트릭스의 요소 값들을 나타낸다는 점을 이해해야 한다. 노이즈 샘플의 진폭이 0일 때, 이미지 매트릭스의 요소 값이 0보다 작지 않기 때문에, 이미지 매트릭스의 각각의 요소 값은 0인 것으로 간주될 수 있다.
또한, 생성 적대 네트워크를 위한 트레이닝 방법은 복수의 생성 네트워크 트레이닝 절차를 포함하고; 단일 생성 네트워크 트레이닝 절차에서, 제1 해상도 샘플 이미지는 단일의 하나이고, 제1 입력 이미지 및 제2 입력 이미지를 수신할 때 생성 네트워크의 모델 파라미터들은 동일하다는 점에 유의해야 한다.
S3, 판별 네트워크에 제1 출력 이미지 및 제2 해상도 샘플 이미지를 개별적으로 제공하여 판별 네트워크가 제1 출력 이미지에 기초한 제1 판별 결과, 및 제2 해상도 샘플 이미지에 기초한 제2 판별 결과를 출력할 수 있게 하는 단계. 제1 판별 결과는 제1 출력 이미지와 제2 해상도 샘플 이미지 사이의 매칭 정도를 나타내기 위해 사용되는데, 예를 들어, 제1 판별 결과는 제1 출력 이미지가 제2 해상도 샘플 이미지와 동일한 것으로 판별 네트워크에 의해 결정되는 확률을 나타내기 위해 사용되고; 제2 판별 결과는 제2 해상도 샘플 이미지가 실제로 제2 해상도 샘플 이미지인 것으로 판별 네트워크에 의해 결정되는 확률을 나타내기 위해 사용된다.
판별 네트워크는 스코어링 기능을 갖는 분류자로서 간주될 수 있다. 판별 네트워크는 수신된 판별될 이미지를 스코어링할 수 있고, 판별될 이미지(제1 출력 이미지)가 제2 해상도 샘플 이미지와 동일할 확률을 나타내는 스코어, 즉, 0에서 1까지의 범위일 수 있는, 위에서 언급된 매칭 정도를 나타내는 스코어를 출력한다. 판별 네트워크의 출력 스코어가 0이거나 0에 가까운 경우, 판별 네트워크가 수신된 판별될 이미지를 비-고해상도 샘플 이미지로서 분류하는 것으로 표시되고; 판별 네트워크의 출력 스코어가 1이거나 1에 가까운 경우, 수신된 판별될 이미지는 제2 해상도 샘플 이미지와 동일한 것으로 표시된다.
판별 네트워크의 스코어링 기능은 미리 결정된 스코어들을 갖는 "참" 샘플 및 "거짓" 샘플의 사용에 의해 트레이닝될 수 있다. 예를 들어, "거짓" 샘플은 생성 네트워크에 의해 생성된 이미지이고, "참" 샘플은 제2 해상도 샘플 이미지이다. 판별 네트워크의 트레이닝 프로세스는 판별 네트워크가 "참" 샘플을 수신할 때 1에 가까운 스코어를 출력할 수 있게 하고, "거짓" 샘플을 수신할 때 0에 가까운 스코어를 출력할 수 있게 하기 위해 판별 네트워크의 파라미터들을 조정하는 프로세스이다.
S4, 생성 네트워크의 파라미터들을 조정하여 생성 네트워크의 손실 함수를 감소시키는 단계. "생성 네트워크의 손실 함수를 감소시키는 것"은 손실 함수의 값이 이전의 생성 네트워크 트레이닝 절차에서의 것과 비교하여 감소되거나, 복수의 생성 네트워크 트레이닝 절차에서의 손실 함수의 값들이 감소하는 추세를 나타낸다는 것을 의미한다. 생성 네트워크의 손실 함수는 제1 손실, 제2 손실, 및 제3 손실을 포함하고; 구체적으로, 손실 함수는 제1 손실, 제2 손실 및 제3 손실의 중첩이고, 제1 손실은 제2 출력 이미지와 제2 해상도 샘플 이미지 사이의 재구성 오차에 기초하고; 제2 손실은 제1 출력 이미지와 제2 해상도 샘플 이미지 사이의 지각 오차에 기초하고; 제3 손실은 제1 판별 결과 및 제2 판별 결과에 기초한다.
초해상도 재구성에서, 재구성된 제2 해상도 이미지에서의 상세 특징들(예를 들어, 머리카락들, 라인들 등)은 일반적으로 노이즈와 관련된다. 생성 네트워크의 트레이닝에 노이즈가 추가되지 않을 때, 생성 네트워크에 의해 생성된 제2 해상도 이미지는 작은 재구성 왜곡 및 큰 지각 왜곡을 가져서, 제2 해상도 이미지는 육안으로 비현실적으로 보이게 되고; 생성 네트워크의 트레이닝에 노이즈가 추가될 때, 재구성된 제2 해상도 이미지는 명백한 상세 특징들을 갖지만, 그 재구성 왜곡은 비교적 크다. 본 개시내용의 생성 네트워크 트레이닝 절차에서, 0의 진폭을 갖는 노이즈 이미지를 포함하는 제2 입력 이미지 및 1의 진폭을 갖는 노이즈 이미지를 포함하는 제1 입력 이미지는 트레이닝을 위해 생성 네트워크에 개별적으로 제공되고, 손실 함수의 제1 손실은 생성 네트워크에 의해 생성된 결과의 재구성 왜곡을 반영하고, 제2 손실은 생성 네트워크에 의해 생성된 결과의 지각 왜곡을 반영하는데, 즉 손실 함수는 2개의 왜곡 평가 기준을 결합한다. 트레이닝된 생성 네트워크가 이미지에 대해 해상도 향상을 수행하기 위해 사용될 때, 입력 노이즈의 진폭은 실제 요구들(즉, 이미지의 상세들이 강조될 필요가 있는지 그리고 상세들이 어느 정도로 강조되는지)에 따라 조정될 수 있어서, 재구성된 이미지가 실제 요구들을 충족시킬 수 있게 된다. 예를 들어, 재구성 왜곡의 주어진 범위 내에서, 최소 지각 왜곡은 입력 노이즈의 진폭을 조정함으로써 달성되거나; 또는 지각 왜곡의 주어진 범위 내에서, 최소 재구성 왜곡은 입력 노이즈의 진폭을 조정함으로써 달성된다.
실시예에서 1인, 제1 입력 이미지의 노이즈 이미지의 진폭은 노이즈 이미지의 진폭을 정규화함으로써 획득되는 진폭 값이라는 점에 유의해야 한다. 본 개시내용의 다른 실시예들에서, 제1 입력 이미지의 노이즈 이미지의 진폭이 1과 동일하지 않을 수 있도록, 노이즈 이미지의 진폭을 정규화하지 않는 것이 가능하다.
일부 구현들에서, 노이즈 샘플은 랜덤 노이즈이고; 제1 노이즈 이미지의 평균은 1이다. 일부 구현에서, 제1 노이즈 이미지의 평균은 제1 노이즈 이미지의 정규화된 이미지의 평균이다. 예를 들어, 제1 노이즈 이미지가 그레이스케일 이미지인 경우, 제1 노이즈 이미지를 정규화함으로써 획득된 이미지에서의 모든 픽셀 값들의 평균은 제1 노이즈 이미지의 평균이고; 다른 예로서, 제1 노이즈 이미지가 컬러 이미지인 경우, 제1 노이즈 이미지의 모든 채널을 정규화함으로써 획득되는 이미지에서의 모든 픽셀 값들의 평균은 제1 노이즈 이미지의 평균이다. 본 개시내용의 실시예에서의 이미지의 채널은 처리를 위해 이미지를 분할함으로써 획득되는 하나 이상의 채널을 나타내는데, 예를 들어, RGB-모드 컬러 이미지는 3개의 채널, 즉, 적색 채널, 녹색 채널, 및 청색 채널로 분할될 수 있고; 이미지가 그레이스케일 이미지인 경우, 그것은 1-채널 이미지이고; 컬러 이미지가 HSV 컬러 시스템에 따라 분할되는 경우, 이미지는 3개의 채널, 즉, 색조(H) 채널, 채도(S) 채널, 및 값(V) 채널로 분할될 수 있다는 점에 유의해야 한다.
일부 구현들에서, 생성 네트워크의 손실 함수는 다음과 같은 수학식으로 표현되고:
Figure pct00023
여기서, 손실 함수 Loss의 제1 손실
Figure pct00024
에서,
Figure pct00025
은 제2 출력 이미지와 제2 해상도 샘플 이미지 사이의 재구성 오차를 나타내고; 손실 함수 Loss의 제2 손실
Figure pct00026
에서,
Figure pct00027
은 제2 출력 이미지와 제2 해상도 샘플 이미지 사이의 지각 오차를 나타내고; 손실 함수 Loss의 제3 손실
Figure pct00028
에서,
Figure pct00029
은 제1 판별 결과와 제2 판별 결과의 합을 나타내고; λ1, λ2, λ3은 모두 미리 설정된 가중치들이다. λ1：λ2：λ3은 실제 요구들에 따라 조정될 수 있는데, 예를 들어, λ1：λ2：λ3=10:0.1:0.001이거나, λ1：λ2：λ3=1:1:0.5이다. 일부 실시예들에서, λ1：λ2：λ3은 로컬 이미지들의 연속성에 따라 설정될 수 있다. 한편 일부 다른 실시예들에서, λ1：λ2：λ3은 이미지의 타겟 픽셀들에 따라 설정될 수 있다.
구체적으로, 제2 출력 이미지
Figure pct00030
과 제2 해상도 샘플 이미지 X 사이의 재구성 오차
Figure pct00031
은 다음의 수학식:
Figure pct00032
에 따라 계산되고, 여기서 제1 출력 이미지 및 제2 출력 이미지 둘 다는 해상도 향상 절차의 반복 프로세스를 통해 생성 네트워크에 의해 생성되고; 반복 프로세스에서의 해상도 향상 절차의 총 횟수는 L이고, L≥1이다.
Figure pct00033
은 제2 입력 이미지에 기초하여 생성 네트워크에 의해 수행되는 반복 프로세스에서의 l번째 해상도 향상 절차의 종료 시 생성된 이미지를 나타내고; l≤L이다. 생성 네트워크는 l=L일 때 제2 출력 이미지
Figure pct00034
을 생성한다는 것을 이해해야 한다.
LR은 제1 해상도 샘플 이미지를 나타내고;
Figure pct00035
은
Figure pct00036
을 다운샘플링함으로써 획득된 이미지를 나타내고, 이미지의 해상도는 제1 해상도 샘플 이미지의 해상도와 동일하다. 다운샘플링은 단계 S1에서 제2 해상도 샘플 이미지로부터 제1 해상도 샘플 이미지를 추출하기 위한 방식과 동일한 방식으로 수행될 수 있다.
HRl은 제2 해상도 샘플 이미지를 다운샘플링함으로써 획득된 이미지를 나타내고, 이미지의 해상도는
Figure pct00037
의 해상도와 동일하다. l=L일 때,
Figure pct00038
이 제2 출력 이미지
Figure pct00039
이고, HRl이 제2 해상도 샘플 이미지 자체이거나, 또는 제2 해상도 샘플 이미지를 1회 다운샘플링함으로써 획득된 이미지로서 간주될 수 있다는 점에 유의해야 한다.
E[ ]는 매트릭스 에너지의 계산을 나타낸다. 예를 들어, E[ ]는 "[]"에서의 매트릭스 내의 요소들의 최대 또는 평균을 계산할 수 있다.
생성 네트워크에 의해 해상도 향상 절차를 복수 회 반복하는 경우에, 재구성 오차를 계산할 때, 제2 출력 이미지 자체와 제2 해상도 샘플 이미지 사이의 차이 이미지 매트릭스의 L1 놈이 계산되고, 생성 네트워크에 의해 생성된 제3 해상도 이미지(즉,
Figure pct00040
)와 제3 해상도 샘플 이미지(즉, HR1、HR2、...HRL -1) 사이의 차이 이미지 매트릭스의 L1 놈이 또한 계산되고, 제3 해상도 샘플 이미지의 해상도는 제3 해상도 이미지의 해상도와 동일하다. 동시에, 제2 출력 이미지를 다운샘플링함으로써 생성된 이미지인 제3 해상도 이미지와 제1 해상도 샘플 이미지 사이의 차이 이미지의 L1 놈이 또한 계산된다. 이러한 방식으로, 생성 네트워크가 해상도 향상을 위해 사용되고 0의 진폭을 갖는 노이즈가 입력될 때, 생성 네트워크에 의해 최종적으로 출력되는 이미지는 최소 재구성 왜곡을 달성할 수 있다. 제3 해상도 이미지의 해상도는 제1 해상도 샘플 이미지의 해상도보다 높고, 제3 해상도 샘플 이미지의 해상도와 동일하다는 점에 유의해야 한다.
위의 실시예에서, 제2 출력 이미지와 제2 해상도 샘플 이미지 사이의 재구성 오차
Figure pct00041
은 제2 출력 이미지와 제2 해상도 샘플 이미지 사이의 차이 이미지 매트릭스의 L1 놈에 기초하여 획득되거나, 재구성 오차는 제2 출력 이미지와 제2 해상도 샘플 이미지 사이의 평균 제곱 오차(MSE)에 기초하여 획득될 수 있거나, 또는 제2 출력 이미지와 제2 해상도 샘플 이미지 사이의 구조적 유사성 인덱스(SSIM)에 기초하여 획득될 수 있다.
일부 구현들에서, 제1 출력 이미지
Figure pct00042
과 제2 해상도 샘플 이미지 X 사이의 지각 오차
Figure pct00043
은 다음의 수학식:
Figure pct00044
에 따라 계산되고,
Figure pct00045
은 제1 입력 이미지에 기초하여 생성 네트워크에 의해 수행되는 반복 프로세스에서의 l번째 해상도 향상 절차의 종료 시 생성된 이미지를 나타내고; l≤L이다. 생성 네트워크는 l=L일 때 제1 출력 이미지
Figure pct00046
을 생성한다는 것을 이해해야 한다.
Figure pct00047
는
Figure pct00048
을 다운샘플링함으로써 획득된 이미지를 나타내고, 이미지의 해상도는 제1 해상도 샘플 이미지 LR의 해상도와 동일하다. 다운샘플링은 단계 S1에서 제2 해상도 샘플 이미지로부터 제1 해상도 샘플 이미지를 추출하기 위한 방식과 동일한 방식으로 수행될 수 있다. HRl 및 E[ ]의 의미들에 대한 위의 설명에 대해 참조가 이루어질 수 있고, 이는 본 명세서에서 반복되지 않을 것이다.
LCX( )는 컨텍스트적 손실 계산 함수를 나타낸다.
재구성 오차의 계산과 유사하게, 지각 오차의 계산은 컨텍스트적 손실 계산 함수의 사용에 의해 제1 출력 이미지와 제2 해상도 샘플 이미지 사이의 차이의 계산을 수반할 뿐만 아니라, 제1 입력 이미지에 기초하여 생성 네트워크에 의해 생성된 제3 해상도 이미지(즉,
Figure pct00049
、
Figure pct00050
、...
Figure pct00051
)와 제3 해상도 샘플 이미지(즉, HR1、HR2、...HRL-1) 사이의 차이의 계산을 수반하고, 제3 해상도 샘플 이미지의 해상도는 제3 해상도 이미지의 해상도와 동일하고, 제2 출력 이미지를 다운샘플링함으로써 생성된 이미지인 제3 해상도 이미지와, 제1 해상도 샘플 이미지 사이의 차이의 계산을 추가로 수반한다. 이러한 방식으로, 생성 네트워크가 해상도 향상을 위해 사용되고 제1 진폭을 갖는 노이즈가 입력될 때, 생성 네트워크에 의해 최종적으로 출력되는 이미지는 최소 지각 왜곡을 달성할 수 있다.
일부 구현들에서, 생성 네트워크의 손실 함수의 제3 손실에서의
Figure pct00052
은 다음의 수학식:
Figure pct00053
에 따라 계산되고, 여기서,
Figure pct00054
은 제1 입력 이미지에 기초하여 생성 네트워크에 의해 수행되는 반복 프로세스에서 생성되는 이미지 그룹을 나타내고, 이미지 그룹은 매회의 해상도 향상 절차의 종료 시 각각 생성되는 이미지들을 포함한다. L=1일 때, 이미지 그룹은 제1 출력 이미지를 단독으로 포함하고; 그리고 L>1일 때, 이미지 그룹은
Figure pct00055
내지
Figure pct00056
, 및 제1 출력 이미지
Figure pct00057
을 포함한다.
Figure pct00058
은 제2 해상도 샘플 이미지를 다운샘플링함으로써 획득된 이미지들을 나타내고, 이미지들은
Figure pct00059
의 이미지들과 일대일 대응하고, 각각은 대응하는 이미지의 해상도와 동일한 해상도를 갖는다. HRL은 제2 해상도 샘플 이미지 자체이다.
Figure pct00060
는
Figure pct00061
에 기초하여 판별 네트워크에 의해 생성된 판별 결과, 즉 제1 판별 결과를 나타내고;
Figure pct00062
는
Figure pct00063
에 기초하여 판별 네트워크에 의해 생성된 판별 결과, 즉 제2 판별 결과를 나타낸다.
본 개시내용의 트레이닝 방법에서, 생성 네트워크 트레이닝 절차에 더하여, 트레이닝 방법은 판별 네트워크 트레이닝 절차를 추가로 포함하고, 이 판별 네트워크 트레이닝 절차는: 판별 네트워크에 제1 출력 이미지 및 제2 해상도 샘플 이미지를 개별적으로 제공하여 판별 네트워크가 제1 출력 이미지에 기초한 판별 결과 및 제2 해상도 샘플 이미지에 기초한 판별 결과를 각각 출력할 수 있게 하는 단계; 및 판별 네트워크의 파라미터들을 조정하여 판별 네트워크의 손실 함수를 감소시키는 단계를 포함한다.
판별 네트워크 트레이닝 절차 및 생성 네트워크 트레이닝 절차는 미리 설정된 트레이닝 조건이 충족될 때까지 교대로 수행된다. 예를 들어, 미리 설정된 트레이닝 조건은 교대 횟수가 미리 결정된 값에 도달하는 것일 수 있다.
초기화 프로세스에서, 생성 네트워크 및 판별 네트워크의 파라미터들은 미리 설정되거나 랜덤이다.
전술한 바와 같이, 제1 출력 이미지 및 제2 출력 이미지 둘 다는 해상도 향상 절차의 반복 프로세스를 통해 생성 네트워크에 의해 생성되고, 반복 프로세스에서의 해상도 향상 절차의 총 횟수는 L이다. L=1일 때, 이미지가 판별 네트워크에 공급될 때마다, 제1 출력 이미지 또는 제2 해상도 샘플 이미지 단독으로 판별 네트워크에 공급하는 것이 가능하다. L>1일 때, 제1 입력 이미지에 기초하여 생성 네트워크에 의해 수행되는 이전 L-1회의 해상도 향상 절차에서, 생성 네트워크는 해상도 향상 절차가 수행될 때마다 중간 이미지를 생성하고; 해상도 향상 절차가 L번째 반복될 때, 생성 네트워크에 의해 생성된 이미지는 제1 출력 이미지이다. 이러한 경우에, 판별 네트워크는 복수의 이미지를 동시에 수신하기 위해 복수의 입력 단자를 구비하고, 최고 해상도를 갖는 수신된 복수의 이미지 중 하나와, 제2 해상도 샘플 이미지 사이의 매칭 정도를 결정한다. 판별 네트워크 트레이닝 절차에서, 제1 출력 이미지가 판별 네트워크에 제공되는 동안, 제1 입력 이미지에 기초하여 생성 네트워크에 의해 생성되는 각각의 중간 이미지가 판별 네트워크에 제공되고; 제2 해상도 샘플 이미지가 판별 네트워크에 제공되는 동안, 제2 해상도 샘플 이미지를 다운샘플링함으로써 획득된 제3 해상도 샘플 이미지들이 판별 네트워크에 제공되고, 제3 해상도 샘플 이미지들은 중간 이미지들과 일대일 대응하고, 각각은 대응하는 중간 이미지의 해상도와 동일한 해상도를 갖는다.
생성 네트워크의 트레이닝 프로세스에서, 생성 네트워크의 파라미터들은, 생성 네트워크의 출력 결과가 판별 네트워크에 입력된 후에, 판별 네트워크가 판별 결과로서 가능한 한 1에 가까운 매칭 정도를 출력할 수 있게 하도록, 즉, 판별 네트워크가 생성 네트워크의 출력 결과를 제2 해상도 샘플 이미지로서 간주할 수 있게 하도록 조정된다. 판별 네트워크의 트레이닝 프로세스에서, 판별 네트워크의 파라미터들은, 제2 해상도 샘플 이미지가 판별 네트워크에 입력된 후에, 판별 네트워크가 가능한 한 1에 가까운 매칭 정도를 출력할 수 있게 하고, 또한 생성 네트워크의 출력 결과가 판별 네트워크에 입력된 후에, 판별 네트워크가 가능한 한 0에 가까운 매칭 정도를 출력할 수 있게 하도록 조정되는데; 즉, 판별 네트워크는 수신된 이미지가 제2 해상도 샘플 이미지인지를 결정할 수 있도록 트레이닝될 수 있다. 생성 네트워크 및 판별 네트워크를 교대로 트레이닝함으로써, 판별 네트워크는 판별 능력을 개선하도록 지속적으로 최적화되고, 생성 네트워크는 가능한 한 제2 해상도 샘플 이미지에 가까운 결과를 출력하도록 지속적으로 최적화된다. 이 방법에 의해, 2개의 "적대하는" 모델은 서로 경쟁하고 각각은 각각의 트레이닝 프로세스에서 다른 하나로부터의 점점 더 나은 결과에 기초하여 개선되어, 획득된 생성 적대 네트워크 모델이 점점 더 나아진다.
본 개시내용은 위의 트레이닝 방법에 의해 획득되는 생성 적대 네트워크를 사용하는 이미지 처리 방법을 추가로 제공하고, 이미지 처리 방법은 생성 적대 네트워크의 생성 네트워크를 사용하여 이미지의 해상도를 증가시키기 위해 사용되고, 생성 네트워크에 입력 이미지 및 기준 노이즈에 대응하는 노이즈 이미지를 제공하여 생성 네트워크가 입력 이미지보다 더 높은 해상도를 갖는 이미지를 생성할 수 있게 하는 단계를 포함한다. 기준 노이즈의 진폭은 0에서 제1 진폭까지의 범위이다. 구체적으로, 기준 노이즈는 랜덤 노이즈이다.
본 개시내용에 따른 생성 적대 네트워크의 생성 네트워크의 트레이닝 프로세스에서, 0의 진폭을 갖는 노이즈 샘플 및 제1 진폭을 갖는 노이즈 샘플은 생성 네트워크에 개별적으로 제공되고, 생성 네트워크의 손실 함수는 재구성 왜곡 및 지각 왜곡을 평가하기 위한 2개의 왜곡 평가 기준을 결합하여, 생성 네트워크가 이미지의 해상도를 증가시키기 위해 사용될 때, 실제 요구들을 충족시키 위해 기준 노이즈의 진폭이 실제 요구들에 따라 조정될 수 있다. 예를 들어, 재구성 왜곡의 주어진 범위 내에서, 최소 지각 왜곡은 기준 노이즈의 진폭을 조정함으로써 달성되거나; 또는 지각 왜곡의 주어진 범위 내에서, 최소 재구성 왜곡은 기준 노이즈의 진폭을 조정함으로써 달성된다.
도 3은 본 개시내용의 실시예들에 따른 생성 네트워크의 개략 구조도이다. 생성 네트워크는 도 3과 관련하여 아래에 설명된다. 해상도 향상 절차를 반복하기 위해 생성 네트워크가 사용되고, 해상도 향상 절차가 수행될 때마다 처리될 이미지 Il-1의 해상도가 증가되어, 증가된 해상도를 갖는 이미지 Il을 획득한다. 해상도 향상 절차의 총 반복 횟수가 1일 때, 처리될 이미지 Il -1은 초기 입력 이미지이고; 해상도 향상 절차의 총 반복 횟수가 L이고 L>1일 때, 처리될 이미지 Il -1은 해상도 향상 절차를 (l-1)번째 반복한 후에 출력되는 이미지이다. 생성 네트워크는 다음과 같이 예로서 아래에 예시된다: 초기 입력 이미지는 128x128의 해상도를 갖고, 각각의 해상도 향상 절차에서 해상도는 2배 증가되고, l=2이다. 이 예에서, 도 3에서의 처리될 이미지 Il -1은 해상도 향상 절차를 한번 수행한 후 획득된 256x256 이미지이다.
도 3에 도시된 바와 같이, 생성 네트워크는 제1 분석 모듈(11), 제2 분석 모듈(12), 제1 연결 모듈(21), 제2 연결 모듈(22), 보간 모듈(31), 제1 업샘플링 모듈(41), 제1 다운샘플링 모듈(51), 중첩 모듈(70), 및 반복을 위한 잔차 보정 시스템을 포함한다.
제1 분석 모듈(11)은 처리될 이미지 Il -1의 특징 이미지 Rμ l -1을 생성하도록 구성되고, 특징 이미지 Rμ l -1의 채널들의 수는 처리될 이미지 Il -1의 채널들보다 더 크다.
제1 연결 모듈(21)은 처리될 이미지의 특징 이미지 Rμ l -1 및 노이즈 이미지를 연결하여 제1 병합된 이미지 RCμ l -1을 획득하도록 구성되고; 제1 병합된 이미지 RCμ l -1의 채널들의 수는 특징 이미지 Rμ l -1의 채널들의 수와 노이즈 이미지의 채널들의 수의 합이다.
노이즈 이미지의 해상도는 처리될 이미지 Il -1의 해상도와 동일하다는 점에 유의해야 한다. 따라서, 생성 네트워크에 의해 수행되는 해상도 향상 절차의 총 반복 횟수가 1보다 클 때, 생성 네트워크 트레이닝 절차에서, 생성 네트워크에 제공되는 제1 입력 이미지 및 제2 입력 이미지 각각은 제1 해상도 샘플 이미지 및 상이한 해상도들을 갖는 복수의 노이즈 샘플 이미지를 포함할 수 있거나; 또는 제1 입력 이미지 및 제2 입력 이미지 각각은 제1 해상도 샘플 이미지 및 하나의 노이즈 샘플 이미지를 포함할 수 있고, 해상도 향상 절차가 l번째 반복될 때, 생성 네트워크는 노이즈 샘플의 진폭에 따라 요구된 배율로 노이즈 샘플 이미지를 생성한다.
보간 모듈(31)은 처리될 이미지 Il -1에 대해 보간을 수행하여 그에 기초하여 제4 해상도 이미지를 획득하도록 구성되고, 제4 해상도 이미지는 512x512의 해상도를 갖는다. 보간 모듈은 바이큐빅(bicubic) 보간과 같은 전통적인 보간 방법들을 사용하는 것에 의해 보간을 수행할 수 있다. 제4 해상도 이미지의 해상도는 처리될 이미지 Il -1의 해상도보다 높다.
제2 분석 모듈(12)은 제4 해상도 이미지의 특징 이미지를 생성하도록 구성되고, 특징 이미지의 채널들의 수는 제4 해상도 이미지의 것보다 더 크다.
제1 다운샘플링 모듈(51)은 제4 해상도 이미지의 특징 이미지를 다운샘플링하여 256x256의 해상도를 갖는 제1 다운샘플링된 특징 이미지를 획득하도록 구성된다.
제2 연결 모듈(22)은 제1 병합된 이미지 RCμ l - 1와 제1 다운샘플링된 특징 이미지를 연결하여 제2 병합된 이미지를 획득하도록 구성된다.
제1 업샘플링 모듈(41)은 제2 병합된 이미지를 업샘플링하여 제1 업샘플링된 특징 이미지 Rl 0를 획득하도록 구성된다.
반복을 위한 잔차 보정 시스템은 역-투영(back-projection)을 통해 제1 업샘플링된 특징 이미지에 대해 잔차 보정을 적어도 1회 수행하여, 잔차 보정된 특징 이미지를 획득하도록 구성된다.
반복을 위한 잔차 보정 시스템은 제2 다운샘플링 모듈(52), 제2 업샘플링 모듈(42), 및 잔차 결정 모듈(60)을 포함한다. 제2 다운샘플링 모듈(52)은 수신된 이미지를 2배 다운샘플링하도록 구성되고, 제2 업샘플링 모듈(42)은 수신된 이미지를 2배 업샘플링하도록 구성되고; 잔차 결정 모듈(60)은 2개의 수신된 이미지 사이의 차이 이미지를 결정하도록 구성된다.
제1 잔차 보정에서, 제1 업샘플링된 특징 이미지 Rl 0 이 첫 번째 것인 제2 다운샘플링 모듈(52)에 의해 2배 다운샘플링되어 특징 이미지 Rl 01를 획득하고; 특징 이미지 Rl 01이 두 번째 것인 제2 다운샘플링 모듈(52)에 의해 2배 다운샘플링되어 초기 입력 이미지와 동일한 해상도를 갖는 특징 이미지 Rl 02를 획득하고; 그 후, 하나의 잔차 결정 모듈은 첫 번째의 해상도 향상 절차에서 획득된 제1 병합된 이미지 RCμ 0(즉, 초기 입력 이미지의 특징 이미지와 노이즈 이미지를 병합함으로써 획득된 제1 병합된 이미지 RCμ 0)와 특징 이미지 Rl 02 사이의 차이 이미지를 획득하기 위해 사용되고; 그 후, 차이 이미지가 제2 업샘플링 모듈에 의해 업샘플링되어 특징 이미지를 획득하고, 획득된 업샘플링된 특징 이미지가 중첩 모듈(70)에 의해 특징 이미지 Rl 01에 대해 중첩되어, 제1 병합된 이미지 R1 l -1과 동일한 해상도를 갖는 특징 이미지 R03 l를 획득하고; 그 후, 다른 잔차 결정 모듈이 특징 이미지 R03 l과 제1 병합된 이미지 RCμ l -1 사이의 차이 이미지를 획득하기 위해 사용되고; 그 후, 차이 이미지가 제2 업샘플링 모듈(42)에 의해 2배 업샘플링되어 업샘플링된 이미지를 획득하고, 업샘플링된 이미지가 제1 업샘플링된 특징 이미지 Rl 0에 대해 중첩되어, 제1 잔차 보정을 겪은 특징 이미지 Rl 1를 획득한다.
그 후, 특징 이미지 Rl 1이 동일한 방식으로 제2 잔차 보정을 겪어, 제2 잔차 보정을 겪은 특징 이미지 Rl 2를 획득할 수 있고; 특징 이미지 Rl 2는 동일한 방식으로 제3 잔차 보정을 겪을 수 있는 등이다. 도 3에서, μ는 잔차 보정의 횟수를 나타낸다.
생성 네트워크는, 복수 회의 잔차 보정 후에 획득된 특징 이미지 Rl μ를 합성하여 제5 해상도 이미지를 획득하도록 구성된 합성 모듈(80)을 추가로 포함하고, 제5 해상도 이미지의 채널들의 수는 제4 해상도 이미지의 것과 동일하고; 제5 해상도 이미지 및 제4 해상도 이미지는, 해상도 향상 절차가 l번째 수행된 후에 출력 이미지 Il를 획득하기 위해 중첩된다. 제5 해상도 이미지의 해상도는 제4 해상도 이미지의 해상도와 동일하다.
생성 네트워크에서, 제1 분석 모듈(11), 제2 분석 모듈(12), 제1 업샘플링 모듈(41), 제2 업샘플링 모듈(42), 제1 다운샘플링 모듈(51), 제2 다운샘플링 모듈(52), 및 합성 모듈(80)은 컨볼루션 레이어를 통해 대응하는 기능들을 수행할 수 있다.
반복 프로세스에서의 두 번째의 해상도 향상 절차는 l=2의 예로서 위에 예시되고; 다른 회의 해상도 향상 절차는 두 번째와 유사하므로, 본 명세서에서 상세히 설명되지 않을 것이다.
본 개시내용은 컴퓨터 프로그램들을 저장하는 메모리 및 프로세서를 포함하는 컴퓨터 디바이스를 추가로 제공하고, 컴퓨터 프로그램들이 프로세서에 의해 실행될 때 전술한 생성 적대 네트워크를 위한 트레이닝 방법이 수행된다.
본 개시내용은 컴퓨터 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체를 추가로 제공하고, 컴퓨터 프로그램들이 프로세서에 의해 실행될 때 전술한 생성 적대 네트워크를 위한 트레이닝 방법이 수행된다.
전술한 메모리 및 컴퓨터 판독가능 저장 매체는 다음의 판독가능 매체: 랜덤 액세스 메모리들(RAM들), 판독 전용 메모리들(ROM들), 비휘발성 랜덤 액세스 메모리들(NVRAM들), 프로그램가능 판독 전용 메모리들(PROM들), 소거가능 프로그램가능 판독 전용 메모리들(EPROM들), 전기적 소거가능 프로그램가능 판독 전용 메모리들(EEPROM들), 플래시 메모리들, 자기 또는 광학 데이터 메모리들, 레지스터들, 자기 디스크들 또는 테이프들, 컴팩트 디스크들(CD들) 또는 디지털 다목적 디스크들(DVD들)과 같은 광학 저장 매체, 및 다른 비일시적 매체를 포함하지만, 이에 제한되지 않는다. 프로세서의 예들은 범용 프로세서, 중앙 처리 유닛(CPU), 마이크로프로세서, 디지털 신호 프로세서(DSP), 컨트롤러, 마이크로컨트롤러, 상태 머신 등을 포함하지만, 이에 제한되지 않는다.
전술한 실시예들은 본 개시내용의 원리들을 설명하기 위한 단지 예시적인 실시예들일 뿐이고, 본 개시내용은 그것에 제한되지 않는다는 점을 이해해야 한다. 본 개시내용의 사상 및 본질을 벗어나지 않고서, 통상의 기술자에 의해 다양한 변경들 및 수정들이 이루어질 수 있으며, 본 개시내용의 범위 내에 속하는 것으로 간주되어야 한다.

Claims (14)

  1. 생성 적대 네트워크를 위한 트레이닝 방법으로서,
    상기 생성 적대 네트워크는 생성 네트워크 및 판별 네트워크를 포함하고, 생성 네트워크는 제1 해상도 이미지를 제2 해상도 이미지로 변환하도록 구성되고, 상기 제2 해상도 이미지의 해상도는 상기 제1 해상도 이미지의 해상도보다 높고, 상기 트레이닝 방법은 생성 네트워크 트레이닝 절차를 포함하며, 상기 생성 네트워크 트레이닝 절차는:
    제2 해상도 샘플 이미지로부터 제1 해상도 샘플 이미지를 추출하는 단계- 상기 제2 해상도 샘플 이미지의 해상도는 상기 제1 해상도 샘플 이미지의 해상도보다 높음 -;
    상기 생성 네트워크에 제1 입력 이미지 및 제2 입력 이미지를 개별적으로 제공하여 상기 제1 입력 이미지에 기초한 제1 출력 이미지, 및 상기 제2 입력 이미지에 기초한 제2 출력 이미지를 각각 생성하는 단계; - 상기 제1 입력 이미지는 상기 제1 해상도 샘플 이미지 및 제1 진폭을 갖는 노이즈 샘플에 대응하는 제1 노이즈 이미지를 포함하고; 상기 제2 입력 이미지는 상기 제1 해상도 샘플 이미지 및 제2 진폭을 갖는 노이즈 샘플에 대응하는 제2 노이즈 이미지를 포함하고; 상기 제1 진폭은 0보다 크고, 상기 제2 진폭은 0과 동일함 -;
    상기 판별 네트워크에 상기 제1 출력 이미지 및 상기 제2 해상도 샘플 이미지를 개별적으로 제공하여 상기 판별 네트워크가 상기 제1 출력 이미지에 기초한 제1 판별 결과, 및 상기 제2 해상도 샘플 이미지에 기초한 제2 판별 결과를 출력할 수 있게 하는 단계; 및
    상기 생성 네트워크의 파라미터들을 조정하여 상기 생성 네트워크의 손실 함수를 감소시키는 단계- 상기 생성 네트워크의 상기 손실 함수는 제1 손실, 제2 손실 및 제3 손실을 포함하고, 상기 제1 손실은 상기 제2 출력 이미지와 상기 제2 해상도 샘플 이미지 사이의 재구성 오차에 기초하고; 상기 제2 손실은 상기 제1 출력 이미지와 상기 제2 해상도 샘플 이미지 사이의 지각 오차에 기초하고; 상기 제3 손실은 상기 제1 판별 결과 및 상기 제2 판별 결과에 기초함 -
    를 포함하는 트레이닝 방법.
  2. 제1항에 있어서,
    상기 제2 출력 이미지와 상기 제2 해상도 샘플 이미지 사이의 상기 재구성 오차는 상기 제2 출력 이미지와 상기 제2 해상도 샘플 이미지 사이의 차이 이미지 매트릭스(difference image matrix)의 L1 놈(norm), 상기 제2 출력 이미지와 상기 제2 해상도 샘플 이미지 사이의 평균 제곱 오차, 및 상기 제2 출력 이미지와 상기 제2 해상도 샘플 이미지 사이의 구조적 유사성 인덱스 중 임의의 하나에 따라 결정되는 트레이닝 방법.
  3. 제1항에 있어서,
    상기 제1 출력 이미지 및 상기 제2 출력 이미지 둘 다는 해상도 향상 절차의 반복 프로세스를 통해 상기 생성 네트워크에 의해 생성되고, 상기 생성 네트워크의 상기 손실 함수의 상기 제1 손실은
    Figure pct00064
    이고,
    Figure pct00065

    여기서 X는 상기 제2 해상도 샘플 이미지를 나타내고;
    Figure pct00066
    은 상기 제2 출력 이미지를 나타내고;
    Figure pct00067
    은 상기 제2 출력 이미지와 상기 제2 해상도 샘플 이미지 사이의 재구성 오차를 나타내고;
    L은 상기 반복 프로세스에서의 상기 해상도 향상 절차의 총 횟수를 나타내고, L≥1이고;
    Figure pct00068
    은 상기 제2 입력 이미지에 기초하여 상기 생성 네트워크에 의해 수행되는 상기 반복 프로세스에서의 l번째 상기 해상도 향상 절차의 종료 시 생성된 이미지를 나타내고, l≤L이고;
    LR은 상기 제1 해상도 샘플 이미지를 나타내고;
    Figure pct00069
    은
    Figure pct00070
    을 다운샘플링함으로써 획득된 이미지를 나타내고, 상기 이미지의 해상도는 상기 제1 해상도 샘플 이미지의 해상도와 동일하고;
    HRl은 상기 제2 해상도 샘플 이미지를 다운샘플링함으로써 획득된 이미지를 나타내고, 상기 이미지의 해상도는
    Figure pct00071
    의 해상도와 동일하고;
    E[ ]는 매트릭스 에너지의 계산을 나타내고;
    λ1은 미리 설정된 가중치인 트레이닝 방법.
  4. 제3항에 있어서,
    상기 생성 네트워크의 상기 손실 함수의 상기 제2 손실은
    Figure pct00072
    이고,
    Figure pct00073

    여기서,
    Figure pct00074
    은 상기 제1 출력 이미지를 나타내고;
    Figure pct00075
    은 상기 제1 출력 이미지와 상기 제2 해상도 샘플 이미지 사이의 상기 지각 오차를 나타내고;
    Figure pct00076
    은 상기 제1 입력 이미지에 기초하여 상기 생성 네트워크에 의해 수행되는 상기 반복 프로세스에서의 l번째 상기 해상도 향상 절차의 종료 시 생성된 이미지를 나타내고;
    Figure pct00077
    은
    Figure pct00078
    을 다운샘플링함으로써 획득된 이미지를 나타내고, 상기 이미지의 해상도는 상기 제1 해상도 샘플 이미지의 해상도와 동일하고;
    LCX( )는 컨텍스트적 손실 계산 함수이고;
    λ2는 미리 설정된 가중치인 트레이닝 방법.
  5. 제4항에 있어서,
    상기 생성 네트워크의 상기 손실 함수의 상기 제3 손실은
    Figure pct00079
    이고,
    Figure pct00080

    여기서,
    Figure pct00081
    은 상기 제1 입력 이미지에 기초하여 상기 생성 네트워크에 의해 수행되는 상기 반복 프로세스에서 생성되는 이미지 그룹을 나타내고, 상기 이미지 그룹은 매회의 상기 해상도 향상 절차의 종료 시 각각 생성되는 이미지들을 포함하고;
    Figure pct00082
    은 상기 제2 해상도 샘플 이미지를 다운샘플링함으로써 획득된 이미지들을 나타내고, 상기 이미지들은 상기
    Figure pct00083
    에서의 이미지들과 일대일 대응하고, 각각은 상기 대응하는 이미지의 해상도와 동일한 해상도를 갖고;
    Figure pct00084
    는 상기 제1 판별 결과를 나타내고;
    Figure pct00085
    은 상기 제2 판별 결과를 나타내고;
    λ3은 미리 설정된 가중치인 트레이닝 방법.
  6. 제5항에 있어서,
    λ1：λ2：λ3=10:0.1:0.001인 트레이닝 방법.
  7. 제1항에 있어서,
    상기 노이즈 샘플은 랜덤 노이즈인 트레이닝 방법.
  8. 제1항에 있어서,
    판별 네트워크 트레이닝 절차를 추가로 포함하고, 상기 판별 네트워크 트레이닝 절차는: 상기 판별 네트워크에 상기 제1 출력 이미지 및 상기 제2 해상도 샘플 이미지를 개별적으로 제공하여 상기 판별 네트워크가 상기 제1 출력 이미지에 기초한 판별 결과 및 상기 제2 해상도 샘플 이미지에 기초한 판별 결과를 각각 출력할 수 있게 하는 단계; 및 상기 판별 네트워크의 파라미터들을 조정하여 상기 판별 네트워크의 손실 함수를 감소시키는 단계
    를 포함하고;
    상기 판별 네트워크 트레이닝 절차 및 상기 생성 네트워크 트레이닝 절차는 미리 설정된 트레이닝 조건이 충족될 때까지 교대로 수행되는 트레이닝 방법.
  9. 제8항에 있어서,
    상기 제1 출력 이미지 및 상기 제2 출력 이미지 둘 다는 해상도 향상 절차의 반복 프로세스를 통해 상기 생성 네트워크에 의해 생성되고, 상기 반복 프로세스에서의 상기 해상도 향상 절차의 총 횟수는 L이고; L이 1보다 클 때, 상기 제1 입력 이미지에 기초하여 상기 생성 네트워크에 의해 수행되는 상기 반복 프로세스에서의 이전 L-1회의 상기 해상도 향상 절차에서, 상기 생성 네트워크는 상기 해상도 향상 절차가 수행될 때마다 중간 이미지를 생성하고;
    상기 판별 네트워크 트레이닝 절차에서, 상기 제1 출력 이미지가 상기 판별 네트워크에 제공되는 동안, 상기 제1 입력 이미지에 기초하여 상기 생성 네트워크에 의해 생성되는 각각의 중간 이미지가 상기 판별 네트워크에 제공되고; 상기 제2 해상도 샘플 이미지가 상기 판별 네트워크에 제공되는 동안, 상기 제2 해상도 샘플 이미지를 다운샘플링함으로써 획득된 제3 해상도 샘플 이미지들이 상기 판별 네트워크에 제공되고, 상기 제3 해상도 샘플 이미지들은 중간 이미지들과 일대일 대응하고, 각각은 상기 대응하는 중간 이미지의 해상도와 동일한 해상도를 갖는 트레이닝 방법.
  10. 제1항 내지 제9항 중 어느 한 항에 따른 상기 트레이닝 방법에 의해 획득된 상기 생성 적대 네트워크의 상기 생성 네트워크를 사용하는 이미지 처리 방법으로서,
    상기 이미지 처리 방법은 이미지의 해상도를 증가시키기 위해 사용되고,
    상기 생성 네트워크에 입력 이미지 및 기준 노이즈에 대응하는 노이즈 이미지를 제공하여 상기 생성 네트워크가 상기 입력 이미지에 기초하여 제2 해상도 이미지를 생성할 수 있게 하는 단계를 포함하는 이미지 처리 방법.
  11. 제10항에 있어서,
    상기 기준 노이즈의 진폭은 0에서 제1 진폭까지의 범위인 이미지 처리 방법.
  12. 제10항에 있어서,
    상기 기준 노이즈는 랜덤 노이즈인 이미지 처리 방법.
  13. 컴퓨터 프로그램들을 저장하는 메모리 및 프로세서를 포함하는 컴퓨터 디바이스로서,
    상기 컴퓨터 프로그램들이 상기 프로세서에 의해 실행될 때 제1항 내지 제9항 중 어느 한 항에 따른 상기 트레이닝 방법이 수행되는 컴퓨터 디바이스.
  14. 컴퓨터 프로그램들을 저장하는 컴퓨터 판독가능 저장 매체로서,
    상기 컴퓨터 프로그램들이 프로세서에 의해 실행될 때 제1항 내지 제9항 중 어느 한 항의 트레이닝 방법이 수행되는 컴퓨터 판독가능 저장 매체.
KR1020207014462A 2018-09-30 2019-09-25 생성 적대 네트워크를 위한 트레이닝 방법, 이미지 처리 방법, 디바이스 및 저장 매체 Active KR102389173B1 (ko)

Applications Claiming Priority (9)

Application Number Priority Date Filing Date Title
CN201811155326.6A CN109345455B (zh) 2018-09-30 2018-09-30 图像鉴别方法、鉴别器和计算机可读存储介质
CN201811155930.9 2018-09-30
CN201811155252.6A CN109255390B (zh) 2018-09-30 2018-09-30 训练图像的预处理方法及模块、鉴别器、可读存储介质
CN201811155326.6 2018-09-30
CN201811155147.2 2018-09-30
CN201811155147.2A CN109360151B (zh) 2018-09-30 2018-09-30 图像处理方法及系统、分辨率提升方法、可读存储介质
CN201811155930.9A CN109345456B (zh) 2018-09-30 2018-09-30 生成对抗网络训练方法、图像处理方法、设备及存储介质
CN201811155252.6 2018-09-30
PCT/CN2019/107761 WO2020063648A1 (zh) 2018-09-30 2019-09-25 生成对抗网络训练方法、图像处理方法、设备及存储介质

Publications (2)

Publication Number Publication Date
KR20200073267A true KR20200073267A (ko) 2020-06-23
KR102389173B1 KR102389173B1 (ko) 2022-04-21

Family

ID=69950197

Family Applications (2)

Application Number Title Priority Date Filing Date
KR1020207037174A Active KR102661434B1 (ko) 2018-09-30 2019-04-23 이미지 처리를 위한 장치 및 방법, 및 신경 네트워크를 트레이닝하기 위한 시스템
KR1020207014462A Active KR102389173B1 (ko) 2018-09-30 2019-09-25 생성 적대 네트워크를 위한 트레이닝 방법, 이미지 처리 방법, 디바이스 및 저장 매체

Family Applications Before (1)

Application Number Title Priority Date Filing Date
KR1020207037174A Active KR102661434B1 (ko) 2018-09-30 2019-04-23 이미지 처리를 위한 장치 및 방법, 및 신경 네트워크를 트레이닝하기 위한 시스템

Country Status (9)

Country Link
US (4) US11615505B2 (ko)
EP (4) EP3857447A4 (ko)
JP (3) JP7415251B2 (ko)
KR (2) KR102661434B1 (ko)
AU (1) AU2019350918B2 (ko)
BR (1) BR112020022560A2 (ko)
MX (1) MX2020013580A (ko)
RU (1) RU2762144C1 (ko)
WO (4) WO2020062846A1 (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220063763A (ko) * 2020-11-09 2022-05-17 구글 엘엘씨 적외선-유도 초상화 재조명

Families Citing this family (42)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111986127B (zh) * 2019-05-22 2022-03-08 腾讯科技（深圳）有限公司 一种图像处理方法、装置、计算机设备和存储介质
WO2020234449A1 (en) * 2019-05-23 2020-11-26 Deepmind Technologies Limited Generative adversarial networks with temporal and spatial discriminators for efficient video generation
JP7312026B2 (ja) * 2019-06-12 2023-07-20 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム
EP3788933B1 (en) * 2019-09-05 2025-12-24 BSH Hausgeräte GmbH Method for controlling a home appliance
CN114981836B (zh) * 2020-01-23 2025-05-23 三星电子株式会社 电子设备和电子设备的控制方法
US11507831B2 (en) 2020-02-24 2022-11-22 Stmicroelectronics International N.V. Pooling unit for deep learning acceleration
JP7392836B2 (ja) * 2020-04-27 2023-12-06 日本電気株式会社 データ生成装置、データ生成方法、学習装置及び記録媒体
CN111695605B (zh) * 2020-05-20 2024-05-10 平安科技（深圳）有限公司 基于oct图像的图像识别方法、服务器及存储介质
EP4383184A3 (en) * 2020-07-08 2024-06-26 Sartorius Stedim Data Analytics AB Computer-implemented method, computer program product and system for processing images
KR102821677B1 (ko) * 2020-07-09 2025-06-19 주식회사 히타치하이테크 패턴 매칭 장치, 패턴 측정 시스템, 패턴 매칭 프로그램
US11887279B2 (en) * 2020-08-25 2024-01-30 Sharif University Of Technology Machine learning-based denoising of an image
US20220067519A1 (en) * 2020-08-28 2022-03-03 Affectiva, Inc. Neural network synthesis architecture using encoder-decoder models
US11455811B2 (en) * 2020-08-28 2022-09-27 Check it out Co., Ltd. System and method for verifying authenticity of an anti-counterfeiting element, and method for building a machine learning model used to verify authenticity of an anti-counterfeiting element
CN112132012B (zh) * 2020-09-22 2022-04-26 中国科学院空天信息创新研究院 基于生成对抗网络的高分辨率sar船舶图像生成方法
US11893710B2 (en) * 2020-11-16 2024-02-06 Boe Technology Group Co., Ltd. Image reconstruction method, electronic device and computer-readable storage medium
CN112419200B (zh) * 2020-12-04 2024-01-19 宁波舜宇仪器有限公司 一种图像质量优化方法及显示方法
US11895330B2 (en) * 2021-01-25 2024-02-06 Lemon Inc. Neural network-based video compression with bit allocation
CN113012064B (zh) * 2021-03-10 2023-12-12 腾讯科技（深圳）有限公司 图像处理方法、装置、设备及存储介质
CN112884673B (zh) * 2021-03-11 2025-02-11 西安建筑科技大学 改进损失函数SinGAN的墓室壁画分块间缺失信息的重建方法
US12141941B2 (en) 2021-06-17 2024-11-12 Nvidia Corporation Generative neural networks with reduced aliasing
US12142016B2 (en) * 2021-06-17 2024-11-12 Nvidia Corporation Fused processing of a continuous mathematical operator
US12111919B2 (en) * 2021-08-23 2024-10-08 Fortinet, Inc. Systems and methods for quantifying file access risk exposure by an endpoint in a network environment
JP2023040928A (ja) * 2021-09-10 2023-03-23 富士フイルム株式会社 学習装置、学習装置の作動方法及び医療画像処理端末
JP2023041375A (ja) * 2021-09-13 2023-03-24 キヤノン株式会社 情報処理装置、情報処理方法及びプログラム
CN113962360B (zh) * 2021-10-09 2024-04-05 西安交通大学 一种基于gan网络的样本数据增强方法及系统
US12394024B2 (en) 2021-11-15 2025-08-19 Samsung Electronics Co., Ltd. System and method for training of noise model using noisy signal pairs
CN114169002B (zh) * 2021-12-07 2025-04-04 杭州电子科技大学 一种关键点差分隐私驱动的人脸图像隐私保护方法
WO2023106723A1 (ko) * 2021-12-08 2023-06-15 주식회사 딥엑스 영상 융합을 위한 신경 프로세싱 유닛 및 인공신경망 시스템
KR102548283B1 (ko) * 2021-12-22 2023-06-27 (주)뉴로컴즈 콘볼루션 신경망 컴퓨팅 장치
CN114331903B (zh) * 2021-12-31 2023-05-12 电子科技大学 一种图像修复方法及存储介质
CN115063492B (zh) * 2022-04-28 2023-08-08 宁波大学 一种抵抗jpeg压缩的对抗样本的生成方法
US12450495B2 (en) 2022-06-13 2025-10-21 International Business Machines Corporation Neural capacitance: neural network selection via edge dynamics
US12621189B2 (en) 2022-08-03 2026-05-05 Board Of Regents, The University Of Texas System Channel estimation using a score-based generative network
KR20240033619A (ko) 2022-09-05 2024-03-12 삼성에스디에스 주식회사 문서 내 관심 영역 추출 방법 및 장치
CN115471417B (zh) * 2022-09-16 2025-07-15 广州安凯微电子股份有限公司 图像降噪处理方法、装置、设备、存储介质和程序产品
CN115393242A (zh) * 2022-09-30 2022-11-25 国网电力空间技术有限公司 一种基于gan的电网异物图像数据增强的方法和装置
CN115631178B (zh) * 2022-11-03 2023-11-10 昆山润石智能科技有限公司 自动晶圆缺陷检测方法、系统、设备及存储介质
CN115995021A (zh) * 2022-12-31 2023-04-21 深圳云天励飞技术股份有限公司 道路病害识别方法、装置、电子设备及存储介质
CN116051382B (zh) * 2023-03-02 2025-08-08 浙江工业大学 一种基于深度强化学习生成式对抗神经网络和超分辨率重建的数据增强方法
US20250061697A1 (en) * 2023-08-18 2025-02-20 Mohamed bin Zayed University of Artificial Intelligence A train-time loss in a system and method for calibrating object detection
CN117196985A (zh) * 2023-09-12 2023-12-08 军事科学院军事医学研究院军事兽医研究所 一种基于深度强化学习的视觉去雨雾方法
US20250225400A1 (en) * 2024-01-05 2025-07-10 ProrataAI, Inc. Systems and methods for improving performance of a large language model by controlling training content

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5754697A (en) * 1994-12-02 1998-05-19 Fu; Chi-Yung Selective document image data compression technique
US5781196A (en) * 1990-10-19 1998-07-14 Eidos Plc Of The Boat House Video compression by extracting pixel changes exceeding thresholds

Family Cites Families (65)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6766067B2 (en) 2001-04-20 2004-07-20 Mitsubishi Electric Research Laboratories, Inc. One-pass super-resolution images
US7215831B2 (en) 2001-04-26 2007-05-08 Georgia Tech Research Corp. Video enhancement using multiple frame techniques
US7428019B2 (en) 2001-12-26 2008-09-23 Yeda Research And Development Co. Ltd. System and method for increasing space or time resolution in video
CN101593269B (zh) 2008-05-29 2012-05-02 汉王科技股份有限公司 人脸识别装置及方法
KR20130001213A (ko) 2010-01-28 2013-01-03 이섬 리서치 디벨러프먼트 컴파니 오브 더 히브루 유니버시티 오브 예루살렘 엘티디. 입력 이미지로부터 증가된 픽셀 해상도의 출력 이미지를 생성하는 방법 및 시스템
CN101872472B (zh) 2010-06-02 2012-03-28 中国科学院自动化研究所 一种基于样本学习的人脸图像超分辨率重建方法
US9378542B2 (en) * 2011-09-28 2016-06-28 The United States Of America As Represented By The Secretary Of The Army System and processor implemented method for improved image quality and generating an image of a target illuminated by quantum particles
US8737728B2 (en) * 2011-09-30 2014-05-27 Ebay Inc. Complementary item recommendations using image feature data
EP2662824A1 (en) 2012-05-10 2013-11-13 Thomson Licensing Method and device for generating a super-resolution version of a low resolution input data structure
US8675999B1 (en) 2012-09-28 2014-03-18 Hong Kong Applied Science And Technology Research Institute Co., Ltd. Apparatus, system, and method for multi-patch based super-resolution from an image
CN102915527A (zh) 2012-10-15 2013-02-06 中山大学 基于形态学成分分析的人脸图像超分辨率重建方法
RU2607472C1 (ru) 2012-11-27 2017-01-10 ЭлДжи ЭЛЕКТРОНИКС ИНК. Устройство приема/передачи сигнала и способ приема/передачи сигнала
CN103514580B (zh) 2013-09-26 2016-06-08 香港应用科技研究院有限公司 用于获得视觉体验优化的超分辨率图像的方法和系统
EP2908285A1 (en) 2014-02-13 2015-08-19 Thomson Licensing Method for performing super-resolution on single images and apparatus for performing super-resolution on single images
TWI492187B (zh) 2014-02-17 2015-07-11 台達電子工業股份有限公司 超解析度影像處理方法及其裝置
CN104853059B (zh) 2014-02-17 2018-12-18 台达电子工业股份有限公司 超分辨率图像处理方法及其装置
CN103903236B (zh) 2014-03-10 2016-08-31 北京信息科技大学 人脸图像超分辨率重建的方法和装置
WO2015143624A1 (en) 2014-03-25 2015-10-01 Spreadtrum Communications(Shanghai) Co., Ltd. Methods and systems for denoising images
US9865036B1 (en) * 2015-02-05 2018-01-09 Pixelworks, Inc. Image super resolution via spare representation of multi-class sequential and joint dictionaries
KR102338372B1 (ko) * 2015-09-30 2021-12-13 삼성전자주식회사 영상으로부터 객체를 분할하는 방법 및 장치
RU2694021C1 (ru) 2015-12-14 2019-07-08 Моушен Метрикс Интернешэнл Корп. Способ и устройство идентификации частей фрагментированного материала в пределах изображения
US10360477B2 (en) * 2016-01-11 2019-07-23 Kla-Tencor Corp. Accelerating semiconductor-related computations using learning based models
CN107315566B (zh) * 2016-04-26 2020-11-03 中科寒武纪科技股份有限公司 一种用于执行向量循环移位运算的装置和方法
FR3050846B1 (fr) * 2016-04-27 2019-05-03 Commissariat A L'energie Atomique Et Aux Energies Alternatives Dispositif et procede de distribution de donnees de convolution d'un reseau de neurones convolutionnel
CN105976318A (zh) 2016-04-28 2016-09-28 北京工业大学 一种图像超分辨率重建方法
CN105975931B (zh) 2016-05-04 2019-06-14 浙江大学 一种基于多尺度池化的卷积神经网络人脸识别方法
CN105975968B (zh) 2016-05-06 2019-03-26 西安理工大学 一种基于Caffe框架的深度学习车牌字符识别方法
RU2635883C1 (ru) 2016-06-02 2017-11-16 Самсунг Электроникс Ко., Лтд. Способ и система обработки изображений для формирования изображений сверхвысокого разрешения
US10319076B2 (en) 2016-06-16 2019-06-11 Facebook, Inc. Producing higher-quality samples of natural images
WO2018053340A1 (en) 2016-09-15 2018-03-22 Twitter, Inc. Super resolution using a generative adversarial network
JP2018063504A (ja) 2016-10-12 2018-04-19 株式会社リコー 生成モデル学習方法、装置及びプログラム
CN108074215B (zh) 2016-11-09 2020-04-14 京东方科技集团股份有限公司 图像升频系统及其训练方法、以及图像升频方法
KR20180057096A (ko) * 2016-11-21 2018-05-30 삼성전자주식회사 표정 인식과 트레이닝을 수행하는 방법 및 장치
CN108229508B (zh) 2016-12-15 2022-01-04 富士通株式会社 用于训练图像处理装置的训练装置和训练方法
KR101854071B1 (ko) * 2017-01-13 2018-05-03 고려대학교 산학협력단 딥러닝을 사용하여 관심 부위 이미지를 생성하는 방법 및 장치
US10482639B2 (en) * 2017-02-21 2019-11-19 Adobe Inc. Deep high-resolution style synthesis
KR101947782B1 (ko) * 2017-02-22 2019-02-13 한국과학기술원 열화상 영상 기반의 거리 추정 장치 및 방법. 그리고 이를 위한 신경망 학습 방법
JP2018139071A (ja) 2017-02-24 2018-09-06 株式会社リコー 生成モデル学習方法、生成モデル学習装置およびプログラム
KR102499396B1 (ko) * 2017-03-03 2023-02-13 삼성전자 주식회사 뉴럴 네트워크 장치 및 뉴럴 네트워크 장치의 동작 방법
RU2652722C1 (ru) * 2017-05-03 2018-04-28 Самсунг Электроникс Ко., Лтд. Обработка данных для сверхразрешения
CN107133601B (zh) 2017-05-13 2021-03-23 五邑大学 一种基于生成式对抗网络图像超分辨率技术的行人再识别方法
CN107154023B (zh) 2017-05-17 2019-11-05 电子科技大学 基于生成对抗网络和亚像素卷积的人脸超分辨率重建方法
CN107369189A (zh) 2017-07-21 2017-11-21 成都信息工程大学 基于特征损失的医学图像超分辨率重建方法
CN107527044B (zh) 2017-09-18 2021-04-30 北京邮电大学 一种基于搜索的多张车牌清晰化方法及装置
WO2019061020A1 (zh) 2017-09-26 2019-04-04 深圳市大疆创新科技有限公司 图像生成方法、图像生成装置和机器可读存储介质
US10552944B2 (en) * 2017-10-13 2020-02-04 Adobe Inc. Image upscaling with controllable noise reduction using a neural network
CN108122197B (zh) * 2017-10-27 2021-05-04 江西高创保安服务技术有限公司 一种基于深度学习的图像超分辨率重建方法
CN107766860A (zh) * 2017-10-31 2018-03-06 武汉大学 基于级联卷积神经网络的自然场景图像文本检测方法
CN107767343B (zh) 2017-11-09 2021-08-31 京东方科技集团股份有限公司 图像处理方法、处理装置和处理设备
CN108154499B (zh) 2017-12-08 2021-10-08 东华大学 一种基于k-svd学习字典的机织物纹理瑕疵检测方法
CN108052940A (zh) 2017-12-17 2018-05-18 南京理工大学 基于深度学习的sar遥感图像水面目标检测方法
CN107977932B (zh) 2017-12-28 2021-04-23 北京工业大学 一种基于可鉴别属性约束生成对抗网络的人脸图像超分辨率重建方法
CN108268870B (zh) 2018-01-29 2020-10-09 重庆师范大学 基于对抗学习的多尺度特征融合超声图像语义分割方法
CN108334848B (zh) 2018-02-06 2020-12-25 哈尔滨工业大学 一种基于生成对抗网络的微小人脸识别方法
CN108416428B (zh) 2018-02-28 2021-09-14 中国计量大学 一种基于卷积神经网络的机器人视觉定位方法
US11105942B2 (en) * 2018-03-27 2021-08-31 Schlumberger Technology Corporation Generative adversarial network seismic data processor
US10783622B2 (en) * 2018-04-25 2020-09-22 Adobe Inc. Training and utilizing an image exposure transformation neural network to generate a long-exposure image from a single short-exposure image
US11222415B2 (en) * 2018-04-26 2022-01-11 The Regents Of The University Of California Systems and methods for deep learning microscopy
CN108596830B (zh) 2018-04-28 2022-04-22 国信优易数据股份有限公司 一种图像风格迁移模型训练方法以及图像风格迁移方法
KR102184755B1 (ko) * 2018-05-31 2020-11-30 서울대학교 산학협력단 안면 특화 초 고화질 심층 신경망 학습 장치 및 방법
US11756160B2 (en) * 2018-07-27 2023-09-12 Washington University ML-based methods for pseudo-CT and HR MR image estimation
CN109255390B (zh) 2018-09-30 2021-01-29 京东方科技集团股份有限公司 训练图像的预处理方法及模块、鉴别器、可读存储介质
CN109345455B (zh) 2018-09-30 2021-01-26 京东方科技集团股份有限公司 图像鉴别方法、鉴别器和计算机可读存储介质
CN109360151B (zh) * 2018-09-30 2021-03-05 京东方科技集团股份有限公司 图像处理方法及系统、分辨率提升方法、可读存储介质
CN109345456B (zh) * 2018-09-30 2021-01-19 京东方科技集团股份有限公司 生成对抗网络训练方法、图像处理方法、设备及存储介质

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5781196A (en) * 1990-10-19 1998-07-14 Eidos Plc Of The Boat House Video compression by extracting pixel changes exceeding thresholds
US5754697A (en) * 1994-12-02 1998-05-19 Fu; Chi-Yung Selective document image data compression technique

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Liu et al. Deep networks for image to image translation with mux and demux layers. ECCV, September 14, 2018. pp. 1-16. chapter 1. *
Michelini et al. Multi Scale Recursive and Perception Distortion Controllable Image Super Resolution, ECCV, September 14, 2018. pp. 1-16. chapter 1.* *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20220063763A (ko) * 2020-11-09 2022-05-17 구글 엘엘씨 적외선-유도 초상화 재조명
US12477232B2 (en) 2020-11-09 2025-11-18 Google Llc Infrared light-guided portrait relighting

Also Published As

Publication number Publication date
JP7446997B2 (ja) 2024-03-11
EP3857447A4 (en) 2022-06-29
US11449751B2 (en) 2022-09-20
KR20210012009A (ko) 2021-02-02
WO2020062958A1 (en) 2020-04-02
AU2019350918B2 (en) 2021-10-07
EP3859655A1 (en) 2021-08-04
WO2020062846A1 (en) 2020-04-02
JP2022501661A (ja) 2022-01-06
JP7415251B2 (ja) 2024-01-17
WO2020063648A1 (zh) 2020-04-02
EP3859655B1 (en) 2025-04-23
WO2020062957A1 (en) 2020-04-02
US20210365744A1 (en) 2021-11-25
KR102661434B1 (ko) 2024-04-29
US11615505B2 (en) 2023-03-28
MX2020013580A (es) 2021-02-26
EP3857504A4 (en) 2022-08-10
JP7463643B2 (ja) 2024-04-09
RU2762144C1 (ru) 2021-12-16
KR102389173B1 (ko) 2022-04-21
US11361222B2 (en) 2022-06-14
EP3857503A4 (en) 2022-07-20
EP3857504A1 (en) 2021-08-04
US20200285959A1 (en) 2020-09-10
AU2019350918A1 (en) 2020-11-19
US20210334642A1 (en) 2021-10-28
US20210342976A1 (en) 2021-11-04
JP2022501662A (ja) 2022-01-06
BR112020022560A2 (pt) 2021-06-01
EP3857447A1 (en) 2021-08-04
EP3859655A4 (en) 2022-08-10
US11348005B2 (en) 2022-05-31
JP2022501663A (ja) 2022-01-06
EP3857503A1 (en) 2021-08-04

Similar Documents

Publication Publication Date Title
KR102389173B1 (ko) 생성 적대 네트워크를 위한 트레이닝 방법, 이미지 처리 방법, 디바이스 및 저장 매체
CN109345456B (zh) 生成对抗网络训练方法、图像处理方法、设备及存储介质
CN110555821B (zh) 模型训练方法、装置和存储介质
CN109360151B (zh) 图像处理方法及系统、分辨率提升方法、可读存储介质
CN113674191A (zh) 一种基于条件对抗网络的弱光图像增强方法和装置
CN112819910A (zh) 基于双鬼注意力机制网络的高光谱图像重建方法
CN115565045B (zh) 基于多尺度空谱变换的高光谱与多光谱图像融合方法
CN110473188A (zh) 一种基于Frangi增强和注意力机制UNet的眼底图像血管分割方法
US20240420502A1 (en) Facial image processing method and related device
CN109815931B (zh) 一种视频物体识别的方法、装置、设备以及存储介质
CN110414593B (zh) 图像处理方法及装置、处理器、电子设备及存储介质
CN110059728A (zh) 基于注意力模型的rgb-d图像视觉显著性检测方法
CN109872305A (zh) 一种基于质量图生成网络的无参考立体图像质量评价方法
CN111046893B (zh) 图像相似性确定方法和装置、图像处理方法和装置
CN119151969B (zh) 基于扩散模型的多层次特征融合医学图像分割方法及系统
CN116862765A (zh) 一种医学影像超分辨率重建方法及系统
CN119477694A (zh) 一种基于二阶光谱空间注意力的高光谱超分辨率重建方法
CN109118428A (zh) 一种基于特征增强的图像超分辨率重建方法
CN120182112B (zh) 基于特征不确定性联合评估的多模态图像融合方法及系统
CN118644772A (zh) 基于跨通道交互策略的三维地震断层识别模型及训练方法
CN115564647A (zh) 一种用于图像语义分割的新型超分模块和上采样方法
CN119941561A (zh) 一种基于改进生成对抗网络的肠镜图像增强方法
CN116129147B (zh) 基于红外中长波融合的弱小目标检测方法、装置及介质
CN116051804B (zh) 基于多尺度反瓶颈结构的目标检测方法、装置、设备
Naeini et al. Conditional-GAN Loss-Function Enhancement Utilizing Frobenius-Norm and Spatial Attention Mechanism in Pix2Pix Model

Legal Events

Date Code Title Description
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 5