KR20170000767A - 신경망, 신경망 학습 방법 및 이미지 신호 처리 튜닝 시스템 - Google Patents

신경망, 신경망 학습 방법 및 이미지 신호 처리 튜닝 시스템 Download PDF

Info

Publication number
KR20170000767A
KR20170000767A KR1020160070497A KR20160070497A KR20170000767A KR 20170000767 A KR20170000767 A KR 20170000767A KR 1020160070497 A KR1020160070497 A KR 1020160070497A KR 20160070497 A KR20160070497 A KR 20160070497A KR 20170000767 A KR20170000767 A KR 20170000767A
Authority
KR
South Korea
Prior art keywords
image
neural network
images
learning
ranking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020160070497A
Other languages
English (en)
Other versions
KR102707468B1 (ko
Inventor
치앙 장
쩡핑 지
릴롱 쉬
일리아 오브시안니코브
Original Assignee
삼성전자주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 삼성전자주식회사 filed Critical 삼성전자주식회사
Publication of KR20170000767A publication Critical patent/KR20170000767A/ko
Application granted granted Critical
Publication of KR102707468B1 publication Critical patent/KR102707468B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N17/00—Diagnosis, testing or measuring for television systems or their details
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20004—Adaptive image processing
    • G06T2207/20008—Globally adaptive
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20081—Training; Learning
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20084—Artificial neural networks [ANN]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30168—Image quality inspection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Linguistics (AREA)
  • Artificial Intelligence (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Biophysics (AREA)
  • Quality & Reliability (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Analysis (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)

Abstract

이미지 품질 평가를 수행하기 위해 신경망을 학습하기 위한 방법이 제공된다. 상기 방법은 이미지 및 상기 이미지가 열화된 적어도 하나의 열화 이미지를 포함하는 적어도 하나의 이미지들의 집합을 신경망에 입력하는 단계, 상기 적어도 하나의 이미지들의 집합 내의 각 이미지의 상대적인 순위를 설정하는 단계, 및 상기 순위 정보를 근거로 상기 신경망을 학습하는 단계를 포함한다. 신경망 및 이미지 신호 처리 튜닝 시스템이 개시된다.

Description

신경망, 신경망 학습 방법 및 이미지 신호 처리 튜닝 시스템{NEURAL NETWORK, METHOD FOR TRAINNING NEURAL NETWORK, AND IMAGE SIGNAL PROCESSING TUNING SYSTEM}
본 발명은 이미지 품질 평가에 관한 것으로, 보다 구체적으로는 이미지들의 품질을 위해 심층 신경망(deep neural network)을 이용하는 것에 관한 것이다.
이미지 품질을 자동으로 평가하는 기능들을 제공하는 것에 대한 요구는 증가하고 있다. 이미지 품질의 자동 평가는 다양한 산업적 및 상업적 애플리케이션들(application)에 유용할 뿐만 아니라, 이미지 장치 생산자들에게 가치가 있다. 일반적으로, 이미지 품질을 평가하기 위한 알고리즘들은 비교를 위한 기준으로써 이상적인 이미지나 참조 이미지가 요구된다. 다수의 경우들에 참조 이미지들이 없을 수 있기 때문에, 이러한 방식에는 문제가 있을 수 있다.
보다 유용하고 효율적인 대안들은 참조 이미지 없이 이미지 품질을 측정하는 것이다. 이러한 종류의 이미지 품질 평가는 비 참조 이미지 품질 평가(non-reference image quality assessment, NRIQA)라고 지칭된다. 일반적으로 기존의 비참조 이미지 품질 평가 방법에는 (1) 수작업이 요구되고, (2) 품질 순위가 표지(label)된 학습데이터가 요구되는 두 가지 제약 사항들이 존재한다. 종종, 이러한 요구는 사람과의 상호작용과 같은 수작업이 요구된다. 이는 시간 소모가 크고, 주관적 해석들을 야기할 수 있다. 상기 두 가지 제약 사항들은 비참조 이미지 품질 평가 방법들의 설계를 어렵게 하고, 또한, 비참조 이미지 품질 평가 방법의 적용을 제한한다.
따라서, 그래픽 이미지들의 품질 평가를 위한 보다 효과적이고 효율적인 기술의 개발이 필요하다. 상기 기술은 자동처리를 제공해야 하고, 이미지 품질의 고품질 평가들을 요구하는 다양한 어플리케이션들에 적용될 수 있어야 한다.
본 명세서에서는 심층 신경망(deep neural network)을 이용한 이미지 품질 평가를 수행하기 위한 기술들이 개시된다. 바람직하게는, 비참조 이미지 품질 평가를 위한 상기 기술들은 참조 이미지를 요구하지 않는다.
본 발명의 일 실시예에 따른, 이미지 품질 평가를 수행하기 위해 신경망을 학습하기 위한 방법은 이미지 및 상기 이미지가 열화된 적어도 하나의 열화 이미지를 포함하는 적어도 하나의 이미지들의 집합을 신경망에 입력하는 단계, 상기 적어도 하나의 이미지들의 집합 내의 각 이미지의 상대적인 순위를 설정하는 단계, 및 상기 순위 정보를 근거로 상기 신경망을 학습하는 단계를 포함할 수 있다.
본 발명의 일 실시예에서, 상기 상대적인 순위를 설정하는 단계는 비교층에서 수행될 수 있다. 상기 비교층은 이미지들의 각 집합 안의 상기 이미지들의 쌍별 순위를 제공하기 위해 시그모이드 함수를 적용할 수 있다. 시그모이드 함수(sigmoid function)는 하기식을 포함할 수 있다.
Figure pat00001
yi 및 yj 는 입력 이미지들(xi 및 xj) 각각과 관련된 출력 품질 순위를 나타내고, li.j는 상기 비교층으로부터 출력된 yi 및 yj의 쌍별 순위에 대한 사전 정보를 나타낸다.
본 발명의 일 실시예에서, 상기 비교층에 대한 학습 규칙들은 하기식을 포함할 수 있다.
Figure pat00002
;
Figure pat00003
; 및
Figure pat00004
;
f 는 신경망의 층들을 위해 입력을 출력 품질 순위들로 맵핑(mapping)하는 함수이다.
이미지들의 집합 각각에서의 각 이미지는 무표지식(label-free)일 수 있다. 상기 학습은 상기 신경망의 역전파법(back propagation technic)을 포함할 수 있다. 상기 방법은 전처리 알고리즘(pre-processing algorithm)을 이용하여 상기 이미지를 열화하여 상기 열화 이미지를 제공하는 단계를 더 포함할 수 있다.
본 발명의 일 실시예에 따르면 이미지 품질 평가를 수행하도록 구성된 신경망이 제공될 수 있다. 신경망은 이미지 및 상기 이미지가 열화된 적어도 하나의 열화 이미지를 포함하는 적어도 하나의 이미지들의 집합을 수신하는 입력부, 및 이미지 품질 평가를 위해 상기 적어도 하나의 이미지들의 집합의 각 이미지의 상대적인 순위를 수행하도록 구성된 비교층을 포함하고, 상기 신경망은 상기 비교층에서 수행된 순위들로부터 이미지 품질 순위를 학습할 수 있다.
본 발명의 일 실시예에서, 상기 비교층은 이미지들의 각 집합 안의 상기 이미지들의 쌍별 순위를 제공하기 위해 시그모이드 함수를 적용할 수 있다.
시그모이드 함수는 하기식을 포함할 수 있다.
Figure pat00005
yi 및 yj 는 입력 이미지들(xi 및 xj) 각각과 관련된 출력 품질 순위를 나타내고, li.j는 상기 비교층으로부터 출력된 yi 및 yj의 쌍별 순위에 대한 정보를 나타낸다.
상기 비교층에 대한 학습 규칙들은 하기식을 포함할 수 있다.
;
Figure pat00007
;
및
Figure pat00008
;
f 는 신경망의 층들을 위해 입력을 출력 품질 순위들로 맵핑하기 위한 가중치들로 구성된 함수이다.
신경망이 학습된 가중치들을 이용하여 이미지 품질들의 평가를 수행할 때 비교층 및 순위는 필요하지 않을 수 있다. 입력 이미지의 품질 순위는 학습된 가중치들로 구성된 맵핑 함수를 통해 직접적으로 계산될 수 있다.
상기 신경망의 출력은 자동 이미지 신호 처리 튜닝 시스템에 의해 사용될 수 있다.
본 발명의 일 실시예에 따르면, 이미지 신호 처리 튜닝 시스템이 제공된다. 이미지 신호 처리 튜닝 시스템은 제1 이미지 및 상기 제1 이미지가 열화된 적어도 하나의 열화 이미지를 포함하는 적어도 하나의 학습 이미지들의 집합을 제공하는 이미지 신호 처리 장치, 상기 적어도 하나의 학습 이미지들의 집합을 수신하고 상기 적어도 하나의 학습 이미지들의 집합 내의 각 학습 이미지의 상대적인 순위를 수행하도록 구성된 상기 신경망, 및 순위 정보를 수신하고 상기 순위 정보에 따라 상기 이미지 신호 처리 장치의 파라미터들의 셋팅들을 조정하는 컨트롤러를 포함할 수 있다.
본 발명의 일 실시예에서, 상기 이미지 신호 처리 장치는 상기 학습 이미지들과 관련 없는 생산 이미지들을 제공할 수 있다. 상기 신경망은 상기 생산 이미지들에 대한 이미지 순위 정보를 더 제공할 수 있다. 상기 이미지 순위 정보는 상기 이미지 순위 정보에 따라 상기 이미지 신호 처리 장치의 파라미터들의 세팅을 조정하기 위해 상기 컨트롤러에 제공될 수 있다.
이미지 신호 처리 장치는 이미징 센서 및 카메라, 모바일 장치, 스마트 폰, 태블릿, 및 특화된 장치 중 어느 하나로 구성될 수 있다. 상기 컨트롤러는 기계 판독 가능 기록 매체 상에 저장된 기계 판독 가능 명령어들의 집합에 의해 구현될 수 있다.
본 발명에 따르면 이미지 화질을 평가함에 있어서 신경망을 활용한다. 따라서, 이미지 화질을 평가하는데 요구되는 수작업 입력이 감소되고, 그 결과 이미지 화질 평가의 객관성이 향상될 수 있다.
본 명세서에 기재된 기술의 특징들 및 장점들은 이하 첨부된 도면들과 이하 설명으로부터 명백하게 설명된다.
도 1은 본 발명의 일 실시예에 따른 이미지 품질 평가들을 수행하기 위한 컴퓨팅 리소스들의 블록도이다.
도 2는 신경망의 일반적인 양상들을 도시한 도면이다.
도 3a 및 도 3b는 일괄하여 도 3이라 지칭되고, 도 3a는 원본 이미지(xi)의 그래픽 이미지이고, 도 3b는 열화된 이미지(xj)의 그래픽 이미지이다.
도 4는 심층 컨볼루션 신경망을 이용한 이미지 처리의 양상들을 도시한 도면이다.
도 5는 학습된 비 참조 이미지 품질 평가 신경망의 실시도이다.
도 6a, 6b, 6c, 6d, 및 6e들은 일괄하여 도 6이라 지칭되고, 도 6은 다양한 수준으로 왜곡된 중복 이미지들이다.
도 7은 이미지 신호 처리 튜닝 방법의 양상들을 도시한 플로우 차트이다.
본 명세서에서는 심층 신경망을 이용한 이미지 품질 평가를 수행하기 위한 기술들이 개시된다. 바람직하게는, 비참조 이미지 품질 평가를 위한 상기 기술들은 참조 이미지를 요구하지 않는다. 또한, 형상화에 대한 수작업의 주석(annotation) 또는 조건(qualification)이 요구되지 않는다. 이미지 품질은 자동으로 학습되고, 학습 이미지들의 표지를 위한 이미지 품질 순위가 요구되지 않는다.
본 명세서에 개시된 기술들은 심층 신경망에 의해 제공되는 처리 능력 및 비참조 이미지 품질 평가의 구현에 적용되는 비용 함수(cost function)를 포함하는 비교층(comparative layer)을 이용한다. 본 명세서에 개시된 기술들은 상대적인 속성들을 이용한다. 신경망은 망을 학습하기 위해 종래의 표지된 품질 순위들을 이용하기보다 계산에 효율적(computationally inexpensive)인 쌍 순위 정보(pairwise ranking information)를 이용한다.
본 명세서에 기재된 비참조 이미지 품질 평가를 위한 기술은 이미지 품질에 대한 신뢰성있는 평가들을 포함하는 출력을 제공한다. 상기 출력은 다양한 방법들로 사용될 수 있다. 예를 들어, 개선된 이미지들은 보안 감시, 환경 감시, 진단 영상 검사 및 다른 의료 어플리케이션들 및 이미지들의 품질이 요구되는 다른 설정 환경(setting) 등에서의 처리를 향상시키기 위해 사용될 수 있다.
또한, 본 명세서에 기재된 비참조 이미지 품질 평가를 위한 기술은 빠른 속도 기준으로 수행될 수 있다. 즉, 비참조 이미지 품질 평가는 실질적으로 실시간 환경에서 수행될 수 있다. 그 결과, 비참조 이미지 품질 평가를 위한 기술들은 이미지의 수집을 향상시키기 위한 피드백 매커니즘(feedback mechanism)의 일부로서 사용될 수 있다. 즉, 비참조 이미지 품질 평가 처리들을 통한 출력은 휘도, 초점, 조리개 설정, 센서 속도, 이미지 안정화 및 이미지 처리 향상을 위해 조정되어야 하는 다른 파라미터들과 같은 양상들을 조정하기 위해 사용될 수 있다.
본 발명의 개시를 이해 하기 위한 일부 문맥을 제공하기 위해서, 몇몇의 양상들이 소개된다.
여기에 설명되는 "신경망"이라는 용어는 일반적으로 적응적 성질 및 기계 학습에 유용한 통계 학습 알고리즘들을 구현하는 소프트웨어를 말한다. 신경망은 뉴런들, 처리 요소들, 유닛들 또는 이와 유사한 용어로 알려진 인공 노드(node)들을 포함할 수 있다. 인공 노드들은 생물학적 신경망을 모방하여 상호 연결되고, 망을 형성할 수 있다. 일반적으로, 신경망은 학습 알고리즘에 의해 튜닝되는 수치 파라미터들과 같은 적응 가중치들의 집합들을 포함할 수 있다. 또한, 적은 가중치들은 그들의 입력들의 비선형적 함수들을 근사화할 수 있다. 개념적으로 적응 가중치들은 학습 및 예측하는 동안 활성화되는 뉴런들 사이의 연결 강도를 의미할 수 있다. 일반적으로, 신경망은 비선형의 원리, 분산의 원리, 병렬 및 지역 처리의 원리 및 적응의 원리로 동작할 수 있다. 일반적으로, 제1 층은 "입력층"으로 지칭되고, 제1 층 안에 있는 뉴런들은 입력 뉴런들이라고 지칭된다. "출력층"은 출력 뉴런들을 포함한다. 중간 층들은 "히든층들"로 지칭되고, 따라서, 히든층들 내부의 뉴런들은 입력들도 출력들도 아니다. 뉴런들은 특성 감지기들, 경사도(gradient)들 및 다른 이와 유사한 구성 요소들을 포함할 수 있다.
일반적으로 컨볼루션은 f와 g의 두 개의 함수들에 대한 수학적 연산이다. 컨볼루션은 기존 함수들 중 하나를 변경한 버전(version)으로 볼 수 있는 제3 함수를 생성한다. 제3 함수는 기존 함수들 중 어느 하나가 변환되는 양의 함수(function of amount)로써, 일반적으로 두 개의 함수들 사이의 중첩된 영역을 포함한다.
일반적으로, "컨볼루션 신경망(convolutional neural network, CNN)"이라는 용어는 각 뉴런들이 시야에 중첩하는 영역들과 대응하도록 타일(tile)형태로 배열된 신경망의 일종을 말한다. 일반적으로, 컨볼루션 신경망은 로컬 수용 필드들, 공유된 가중치들, 및 형상화 처리를 위한 풀링(pooling)을 사용할 것이다. 로컬 수용 필드들은 입력 화소들을 히든 뉴런들의 층에 연결하기 위한 연결들로 간주될 수 있다. 예를 들어, 제1 히든층 내의 각 뉴런은 입력 이미지의 작고 국부적인 영역에 대응될 수 있다. 히든 뉴런에 대응하는 입력 이미지의 일 영역은 히든 뉴런의 "로컬 수용 필드"로 지칭될 수 있다. 제1 히든층 내의 히든 뉴런들 각각은 다른 히든 뉴런들과 동일한 가중치들 및 바이어스를 사용할 수 있다. 즉, "공유된 가중치들"을 가질 수 있다. 이는, 제1 히든층 안의 모든 뉴런들이 단지 다른 위치들에서 정확히 같은 특징을 감지한다는 것을 의미한다. 입력층으로부터 생성된 결과맵은 "특징맵"으로, 그리고 특징맵을 정의하는 가중치들은 "공유된 가중치"로 지칭될 수 있다. "풀링층들"은 주로 컨볼루션층들에 바로 뒤따라 사용된다. 풀링층들은 컨볼루션 층으로부터 출력된 정보를 단순화할 수 있다. 즉, 풀링층은 컨볼루션층으로부터 출력된 각 특징맵을 가져오고, 요약된 특징 맵을 준비한다. 풀링을 위한 하나의 일반적인 절차는 "최대 풀링"으로 알려져 있다. 최대 풀링의 풀링 유닛은 특징 맵으로부터 출력된 입력 영역의 최대 활성화를 단순히 출력한다.
심층신경망은 컨볼루션층들(convolution layer), 인터레이스된 정규화층(interlaced with normalization layer), 입력을 공간적으로 다운 샘플링하는 풀링층 및/또는 다른 타입의 층들의 적층으로 묘사될 수 있고, 그 상단에는 완전히 연결된 층들 및 로지스틱 회귀(logistic regression)와 같은 비용 층들이 있을 수 있다. 각 컨볼루션층은 필터들의 집합에 의해 파라미터화될 수 있다. 예를 들어, 제1 층의 하나의 필터는 입력으로서 RGB이미지를 받아서, 응답을 제공할 수 있다. 심층 신경망의 강력한 특징은 깊게 적층된 층들로부터 올 수 있다. 이는 예를 들어, raw RGB 이미지 데이터와 같은 단순한 특징들로부터 시작하고, 층들을 통과하며 점점 더 복잡한 특징을 학습한다. 여기서, 후속층들은 높은 레벨의 시맨틱(semantic)들을 식별하기 위해 사용될 수 있다.
여기에 설명되는 "필터" 및 "커널(kernel)"이라는 용어들은 일반적으로 연결 가중치들의 층을 말한다. 필터에 대한 입력으로서 이미지를 사용할 때, 입력은 2차원의 작은 이미지 패치(patch)를 포함하고, 출력은 단일 유닛이다. 필터가 반복적으로 적용되기 때문에, 결과적인 연결은 일련의 중복하는 수용 필드들처럼 보인다.
여기에 설명되는 "특징 검출기"는 일반적으로 데이터 입력의 변환을 학습하고, 신경망에서 사용될 수 있는 표현(representation)을 제공하는 기술들의 집합을 말한다.
여기에 설명되는 "서브샘플링(subsampling)" 또는 "다운샘플링(down-sampling)"이라는 용어는 일반적으로 신호의 전반적인 크기를 감소시키는 것을 말한다. 화상 처리등에 사용되는 이차원 필터 출력들의 경우, 서브 샘플링은 필터들의 위치 불변성을 증가시키는 것으로서 간주될 수 있다. "최대 풀링(max pooling)"으로 지칭되는 하나의 기술은 감소된 매트릭스 안의 값으로서 각 그리드(grid) 안에 최대값을 가져오는 것을 포함할 수 있다. 의미상, 이것은 컨볼루션층에 의한 질의 응답이 "이 필터는 바로 여기에 얼마나 잘 적용되는 가"에서 "이 필터는 이 영역에 얼마나 잘 적용되는 가"로 바뀐 것과 대응한다. 최대 풀링층을 컨볼루션 층들 사이에 적용함으로써, 공간 추상성은 특징 추상성의 증가에 따라 증가될 수 있다.
여기서 설명되는 "이미지"라는 용어는 디지털화된 이미지 데이터의 이차원 배열로 말할 수 있다. 그러나, 이는 단지 예시적인 것으로 이에 한정되는 것은 아니다. 본 발명의 실시예에서, 서버에 제공되는 이미지들은 원격 입력 장치(예를 들어, 모바일 장치에 포함된 카메라)와 같은 다른 장치에 의해 수집되고, 소프트웨어 클라이언트와 같은 중간 도구들에 의해 학습되기 위해 준비되고, 예를 들어, 클라이언트에 의해 제공되는 이미지들의 형태와 유사하도록 구성될 수 있다. 클라이언트에 의해 수집된 이미지들은 디지털화된 형태(예를 들어, 모바일 장치 안의 카메라로부터 제공된 형태)로 제공될 수 있다. 예를 들어, 학습 이미지들의 화소들의 수와 차원들 같은 양상들은 일반적으로 생성 이미지들의 화소들의 수와 차원들과 동일할 수 있다. 또한, 단지 클라이언트의 동작 동안 수집된 다른 이미지들과 학습 이미지들을 구별하기 위해, 신경망 학습을 위해 사용되는 이미지들은 "학습 이미지들"이라 하고, 주어진 신경망에 의한 후속 분석을 위해 클라이언트에 의해 수집된 이미지들은 "생산 이미지들" 또는 이와 유사한 다른 용어들로 칭해진다.
여기서 설명되는 "생산"이라는 용어는 일반적으로 입력 데이터(예를 들어, 학습 프로토콜과 관련 없는 데이터)를 분석하기 위해 신경망을 이용하는 것을 말한다. 대조적으로, "학습"이라는 용어는 일반적으로 생산을 위해 신경망을 개발하는 것과 관련된 시퀀스들을 말한다.
여기서 설명되는 "오브젝트(object)" 또는 "특징(feature)"은 이미지 안에 나타나거나 또는 이미지 안에 포함될 수 있다. 예를 들어, 풍경(오브젝트들의 집합) 사진(이미지) 안에는 하나의 자동차(오브젝트)가 나타날 수 있다. 예를 들어, 특징은 이미지 안에 있는 라인, 커브, 강도, 컬러 및 다른 특정한 특성들 등을 포함할 수 있다. 일부 실시예에서는 "오브젝트", 및 "특징"은 서로 교환될 수 있고, 일반적으로 동의어로 사용될 수 있다.
여기서 설명되는 "표지(label)" 및 이와 유사한 용어들은 일반적으로 이미지들 또는 이미지 데이터의 관련 정보를 포함하는 주석일 수 있다. 예를 들어, 표지 정보는 이미지 순위 정보를 포함할 수 있다. 본 발명의 실시예에서는 이미지 데이터는 무표지(label free)이다. 즉, 이미지 데이터와 함께 수반되는 주석 정보와 같은 추가 정보가 요구되지 않는 것을 의미한다.
여기서 설명되는 "서버(server)"라는 용어는 일반적으로 강력한 컴퓨터를 이용한 자원들을 갖는 컴퓨팅 자원(computing resource)을 의미한다. 예를 들어 컴퓨팅 자원들은 여기서 언급된 업무들을 수행하기에 중요한 것들을 포함할 수 있고, 상당한 양의 메모리, 프로세싱 능력들, 데이터 저장 공간과 같은 것들을 포함할 수 있다. 본 발명의 실시예에서, 서버는 브레이드 서버(blade server)와 같은 종래의 서버, 대형 컴퓨터, 개인용 컴퓨터들의 네트워크 또는 단순한 개인용 컴퓨터를 포함할 수 있다. 서버는 다른 장치(예를 들어, 입력을 위해 사용되는 모바일 장치)로부터 멀리 떨어져 있을 수 있다. 일 예로, 입력 장치는 스마트폰일 수 있다.
여기서 설명되는 "모바일 장치"라는 용어는 일반적으로 모바일 용으로 구성된 컴퓨팅 자원일 수 있다. 모바일 장치로서 구성된 장치는 대부분 컴퓨팅 자원들의 축소된 집합을 가질 수 있다. 따라서, 모바일 장치들을 이용하는 다양한 실시예들은 컴퓨팅 능력들을 보충받기 위해 서버와의 통신을 유지할 수 있다. 예를 들어, 모바일 장치들은 스마트폰, 태블릿 컴퓨터, 및/또는 특화된 장치를 포함할 수 있다.
여기서 설명되는 "이미지 신호 처리 장치(image signal processor, ISP)"는 이미지 데이터를 센싱하도록 구성된 센서를 말한다. 이미지 신호 처리 장치는 전하 결합 소자(charge coupled device, CCD), 씨모스(complementary metal oxide semiconductor, CMOS) 또는 다른 타입의 장치와 같은 센서를 포함할 수 있다. 이미지 신호 처리 장치는 적어도 하나의 프로세서, 파워 서플라이, 메모리, 및 이미지 데이터를 프로세싱하고 출력을 제공하기 위해 필요한 다른 소자들을 더 포함할 수 있다. 본 발명의 일 실시예에서, 이미지 신호 처리 장치는 모바일 장치를 포함할 수 있다. 본 발명의 일 실시예에서, 이미지 신호 처리 장치는 처리 과정의 적어도 일부가 원격 시스템에 의해 수행되는 분산 모델에 제공될 수도 있다.
여기서 설명되는 "클라이언트"라는 용어는 일반적으로 컴퓨팅 자원들이 축소된 집합을 갖는 컴퓨팅 자원일 수 있다. 예를 들어, 컴퓨팅 자원들은 여기서 설명된 업무들을 수행하기에 중요한 것들을 포함할 수 있고, 최소량의 메모리, 프로세싱 능력들, 데이터 저장 공간과 같은 것들을 포함할 수 있다. 본 발명의 일 실시예에서, 클라이언트는 신경망에 입력되는 입력 이미지들을 모아 제공하기 위한 이미징 능력들을 포함할 수 있다. 본 발명의 일 실시예에서, 클라이언트는 모바일 장치에서 사용되도록 구성되고, 원격 서버에서 작동하는 보다 강력하고 특별한 자원들과 통신할 수 있다.
여기서 설명되는 "프로그램", "소프트웨어", "어플리케이션", "애드인(add-in)" 및 이와 유사한 용어들은 기계 판독 가능 기록 매체(non-transitory machine readable media)상에 저장된 기계 판독 가능 명령어들일 수 있다. 기계 판독 가능 명령어들은 컴퓨팅 리소스들 및 적절하다고 판단되는 관련 구성 요소들의 제어를 통한 방법의 실행을 가능하게 한다.
여기서 설명되는 "비디오", "영화" 및 이와 유사한 용어는 일련의 이미지들을 말한다.
여기서 설명되는 방법들 및 장치들은 신경망을 이용하여 이미지 품질을 평가하기에 유용하다. 신경망은 데이터(예를 들어, 이미지 데이터)의 비교를 위해 구성된 비교층으로 구성된다. 하지만, 본 발명의 실시예들은 단지 예시적인 것으로서 고려되어야 하고, 여기에 개시된 것들로 발명이 제한되는 것은 아니다. 따라서, 여기서 설명되는 방법들 및 장치들은 신경망들의 사용 및 상대적인 데이터의 분석들을 요구하는 다른 애플리케이션들에 사용될 수 있다.
도 1을 참조하면, 컴퓨팅 시스템(100)의 예시적이고, 비 제한적인 실시 양태가 도시된다. 본 실시예에서, 컴퓨팅 시스템(100)은 서버(130)를 포함한다. 서버(130)는 하나 또는 그 이상의 중앙 처리 장치(101a, 101b, 101c)를 가질 수 있다. 중앙 처리 장치(101a, 101b, 101c)들은 일괄하여 또는 일반적으로 처리 장치(101)로 지칭된다. 처리 장치(101)는 시스템 버스(113)를 통하여 랜덤 액세스 메모리(140) 및 다양한 다른 구성 요소들과 결합될 수 있다. 랜덤 액세스 메모리(140)는 시스템 메모리 또는 단순히 메모리일 수도 있다. 컴퓨팅 시스템(100)은 시스템 버스(113)에 결합된 읽기 전용 메모리(141)를 포함할 수 있다. 읽기 전용 메모리(141)는 컴퓨팅 시스템(100)의 기본 기능들을 제어하는 빌트인 작동 시스템(built-in operating system, BIOS)을 포함할 수 있다.
도 1에서는 시스템 버스(113)에 연결된 통신 어댑터(106) 및 입/출력 어댑터(107)를 추가로 도시한다. 입/출력 어댑터(107)는 병렬 ATA(IDE 또는 EIDE라고도 지칭되는 PATA), 직렬 ATA(SATA), SCSI(small　computer　system　interface), 직렬 부착 SCSI(SAS), 및 파이버 채널을 포함하거나, 적절하다고 판단되는 다른 유형의 인터페이스를 포함할 수 있다. 입/출력 어댑터(107)는 일반적으로 하드 디스크(103) 및/또는 테이프 드라이브와 같은 장기 기억 유닛(105) 또는 이와 유사한 구성 요소(예를 들어, 광학 드라이브)와의 통신을 제공한다. 입출력 어댑터(107), 하드 디스크(103) 및 장기 기억 유닛(105) 및 이와 유사한 기타 구성 요소들은 일괄하여 대용량 저장 장치(104)로 지칭된다.
통신 어댑터(106)는 서버(130)가 다른 시스템들과 통신할 수 있도록 외부의 네트워크(150)와 시스템 버스(113)를 상호 연결시킨다. 통신 어댑터(106)는 유선 및 무선 통신 프로토콜들 중 적어도 어느 하나를 지원할 수 있다. 예를 들어, 통신 어댑터(106)는 유선 이더넷, 802.11 protocols과 같은 와이파이, UMTS, 모뎀 접속, 액티브 싱크, 셀룰러(예를 들어, GSM, GPRS, EDGE, CDMA, TDMA, 3G, 4G와 같은 프로토콜들을 사용함)와 같은 프로토콜들을 지원할 수 있다. 일반적으로, 통신 어댑터(106)는 네트워크(150)와 통신할 수 있고, 또한, 직접적이거나 비직접적으로 인터넷(121)과 통신할 수 있다.
서버(130)는 적합한 전원 공급원(120)으로부터 전원을 제공받을 수 있다. 본 발명의 일 실시예에서, 전원 공급원(120)은 교류 전류(AC)를 입력 받고, 교류 전류를 직류 전류(DC)의 형태로 적합하게 변환하는 적어도 하나의 변압기를 포함할 수 있다. 본 발명의 다른 실시예에서 전원 공급원(120)은 적어도 하나의 배터리를 포함할 수 있다. 전원 공급원(120)은 다양한 형태의 입력 전원을 수신하고 제어할 수 있는 적절한 전기 회로망을 포함할 수 있다.
사용자 인터페이스 어댑터(108)를 통해 시스템 버스(113)와 연결되는 입/출력 장치들이 도시된다. 상기 입/출력 장치들에는 키보드(109), 포인팅 장치(110)(예를 들어, 마우스), 및 스피커(111)가 포함되고, 이는 사용자 인터페이스 어댑터(108)을 통해 시스템 버스(113)에 연결될 수 있다. 상기 입/출력 장치들에는 적절하다고 인정되는 다른 사용자 인터페이스 구성 요소들이 포함될 수도 있다.
표시 장치(136)(예를 들어, 모니터)를 연결하는 표시장치 어댑터(112)는 시스템 버스(113)에 연결될 수 있다. 표시장치 어댑터(112) 및/또는 표시장치(136)는 많은 그래픽 처리를 하는 어플리케이션들의 성능을 향상시키기 위한 그래픽 어댑터, 비디오 컨트롤러, 터치 스크린과 같은 용량 디스플레이 등과 같은 다양한 구성 요소들로 구성될 수 있다. 표시 장치(136)는 유저 인터페이스를 표시하기 위해 사용될 수 있다.
본 발명의 일 실시예에서, 어댑터들(106, 107, 108, 112)은 중간 버스 브릿지(미도시)를 통해 시스템 버스(113)와 연결되는 하나 또는 그 이상의 입/출력 버스들과 연결될 수 있다. 하드 디스크 컨트롤러들, 네트워크 어댑터들 및 그래픽 어댑터들과 같은 주변 장치들을 연결하기 위한 적합한 입출력 버스들은 주변 구성 인터페이스(Peripheral Components Interface, PCI) 버스와 같은 공통의 프로토콜들을 포함할 수 있다.
일반적으로, 컴퓨팅 시스템(100)은 기계 판독 가능 기록 매체(예를 들어, 읽기 전용 메모리(141), 랜덤 액세스 메모리(140), 또는 대용량 저장 장치(104)) 상에 저장된 기계 판독 가능 명령어들을 저장할 수 있다. 기계 판독 가능 명령어들(예를 들어, 소프트웨어, 어플리케이션, 클라이언트, 프로세스, 플로그인 및 이와 유사한 단어로 지칭됨)은 일반적으로 이하에서 보다 상세하게 설명되는 기능을 제공할 수 있다.
컴퓨팅 시스템(100)은 추가적인 구성 요소들을 포함할 수 있다. 추가적인 구성 요소들은 다른 기능들을 제공할 수 있다. 예를 들어, 컴퓨팅 시스템(100)은 제3 자 통신 시스템(151)에 의존하거나, 이를 활용할 수 있다. 간략히, 제3 자 통신 시스템(151)은 시스템 오퍼레이터(151)로 지칭될 수 있다. 또한, 컴퓨팅 시스템(100)은 적어도 하나의 이미지 신호 처리 장치(180)를 포함할 수 있다. 적어도 하나의 이미지 처리 장치(180)는 스마트 폰과 같은 모바일 장치를 포함할 수 있다. 스마트폰 장치들의 예시적인 실시예들은 애플사의 아이폰, 구글사의 안드로이드 플랫폼 상에서 구동되는 장치들, 뿐만 아니라 마이크로소프트 사에 의해 제공된 윈도우 안에서 작동되는 장치들을 포함할 수 있다. 본 발명의 다른 실시예에서 이미지 신호 처리 장치(180)는 카메라, 태블릿 컴퓨터, 특화된 장치 및 여기서 개시되는 구성 요소를 구현하기 위해 구성된 또는 장착된 일반적인 타입의 장치를 포함할 수 있다.
본 발명의 일 실시예에서, 적어도 하나의 이미지 신호 처리 장치(180)는 서버(130)에서 발견되는 것들과 유사한 구성 요소들을 포함한다. 예를 들어, 적어도 하나의 이미지 신호 처리 장치(180)는 적어도 하나의 중앙 처리 장치를 포함할 수 있다. 중앙 처리 장치는 내부의 시스템 버스를 통해 다른 구성 요소들과 통신하거나 연결될 수 있다. 이미지 신호 처리 장치(180) 안에 포함된 예시적인 구성 요소들은 전원 공급원, 메모리, 소프트웨어, 사용자 컨트롤, 표시장치, 카메라(전면 또는 후면 카메라), 램프, 및 통신 인터페이스를 포함할 수 있다.
중앙처리장치는 ARM 또는 다른 프로세서일 수 있다. 전원 공급원은 배터리 또는 직류 소스(예를 들어, 교류 전류 콘센트에 결합된 변압기)일 수 있다. 사용자 컨트롤은 홈 버튼 및 온/오프 스위치를 포함할 수 있다. 표시 장치는 LCD, LED, OLED, AMOLED, IPS, 및 다른 기술의 표시장치들 중 적어도 어느 하나를 포함할 수 있다. 램프는 발광 다이오드 일 수 있다.
통신 인터페이스는 유선 및/또는 무선 인터페이스를 포함할 수 있다. 무선 인터페이스는 무선 서비스 처리 장치를 포함할 수 있다. 무선 인터페이스는 예를 들어 셀룰러, 블루투스, 와이파이, NFC(Near Field Technology), 지그비(ZigBee) 등과 같은 프로토콜에 활용할 수 있다. 통신서비스들은 와이파이, 블루투스, 이더넷, DSL, LTE, PCS, 2G, 3G, 4G, LAN, CDMA, TDMA, GSM, WDM 및 WLAN등을 포함하는 무선 통신 인터페이스를 통해 제공될 수 있다. 통신 인터페이스는 청각의 채널을 포함할 수 있다. 즉, 통신 인터페이스는 음성 명령들을 수신할 수 있는 마이크로폰을 포함할 수 있고, 스피커를 더 포함할 수도 있다. 본 발명의 일 실시예에서, 스피커는 바코드가 판독된 경우 청각 신호를 제공할 수 있다. 통신 인터페이스는 상태 표시 등 또는 다른 시각적 표시기기들을 더 포함할 수 있다.
통신 인터페이스는 다른 여러 것들 중에서도 음성 통신들뿐만 아니라 데이터 통신들을 제공한다. 데이터 통신들은 소프트웨어 및 데이터(예를 들어, 적어도 하나의 이미지, 분석 결과들, 및 이와 같은 데이터 타입들) 통신을 제공하기 위해 사용될 수 있다. 통신 인터페이스를 통한 통신은 양방향 또는 일 방향 통신일 수 있다.
이미지 신호 처리 장치(180)는 센서들과 같은 구성 요소들을 더 포함할 수 있다. 예를 들어, 센서들은 방향 정보를 제공하는 가속도계, 위치 정보를 제공하는 GPS 센서를 포함할 수 있다. 또한, 이미지 신호 처리 장치(180)는 주변 장치 인터페이스 및 통신 포트들을 포함할 수 있다.
본 발명의 일 실시예에 따르면, 기계 판독 가능 명령어들이 저장된 서버(130)는 다른 구성 요소들과 의 통신을 위해 구성된 드라이버들을 포함할 수 있다. 예를 들어, 드라이버들은 서버(130)가 모바일 장치(180)의 센서들 및/또는 카메라와 통신할 수 있도록 할 수 있다.
기계 판독 가능 기록 매체에 저장된 몇몇의 기계 판독 가능 명령어들은 동작 환경을 포함할 수 있다. 예를 들어, 본 명세서에 개시된 적합한 동작 환경은 윈도우(마이크로소프트 사에서 제공됨)일 수 있다. 여기에 제공되는 소프트웨어는 관계형 데이터베이스들을 관리하기 위한 cross-vendor query 언어와 같은 SQL 언어에서 개발된 것일 수 있다. 소프트웨어의 양상들은 다른 소프트웨어로 구현될 수도 있다. 예를 들어, 사용자 인터페이스들은 XML, HTML과 같은 것으로 제공될 수 있다.
컴퓨팅 시스템(100)은 앞서 설명한 구성 요소들 및 다른 구성 요소들을 적절하게 포함하거나 포함하지 않을 수 있다. 예를 들어, 라우터(router), 브릿지(bridge), 방화벽(firewall), 스위치, 다른 서버들, 및 미들 웨어(middleware)와 같은 다른 구성 요소들이 사용될 수 있다. 몇 구성 요소들은 소프트웨어 및/또는 하드웨어로 구현될 수도 있다. 본 발명의 실시예에서, 서버라는 용어는 또 다른 기능들을 수행할 수 있는 하드웨어에서 실행되는 소프트웨어 엔진을 칭할 수 있다.
컴퓨팅 시스템(100)은 복수의 컴퓨터들을 포함할 수 있다. 예를 들어, 컴퓨팅 시스템(100)의 복수의 컴퓨터들 중 적어도 하나의 컴퓨터는 상당한 저장 공간, 메모리, 처리 장치들, 대용량 저장 장치와 같은 구성 요소를 포함할 수 있다. 모바일 장치(180)와 같은 다른 장치들은 축소된 구성 요소들의 집합을 포함할 수 있다. 복수의 컴퓨터들 중 적어도 어느 하나는 이동성을 주 목적으로 설계될 수 있다. 예를 들어, 메모리는 물리적으로 컴팩트한 성질을 갖기 때문에, 메모리는 하드 디스크를 대체할 수 있다. 본 발명의 다른 실시예에 따른 모바일 장치(180)는 태블릿 컴퓨터, 스캐너, 및 다수의 특화된 장치들 중 어느 하나를 포함할 수 있다. 예를 들어, 특화화된 장치들은 영상 기기를 디자인하기 위한 어플리케이션에 특화된 장치들을 포함할 수 있다. 다만, 이에 제한되는 것은 아니다.
컴퓨팅 시스템(100) 내의 특정 컴퓨터는 목적 지향적일 수 있다. 예를 들어, 컴퓨팅 기반구조는 하나의 컴퓨터를 파일 서버(예를 들어, 컴퓨팅 기반구조 내에서 데이터를 효율적으로 저장하기 위한 데이터 저장 장치)로서 주로 사용하고, 복수의 다른 컴퓨터들을 입력 장치들(예를 들어, 사용자에 의해 컴퓨팅 기반구조와 인터페이스 하기 위해 원격 조종되는 모바일 스테이션들), 콘솔(예를 들어, 컴퓨팅 기반구조를 관리하기 위한 전용 시스템), 및 이와 같은 것들로 사용할 수 있다.
본 명세서에 설명된 몇몇 기능들은 전술한 구성 요소들과 같은 하드웨어 또는 소프트웨어에서 적절하게 구현될 수 있다는 것을 인식해야 한다. 따라서, 하나의 방법 또는 다른 방법에서 구현하는 것에 대해 참조가 되는 경우, 이는 단순한 예시이며, 기재된 기술에 본 발명이 한정되는 것은 아니다. 즉, 컴퓨팅 시스템(100) 및 컴퓨팅 시스템(100)을 이용하는 시스템들의 위의 설명은 단순히 본 명세서의 교시를 위한 환경을 제공하는 것이고, 한정하는 것으로 해석될 것이 아니라, 컴퓨팅 시스템(100)의 예시적인 양상들로 보아야 할 것이다
일반적으로, 컴퓨팅 시스템(100)은 사용자들이 신경망 시스템들을 학습 및/또는 작동 가능하게 하는 소프트웨어 솔루션을 구현할 수 있다. 컴퓨팅 시스템(100)은 통신, 메세징, 그래픽 편집, 통계적 분석과 같은 다양한 목적들 및 또 다른 이와 유사한 목적들을 위해 제3 의 소프트웨어 시스템들을 구현할 수 있다.
도 2는 특징 검출기들의 개발 및/또는 개체들의 식별에 관한 결정에 유용한 컨볼루션 신경망(200)의 기본 양상들에 대한 추상적인 개념을 도시한 개략도이다. 컨볼루션 신경망(200)은 서버(130)의 대용량 저장 장치(104)에 저장된 소프트웨어 및/또는 적어도 하나의 이동 장치(180)의 데이터 저장부에 저장된 소프트웨어로서 제공될 수 있다. 컨볼루션 신경망(200)은 적절하다고 인정되는 어느 애플리케이션에 의해 구축될 수 있다. 컨볼루션 신경망(200)을 코딩하기 위해 적절한 애플리케이션은 파인썬 소프트웨어 재단에서 제공된 오픈 소스인 파인썬(Python)일 수 있다. 컴퓨터 프로그래밍 및 코딩의 양상들은 공지되었기 때문에, 컨볼루션 신경망(200)을 형성하기 위한 메커니즘에 대한 설명은 생략되고, 컨볼루션 신경망(200)의 양상들이 당업자가 이해할 수 있는 기능적 용어들에 의해 개시된다.
일부 문맥을 제공하기 위한 본 발명의 일 실시예에서는, 컨볼루션 신경망(200)은 특징 입력 맵(209), 컨볼루션 출력층(214) 및 풀링층(216)을 포함할 수 있다. 이 예에서, 특징 입력 맵(209)은 삼차원 입력 공간을 포함한다. 특징 입력 맵(209)은 N x N x D의 차원을 갖는 것을 특징으로 할 수 있다. 여기서, N은 입력의 높이와 폭을 나타내고, D는 입력의 깊이를 나타낼 수 있다. 예를 들어, 입력의 깊이(D)는 특징 입력 맵(209)과 관련된 히든 층들의 수일 수 있다. 복수의 필터들(211)은 특징 입력 맵(209)을 필터하기 위해 사용될 수 있다. 각 필터(211)는 k x k x D의 차원을 갖는 것을 특징으로 할 수 있다. 여기서, 추가된 변수 k는 각 필터(211)의 높이와 폭을 나타낼 수 있다. 이 예에서 특징 입력 맵(209) 뿐만 아니라 각 필터(211)의 높이 및 폭은 동일하고, 따라서, 각각의 구성 요소들은 정사각형일 수 있다. 그러나, 이것은 단지 편의를 위한 것이고, 특징 입력 맵(209) 및/또는 필터(211)는 직사각형(그러므로 각 구성 요소들의 각각의 폭과 높이는 서로 상이할 수 있음)일 수도 수도 있다.
컨볼루션 신경망(200)의 동작에서, 각 필터(211)는 특징 입력 맵(209)에 걸쳐 슬라이딩 윈도우와 같은 방식으로 시프트된다. 시프트되는 양은 "스트라이드(stride) 길이" 또는 단순하게 "스트라이드"으로 지칭될 수 있다. 각 시프트동안, 주어진 필터(211)에 속하는 각각의 가중치는 컨볼루션(212)을 제공하기 위해 입력 부피의 중첩 영역에서의 모든 쌍 입력 요소와 곱해지고 더해질 수 있다. 컨볼루션(212) 이후에, 선택적 풀링 층(216)은 3 차원 컨볼루션된 출력을 가로지르며 2차원 윈도우를 슬라이딩 하고 그리고 윈도우를 통해 최대값(또는 평균값, 215)을 선택함으로써 의해 컨볼루션된 출력의 서브샘플링을 위해 사용될 수 있다. 이 예에서, 선택적 풀링층(216)은 파라미터 p 및 s에 의해 정의될 수 있다. 여기서, p x p는 풀링 동작을 위한 영역을 정의하고, s는 필터(211)의 스트라이드를 나타낸다.
주어진 신경망은 특징 검출기들의 각 차원의 가중치들에 의해 파라미터화 될 수 있다. 각 신경망의 학습 프로세스는 이미지들과 같은 학습 데이터의 집합으로부터 이러한 파라미터들을 학습하는 것을 포함한다. 본 발명의 실시예에서, 학습을 위해 역전파법(back-propagation)을 사용할 수 있다.
이제 도 3을 참조하면, 한 쌍의 학습 이미지들이 도시된다. 도 3a에는 원본 이미지(xi)가 도시되고, 도 3b에는 열화 이미지(xj)가 도시된다. 열화 이미지(xj)는 처리 알고리즘에 의해 원본 이미지(xi)가 처리되어 생성된다. 처리 알고리즘은 원본 이미지(xi)의 특징들(예를 들어, 휘도, 가장자리 선명도, 색상, 블러 등)을 랜덤하게 선택한다. 처리 알고리즘은 열화 이미지(xj)를 제공하기 위해 랜덤하게 선택된 특징들을 임의로 선택된 정도에 따라 조정한다. 원본 이미지(xi) 또는 열화 이미지(xj)와 함께 이미지 화질 순위 표지가 요구되지 않는다.
도 4를 참조하면, 도 4는 비참조 이미지 화질 평가를 위한 처리의 개요를 제공한다. 도 4에 도시된 바와 같이, 원본 이미지(xi) 및 열화 이미지(xj)는 비교층의 입력들로서 제공될 수 있다. 입력 이미지들은 적절한 것으로 간주되는 전체 이미지 또는 이미지들의 조각들일 수 있다. 원본 이미지(xi)의 품질은 열화 이미지(xj)의 품질보다 항상 좋을 수 있다.
처리는 컨볼루션 신경망(200) 및 그 내부에 일체화된 추가적인 비교층(401)을 이용한다. 비교층(401)은 컨볼루션 신경망(200)에서 업스트림된 처리를 수신하고, 출력이 가정에 들어 맞는다는 확률을 최대화 하기 위해서 비용함수를 채용한다. 여기서, 가정은 원본 이미지(Xi)의 이미지 품질이 열화 이미지(xj)의 이미지 품질보다 항상 높다는 것을 의미한다.
예를 들어, 제1 층은 64 개의 필터들을 포함하고, 각 필터의 커널은 5x5일수 있다. 각 커널은 각 이미지를 스와이프(swipe)하고 필터에 대한 응답을 생산하는데 사용될 수 있다. 이 과정은 층 안에 있는 각 필터들에 의해 완료되고, 최종 대표상(representation)이 생산된다. 최종 대표상들은 적어도 하나의 풀링층에 제공된다. 이 과정은 적절한 정도의 수만큼 반복되고, 최종 대표상은 비교층(401)에 공급될 수 있다. 관례상, 비교층(401)을 포함하는 신경망들의 실시예들은 일반적으로 비 참조 이미지 품질 평가 신경망으로 지칭된다.
비 참조 이미지 품질 평가 신경망은 한 쌍의 이미지들(xi, xj)을 수신한다. 제1 이미지(xi)는 제2 이미지(xj)보다 우수한 이미지 품질을 갖는다. 비 참조 이미지 품질 평가 신경망은 두 개의 품질 순위들(yi, yj)을 출력한다. 일 실시예에서, 비교층(401)은 시그모이드(sigmoid) 함수를 사용하여, yi의 이미지 품질이 yj의 이미지 품질을 능가하는 (Yi > Yj) 확률을 향상한다. 시그모이드 함수의 일 예는 이하 수학식 1에 제공된다.
[수학식 1]
Figure pat00009
수학식 1에서, li.j는 상기 비교층(401)으로부터 출력된 yi 및 yj의 쌍별 순위에 대한 사전 정보를 나타낸다. 만약 li.j= +1인 경우, xi 가 xj보다 좋다는 것을 알려주며, 또한, 출력은 yi > yj 로 예상될 수 있다. 만약 li.j = -1인 경우, 출력은 yi < yj 로 예상될 수 있다. 만약 li. j = 0인 경우, 출력은 yi yj 로 예상될 수 있다. 이 경우, yi 및 yj 의 순위에 대한 사전 지식이 없는 것으로 가정된다.
비교층(401)을 위한 학습 규칙들의 집합의 일 실시예는 아래의 수학식 2 내지 4로 제공된다.
[수학식 2]
Figure pat00010
[수학식 3]
Figure pat00011
[수학식 4]
Figure pat00012
f는 신경망의 내부층들을 위해 입력(이미지 또는 패치들)을 출력(품질 순위)에 맵핑하는 가중치들로 구성된 함수를 나타낸다. 전술한 바와 같이, 신경망은 각 층 별로 수행되는 역전파법을 사용하여 학습될 수 있다. 모델이 학습된 후에, 모델은 입력 이미지들의 품질을 평가하기 위해 사용될 수 있다. 모델이 일단 생성된 후에는 이미지들은 쌍으로 제공될 필요가 없고, 또한 비교층은 필요하지 않다. 도 5를 참조할 수 있다.
도 5에서는 비참조 이미지 품질 평가 신경망(500)의 테스트 방식의 양상들이 도시된다. 이 실시예에서, 테스트 이미지들(또는, 패치들로 지칭되는 완벽한 이미지들의 일부들)은 비참조 이미지 품질 평가 신경망(500)으로 입력된다. 이러한 테스트 방식에서, 테스트 이미지는 쌍으로 제공될 필요가 없다는 것에 유의해야 한다. 비참조 이미지 품질 평가 신경망(500)은 사용자에게 품질 순위를 출력한다. 도 6을 참조할 수 있다.
도 6에서는 하나의 이미지의 다섯 개의 버전이 도시된다. 하나의 이미지의 다섯 개의 버전은 비참조 이미지 품질 평가 신경망(500)의 학습에 의해 순위가 정해진다. 도 6a는 76의 순위를 받는다. 도 6a의 이미지는 가장 높은 품질의 이미지로 알려져 있다. 도 6b 내지 도 6e는 다양한 종류의 내장된 노이즈 또는 왜곡과 함께 비참조 이미지 품질 평가 신경망(500)에 제공된다. 비참조 이미지 품질 평가 신경망(500)에 의해 제공된 도 6b의 순위는 44이고, 도 6c는 16의 순위를 얻고, 도 6d는 31의 순위를 얻고, 도 6e는 14의 순위를 얻을 수 있다. 도 6a는 원본 이미지이고, 도 6b는 전처리 과정 동안 원본 이미지가 JPEG 2000, 및 0.297bpp로 압축된 일 버전이다. 도 6c는 전처리 과정 동안 원본 이미지가 JPEG 2000, 및 0.028bpp로 압축된 일 버전이다. 도 6d는 전처리 과정 동안 원본 이미지에 ?= 0.1549의 가우시안 노이즈(Gaussian noise)가 더해진 일 버전이다. 도 6e는 전처리 과정 동안 원본 이미지에 ?= 2.0의 가우시안 노이즈가 더해진 일 버전이다.
테스트 이미지들의 평가는 개시된 기술들의 검증을 제공하기 위해 실행된다. 예를 들어, 데이터세트는 표준화된 데이터 베이스인 CSIQ 데이터 세트로부터 제공된 이미지들을 포함할 수 있다. 즉, CSIQ 데이터세트는 30 개의 원본 이미지들로 구성될 수 있다. 각 이미지는 왜곡의 4~5개의 다른 레벨들에서 6 개의 다른 왜곡 유형들을 사용하여 왜곡될 수 있다. 왜곡은 가산성 가우시안 노이즈, JPEG 압축, 및 다른 종류의 왜곡을 포함할 수 있다. 데이터세트는 30-폴드(30-fold)의 교차 검증을 포함할 수 있다. 각 폴드는 하나의 이미지와 왜곡과 관련된 이미지 모두를 포함한다. CSIQ 이미지들은 관찰자에게 동일한 시청 거리를 갖도록 나란히 배치된 네 개의 조정된 LCD 모니터들을 통한 이미지들의 선형 변위에 기초하여 주관적으로 평가된다. 데이터 베이스는 35 명의 다른 관찰자들로부터 얻어진 5000개의 주관적 평가들 및 DMOS 형태로 보고된 평가들을 포함한다.
이 실험에서, 비참조 이미지 품질 평가 신경망(500)은 90 회의 에포크(epoch) 및 0.001의 학습률로 학습된다.
비참조 이미지 품질 평가 신경망(500)에 대한 실험 결과는 다수결을 통해 패치 레벨에서 89.78 퍼센트 및 이미지 레벨에서 97.78 퍼센트의 정확도를 나타냈다. 또한, TID 2008 데이터세트에서도 테스트된 비참조 이미지 품질 평가 신경망(500)에 대한 실험 결과는 패치 레벨에서 86.51 퍼센트 및 이미지 레벨에서 93.85 퍼센트의 정확도를 나타냈다.
대조적으로, 기존의 기술 방법은 TID 2008(비참조 이미지 품질 평가를 위한 컨볼루션 신경망들) 상에서 92.0 퍼센트의 이미지 레벨 정확도를 갖고, CSIQ 상(지각 이미지 품질 평가를 위한 가중치 콘텐츠 정보를 가짐)에서 93.59 퍼센트의 이미지 레벨 정확도를 가질 수 있다.
몇몇의 추가적인 특징 및 실시예들을 갖는 NRIQA 신경망(500)의 양상들을 소개한다.
개시된 기술들은 이미지 신호 처리의 자동 튜닝을 제공하는데 사용될 수 있다. 보다 구체적으로, 이미지 신호 처리는 많은 파라미터들(예를 들어, 어떠한 경우 수백 개의 파라미터들)을 포함할 수 있다. 다만, 이에 제한되는 것은 아니다. 이미지 신호 처리를 위한 기존 기술들은 상당한 양의 수작업을 포함한다. 이러한 이미지 신호 처리 기술둘은 많은 노동력을 요하고, 주관적 결과들을 생산하고, 실행 속도가 늦어질 수 있다. 바람직하게는, 여기에 개시된 기술들은 상당히 감소된 수작업 입력(즉, 사람들간의 상호 작용)을 제공한다. 따라서, 이미지 신호 처리의 자동 조정을 제공할 수 있다.
도 7에서는 이미지 신호 처리를 조정하기 위한 예시적인 프로세스가 도시된다. 이미지 신호 처리(700)를 위한 방법에서, 초기 이미지는 이미지 신호 처리 장치(701)에 의해 모아진다. 이미지 신호 처리 장치(701)는 출력 이미지(xi)를 생성한다. 출력 이미지(xi)는 학습된 비참조 이미지 품질 평가 신경망(500)의 입력으로 제공될 수 있다. 순위 테스트가 소정의 단계에서 수행된다(703). 처음에, 출력 이미지(xi)와 관련된 순위가 임계값을 초과한다면, 이미지 신호 처리장치(701)를 제어하는 파라미터들을 위한 세팅들은 파라미터 구성 데이터 베이스(704)에 저장된다. 적절한 양의 히스토리가 누적되면, 순위 테스트는 새로 수집된 이미지들 대 다른 최근 수집된 이미지들에 대한 순위들 사이에서의 비교들을 단순하게 제공한다. 어느 경우에나, 순위 테스트 결과가 불충분한 것으로 간주되는 경우에는, 이미지 신호 처리 장치(701)를 제어하는 파라미터들을 위한 세팅들은 컨트롤러(미도시)에 의해 자동적으로 조정될 수 있다. 파라미터들을 위한 세팅들이 조정되면, 새로운 이미지가 수집되고, 이미지들에 순위가 매겨지고, 순위 테스트가 다시 수행된다.
따라서, 이미지 신호 처리(700)를 위한 방법은 이미지 신호 처리 장치(701) 및 이미지 신호 처리의 동적 조정을 제공한다. 그 결과, 이미지 신호 처리를 제어하기 위해 구성된 컨트롤러와 함께 학습된 비참조 이미지 품질 평가 신경망(500)의 실행은 실질적으로 개선된 이미지 품질을 제공한다. 바람직하게, 실질적으로 개선된 이미지 품질은 백그라운드에서 일어 날 수 있다. 따라서, 사용자가 그들에게 할당된 업무들의 다른 측면들에 집중하는 것을 가능하게 할 수 있다. 예를 들어, 영화 프로듀서와 같은 아티스트는 예술적 콘텐츠에 보다 집중할 수 있고, 의사들은 보다 나은 진단 데이터를 평가할 수 있고, 보안 요원은 경비 대상들을 식별하기 위한 기회들을 더 잘 제공받을 수 있다.
본 발명의 다른 실시예에서, 이미지 신호 처리 장치(701)의 자동 튜닝은 학습 루틴과 함께 시작할 수 있다. 학습 루틴에서는 이미지들의 집합은 타겟팅 이미지들로서 준비된다. 튜닝될 파리미터들의 집합, 그들의 포텐셜 범위들 및 값들은 파라미터 구성 세트(705)로서 특정되고 저장된다. 그 후에, 이미지 신호 처리는 이미지들 각각에 적용된다. 학습된 비참조 이미지 품질 평가 신경망(500)은 이미지 신호 처리 장치(701)로부터 출력된 이미지들의 품질을 평가하는데 사용된다. 최고 품질의 이미지들과 연관된 이미징 장치에 대한 파라미터 구성은 이후 이미징을 위해 저장되고 사용된다.
다양한 다른 구성 요소들은 여기 개시된 양상들에 제공하기 위해 포함되거나 호출될 수 있다. 예를 들어, 여기에 개시된 범위 안에 있는 추가적인 실시예를 제공하기 위해 추가적인 재료들, 재료들의 조합들, 및/또는 재료들이 생략되어 사용될 수 있다.
구성 요소를 소개함에 있어서, 단수의 표현은 하나 또는 그 이상의 구성 요소들을 의미할 수 있다. 유사하게, 구성 요소를 설명하기 위해 사용되는 "또 다른 하나의"라는 용어는 하나 또는 그 이상의 구성들을 의미할 수 있다. "포함하다" 또는 "가지다" 등의 용어는 나열된 요소 이외의 추가적인 요소가 포함될 수 있는 것을 의미한다. "예를 들어"라는 용어는 많은 예들 중 어느 하나를 의미하는 것이다. 즉, "예를 들어"라는 용어가 최선의 실시예를 지칭하는 것은 아니다.
이상에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자 또는 해당 기술 분야에 통상의 지식을 갖는 자라면, 후술될 특허청구범위에 기재된 본 발명의 사상 및 기술 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다. 따라서, 본 발명의 기술적 범위는 명세서의 상세한 설명에 최선의 모드로서 기재된 내용으로 한정되는 것이 아니라 특허청구범위에 의해 정하여져야만 할 것이다.
100: 컴퓨팅 시스템 101: 처리 장치
101a, 101b, 101c: 중앙 처리 장치
103: 하드 디스크 104: 대용량 저장 장치
105: 장기 기억 유닛 106: 통신 어댑터
107: 입/출력 어댑터 108: 사용자 인터페이스 어댑터
109: 키보드 110: 마우스
111: 스피커 112: 표시장치 어댑터
113: 시스템 버스 120: 전원 공급원
121: 인터넷 130: 서버
136: 표시 장치 140: 랜덤 액세스 메모리
141: 읽기 전용 메모리 150: 네트워크
151: 제3 자 통신 시스템 180: 이미지 신호 처리 장치
200: 컨볼루션 신경망 209: 특징 입력 맵
214: 컨볼루션 출력층 216: 풀링층
401: 비교층 500: 이미지 품질 평가 신경망
700: 이미지 신호 처리 701: 이미지 신호 처리 장치
704: 파라미터 구성 데이터 베이스 705: 파라미터 구성 세트

Claims (10)

  1. 이미지 품질 평가를 수행하기 위해 신경망을 학습하기 위한 방법은,
    이미지 및 상기 이미지가 열화된 적어도 하나의 열화 이미지를 포함하는 적어도 하나의 이미지들의 집합을 신경망에 입력하는 단계;
    상기 적어도 하나의 이미지들의 집합 내의 각 이미지의 상대적인 순위를 설정하는 단계; 및
    상기 순위 정보를 근거로 상기 신경망을 학습하는 단계를 포함하는 신경망 학습 방법.
  2. 제1 항에 있어서,
    상기 상대적인 순위를 설정하는 단계는 비교층에서 수행되는 신경망 학습 방법.
  3. 제2 항에 있어서,
    상기 비교층은 이미지들의 각 집합 안의 상기 이미지들의 쌍별 순위를 제공하기 위해 시그모이드 함수(sigmoid function)를 적용하는 신경망 학습 방법.
  4. 제3 항에 있어서,
    시그모이드 함수는 하기식을 포함하는 신경망 학습 방법.
    Figure pat00013

    yi 및 yj 는 입력 이미지들(xi 및 xj) 각각과 관련된 출력 품질 순위를 나타내고,
    li.j는 상기 비교층으로부터 출력된 yi 및 yj의 쌍별 순위에 대한 사전 정보를 나타낸다.
  5. 제4 항에 있어서,
    상기 비교층에 대한 학습 규칙들은 하기식을 포함하는 신경망 학습 방법.
    Figure pat00014
    ;
    Figure pat00015
    ; 및
    Figure pat00016
    ;
    f 는 신경망의 층들을 위해 입력을 출력 품질 순위들로 맵핑하는 함수이다.
  6. 제1 항에 있어서,
    이미지들의 집합 각각에서의 각 이미지는 무표지식(label-free)인 신경망 학습 방법.
  7. 제1 항에 있어서,
    상기 학습은 상기 신경망의 역전파법을 포함하는 신경망 학습 방법.
  8. 제1 항에 있어서,
    전처리 알고리즘을 이용하여 상기 이미지를 열화하여 상기 열화 이미지를 제공하는 단계를 더 포함하는 신경망 학습 방법.
  9. 이미지 품질 평가를 수행하도록 구성된 신경망에 있어서,
    이미지 및 상기 이미지가 열화된 적어도 하나의 열화 이미지를 포함하는 적어도 하나의 이미지들의 집합을 수신하는 입력부; 및
    이미지 품질 평가를 위해 상기 적어도 하나의 이미지들의 집합의 각 이미지의 상대적인 순위를 수행하도록 구성된 비교층을 포함하고,
    상기 신경망은 상기 비교층에서 수행된 순위들로부터 이미지 품질 순위를 학습하는 신경망.
  10. 제1 이미지 및 상기 제1 이미지가 열화된 적어도 하나의 열화 이미지를 포함하는 적어도 하나의 학습 이미지들의 집합을 제공하는 이미지 신호 처리 장치;
    상기 적어도 하나의 학습 이미지들의 집합을 수신하고 상기 적어도 하나의 학습 이미지들의 집합 내의 각 학습 이미지의 상대적인 순위를 수행하도록 구성된 신경망; 및
    순위 정보를 수신하고 상기 순위 정보에 따라 상기 이미지 신호 처리 장치의 파라미터들의 셋팅들을 조정하는 컨트롤러를 포함하는 이미지 신호 처리 튜닝 시스템.


KR1020160070497A 2015-06-24 2016-06-07 신경망, 신경망 학습 방법 및 이미지 신호 처리 튜닝 시스템 Active KR102707468B1 (ko)

Applications Claiming Priority (4)

Application Number Priority Date Filing Date Title
US201562184211P 2015-06-24 2015-06-24
US62/184,211 2015-06-24
US14/931,843 US9734567B2 (en) 2015-06-24 2015-11-03 Label-free non-reference image quality assessment via deep neural network
US14/931,843 2015-11-03

Publications (2)

Publication Number Publication Date
KR20170000767A true KR20170000767A (ko) 2017-01-03
KR102707468B1 KR102707468B1 (ko) 2024-09-20

Family

ID=57601189

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020160070497A Active KR102707468B1 (ko) 2015-06-24 2016-06-07 신경망, 신경망 학습 방법 및 이미지 신호 처리 튜닝 시스템

Country Status (2)

Country Link
US (1) US9734567B2 (ko)
KR (1) KR102707468B1 (ko)

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018167438A1 (fr) 2017-03-16 2018-09-20 Protecto Housse de protection contre le gel d'un compteur d'eau et procédé de protection associé
WO2019009489A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
WO2019009488A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
KR20190095901A (ko) * 2018-02-07 2019-08-16 울산과학기술원 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치
WO2019182269A1 (ko) * 2018-03-19 2019-09-26 삼성전자주식회사 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체
KR20200127766A (ko) * 2019-05-03 2020-11-11 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR102211556B1 (ko) * 2019-10-22 2021-02-03 전남대학교산학협력단 네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법
KR20210095936A (ko) * 2019-04-01 2021-08-03 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 처리 모델을 트레이닝하는 방법, 이미지 처리 방법, 네트워크 디바이스 및 저장 매체

Families Citing this family (67)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP3427195B1 (en) * 2016-03-11 2024-05-01 Telecom Italia S.p.A. Convolutional neural networks, particularly for image analysis
US10043254B2 (en) 2016-04-14 2018-08-07 Microsoft Technology Licensing, Llc Optimal image transformation based on professionalism score of subject
US9904871B2 (en) * 2016-04-14 2018-02-27 Microsoft Technologies Licensing, LLC Deep convolutional neural network prediction of image professionalism
US10043240B2 (en) 2016-04-14 2018-08-07 Microsoft Technology Licensing, Llc Optimal cropping of digital image based on professionalism score of subject
CN106157307B (zh) * 2016-06-27 2018-09-11 浙江工商大学 一种基于多尺度cnn和连续crf的单目图像深度估计方法
CN107786867A (zh) * 2016-08-26 2018-03-09 原相科技股份有限公司 基于深度学习架构的图像辨识方法及系统
US11373110B2 (en) * 2016-10-03 2022-06-28 Mitsubishi Electric Corporation Apparatus and network construction method for determining the number of elements in an intermediate layer of a neural network
US10733505B2 (en) * 2016-11-10 2020-08-04 Google Llc Performing kernel striding in hardware
US10198401B2 (en) * 2016-12-30 2019-02-05 Intel Corporation Max pooling in a matrix processing architecture
US10477097B2 (en) * 2017-01-03 2019-11-12 University Of Connecticut Single-frame autofocusing using multi-LED illumination
CN106910192B (zh) * 2017-03-06 2020-09-22 长沙全度影像科技有限公司 一种基于卷积神经网络的图像融合效果评估方法
US10529066B2 (en) * 2017-04-04 2020-01-07 Board Of Regents, The University Of Texas Systems Assessing quality of images or videos using a two-stage quality assessment
CN107292331B (zh) * 2017-05-22 2019-06-11 浙江科技学院 基于无监督特征学习的无参考屏幕图像质量评价方法
RU2652461C1 (ru) 2017-05-30 2018-04-26 Общество с ограниченной ответственностью "Аби Девелопмент" Дифференциальная классификация с использованием нескольких нейронных сетей
CN107396094B (zh) * 2017-08-17 2019-02-22 上海大学 面向多摄像头监控系统中单个摄像头损坏的自动检测方法
US10643306B2 (en) * 2017-10-11 2020-05-05 Qualcomm Incoporated Image signal processor for processing images
US11263782B2 (en) 2017-10-11 2022-03-01 Qualcomm Incorporated Image signal processor for processing images
KR101916347B1 (ko) * 2017-10-13 2018-11-08 주식회사 수아랩 딥러닝 기반 이미지 비교 장치, 방법 및 컴퓨터 판독가능매체에 저장된 컴퓨터 프로그램
US10540589B2 (en) * 2017-10-24 2020-01-21 Deep North, Inc. Image quality assessment using similar scenes as reference
US10937216B2 (en) 2017-11-01 2021-03-02 Essential Products, Inc. Intelligent camera
US10147216B1 (en) 2017-11-01 2018-12-04 Essential Products, Inc. Intelligent camera
US10592732B1 (en) 2017-12-14 2020-03-17 Perceive Corporation Probabilistic loss function for training network with triplets
US10742959B1 (en) * 2017-12-29 2020-08-11 Perceive Corporation Use of machine-trained network for misalignment-insensitive depth perception
CN108090902B (zh) * 2017-12-30 2021-12-31 中国传媒大学 一种基于多尺度生成对抗网络的无参考图像质量客观评价方法
WO2019152534A1 (en) * 2018-01-30 2019-08-08 Qualcomm Incorporated Systems and methods for image signal processor tuning
US10755425B2 (en) * 2018-02-05 2020-08-25 Intel Corporation Automatic tuning of image signal processors using reference images in image processing environments
US12165066B1 (en) 2018-03-14 2024-12-10 Amazon Technologies, Inc. Training network to maximize true positive rate at low false positive rate
US11995537B1 (en) 2018-03-14 2024-05-28 Perceive Corporation Training network with batches of input instances
US11586902B1 (en) 2018-03-14 2023-02-21 Perceive Corporation Training network to minimize worst case surprise
CN108648180B (zh) * 2018-04-20 2020-11-17 浙江科技学院 一种基于视觉多重特征深度融合处理的全参考图像质量客观评价方法
CN108647696B (zh) * 2018-05-08 2021-07-23 北京三快在线科技有限公司 图片颜值确定方法及装置、电子设备、存储介质
US11823376B2 (en) 2018-05-16 2023-11-21 Benevis Informatics, Llc Systems and methods for review of computer-aided detection of pathology in images
CN108665460B (zh) * 2018-05-23 2020-07-03 浙江科技学院 基于组合神经网络和分类神经网络的图像质量评价方法
KR102184755B1 (ko) * 2018-05-31 2020-11-30 서울대학교 산학협력단 안면 특화 초 고화질 심층 신경망 학습 장치 및 방법
WO2020014198A1 (en) * 2018-07-10 2020-01-16 Intuitive Surgical Operations, Inc. Systems and methods for detecting an orientation of medical instruments
WO2020041610A1 (en) 2018-08-23 2020-02-27 Walmart Apollo, Llc System and method for automated electronic catalogue management and electronic image quality assessment
WO2020046795A1 (en) 2018-08-31 2020-03-05 Visa International Service Association System, method, and computer program product for determining compatibility between items in images
WO2020046789A1 (en) 2018-08-31 2020-03-05 Visa International Service Association System, method, and computer program product for predicting user preference of items in an image
US11151707B2 (en) * 2018-12-07 2021-10-19 Kla Corporation System and method for difference filter and aperture selection using shallow deep learning
US20200184321A1 (en) * 2018-12-11 2020-06-11 Fotonation Limited Multi-processor neural network processing apparatus
CN111371983A (zh) * 2018-12-26 2020-07-03 清华大学 一种视频在线稳定方法及系统
US11308598B2 (en) * 2019-02-14 2022-04-19 Sharif University Of Technology Quality assessment of an image
US10489936B1 (en) * 2019-04-29 2019-11-26 Deep Render Ltd. System and method for lossy image and video compression utilizing a metanetwork
US11057634B2 (en) * 2019-05-15 2021-07-06 Disney Enterprises, Inc. Content adaptive optimization for neural data compression
KR102825811B1 (ko) 2019-05-21 2025-06-27 삼성전자주식회사 이미지 신호 프로세서의 모델링 방법, 및 전자 기기
KR102809424B1 (ko) * 2019-10-23 2025-05-19 삼성에스디에스 주식회사 심층 신경망 학습 장치 및 방법
CN110807769B (zh) * 2019-10-30 2021-12-14 腾讯科技（深圳）有限公司 图像显示控制方法及装置
CN110910364B (zh) * 2019-11-16 2023-04-28 应急管理部沈阳消防研究所 基于深度神经网络的三切面火场易引发起火电器设备检测方法
CN113011575B (zh) * 2019-12-19 2026-04-24 华为技术有限公司 神经网络模型更新方法、图像处理方法及装置
CN111192258A (zh) * 2020-01-02 2020-05-22 广州大学 一种图像质量评估方法及装置
CN111182292B (zh) * 2020-01-05 2021-06-29 西安电子科技大学 无参考视频质量评估方法、系统、视频接收器、智能终端
US12333741B2 (en) * 2020-01-28 2025-06-17 Imax Corporation No-reference visual media assessment combining deep neural networks and models of human visual system and video content/distortion analysis
KR102853922B1 (ko) 2020-06-16 2025-09-01 삼성전자주식회사 화질 튜닝을 수행하는 이미지 처리 시스템 및 화질 튜닝 방법
KR102801501B1 (ko) * 2020-09-29 2025-04-29 삼성전자주식회사 비디오 품질 평가 방법 및 장치
EP4181067A4 (en) * 2020-11-30 2023-12-27 Samsung Electronics Co., Ltd. Device and method for ai encoding and ai decoding of image
CN112994840B (zh) * 2021-02-03 2021-11-02 白盒子(上海)微电子科技有限公司 一种基于神经网络的译码器
EP4309118B1 (en) * 2021-04-01 2026-02-25 Huawei Technologies Co., Ltd. Data agnostic sampling and differentiable correlation loss function
CN113282982B (zh) * 2021-04-30 2023-04-18 杭州申昊科技股份有限公司 一种用于喷泥状况评估铁轨安全的系统和方法
KR20220170301A (ko) * 2021-06-22 2022-12-29 현대자동차주식회사 차량 영상 제어 장치 및 그 방법
US20220415037A1 (en) * 2021-06-24 2022-12-29 Meta Platforms, Inc. Video corruption detection
CN113658130B (zh) * 2021-08-16 2023-07-28 福州大学 基于双重孪生网络的无参考屏幕内容图像质量评估方法
CN116091900A (zh) * 2021-10-29 2023-05-09 华为技术有限公司 图像处理方法、装置及存储介质
US20230146390A1 (en) * 2021-11-05 2023-05-11 Intel Corporation Trainable visual quality metrics for measuring rendering quality in a graphics environment
KR20240027449A (ko) 2022-08-23 2024-03-04 삼성전자주식회사 이미지 센서 화질 자동 최적화 시스템, 플랫폼 및 그 동작방법
US12602748B2 (en) * 2023-05-23 2026-04-14 Constructor Technology Ag Automatically enhancing image quality in machine learning training dataset by using deep generative models
DE102023206255A1 (de) * 2023-07-03 2025-01-09 Robert Bosch Gesellschaft mit beschränkter Haftung Automatisierte Bildbewertung, automatisierte Einstellung von Bearbeitungsparametern, Bildverarbeitung, Bildverarbeitungssystem und Bildanalyseeinheit
CN119720204A (zh) * 2025-02-28 2025-03-28 湖南农业大学 一种恶意软件检测方法及系统

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095683A1 (en) * 2001-08-28 2003-05-22 Kayvan Najarian Automated digital watermarking methods using neural networks

Family Cites Families (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5642433A (en) * 1995-07-31 1997-06-24 Neopath, Inc. Method and apparatus for image contrast quality evaluation
US8873813B2 (en) 2012-09-17 2014-10-28 Z Advanced Computing, Inc. Application of Z-webs and Z-factors to analytics, search engine, learning, recognition, natural language, and other utilities
WO2014205231A1 (en) 2013-06-19 2014-12-24 The Regents Of The University Of Michigan Deep learning framework for generic object detection
EP4057215A1 (en) 2013-10-22 2022-09-14 Eyenuk, Inc. Systems and methods for automated analysis of retinal images
US10095917B2 (en) 2013-11-04 2018-10-09 Facebook, Inc. Systems and methods for facial representation
US9741107B2 (en) * 2015-06-05 2017-08-22 Sony Corporation Full reference image quality assessment based on convolutional neural network

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030095683A1 (en) * 2001-08-28 2003-05-22 Kayvan Najarian Automated digital watermarking methods using neural networks

Cited By (15)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2018167438A1 (fr) 2017-03-16 2018-09-20 Protecto Housse de protection contre le gel d'un compteur d'eau et procédé de protection associé
US11095894B2 (en) 2017-07-06 2021-08-17 Samsung Electronics Co., Ltd. Method for encoding/decoding image, and device therefor
WO2019009489A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
WO2019009488A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화 또는 복호화하는 방법 및 장치
WO2019009449A1 (ko) * 2017-07-06 2019-01-10 삼성전자 주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
US11218695B2 (en) 2017-07-06 2022-01-04 Samsung Electronics Co., Ltd. Method and device for encoding or decoding image
KR20200016879A (ko) * 2017-07-06 2020-02-17 삼성전자주식회사 영상을 부호화/복호화 하는 방법 및 그 장치
KR20190095901A (ko) * 2018-02-07 2019-08-16 울산과학기술원 기계학습 알고리즘을 이용한 이미지 변환 방법 및 장치
KR20190109820A (ko) * 2018-03-19 2019-09-27 삼성전자주식회사 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체
WO2019182269A1 (ko) * 2018-03-19 2019-09-26 삼성전자주식회사 전자 장치, 전자 장치의 이미지 처리 방법 및 컴퓨터 판독 가능 매체
US12175361B2 (en) 2018-03-19 2024-12-24 Samsung Electronics Co., Ltd. Electronic device, image processing method of electronic device, and computer-readable medium
KR20210095936A (ko) * 2019-04-01 2021-08-03 텐센트 테크놀로지(센젠) 컴퍼니 리미티드 이미지 처리 모델을 트레이닝하는 방법, 이미지 처리 방법, 네트워크 디바이스 및 저장 매체
US11741581B2 (en) 2019-04-01 2023-08-29 Tencent Technology (Shenzhen) Company Limited Training method for image processing model, image processing method, network device, and storage medium
KR20200127766A (ko) * 2019-05-03 2020-11-11 삼성전자주식회사 영상 처리 장치 및 그 영상 처리 방법
KR102211556B1 (ko) * 2019-10-22 2021-02-03 전남대학교산학협력단 네트워크 서비스를 위한 이미지 품질 평가 시스템 및 그 방법

Also Published As

Publication number Publication date
US9734567B2 (en) 2017-08-15
US20160379352A1 (en) 2016-12-29
KR102707468B1 (ko) 2024-09-20

Similar Documents

Publication Publication Date Title
KR102707468B1 (ko) 신경망, 신경망 학습 방법 및 이미지 신호 처리 튜닝 시스템
US10460231B2 (en) Method and apparatus of neural network based image signal processor
US10438112B2 (en) Method and apparatus of learning neural network via hierarchical ensemble learning
US20230385640A1 (en) Misuse index for explainable artificial intelligence in computing environments
WO2021093468A1 (zh) 视频分类方法、模型训练方法、装置、设备及存储介质
JP6678246B2 (ja) 大域的最適化に基づく意味的セグメント化
US10289938B1 (en) Systems and methods regarding image distification and prediction models
CN111601684A (zh) 在机器人之间共享学习的信息
CN110827236B (zh) 基于神经网络的脑组织分层方法、装置、计算机设备
US10504003B1 (en) Systems and methods for 3D image distification
CN113191479A (zh) 联合学习的方法、系统、节点及存储介质
DE102023113741A1 (de) Schätzen der optimalen trainingsdatensatzgrösse für systeme und anwendungen von modellen maschinellen lernens
CN115705679B (zh) 目标检测方法、装置、电子设备和计算机可读存储介质
CN120876481A (zh) 一种用于进行鱼类出血病检测的信息处理方法、装置、设备及介质
CN115457433A (zh) 注意力检测方法、装置及存储介质
CN102129575B (zh) 一种基于颜色空间肤色模型的色情图像分析系统
John et al. Advancing transport safety with faster pre-convoluted neural networks and lightweight multi-scale fusion for driver distraction detection
KR101867586B1 (ko) 영상 처리 장치 및 방법
CN114299598B (zh) 确定注视位置的方法及相关装置
KR20210048270A (ko) 복수 객체에 대한 오디오 포커싱 방법 및 장치
CN117852644A (zh) 一种基于bert和yolo的多模态视觉推理方法
Subramani et al. Development of Multi Modal Image Fusion Techniques in Night Vision Technology Using Deep Learning
US20260038093A1 (en) Automatic Identification of Distracting Vivid Regions in An Image
US20260120242A1 (en) Dynamic atrous kernel predicting network
US20260120436A1 (en) Learned dilation in a convolutional neural network

Legal Events

Date Code Title Description
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20160607

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210601

Comment text: Request for Examination of Application

Patent event code: PA02011R01I

Patent event date: 20160607

Comment text: Patent Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20231220

Patent event code: PE09021S01D

PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20240626

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20240911

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20240912

End annual number: 3

Start annual number: 1

PG1601 Publication of registration