KR20140035521A - 로컬 지역 콘트라스트 개선 - Google Patents

로컬 지역 콘트라스트 개선 Download PDF

Info

Publication number
KR20140035521A
KR20140035521A KR1020147003575A KR20147003575A KR20140035521A KR 20140035521 A KR20140035521 A KR 20140035521A KR 1020147003575 A KR1020147003575 A KR 1020147003575A KR 20147003575 A KR20147003575 A KR 20147003575A KR 20140035521 A KR20140035521 A KR 20140035521A
Authority
KR
South Korea
Prior art keywords
image
pass
low
pixel
pixels
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020147003575A
Other languages
English (en)
Other versions
KR101577918B1 (ko
Inventor
드미트리 제르데브
Original Assignee
레이던 컴퍼니
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 레이던 컴퍼니 filed Critical 레이던 컴퍼니
Publication of KR20140035521A publication Critical patent/KR20140035521A/ko
Application granted granted Critical
Publication of KR101577918B1 publication Critical patent/KR101577918B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/90—Dynamic range modification of images or parts thereof
    • G06T5/92—Dynamic range modification of images or parts thereof based on global image properties
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20024—Filtering details
    • G06T2207/20028—Bilateral filtering

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Image Processing (AREA)
  • Studio Devices (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

이미지 데이터를 수신하는 단계, 이미지 데이터로부터 저역-통과 이미지 및 고역-통과 이미지를 생성하는 단계, 고역-통과 이미지가 아닌, 저역-통과 이미지에 동적 범위 압축을 적용하는 단계, 및 출력 이미지를 생성하기 위해 동적 범위 압축 후의 저역-통과 이미지에 고역-통과 이미지를 추가하는 단계를 포함한다.

Description

로컬 지역 콘트라스트 개선{LOCAL AREA CONTRAST ENHANCEMENT}
본 발명은 이미지를 프로세싱하는 것과 일반적으로 관련되고, 특히, 콘트라스트 개선을 향상시키는 기술들에 관련된다.
적외선(IR) 이미징(imaging)은 오늘날의 여러 가지의 응용들에서 사용된다. 예를 들어, 법률 집행 그룹들 및 군대들은 종종 어두운 상태들에서 사람들 또는 다른 타겟들을 찾기 위해 IR 이미징을 사용한다. IR 이미징은 제조 공정에서 열 발생 및 전송에 대한 정보를 제공하기 위해 산업 분야에서 또한 사용된다.
전형적인 IR 이미지 장치는 매우 높은 동적 범위를 갖는 입력을 수신할 수 있다. IR 이미징의 콘텍스트(context)에서, 동적 범위는 씬(scene) 내의 다중의 객체들 간의 온도 차이의 함수(function)일 수 있다. 모든 객체들이 매우 근접한 온도인 경우, 동적 범위는 상대적으로 낮을 수 있다. 반면에, 온도 차이가 큰 경우(예를 들어, 얼음 물 및 뜨거운 납땜용 인두가 동일한 씬 내에 있는 경우), 동적 범위는 상대적으로 높을 수 있다.
많은 종래의 디스플레이들은 씬 내의 온도 차이를 나타내는데 이용될 수 있는 상이한 색깔들 또는 음영들의 유한한 개수 만을 가질 수 있다. 따라서, 동적 범위가 선형적으로 취급(treat)된다면, 종래의 디스플레이는 높은 동적 범위를 갖는 씬을 디스플레이 하지 못할 수 있다.
현재 가용한 많은 범위 압축 알고리즘들이 있다. 예를 들어, Naka-Rushton 식을 이용한 압축은 높은 동적 범위 이미지 모니터들 내에 일반적으로 사용되고 있다. 동적 범위 압축은 씬에도 적용될 수 있다. 그러나, 이러한 동적 범위 압축은 인간 사용자에게 눈에 띄는 씬 내의 디테일(detail)의 손실을 유발할 수 있다(그리고 자주 그러함). 어떤 경우들에서는, 디테일의 손실이 용인될 수 있다. 그러나, 다른 경우들에서는, 디테일을 보존하는 것이 바람직할 수 있다.
일 실시예에 따르면, 방법은 이미지 데이터를 수신하는 단계, 상기 이미지 데이터로부터 저역-통과(low-pass) 이미지 및 고역-통과(high-pass) 이미지를 생성하는 단계, 상기 고역-통과 이미지가 아닌, 저역-통과 이미지에 동적 범위 압축(dynamic range compression)을 적용하는 단계 및 출력 이미지를 생성하기 위해 동적 범위 압축 후의 상기 저역-통과 이미지에 상기 고역-통과 이미지를 추가하는 단계를 포함한다.
상기 방법은 하기의 특징들 중 하나 이상을 더 포함할 수 있다. 상기 방법은 상기 출력 이미지를 디스플레이 장치에 디스플레이하는 단계, 상기 추가하는 단계 전에 고역-통과 이미지의 콘트라스트 이득(contrast gain)을 조절하는 단계를 더 포함할 수 있다.
상기 저역-통과 이미지를 생성하는 단계는 상기 이미지 데이터에 저역-통과 필터를 적용하는 단계를 포함한다. 상기 저역-통과 필터는 N x N 가중 평균(NxN weighted averaging) 필터 및 바이래터럴(bilateral) 필터 중 적어도 하나를 포함한다. 상기 N은 1 보다 큰 정수이다. 상기 저역-통과 필터는 주위의(surrounding) 픽셀들의 부분 집합(subset)의 평균을 중심의 픽셀로 계산한다. 상기 주위의 픽셀들은 상기 주위의 픽셀들 및 상기 중심의 픽셀 간의 각각의 차이에 따라 가중된다. 상기 저역-통과 필터는 주위의 픽셀들의 부분 집합의 평균을 중심의 픽셀로 계산하고, 상기 주위의 픽셀들은 가상 픽셀들로 그룹 지어(group into)진다. 상기 가상 픽셀들은 상기 가상 픽셀들 및 상기 중심의 픽셀 간의 값의 차이에 따라 가중된다.
상기 고역-통과 이미지를 생성하는 단계는 상기 이미지 데이터로부터 상기 저역-통과 이미지를 차감하는 단계를 포함한다.
상기 동적 범위 압축은 하기 [수학식 1]의 관계를 이용하는 알고리즘을 포함하고,
[수학식 1]
Pout=Pin*(1+X0)/(Pin+X0)
Pin 은 입력 픽셀이고, Pout 는 출력 픽셀이고, X0 는 곡률 파라미터이다. 상기 동적 범위 압축은 상기 저역-통과 이미지에 대해 픽셀 별로 수행된다.
다른 일 실시예에 따르면, 이미지 프로세싱 시스템은 빛을 수신하고, 씬(scene)을 나타내는 이미지 데이터를 생성하는 변환부(transducer unit), 상기 이미지 데이터로부터 저역-통과 이미지 및 고역-통과 이미지를 생성하는 주파수 필터부, 상기 저역-통과 이미지에 동적 범위 압축을 수행하는 동적 범위 압축부, 결합된 이미지를 생성하기 위해 상기 고역-통과 이미지를 동적 범위 압축 후의 상기 저역-통과 이미지와 결합하는 결합부 및 상기 씬의 뷰를 렌더링(render)하도록 적합화된 사용자 인터페이스부를 포함한다.
상기 시스템은 하기의 특징들 중 하나 이상을 더 포함할 수 있다. 상기 주파수 필터부는 저역-통과 이미지를 생성하는 저역-통과 필터 및 상기 고역-통과 이미지를 생성하기 위해 상기 이미지 데이터로부터 상기 저역-통과 이미지를 차감하는 차감부(subtraction unit)를 포함한다. 상기 저역-통과 필터는 주위의 픽셀들의 부분 집합의 평균을 중심의 픽셀로 계산한다. 상기 주위의 픽셀들은 상기 주위의 픽셀들 및 상기 중심의 픽셀 간의 값의 각각의 차이에 따라 가중된다. 상기 저역-통과 필터는 주위의 픽셀들의 부분 집합의 평균을 중심의 픽셀로 계산한다. 상기 주위의 픽셀들은 가상 픽셀들로 그룹 지어 진다. 상기 가상 픽셀들은 상기 가상 픽셀들 및 상기 중심의 픽셀 간의 값 차이에 따라 가중된다.
또 다른 일 실시예에 따르면, 로컬 콘트라스트 개선(local contrast enhancement)을 제공하기 위한 컴퓨터 프로그램 로직이 기록된 컴퓨터 판독 가능한 유형적 매체를 가지는 컴퓨터 프로그램 물품(product)은 제1 주파수 성분 이미지 및 제2 주파수 성분 이미지를 생성하기 위해 수신된 이미지 데이터에 주파수 필터를 적용하는 코드, 상기 제2 주파수 성분 이미지가 아닌, 상기 제1 주파수 성분 이미지에 동적 범위 압축(dynamic range compression)을 수행하는 코드 및 이득-조절된 제2 주파수 성분 이미지 및 동적-범위-압축된 제1 주파수 성분 이미지를 포함하는 결합된 이미지를 생성하는 코드를 포함한다.
상기 컴퓨터 프로그램 물품은 하기의 특징들 중 하나 이상을 더 포함할 수 있다. 상기 제1 주파수 성분 이미지는 저역-통과 이미지이다. 상기 제2 주파수 성분 이미지는 고역-통과 이미지이다. 상기 제1 주파수 성분 이미지 및 상기 제2 주파수 성분 이미지를 결합하기 전에 상기 제2 주파수 성분 이미지에 이득 스테이지(stage)를 적용한다. 사용자 인터페이스부에 상기 결합된 이미지를 디스플레이한다.
상기 주파수 필터를 적용하는 코드는 주위의 픽셀들의 부분 집합의 평균을 중심의 픽셀로 계산하는 코드를 포함한다. 상기 주위의 픽셀들은 상기 주위의 픽셀들 및 상기 중심의 픽셀 간의 값의 각각의 차이에 따라 가중된다. 상기 주파수 필터를 적용하는 코드는 주위의 픽셀들의 부분 집합의 평균을 중심의 픽셀로 계산하는 코드를 포함한다. 상기 주위의 픽셀들은 가상 픽셀들로 그룹 지어 지고, 상기 가상 픽셀들은 상기 가상 픽셀들 및 상기 중심의 픽셀 간의 값 차이에 따라 가중된다.
본 발명의 더 나은 이해는 첨부된 도면들과 함께 하기의 상세한 설명으로부터 실현될 것 이다.
도 1은 일 실시예에 따른, 이미지를 프로세싱하기 위한 예시적인 프로세스를 도시한다.
도 2는 일 실시예에 따른, 예시적인 저역-통과 필터링 동작을 도시한다.
도 3은 일 실시예에 따른, 예의 저역-통과 필터 내의 픽셀 값 및 가중치 간의 예시적인 관계를 도시한다.
도 4는 일 실시예에 따른, 예시적인 동적 범위 압축 알고리즘의 그래프를 도시한다.
도 5는 일 실시예에 따른, 이미지를 프로세싱하기 위한 예시적인 시스템을 도시한다.
다양한 실시예들은 가시적인 디테일(detail)들을 개선하기 위한 이미지 프로세싱 시스템 내의 기술들을 제공한다. 실시예들의 범위는 이미지 프로세싱 시스템의 어떠한 종류도 포함하지만(예를 들어, 가시 광선 이미지 프로세싱 시스템, 자외선(UV) 이미지 프로세싱 시스템, 레이더 이미지 프로세싱 시스템 등), 하나의 구체적인 예는 IR 이미지 프로세싱 시스템을 포함한다.
이 실시예에서, IR 비디오 카메라와 같은 빛 감지 장치는 씬(scene)의 이미지를 수신한다. 빛 감지 장치는 빛을 씬을 나타내는 아날로그 신호 또는 디지털 신호로 변환한다. 신호들은 원본 이미지 데이터를 포함할 수 있고, 도 1 내에서 원본 입력 이미지로서 참조될 수 있다.
원본 입력 이미지는 저역-통과(low-pass) 필터(LPF)로 입력된다. 저역-통과 필터는 원본 입력 이미지로부터 저역-통과 이미지를 생성한다. 시스템은 고역-통과(high-pass) 이미지를 또한 생성한다. 이어서 저역-통과 이미지는 고역-통과 이미지를 우회하는, 동적 범위 압축(dynamic range compression)을 받게 된다. 따라서, 두 개의 주파수 성분 이미지들의 오직 하나 만이 동적 범위 압축된다.
저역-통과 이미지는 더 큰 동적 범위 내에서 더 거칠게(coarsely) 보이는 더 큰 특징(feature)들을 포함하는 반면에, 이미지 내의 미세한(fine) 디테일들이 고역-통과 이미지 내에 포함되는 것으로 본 실시예는 가정한다. 오직 저역-통과 이미지만이 동적 범위 압축을 받게 됨으로써, 예시적인 실시예는 적절한 범위 압축을 적용하는 동시에 미세한 디테일들을 보존한다.
이어서, 압축된 저역-통과 이미지 및 고역-통과 이미지는 출력 이미지를 생성하기 위해 결합된다. 추가 처리는, 액정 화면(LCD) 및 발광 다이오드(LED) 디스플레이 중 적어도 하나와 같은 사용자 인터페이스 장치에 이미지를 실제로 표시하는 것을 포함할 수 있다.
다양한 실시예들은 상기에서 논의된 장치를 구현하기 위해 프로세서 기반의 시스템을 더 포함한다. 예를 들어, 일부의 실시예들은 이미지 프로세싱 기술을 형성하는 필터링, 압축, 추가 및 다른 기능들을 수행하는 컴퓨터 코드를 실행하는 프로세서를 포함한다. 다른 실시예들은 하드웨어 또는 하드웨어 및 소프트웨어의 결합으로 구현될 수 있다. 추가적인 실시예들은 이미지 프로세싱 방법 및 디스플레이하는 방법들을 포함할 수 있다.
상기의 식별된 예시적인 실시예들은 오직 설명을 목적으로 하며, 실시예들의 범위는 상기에 설명된 세부 사항들에 한정되지 않는다. 하기의 도면들은 예시적인 실시예를 더 상세히 설명하는데 이용된다.
도 1은 일 실시예에 따라 적합화된 예시적인 프로세스(100)를 도시한다. 프로세스(100)는 이미지 프로세싱 시스템 내의 하드웨어 및 소프트웨어 모듈들 중 적어도 하나에 의해 수행될 수 있다. 이러한 모듈들은 여기에서 설명된 기능성을 제공하는 컴퓨터-판독 가능한 코드(예를 들어, 소프트웨어 또는 펌웨어)를 실행할 수 있다.
원본 입력 이미지(101)는 예를 들어, 카메라와 같은 IR 이미지 캡쳐 장치로부터 수신될 수 있다. 원본 입력 이미지(101)는 아날로그 또는 디지털 형식 중 하나이다. 그러나, 많은 실시예들에서 프로세싱을 용이하게 하기 위해 원본 입력 이미지(101)는 디지털화된다. 또한 이 예에서, 원본 입력 이미지(101)는 씬 내에 포함된 매우 상이한 체온들(being temperatures)의 객체(object)들의 결과로써 높은-동적 범위를 갖는다. 예를 들어, 씬은 섭씨 수백도 또는 수천도로 달라지는 객체들을 포함할 수 있다. 객체들의 모음(collection)은 온도 범위에 걸쳐 고르게 분포되기 보다 온도 범위의 높은 끝(high-end) 또는 낮은 끝(low-end)에 편중될 수 있다.
그에 맞춰, 객체들의 각각의 온도들에 따라 씬 내의 객체들을 나타내는 유의미한 출력(meaningful ouput)을 가능하게 하기 위해 원본 입력 이미지(101)에 비선형 동적 범위 압축을 수행하는 것이 요구될 수 있다. 또한, 디테일의 상당한 손실 없이 동적 범위 압축을 제공하는 것이 요구될 수 있다.
블록(110)에서, 원본 이미지 데이터(101)는 저역-통과 이미지(103)를 생성하는 저역-통과 필터로 입력된다. 다양한 실시예들은 적절한 저역-통과 필터의 어떠한 유형도 사용할 수 있다. 일 예에서, 저역-통과 필터는 스무딩(smoothing) 알고리즘으로 원본 이미지를 픽셀 별로 처리할 수 있다.
도 2는 일 실시예에 따라 적합화된 예시적인 저역-통과 필터링 동작을 도시한다. 주어진 픽셀 P0에 대해, 저역-통과 필터는 NxN 커널(kernal)을 생성한다. 이 예에서, NxN 커널은 5x5 커널(210)이다. 저역-통과 필터링 동작은 스무딩 동작을 가능하게 한다. 스무딩 동작은 NxN 커널 내의P0의 이웃(neighbor)들에 따라 평균 알고리즘(averaging algorithm)을 P0에 적용한다.
이 특정한 예에서, 5x5 커널은 4개의 사분면들(201 내지 204)로 나뉜다. 가상 픽셀 P1을 생성하기 위해 사분면(201) 내의 픽셀들의 평균이 계산된다. 유사하게, 가상 픽셀들(P2 내지 P4)을 생성하기 위해 사분면들(202 내지 204) 내의 픽셀들의 평균이 각각 계산된다.
필터링 프로세스는 가상 픽셀들(P1 내지 P4)의 각각에 대한 가중치들을 계산함으로써 계속된다. 이 예에서, 가상 픽셀의 가중치는 특정한 가상 픽셀 및 P0 간의 픽셀 값의 차이에 기반하여 계산된다. 차이가 클수록, 가중치는 작아진다. 이 후에, P0에 대한 새로운 값이 [수학식 1]를 이용하여 계산된다.
Figure pct00001
여기에서, Wi는 특정 가상 픽셀 Pi에 대한 가중치이다. 프로세스는 프레임 내의 다음 픽셀로 이동하고, 상기의 프로세스를 반복한다. 프로세스는 프레임 내의 모든 요구된 픽셀들이 스무드(smooth)될 때까지 계속된다.
도 3은 일 실시예에 따른, 픽셀 값 및 가중치 간의 예시적인 관계를 도시한다. x축은 가상 픽셀 및 P0 간의 차이이다. 그리고, y축은 가상 픽셀의 할당된 가중치다. 도 3 내의 관계는 가상 픽셀 및 P0 간의 차이가 더 클 수록, 가상 픽셀에 할당되는 가중치는 더 작은 가중치인 것을 제공한다. 이러한 관계는 높은 동적 범위의 데이터로부터 이미지들을 생성하는 시스템들 및 프로세스들에 유용할 수 있다. 예를 들어, 씬 내의 아이템이 매우 뜨겁거나 매우 차가울 때, 아이템의 경계의 주변의 픽셀들(pixels around the border)은 주위의(surrounding)의 다른 픽셀들의 평균으로 계산됨에 의해 흐릿함(blurriness) 또는 "후광 효과(halo effect)"를 겪을 수(suffer form) 있다. 그러나, 도 3에 도시되는 관계는 P0로부터 큰 차이의 픽셀들이 가중된 평균을 계산한 후에는 P0에 대한 최종 값에 그다지 기여하지 않는 것을 보장함으로써 이 에지 감도를 감소시킬 수 있다.
실시예들의 범위는 도 2에 대하여 상기에 설명된 정확한 프로세스에 한정되지 않는다. 다른 실시예들은 다른 필터링 기술들을 제공할 수 있다. 예를 들어, 일부의 실시예들은 가상 픽셀들의 생성을 생략할 수 있고, 대신에 P0의 NxN 커널 내의 각 개별 픽셀의 평균을 P0로 계산할 수 있다. 이러한 접근법은 프로세스에 정확도를 추가할 수 있을 뿐만 아니라, 도 2에 도시된 실시예보다 더 많은 메모리 및 프로세싱 전력을 소비할 수 있다. 또한, 커널 내의 개별적인 픽셀들의 평균을 계산하는 실시예는 가중치의 할당에 다른 파라미터들을 사용할 수 있는 유연성이 증가될 수 있다. 예를 들어, 프로세스 내의 일부 픽셀들이 다른 픽셀들에 비해 P0로부터 더 공간적으로 멀리 있을 때, 할당되는 가중치는 공간적인 거리에 비례하여 감소될 수 있다. 일부의 실시예들에서 어떠한 파라미터들의 개수도 가능하지만, 가중(weighting)에 대해 두 개의 파라미터들을 사용하는 예(example)의 필터로는 바이래터럴(bilateral) 필터가 언급될 수 있다.
추가적으로, 다른 실시예들은 5x5 와는 다른 크기들의 커널들이 사용될 수 있다. 실제로, 임의의 적절한 크기의 커널이 다양한 실시예에 의해 사용될 수 있다. 일반적으로, 더 큰 커널들은 더 많은 메모리 및 프로세싱 전력을 소비하는 프로세스를 유발한다. 그러나, 일부의 경우에 더 큰 커널들은 더 나은 결과들을 제공할 수 있다.
도 1로 돌아와, 저역-통과 이미지(103)는 고역-통과 이미지(107)를 생성하기 위해 원본 입력 이미지(101)와 함께 차감(subtracting) 블록(103)으로 입력될 수 있다. 도 1은 고역-통과 이미지(107) 및 저역-통과 이미지(103)를 모두 생성하기 위한 단지 하나의 방법을 도시한다. 대안적인 실시예에서, 프로세스(100)는 고역-통과 이미지(107)를 생성하기 위해 고역-통과 필터링 블록을 저역-통과 필터링 블록(110)과 병렬적으로 포함할 수 있다. 실시예들의 범위는 고역-통과 이미지(107) 및 저역-통과 이미지(103)를 생성하기 위한 임의의 특정한 기술로 한정되지 않는다.
블록(120)에서, 저역-통과 이미지(103)는 동적 범위 압축을 받게 된다. 동적 범위 압축을 제공하기 위해 여러 가지의 기술들 중 임의의 기술이 사용될 수 있다. 구체적인 일 예에서, 하기의 [수학식 2]에 나타난 Naka-Rushton 관계에 기반하는 알고리즘이 저역-통과 이미지(103)에 픽셀 별로 적용될 수 있다.
Figure pct00002
Pin 은 입력 픽셀이고, Pout 는 출력 픽셀이고, X0 는 곡률 파라미터이다.
[수학식 2]에서, X0의 더 작은 값은 더 많은 압축의 양을 제공한다. [수학식 1]은 X0의 상이한 값들이 어떻게 주어진 이미지에 적용되는 압축에 영향을 미치는지를 보이기 위해 도 4에서 그래프로 도시된다. 그러나, 다른 실시예들이 수정된 Naka-Rushton 관계를 포함할 수도 있고, 동적 범위 압축의 다른 유형을 사용할 수도 있으므로, 실시예들의 범위는 동적 범위 압축을 위한 임의의 특정 기술로 한정되지 않는다는 것을 주의해야 한다.
도 1로 돌아와, 블록(120)은 압축된, 저역-통과 이미지(105)를 출력하고, 고역-통과 이미지(107)는 이득 블록(140)으로 입력된다. 블록(140)에서 이득 인자의 증가는 고역-통과 이미지(107)의 디테일의 높은 수준을 제공할 수 있으며, 이는 차례로, 출력 이미지(109)의 디테일의 더 높은 수준을 제공할 수 있다. 다양한 실시 예들은 출력 이미지(109)를 조절하는 방법들을 제공할 수 있다. 예를 들어, 일부의 실시예들은 사용자가 수동으로 X0또는 콘트라스트(contrast) 이득 인자를 조절하는 것을 허용할 수 있고, 또는 이러한 파라미터들의 하나 또는 둘 모두가 자동적으로 조절될 수 있다. 실제로, 일부 실시예들은 파라미터들의 실시간 수동 조절 또는 자동 조절을 제공할 수 있다.
이미지들(105 및 107)은 블록(150)에서 결합된다. 이 특정한 경우에, 이미지들(105 및 107)은 결합된 출력 이미지(109)를 생성하기 위해 더해진다. 상기에 설명된 프로세싱에 의해서, 출력 이미지(109)는, 종전의 시스템들에 의해 손실되었을 수 있던 더 미세한(finer) 디테일들을 포함할 때, 동적 범위 압축의 적절한 양을 포함할 수 있다.
프로세스(100)는 예시적이고, 실시예들의 범위는 도 1에 도시된 정확한 구성에 한정되지 않는다. 다양한 실시예들은 하나 이상의 동작(action)들을 추가, 생략, 재 배열 또는 수정할 수 있다. 예를 들어, 일부 실시예들은 디스플레이하는 프로세스를 더 포함할 수 있다. 출력 이미지(109)는 인간 사용자가 인지할 수 있는 형태로 이미지(109)를 렌더링하는, LCD와 같은 변환 장치(transducer device)로 입력된다.
도 5는 프로세스(100)를 수행하기 위한 예시적인 시스템(500)을 도시한다. 일부 실시예들이 컴퓨터 실행 가능한 코드(예를 들어, 소프트웨어, 펌웨어)로 구현되는 것으로 이해될 수 있다. 코드는 프로세서 장치에 의해 실행된다. 일 실시예가 적절한 카메라 입력 및 디스플레이를 가지는 특수 목적 또는 범용 목적 컴퓨터에 의해 수행될 수 있는 반면에, 다른 실시예는 독립형(stand-alone) 이미징(imaging) 장치(예를 들어, 소총 스코프, 고글, 쌍안경 등)를 포함한다.
컴퓨터 실행 가능한 인스트럭션(instruction)들을 통해 구현될 때, 일부의 실시예들의 다양한 요소들은 본질적으로 이러한 다양한 요소들의 동작들을 정의하는 코드이다. 실행 가능한 인스트럭션들, 소프트웨어 코드 및 펌웨어 코드 중 적어도 하나는 판독 가능한 유형적 매체(예를 들어, 하드 드라이브 미디어, RAM, EPROM, EEPROM, 테이프 미디어, 카트리지 미디어, 플래시 메모리, ROM, 메모리 스틱, 네트워크 저장 장치 등)로부터 얻어질 수 있다. 실제로, 판독 가능한 미디어는 정보를 저장할 수 있는 어떠한 매체라도 포함할 수 있다.
예를 들어, 프로세싱 유닛은 본 발명의 실시예들에 따라 다양한 논리적인 인스트럭션들을 실행할 수 있는 범용 목적 CPU를 포함할 수 있다. 예를 들어, 하나 이상의 CPU들은 도 1과 함께 상기에서 설명된 예시적인 운영상의 흐름(operational flow)들에 따라 기계-레벨(machine-level) 인스트럭션들을 수행할 수 있다. 또한, 본 발명의 실시예들은 응용 주문형 직접 회로(ASICs), 디지털 신호 프로세서들(DSPs) 또는 다른 전문 프로세싱 회로들에 의해 구현될 수 있다. 실제로, 본 기술의 통상의 기술자들은 본 발명의 실시예들에 따라 논리적 동작을 실행할 수 있는 적합한 구조들을 얼마든지 이용할 수 있다.
도 5는 카메라 입력으로부터 데이터를 수신하는 범위 스케일러(502)를 포함할 수 있다. 범위 스케일러(502)는 기 설정된 범위 내로 데이터를 정규화한다. 기 설정된 범위는 가장 낮은 픽셀 값이 0으로 설정되고, 가장 높은 픽셀 값이 기 설정된 최대로 설정되고, 사이의 픽셀 값들은 상기 범위 내에서 정규화된다.
다음으로, 픽셀 값들은 라인 버퍼들(503)에 로드된다. 라인 버퍼들(503)은 비디오 데이터를 위한 메모리 장치들이다. 지금 알려져 있거나 개발될 라인 버퍼의 어떤 유형도 일부의 실시예들로 사용될 수 있지만, 라인 버퍼(503)는 선입 선출(FIFO) 버퍼들로써 이 예에서 구현된다.
라인 버퍼들(503)은 필터(504)로 픽셀들을 출력한다. 필터(504)는 커널 모듈(505) 및 저역-통과 필터(506)를 포함한다. 커널 모듈(505)은 커널들에 픽셀들을 배치한다. 그리고, 저역-통과 필터(506)는 커널 내의 다른 픽셀들에 기반하여 주어진 픽셀에 스무딩 동작(예를 들어, 가중 평균 함수)을 수행한다. 각 픽셀이 픽셀의 자체 커널과 연관되고, 각 픽셀이 필터링되도록 커널 모듈(505) 및 저역-통과 필터(506)는 픽셀 별로 동작한다. 충분한 메모리 및 프로세싱 자원들이 제공되는 경우 일부의 실시예들은 병렬로 다중의 픽셀들을 필터링 할 수 있다.
저역-통과 이미지는 범위 압축 모듈(507)로 전송된다. 그리고 고역-통과 이미지는 이득 스테이지 모듈(508)로 전송된다. 그 후에, 두 개의 이미지들은 병합 모듈(509)에서 예를 들어, 더해짐으로써 결합된다. 그 후에, 결합된 이미지는 인간 사용자에게 디스플레이되는 사용자 인터페이스(UI) 모듈로 전송된다.
다양한 실시예들은 하나 이상의 장점들을 포함할 수 있다. 예를 들어, 일부의 구현 예들은 더 미세한 디테일들을 포함하는 주파수 성분에 대한 동적 범위 압축을 수행하지 않는다. 따라서, 높은 동적 범위를 포함하는 주파수 성분이 적절하게 압축되는 동안, 더 미세한 디테일들은 보존된다. 따라서, 출력 이미지는, 여전히 씬 내에 더 미세한 디테일들의 적어도 일부를 포함하는 동안, 유한한 색깔들의 개수 또는 밝기 레벨들(동적 범위 압축에 의해서)로 장치에 디스플레이될 수 있다.
선택된 실시 예들이 도시되고 상세히 설명되었지만, 대용(substitution)들 및 개조(alteration)들의 다양함은 하기의 청구항들에 의해 정의된, 본 발명의 사상 및 범위를 벗어나지 않고 가능하다는 것이 이해되어야 한다.

Claims (20)

  1. 이미지 데이터를 수신하는 단계;
    상기 이미지 데이터로부터 저역-통과(low-pass) 이미지 및 고역-통과(high-pass) 이미지를 생성하는 단계;
    상기 고역-통과 이미지가 아닌, 상기 저역-통과 이미지에 동적 범위 압축(dynamic range compression)을 적용하는 단계; 및
    출력 이미지를 생성하기 위해 동적 범위 압축 후의 상기 저역-통과 이미지에 상기 고역-통과 이미지를 추가(add)하는 단계
    를 포함하는, 방법.
  2. 제1항에 있어서,
    상기 출력 이미지를 디스플레이 장치에 디스플레이하는 단계
    를 더 포함하는, 방법.
  3. 제1항에 있어서,
    상기 추가하는 단계 전에 상기 고역-통과 이미지의 콘트라스트 이득(contrast gain)을 조절하는 단계
    를 더 포함하는, 방법.
  4. 제1항에 있어서,
    상기 저역-통과 이미지를 생성하는 단계는,
    상기 이미지 데이터에 저역-통과 필터를 적용하는 단계
    를 포함하는, 방법.
  5. 제4항에 있어서,
    상기 저역-통과 필터는 N x N 가중 평균(NxN weighted averaging) 필터 및 바이래터럴(bilateral) 필터 중 적어도 하나를 포함하고,
    상기 N은 1 보다 큰 정수인, 방법.
  6. 제4항에 있어서,
    상기 저역-통과 필터는 주위의(surrounding) 픽셀들의 부분 집합(subset)의 평균을 중심의 픽셀로 계산하고,
    상기 주위의 픽셀들은 상기 주위의 픽셀들 및 상기 중심의 픽셀 간의 값의 각각의 차이에 따라 가중되는, 방법.
  7. 제4항에 있어서,
    상기 저역-통과 필터는 주위의 픽셀들의 부분 집합의 평균을 중심의 픽셀로 계산하고,
    상기 주위의 픽셀들은 가상 픽셀들로 그룹 지어(group into)지고,
    상기 가상 픽셀들은 상기 가상 픽셀들 및 상기 중심의 픽셀 간의 값의 차이에 따라 가중되는, 방법.
  8. 제4항에 있어서,
    상기 고역-통과 이미지를 생성하는 단계는,
    상기 이미지 데이터로부터 상기 저역-통과 이미지를 차감(subtract)하는 단계
    를 포함하는, 방법.
  9. 제1항에 있어서,
    상기 동적 범위 압축은 하기 [수학식 1]의 관계를 이용하는 알고리즘을 포함하고,
    [수학식 1]
    Pout=Pin *(1+ X0) / (Pin +X0)
    Pin 은 입력 픽셀이고, Pout는 출력 픽셀이고, X0는 곡률 파라미터인, 방법.
  10. 제9항에 있어서,
    상기 동적 범위 압축은 상기 저역-통과 이미지에 대해 픽셀 별로 수행되는, 방법.
  11. 빛을 수신하고, 씬(scene)을 나타내는 이미지 데이터를 생성하는 변환부(transducer unit);
    상기 이미지 데이터로부터 저역-통과(low-pass) 이미지 및 고역-통과(high-pass) 이미지를 생성하는 주파수 필터부;
    상기 저역-통과 이미지에 동적 범위 압축을 수행하는 동적 범위 압축부;
    결합된 이미지를 생성하기 위해 상기 고역-통과 이미지를 동적 범위 압축 후의 상기 저역-통과 이미지와 결합하는 결합부; 및
    상기 씬의 뷰를 렌더링(render)하도록 적합화된 사용자 인터페이스부
    를 포함하는, 이미지 프로세싱 시스템.
  12. 제11항에 있어서,
    상기 주파수 필터부는,
    상기 저역-통과 이미지를 생성하는 저역-통과 필터; 및
    상기 고역-통과 이미지를 생성하기 위해 상기 이미지 데이터로부터 상기 저역-통과 이미지를 차감하는 차감부(subtraction unit)
    를 포함하는, 이미지 프로세싱 시스템.
  13. 제11항에 있어서,
    상기 저역-통과 필터는 주위의(surrounding) 픽셀들의 부분 집합(subset)의 평균을 중심의 픽셀로 계산하고,
    상기 주위의 픽셀들은 상기 주위의 픽셀들 및 상기 중심의 픽셀 간의 값의 각각의 차이에 따라 가중되는, 이미지 프로세싱 시스템.
  14. 제11항에 있어서,
    상기 저역-통과 필터는 주위의 픽셀들의 부분 집합(subset)의 평균을 중심의 픽셀로 계산하고,
    상기 주위의 픽셀들은 가상 픽셀들로 그룹 지어(group into)지고,
    상기 가상 픽셀들은 상기 가상 픽셀들 및 상기 중심의 픽셀 간의 값 차이에 따라 가중되는, 이미지 프로세싱 시스템.
  15. 로컬 콘트라스트 개선(local contrast enhancement)을 제공하기 위한 컴퓨터 프로그램 로직이 기록된 컴퓨터 판독 가능한 유형적 매체를 가지는 컴퓨터 프로그램 물품(product)에 있어서,
    제1 주파수 성분 이미지 및 제2 주파수 성분 이미지를 생성하기 위해 수신된 이미지 데이터에 주파수 필터를 적용하는 코드;
    상기 제2 주파수 성분 이미지가 아닌, 상기 제1 주파수 성분 이미지에 동적 범위 압축(dynamic range compression)을 수행하는 코드; 및
    이득-조절된 제2 주파수 성분 이미지 및 동적 범위 압축된 제1 주파수 성분 이미지를 포함하는 결합된 이미지를 생성하는 코드
    를 포함하는, 컴퓨터 프로그램 물품.
  16. 제15항에 있어서,
    상기 제1 주파수 성분 이미지는 저역-통과(low-pass) 이미지이고,
    상기 제2 주파수 성분 이미지는 고역-통과(high-pass) 이미지인, 컴퓨터 프로그램 물품.
  17. 제15항에 있어서,
    상기 제1 주파수 성분 이미지 및 상기 제2 주파수 성분 이미지를 결합하기 전에 상기 제2 주파수 성분 이미지에 이득 스테이지(stage)를 적용하는 코드
    를 더 포함하는, 컴퓨터 프로그램 물품.
  18. 제15항에 있어서,
    사용자 인터페이스부에 상기 결합된 이미지를 디스플레이하는 코드
    를 더 포함하는, 컴퓨터 프로그램 물품.
  19. 제15항에 있어서,
    상기 주파수 필터를 적용하는 코드는,
    주위의(surrounding) 픽셀들의 부분 집합(subset)의 평균을 중심의 픽셀로 계산하는 코드
    를 포함하고,
    상기 주위의 픽셀들은 상기 주위의 픽셀들 및 상기 중심의 픽셀 간의 값의 각각의 차이에 따라 가중되는, 컴퓨터 프로그램 물품.
  20. 제15항에 있어서,
    상기 주파수 필터를 적용하는 코드는,
    주위의 픽셀들의 부분 집합의 평균을 중심의 픽셀로 계산하는 코드
    를 포함하고,
    상기 주위의 픽셀들은 가상 픽셀들로 그룹 지어(group into)지고,
    상기 가상 픽셀들은 상기 가상 픽셀들 및 상기 중심의 픽셀 간의 값 차이에 따라 가중되는, 컴퓨터 프로그램 물품.
KR1020147003575A 2011-08-02 2012-06-18 로컬 지역 콘트라스트 개선 Expired - Fee Related KR101577918B1 (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/196,681 2011-08-02
US13/196,681 US8457418B2 (en) 2011-08-02 2011-08-02 Local area contrast enhancement
PCT/US2012/042928 WO2013019327A1 (en) 2011-08-02 2012-06-18 Local area contrast enhancement

Publications (2)

Publication Number Publication Date
KR20140035521A true KR20140035521A (ko) 2014-03-21
KR101577918B1 KR101577918B1 (ko) 2015-12-15

Family

ID=46466853

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020147003575A Expired - Fee Related KR101577918B1 (ko) 2011-08-02 2012-06-18 로컬 지역 콘트라스트 개선

Country Status (6)

Country Link
US (1) US8457418B2 (ko)
EP (1) EP2740101B1 (ko)
JP (2) JP6239505B2 (ko)
KR (1) KR101577918B1 (ko)
IL (1) IL230452A (ko)
WO (1) WO2013019327A1 (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2013137418A (ja) * 2011-12-28 2013-07-11 Panasonic Liquid Crystal Display Co Ltd 液晶表示装置
SE536510C2 (sv) * 2012-02-21 2014-01-14 Flir Systems Ab Bildbehandlingsmetod för detaljförstärkning och brusreduktion
US9955084B1 (en) 2013-05-23 2018-04-24 Oliver Markus Haynold HDR video camera
CN104240183B (zh) * 2013-06-08 2017-03-29 富士通株式会社 图像处理过程中的滤波方法和装置
KR102265887B1 (ko) * 2013-10-15 2021-06-17 삼성전자주식회사 에지-보존 장치, 이의 작동 방법, 및 디지털 신호 프로세서
US10277771B1 (en) 2014-08-21 2019-04-30 Oliver Markus Haynold Floating-point camera
CN104240208A (zh) * 2014-09-30 2014-12-24 成都市晶林科技有限公司 非制冷红外焦平面探测器图像细节增强方法
US10225485B1 (en) 2014-10-12 2019-03-05 Oliver Markus Haynold Method and apparatus for accelerated tonemapping
US9875524B2 (en) 2015-01-16 2018-01-23 Canon Kabushiki Kaisha Image processing apparatus, image processing method, and computer-readable storage medium
US11908109B1 (en) * 2019-11-04 2024-02-20 madVR Holdings LLC Enhanced video processor
KR102781953B1 (ko) 2020-03-30 2025-03-18 삼성전자주식회사 이미지 신호 처리부의 동작 방법 및 이미지 신호 처리부를 포함하는 이미지 시스템
US11528435B2 (en) 2020-12-25 2022-12-13 Industrial Technology Research Institute Image dehazing method and image dehazing apparatus using the same
CN113496531B (zh) * 2021-03-31 2024-02-09 北京航天飞腾装备技术有限责任公司 一种红外图像动态范围压缩方法和系统

Family Cites Families (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5012333A (en) * 1989-01-05 1991-04-30 Eastman Kodak Company Interactive dynamic range adjustment system for printing digital images
JP3188491B2 (ja) * 1990-10-24 2001-07-16 コーニンクレッカ フィリップス エレクトロニクス エヌ ヴィ Ｘ線記録のダイナミック圧縮方法及びその装置
KR0176601B1 (ko) 1996-05-21 1999-05-01 김광호 저역 필터링과 히스토그램 등화를 이용한 화질개선 방법 및 그 회로
US5978518A (en) 1997-02-25 1999-11-02 Eastman Kodak Company Image enhancement in digital image processing
US6137533A (en) * 1997-05-14 2000-10-24 Cirrus Logic, Inc. System and method for enhancing dynamic range in images
US6285798B1 (en) * 1998-07-06 2001-09-04 Eastman Kodak Company Automatic tone adjustment by contrast gain-control on edges
EP1020816B1 (en) * 1999-01-14 2005-08-31 Fuji Photo Film Co., Ltd. Method of and system for image processing and recording medium for carrying out the method
JP3581270B2 (ja) * 1999-03-26 2004-10-27 ノーリツ鋼機株式会社 画像処理装置、画像処理方法および画像処理プログラムを記録した記録媒体
US7315656B2 (en) * 2003-05-22 2008-01-01 The Boeing Company Methods and apparatus for enhanced viewing of aerial refueling operations
US7558436B2 (en) * 2006-07-20 2009-07-07 Max-Viz, Inc. Image dynamic range control for visual display
JP4874184B2 (ja) * 2006-07-20 2012-02-15 パナソニック株式会社 画像処理装置及び画像処理方法
US7916967B2 (en) * 2006-07-20 2011-03-29 Panasonic Corporation Image processing apparatus and image processing method
JP4111980B2 (ja) * 2006-09-14 2008-07-02 三菱電機株式会社 画像処理装置及び画像処理方法
JP4290193B2 (ja) * 2006-12-26 2009-07-01 三洋電機株式会社 画像処理装置
WO2009107197A1 (ja) * 2008-02-26 2009-09-03 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
EP2216988B1 (en) * 2007-12-04 2013-02-13 Sony Corporation Image processing device and method, program, and recording medium
JP4944061B2 (ja) * 2008-05-09 2012-05-30 富士フイルム株式会社 画像処理装置および方法並びにプログラム
KR101625362B1 (ko) * 2009-03-06 2016-05-30 코닌클리케 필립스 엔.브이. 입력 이미지 데이터를 출력 이미지 데이터로 변환하기 위한 방법, 입력 이미지 데이터를 출력 이미지 데이터로 변환하기 위한 이미지 변환 유닛, 이미지 프로세싱 장치, 디스플레이 디바이스
JP2011090445A (ja) 2009-10-21 2011-05-06 Canon Inc 画像処理方法

Also Published As

Publication number Publication date
JP2014522051A (ja) 2014-08-28
IL230452A0 (en) 2014-03-31
JP6239505B2 (ja) 2017-11-29
WO2013019327A1 (en) 2013-02-07
JP2016189588A (ja) 2016-11-04
JP6302501B2 (ja) 2018-03-28
US8457418B2 (en) 2013-06-04
KR101577918B1 (ko) 2015-12-15
IL230452A (en) 2016-06-30
EP2740101A1 (en) 2014-06-11
EP2740101B1 (en) 2017-03-22
US20130034307A1 (en) 2013-02-07

Similar Documents

Publication Publication Date Title
KR101577918B1 (ko) 로컬 지역 콘트라스트 개선
CN106504278B (zh) 高动态范围色调映射
CN104272346B (zh) 用于细节增强和降噪的图像处理方法
US10672112B2 (en) Method and system for real-time noise removal and image enhancement of high-dynamic range images
CN115131195A (zh) 实时超分辨率图像处理的方法和系统
WO2011099244A1 (ja) 画像処理装置および画像処理方法
HK1225542B (zh) 用於逆色调映射的方法和系统
CN104335565A (zh) 采用具有自适应滤芯的细节增强滤波器的图像处理方法
Yan et al. Enhancing image visuality by multi-exposure fusion
JP2014072595A (ja) 映像処理装置
WO2023215371A1 (en) System and method for perceptually optimized image denoising and restoration
JP5765893B2 (ja) 画像処理装置、撮像装置および画像処理プログラム
CN116563190B (zh) 图像处理方法、装置、计算机设备及计算机可读存储介质
CN105447830A (zh) 动态视频图像清晰度强化方法及装置
JP5654860B2 (ja) 画像処理装置及びその制御方法、プログラム
JP6325656B2 (ja) フォーカス評価を補助するための装置、プログラム及び方法
JP6858073B2 (ja) 画像処理装置、画像処理方法、及び、プログラム
Liu et al. A novel method for high dynamic range with binocular cameras
JP2016170637A (ja) 画像処理装置および画像処理方法
Valderrama et al. Single image dehazing using local adaptive signal processing
JP6202989B2 (ja) 画像処理装置、画像処理方法およびプログラム
JP2015088914A (ja) 画像処理装置、画像処理方法およびプログラム
Jinno et al. HDR video tone mapping based on gamma blending
JP2014158074A (ja) 画像処理装置、画像処理方法及びプログラム
JP6396156B2 (ja) 画像処理装置及び画像処理方法

Legal Events

Date Code Title Description
A201 Request for examination
PA0105 International application

St.27 status event code: A-0-1-A10-A15-nap-PA0105

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U12-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20181115

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20211210

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20211210

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000