KR101331237B1 - 잡음 억압 방법, 잡음 억압 방법의 프로그램, 잡음 억압방법의 프로그램을 기록한 기록 매체 및 잡음 억압 장치 - Google Patents

잡음 억압 방법, 잡음 억압 방법의 프로그램, 잡음 억압방법의 프로그램을 기록한 기록 매체 및 잡음 억압 장치 Download PDF

Info

Publication number
KR101331237B1
KR101331237B1 KR1020070055064A KR20070055064A KR101331237B1 KR 101331237 B1 KR101331237 B1 KR 101331237B1 KR 1020070055064 A KR1020070055064 A KR 1020070055064A KR 20070055064 A KR20070055064 A KR 20070055064A KR 101331237 B1 KR101331237 B1 KR 101331237B1
Authority
KR
South Korea
Prior art keywords
signal
feedback rate
video signal
noise
input video
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Expired - Fee Related
Application number
KR1020070055064A
Other languages
English (en)
Other versions
KR20070116743A (ko
Inventor
세이지 기무라
마사미 오가타
Original Assignee
소니 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 주식회사 filed Critical 소니 주식회사
Publication of KR20070116743A publication Critical patent/KR20070116743A/ko
Application granted granted Critical
Publication of KR101331237B1 publication Critical patent/KR101331237B1/ko
Expired - Fee Related legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/21—Circuitry for suppressing or minimising disturbance, e.g. moiré or halo
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/50—Image enhancement or restoration using two or more images, e.g. averaging or subtraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00—Image enhancement or restoration
    • G06T5/70—Denoising; Smoothing
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/223—Analysis of motion using block-matching
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10016—Video; Image sequence
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/20—Special algorithmic details
    • G06T2207/20021—Dividing image into blocks, subimages or windows
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/14—Picture signal circuitry for video frequency region
    • H04N5/147—Scene change detection

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Picture Signal Circuits (AREA)

Abstract

본 발명은, 잡음 억압 방법, 잡음 억압 방법의 프로그램, 잡음 억압 방법의 프로그램을 기록한 기록 매체 및 잡음 억압 장치에 관한 것이며, 특히 영상 신호의 잡음을 제거하는 시간 순회형의 잡음필터에 적용하여, 종래에 비해 고속으로 충분히 잡음을 억압할 수 있도록 하는 것이다.
본 발명은, 입력 영상 신호(S1)에 있어서 신호 레벨이 급격히 변화한 후의 필드 수, 프레임 수를 카운트하고, 이 카운트치(n)에 대응하여 귀환율(kt)이 순차증대하도록 동적으로 귀환율(kt)을 제어한다.

Description

잡음 억압 방법, 잡음 억압 방법의 프로그램, 잡음 억압 방법의 프로그램을 기록한 기록 매체 및 잡음 억압 장치{Noise suppression method, noise suppression method program, recording medium recording noise suppression method program, and noise suppression apparatus}
도 1은, 본 발명의 실시예 1의 잡음필터를 도시한 블럭도이다.
도 2는, 도 1의 잡음필터에 있어서의 참조 영상 신호 생성부의 구성을 도시한 블럭도이다.
도 3은, 도 1의 참조 영상 신호 생성부의 다른 예의 구성을 도시한 블럭도이다.
도 4는, 도 1의 잡음필터에 있어서의 순회 이력 정보 기억부의 구성을 도시한 블럭도이다.
도 5는, 도 4의 순회 이력 정보 기억부의 설명을 위해 제공하는 평면도이다.
도 6은, 도 1의 잡음필터에 있어서의 귀환율 설정부의 설명을 위해 제공하는 평면도이다.
도 7은, 도 1의 잡음필터에 있어서의 귀환율 설정부에 있어서의 귀환율의 설정의 설명을 위해 제공하는 평면도이다.
도 8은, 도 1의 잡음필터의 특성을 도시한 특성 곡선도이다.
도 9는, 본 발명의 실시예 2의 잡음필터를 도시한 블럭도이다.
도 10은, 도 9의 잡음필터에 있어서의 순회 판정부의 설명을 위해 제공하는 평면도이다.
도 11은, 도 9의 잡음필터에 있어서의 순회 이력 정보 기억부의 구성을 도시한 블럭도이다.
도 12는, 도 10의 순회 이력 정보 기억부의 설명을 위해 제공하는 평면도이다.
도 13은, 종래의 시간 순회형의 잡음필터를 도시한 블럭도이다.
도 14는, 귀환율의 설명을 위해 제공하는 특성 곡선도이다.
도 15는, 귀환율에 의한 특성의 변화를 도시한 특성 곡선도이다.
도 16은, 빠른 이동의 영상의 예를 도시한 평면도이다.
도 17은, 귀환율이 작은 경우의 특성을 도시한 특성 곡선도이다.
도 18은, 귀환율이 큰 경우의 특성을 도시한 특성 곡선도이다.
본 발명은, 잡음 억압 방법, 잡음 억압 방법의 프로그램, 잡음 억압 방법의 프로그램을 기록한 기록 매체 및 잡음 억압 장치에 관한 것이며, 특히 영상 신호의 잡음을 억압하는 시간 순회형의 잡음필터에 적용할 수 있다. 본 발명은, 입력 영상 신호에 대해 신호 레벨이 급격하게 변화한 후에 필드수, 프레임수를 카운트하 고, 이 카운트치에 따라 귀환율이 차례차례 증가하도록 동적으로 귀환율을 제어하여, 종래에 비해 고속으로 충분히 잡음을 억압할 수 있도록 하는 것이다.
종래, 시간 순회형의 잡음필터는, 도 13에 도시한 바와 같이, 필드간차분, 프레임간 차분을 이용해 영상 신호의 잡음을 억압하고 있다. 즉, 이 잡음필터(1)에서, 지연 신호 생성부(2)는, 출력 영상 신호(S2)를 1 필드 또는 1 프레임의 기간만 지연하여 잡음 성분 추출용의 참조 영상 신호(S3)를 출력한다. 또한, 여기서 참조 영상 신호(S3)는, 출력 영상 신호(S2)에 대해 이동 보정을 실시함으로써 생성된다. 감산 회로(3)는, 입력 영상 신호(S1)로부터 참조 영상 신호(S3)를 감산해 차분 신호(S4)를 생성한다. 보정용 신호 생성부(4)는, 이 차분 신호(S4)를 귀환율(k)로 곱셈하여 잡음 보정용 신호(S5)를 생성한다. 또한 이 때, 예를 들면, 변화의 진폭이 작으면 작을 수록, 변화가 잡음이 될 확률이 높아지도록, 귀환율이 큰 값으로 설정되고, 반대로 진폭이 큰 만큼, 변화가 잡음이 되지 않도록, 귀환율을 작은 값으로 설정하고, 잡음 보정용 신호(S5)를 생성하는 경우도 있다. 또한, 차분 신호(S4)를 대역 분할하여 처리하는 경우도 있다. 감산 회로(5)는, 이 잡음 보정용 신호(S5)를 입력 영상 신호(S1)로부터 감산해 출력 영상 신호(S2)를 생성한다.
이러한 시간 순회형의 잡음필터에 관해서, 특개 2001－136416호 공보등에는, 잡음 레벨을 계측하고, 잡음 레벨 계측 결과에 근거해 잡음 보정용 신호(S5)의 신호 레벨을 자동적으로 설정하는 내용이 제안되어 있다.
그런데, 이러한 시간 순회형의 잡음필터에 있어서의 잡음 저감 처리는, 다음 식의 점화식(recurrence relation)으로 나타낼 수 있다. 또한, 여기서 It는, 입력 영상 신호(S1)의 신호 레벨, Ot는, 출력 영상 신호(S2)의 신호 레벨이다. 또한, 각 부호의 첨자 t는, 시각이며, 입력 영상 신호(S1)의 처리 단위가 프레임 및 필드의 경우에는, 각각 선두로부터의 프레임, 필드의 번호이다. 따라서, 단지 출력 영상 신호(S2)를 지연시켜 귀환하는 구성에서는, Ot -1은, 참조 영상 신호(S3)의 신호 레벨이며, (It－Ot -1)은, 차분 신호(S4)의 신호 레벨이다. 여기에서는, 입력 영상 신호(S1)의 평균 신호 레벨이 0레벨이며, 이 입력 영상 신호(S1)가 분산(σ0 2)의 잡음 성분만으로 구성되어 있다고 가정한다.
[식 1]
Ot = It - kㆍ(It - Ot -1)
= (1-k)ㆍIt+kㆍOt -1 -----------(1)
잡음은 평균하면 신호 레벨이 0레벨이 되어, 연속하는 필드, 프레임사이에는 상관이 없으므로, 시각(t)에 있어서의 참조 영상 신호(S3)의 분산(σ0 2)은, 식 (1)에 근거하여, 다음과 같이 나타낼 수 있다.
[식 2]
σ0 2 = (1-k)2ㆍσ0 2+kσt-1 2 -----------------------(2)
식 (2)의 점화식을 풀면, 시각(t)에 있어서의 출력 영상 신호(S2)의 분산은, 다음 식의 일반식으로 나타낼 수 있다.
[식 3]
Figure 112007041078999-pat00001
--------------------(3)
여기서 귀환율(k)은 값 1보다 값이 작으므로(k＜1), 시각(t)을 무한대로 했을 때의 출력 영상 신호(S2)의 (분산)2는, 다음 식으로 나타낼 수 있다.
[식 4]
Figure 112007041078999-pat00002
---------------------(4)
여기서, σt 2／σ0 2는, 시점(t)에 있어서의 잡음 저감율을 나타내게 된다. 따라서 귀환율(k)에 의한 무한대 시점의 잡음 저감율은, 도 14에 도시된 바와 같이, 이 도 14의 식 (4)로부터, 종래의 시간 순회형의 잡음필터에서는, 귀환율(k)을 크게 설정하면, 잡음 저감 효과가 커지게 된다는 것을 알 수 있다.
이에 대해서 상술의 관계식으로부터, 출력 영상 신호(S2)에 있어서의 분산(σt 2)과 시각(t)의 관계는, 도 15에 도시되어 있다. 따라서, 종래의 시간 순회형 의 잡음필터에서는, 귀환율(k)을 크게 설정하면, 컨버지(converge)하는 데에 시간을 필요로 한다는 것을 알 수 있다.
이에 의해, 종래의 시간 순회형의 잡음필터에서는, 잡음 저감 효과가 커지도록 설정하면, 빠른 이동시에 한 부분에서의 잡음 저감 효과를 확보 하는 것이 어렵다는 문제가 있었다. 즉, 예를 들면, 도 16에 도시된 바와 같이, 정지한 배경의 전면을 이동 물체(7A, 7B)가 고속으로 이동하고 있는 경우에, 화살표(A)로 가리키는 이동 물체(7A, 7B)가 횡단하는 배경의 일부분에 대해 관찰해 보면, 이 일부분에서는, 도 17 및 도 18에 도시된 바와 같이, 시점(t1, t2, t3, ……)에서 배경이 나타나고 이동 물체(7A, 7B)가 나타나게 된다. 이 경우에, 귀환율(k)을 작게 하면, 도 17에 도시된 바와 같이, 이동 물체(7A, 7B)의 이동 속도에 대응하여 충분히 고속으로 잡음을 억압할 수 있지만, 잡음 저감 효과가 작아진다. 또한, 이 경우, 이동 물체(7A, 7B)가 횡단하지 않는 배경 부분에 대해서는, 귀환율(k)이 작으므로, 충분히 잡음 억압 효과를 확보하는 것이 곤란하게 된다.
이것과는 반대로 귀환율(k)을 크게 하면, 이동 물체(7A, 7B)가 횡단하지 않는 배경 부분에 대해서는, 충분히 잡음 억압 효과를 확보할 수 있지만, 이동 물체(7A, 7B)가 횡단하는 부분에 대해서는, 도 18에 도시한 바와 같이, 이동 물체(7A, 7B)의 이동 속도에 대응하여 충분히 고속으로 잡음을 억압하는 것이 곤란하게 된다.
본 발명은 이상의 점을 고려하여 이루어진 것이며, 종래에 비해 고속으로 충 분히 잡음을 억압할 수 있는 잡음 억압 방법, 잡음 억압 방법의 프로그램, 잡음 억압 방법의 프로그램을 기록한 기록 매체 및 잡음 억압 장치를 제안하려고 하는 것이다.
상기의 과제를 해결하기 위한 청구항 1의 발명은, 입력 영상 신호의 잡음을 억압하고 출력 영상 신호를 출력하는 잡음 억압 방법에 적용하며, 상기 방법은 상기 입력 영상 신호와 상기 출력 영상 신호와의 필드간 또는 프레임간의 차분 신호를 생성하는 차분 신호 생성 스텝과, 상기 차분 신호를 귀환율로 곱셈하여 잡음 보정용 신호를 생성하는 보정용 신호 생성 스텝과, 상기 잡음 보정용 신호를 상기 입력 영상 신호로부터 감산하는 잡음 보정용 신호 감산 스텝과, 상기 귀환율을 제어하는 귀환율 제어 스텝을 가지며, 상기 귀환율 제어 스텝은, 상기 차분 신호로 설정한 영역마다, 판정 기준치에 의해 상기 차분 신호의 신호 레벨을 판정하고, 상기 입력 영상 신호에 있어서의 급격한 신호 레벨의 변화를 검출하는 신호 레벨 판정 스텝과, 상기 신호 레벨 판정 스텝에서, 상기 급격한 신호 레벨의 변화가 검출되고, 계속 되어 상기 급격한 신호 레벨의 변화가 검출될 때까지의, 상기 입력 영상 신호의 필드수 또는 프레임수를 카운트하는 카운트 스텝과, 상기 카운트 스텝에 의한 카운트치에 따라, 상기 영역마다, 상기 귀환율을 설정하는 귀환율 설정 스텝을 가지며, 상기 귀환율 설정 스텝은, 상기 카운트치가 증가함에 따라, 값 0으로부터 값이 차례차례 증가하도록 상기 귀환율을 설정한다.
또한, 청구항 6의 발명은, 입력 영상 신호의 잡음을 억압하여 출력 영상 신호를 출력하는 잡음 억압 방법의 프로그램에 적용하며, 상기 프로그램은, 상기 입 력 영상 신호와 상기 출력 영상 신호와의 필드간 또는 프레임간의 차분 신호를 생성하는 차분 신호 생성 스텝과, 상기 차분 신호를 귀환율로 곱셈하여 잡음 보정용 신호를 생성하는 보정용 신호 생성 스텝과, 상기 잡음 보정용 신호를 상기 입력 영상 신호로부터 감산하는 잡음 보정용 신호 감산 스텝과, 상기 귀환율을 제어하는 귀환율 제어 스텝을 가지며, 상기 귀환율 제어 스텝은, 상기 차분 신호로 설정한 영역마다, 판정 기준치에 의해 상기 차분 신호의 신호 레벨을 판정하고, 상기 입력 영상 신호에 있어서의 급격한 신호 레벨의 변화를 검출하는 신호 레벨 판정 스텝과, 상기 신호 레벨 판정 스텝에서, 상기 급격한 신호 레벨의 변화가 검출되고, 계속 되어 상기 급격한 신호 레벨의 변화가 검출될 때까지의, 상기 입력 영상 신호의 필드수 또는 프레임수를 카운트하는 카운트 스텝과, 상기 카운트 스텝에 의한 카운트치에 따라, 상기 영역마다, 상기 귀환율을 설정하는 귀환율 설정 스텝을 가지며, 상기 귀환율 설정 스텝은, 상기 카운트치가 증가함에 따라, 값 0으로부터 값이 차례차례 증가하도록 상기 귀환율을 설정한다.
또한, 청구항 7의 발명은, 입력 영상 신호의 잡음을 억압하여 출력 영상 신호를 출력하는 잡음 억압 방법의 프로그램을 기록한 기록 매체에 적용하며, 상기 잡음 억압 방법의 프로그램은, 상기 입력 영상 신호와 상기 출력 영상 신호와의 필드간 또는 프레임간의 차분 신호를 생성하는 차분 신호 생성 스텝과, 상기 차분 신호를 귀환율로 곱셈하여 잡음 보정용 신호를 생성하는 보정용 신호 생성 스텝과, 상기 잡음 보정용 신호를 상기 입력 영상 신호로부터 감산하는 잡음 보정용 신호 감산 스텝과, 상기 귀환율을 제어하는 귀환율 제어 스텝을 가지며, 상기 귀환율 제 어 스텝은, 상기 차분 신호로 설정한 영역마다, 판정 기준치에 의해 상기 차분 신호의 신호 레벨을 판정하고, 상기 입력 영상 신호에 있어서의 급격한 신호 레벨의 변화를 검출하는 신호 레벨 판정 스텝과, 상기 신호 레벨 판정 스텝에서, 상기 급격한 신호 레벨의 변화가 검출되고, 계속 되어 상기 급격한 신호 레벨의 변화가 검출될 때까지의, 상기 입력 영상 신호의 필드수 또는 프레임수를 카운트하는 카운트 스텝과, 상기 카운트 스텝에 의한 카운트치에 따라, 상기 영역마다, 상기 귀환율을 설정하는 귀환율 설정 스텝을 가지며, 상기 귀환율 설정 스텝은, 상기 카운트치가 증가함에 따라, 값 0으로부터 값이 차례차례 증가하도록 상기 귀환율을 설정한다.
또한, 청구항 8의 발명은, 입력 영상 신호의 잡음을 억압하여 출력 영상 신호를 출력하는 잡음 억압 장치에 적용되며, 상기 잡음 억압 장치는, 상기 입력 영상 신호와 상기 출력 영상 신호와의 필드간 또는 프레임간의 차분 신호를 생성하는 차분 신호 생성부와, 상기 차분 신호를 귀환율로 곱셈하여 잡음 보정용 신호를 생성하는 보정용 신호 생성부와, 상기 잡음 보정용 신호를 상기 입력 영상 신호로부터 감산하는 잡음 보정용 신호 감산부와, 상기 귀환율을 제어하는 귀환율 제어부를 가지며, 상기 귀환율 제어부는, 상기 차분 신호로 설정한 영역마다, 판정 기준치에 의해 상기 차분 신호의 신호 레벨을 판정하고, 상기 입력 영상 신호에 있어서의 급격한 신호 레벨의 변화를 검출하는 신호 레벨 판정부와, 상기 신호 레벨 판정부가, 상기 급격한 신호 레벨의 변화를 검출하기 시작한 시점으로부터, 그 후에 상기 급격한 신호 레벨의 변화가 검출될 때까지의, 상기 입력 영상 신호의 필드수 또는 프레임수를 카운트하는 카운트부와, 상기 카운트부의 카운트치에 따라, 상기 영역마 다, 상기 귀환율을 설정하는 귀환율 설정부를 가지며,상기 귀환율 설정부는, 상기 카운트치가 증가함에 따라, 값 0으로부터 값이 차례차례 증가하도록 상기 귀환율을 설정한다.
청구항 1, 6, 7 또는 8항의 구성에 의하면, 입력 영상 신호내의 급격한 신호 레벨의 변화가 검출된 후에 필드, 프레임내에서 동적으로 귀환율이 변화되며, 서서히 귀환율이 증가하게 된다. 그러므로, 귀환율의 값이 큰 경우에 큰 잡음 억압 효과와 귀환율의 값이 작은 경우에 컨버젼스(convergence)에 필요로 하는 시간을 짧게 하는 것이 가능하므로, 종래에 비해 고속으로 충분히 잡음을 억압할 수 있다.
본 발명에 의하면, 종래에 비해 고속으로 충분히 잡음을 억압할 수 있다.
이하, 도면을 참조하면서 본 발명의 실시예를 상술한다.
실시예 1
(1) 실시예의 구성
도 1은, 본 발명의 실시예 1의 잡음필터를 도시한 블럭도이다. 이 잡음필터(10)는, 시간 순회형의 잡음필터이며, 필드간 차분, 또는 프레임간 차분(difference)을 이용하여 입력 영상 신호(S1)의 잡음을 억압함으로써, 출력 영상 신호(S2)를 출력한다.
이 잡음필터(10)에서, 참조 영상 신호 생성부(11)는, 출력 영상 신호 (S2)를 1필드 또는 1프레임의 기간만 지연시켜 참조 영상 신호(S11)를 출력한다. 보다 구체적으로는, 참조 영상 신호 생성부(11)가, 출력 영상 신호 (S2)에 대해서 이동 보정하여 참조 영상 신호(S11)를 생성한다.
즉, 도 2에 도시한 바와 같이, 참조 영상 신호 생성부(11)에서, 지연 신호 생성부(12)는, 출력 영상 신호(S2)를 1필드 또는 1프레임의 기간만 지연시켜 지연 영상 신호(S12)를 생성한다. 이동 벡터 검출부(13)는, 이 지연 영상 신호(S12)를 기준으로 하여 입력 영상 신호(S1)로부터 이동 벡터(MV)를 검출한다. 또한, 여기서 이 이동 벡터의 검출에 대해, 블록 매칭법, 구배법(gradient method)과 같은, 여러 가지의 이동 벡터 검출 수법을 적용할 수 있다. 또, 이동 벡터의 정확도는, 정수-화소(integer-pixel) 정확도, 분수-화소(fractional-pixel) 정확도중 어느 하나가 된다.
이동 보정 영상 신호 생성부(14)는, 이동 벡터(MV)를 이용해 지연 영상 신호(S12)에 대해 이동 보정을 실시하여 참조 영상 신호(S3)를 출력한다. 또한, 여기서 이 참조 영상 신호(S3)는, 실용상 충분한 특성을 확보할 수 있는 경우에는, 도 3에 도시한 바와 같이, 지연 신호 생성부(12)에 의해 출력 영상 신호(S2)를 1필드 또는 1프레임의 기간만 단순히 지연시켜 생성해도 괜찮다.
차분 신호 생성부(16)는, 감산 회로(17)이며, 입력 영상 신호(S1)로부터 참조 영상 신호(S3)를 감산하며, 입력 영상 신호(S1)와 출력 영상 신호(S2)와의 필드간 차분 또는 프레임간 차분이 되는 차분 신호(S4)를 출력한다.
보정용 신호 생성부(18)에서는, 증폭 회로(19)가, 이 차분 신호(S4)를 귀환율(k)로 곱셈하여 잡음 보정용 신호(SN)를 생성한다.
잡음 감산 처리부(20)에서는, 감산 회로(21)가, 입력 영상 신호(S1)로부터 잡음 보정용 신호(SN)를 감산하여 입력 영상 신호(S1)의 잡음을 억압하고, 출력 영상 신호(S2)를 출력한다.
잡음필터(10)에서는, 귀환율 제어부(23)가, 귀환율(k)을 제어하여, 이 귀환율(k)의 제어에 의해 종래에 비해 고속으로 충분히 입력 영상 신호 (S1)의 잡음을 억압한다.
여기서, 귀환율 제어부(23)에서는, 잡음 레벨 계측부(24)가, 입력 영상 신호(S1)의 화소마다 입력 영상 신호(S1)의 잡음 레벨을 계측하고, 잡음 레벨 계측 결과(NL)를 출력한다. 또한, 여기서 이 잡음 레벨의 계측은, 예를 들면 계측 대상 화소를 중심으로 하는 수평 방향 및 수직 방향의 일정 범위내에서, 2차원의 하이 패스 필터로 고역성분을 추출하여 신호 레벨을 검출하여 실행할 수 있다. 또, 입력 영상 신호(S1)대신에, 차분 신호(S4)를 이용해 입력 영상 신호(S1)의 잡음 레벨을 검출하도록 해도 괜찮다.
장면 변화 검출부(25)는, 입력 영상 신호(S1)의 장면 변화를 검출하여, 장면 변화 검출 플래그(FS)를 출력한다. 또한, 장면 변화의 검출에 대해, 프레임간 차분의 절대치화를 소정의 임계치로 판정하는 경우와 같은, 여러 가지의 장면 변화 검출 수법을 넓게 적용할 수 있다. 또한, 입력 영상 신호(S1)대신에, 차분 신호(S4)를 이용해 입력 영상 신호(S1)의 장면 변화를 검출하도록 해도 괜찮다.
순회 판정부(27)는, 화소마다, 잡음 레벨 계측부(24)로 검출되는 잡음 레벨(NL)을 기준으로 하여, 입력 영상 신호(S1)에 있어서의 급격한 신호 레벨의 변화를 검출한다. 즉, 순회 판정부(27)는, 화소마다, 잡음 레벨 계측부(24)로 검출되는 잡음 레벨(NL)에 소정의 정수(α)를 곱셈하여, 입력 영상 신호(S1)의 판정 기준치(Cth(NL·α))를 생성한다. 게다가, 순회 판정부(27)는, 이 판정 기준치(Cth)로 차분 신호(S4)의 진폭치(ㅣDiff(x,y)|)를 판정하고, 잡음 레벨(NL)을 기준으로 하여, 입력 영상 신호 (S1)의 신호 레벨이 급격하게 변화되고 있는 부분을 검출한다. 여기서, 이와 같이 급격하게 신호 레벨이 변화하고 있는 부분은, 잡음일 가능성이 낮고, 본래의 입력 영상 신호(S1)에 있어서의 변화일 가능성이 높다. 보다 구체적으로는, 도 16에서 설명한 이동체에 의해 배경이 숨겨지고, 숨은 배경이 나타나는 경우와 같은 것이다.
그러므로, 순회 판정부(27)는, 진폭치(|Diff(x,y)|)가 판정 기준치 (Cth)보다 작은 경우, 이 신호 성분의 억압을 지시하는 순회 식별 플래그 (F1)를 설정한다. 또한, 이 판정 기준치(Cth)는, 정수(α)를 이용자가 설정 가능하도록 함으로써 조정 가능하게 된다. 또한, 잡음 레벨(NL)과는 관계없이 이용자에 의해 판정 기준치(Cth)가 조정 가능하게 된다. 게다가, 실용상 충분한 특성을 확보할 수 있는 경우에는, 판정 기준치(Cth)가 고정치가 된다.
순회 이력 정보 기억부(28)는, 입력 영상 신호(S1)에 대해 설정한 영역마다, 연속한 순회 식별 플래그(F1)의 설정 횟수(n)를 카운트하고, 순회 이력 정보 기억부(28)는, 입력 영상 신호(S1)가 급격하게 신호 레벨이 변화된 후에, 계속되어 급격하게 신호 레벨이 변화할 때까지 필드수 또는 프레임수를 카운트하여 출력한다.
즉, 도 4에 도시한 바와 같이, 순회 이력 정보 기억부(28)에서는, 부분 영역 순회 판정부(29)가, 입력 영상 신호(S1)에 대해 설정한 영역마다 순회 식별 플래그(F1)의 설정을 판정한다. 여기서, 도 5에 도시한 바와 같이, 이 실시예에서는, 입력 영상 신호(S1)의 한 화면이, 수평 방향, 수직 방향에서 소정 화소 단위로 분할되어, 복수의 영역을 설정한다. 부분 영역 순회 판정부(29)는, 영역마다, 순회 식별 플래그(F1)의 설정 횟수를 집계한다. 또한, 이 집계 결과를 각각 소정의 임계치로 판정하고, 임계치보다 순회 식별 플래그(F1)의 설정 횟수가 많은 영역에서 영역 순회 식별 플래그(F1P)를 설정한다. 또한, 이 도 5의 예에서는, 1개의 영역을 수평 방향 및 수직 방향에서 6화소 및 4화소의 영역을 가지도록 설정하였지만, 영역의 설정은 이 크기에 한정하지 않고, 여러 가지로 설정할 수 있으며, 한 화면의 각 부에서 영역의 크기를 다르게 하도록 해도 괜찮다. 부분 영역 순회 판정부(29)는, 이 순회 식별 플래그(F1)의 설정 횟수의 임계치에 의한 판정에 의해, 예를 들면 도 16에서, 이동체(7A, 7B)에 의해 숨겨지게 된 배경의 영역과, 이동체(7A, 7B)의 이동에 의해 나타나는 배경의 영역을 검출한다.
순회 횟수 메모리(30)는, 입력 영상 신호(S1)의 영역마다, 연속한 영역 순회 식별 플래그(F1P)의 설정 횟수를 기록해 보관 유지하며, 순회 횟수 카운터부(31)는, 부분 영역 순회 판정부(29)로부터 출력되는 영역 순회 식별 플래그(F1P)에 따라, 이 순회 횟수 메모리(30)에서 보관 유지한 대응하는 영역의 설정 횟수를 갱신한다. 즉, 순회 횟수 카운터부(31)는, 부분 영역 순회 판정부(29)에 의해서 영역 순회 식별 플래그(F1P)가 설정되지 않는 영역에 대해서는, 순회 횟수 메모리(30)에 보관 유지된 대응하는 영역의 설정 횟수를 값 0으로 초기화한다. 또한, 순회 횟 수 카운터부(31)는, 부분 영역 순회 판정부(29)에 의해서 영역 순회 식별 플래그(F1P)가 설정되면, 순회 횟수 메모리(30)에서 보관 유지된 대응하는 영역의 설정 횟수를 값 1만큼 증가시킨다. 이 때, 순회 횟수 메모리(30)에서 보관 유지한 대응하는 영역의 설정 횟수가 소정치까지 증가하고 있는 경우, 증가 처리를 중지한다.
순회 횟수 메모리(30)는, 장면 변화 검출부(25)가 장면 변화를 검출하여 장면 변화 검출 플래그(FS)를 설정하면, 보관 유지한 전체 영역의 설정 횟수를 값 0으로 초기화한다. 또한, 순회 횟수 메모리(30)는, 보관 유지한 각 영역의 설정 횟수(n)를, 계속되는 필드 또는 프레임의 대응하는 영역의 증폭 회로(19)의 처리에 대응하는 타이밍에서 출력한다. 따라서, 입력 영상 신호(S1)가 인터레이스(interlaced) 방식의 영상 신호인 경우, 1필드의 기간만 지연시켜 출력한다. 또한, 입력 영상 신호(S1)가 인터레이스가 아닌 다른 방식의 영상 신호인 경우, 1프레임의 기간만 지연시켜 출력한다.
순회 횟수 보정부(32)는, 순회 횟수 메모리(30)로부터 출력되는 각 영역의 설정 횟수(n)를 입력 영상 신호(S1)의 포맷에 대응하도록 보정해 출력한다. 즉, 입력 영상 신호(S1)가 인터레이스 방식의 영상 신호이고, 차분 신호(S4)가 필드간 차분인 경우, 또는 입력 영상 신호(S1)가 인터레이스가 아닌 다른 방식의 영상 신호이며, 차분 신호(S4)가 프레임간 차분인 경우, 순회 횟수 보정부(32)는, 순회 횟수 메모리(30)로부터 출력되는 각 영역의 설정 횟수(n)를 어떠한 보정도 하지 않고 출력한다. 이에 대해서 입력 영상 신호(S1)가 인터레이스 방식의 영상 신호이고, 차분 신호(S4)가 프레임간 차분인 경우, 순회 횟수 메모리(30)로부터 출력되는 각 영역의 설정 횟수(n)를 1／2로 보정해 출력한다. 또한, 입력 영상 신호(S1)가 이터레이스 방식의 영상 신호이며, 차분 신호(S4)가 프레임간 차분인 경우, 차분 신호(S4)는, 짝수 필드, 홀수 필드에 대해서 얻어지게 된다. 따라서, 이에 대응하여 짝수 필드의 처리 계통과 홀수 필드의 처리 계통을 순회 이력 정보 기억부(28)에 제공하고, 이 각 계통에 의해 검출되는 설정 횟수(n)를 교대로 출력하도록 해도 괜찮다. 또한, 이 경우, 순회 횟수 보정부 (32)는 생략할 수 있다. 또한, 이 순회 횟수 보정부(32)의 구성을 생략 하고, 후술하는 귀환율 설정부(35)에 있어서의 귀환율의 설정과 동시에, 설정 횟수(n)를 보정하는 처리를 아울러 실행하도록 해도 괜찮다.
귀환율 설정부(35)는, 이 순회 이력 정보 기억부(28)로부터 출력되는 설정 횟수(n)에 따라, 화소마다, 귀환율(kt)을 설정한다. 귀환율 설정부(35)는, 설정 횟수(n)에 따라 값이 변화하는 귀환율(kh)과 잡음 레벨(NL)에 대한 차분 신호(S4)의 진폭에 대응하는 귀환율(kc)을 각각 구하며, 이 2개의 kh, kc를 곱셈하여 최종적인 귀환율(kt)을 구한다.
여기서 식(2)는, 시각(t)에 있어서의 출력 영상 신호(S2)의 분산을 나타내며, 이 분산을 최소로 하는 귀환율(k)을 구하기 위해서 식 (2)를 1차 미분하면, 다음의 관계식을 얻을 수 있다.
[식 5]
(σt 2)' = -2(1-k)ㆍσ0 2+2kσt-1 2 -----------------------(5)
여기서, (5)식을 k에 대해 풀면, 시각(t)의 분산(σt 2)을 최소로 하는 귀환율(kh)을 다음식으로 나타낼 수 있다.
[식 6]
Figure 112007041078999-pat00003
-----------------------(6)
따라서, 각 시점(t)에 대해 분산(σt 2)을 최소로 하는 귀환율(kh)은, 도 6에 도시한 바와 같이, 연속한 설정 횟수(n)를 이용하여 n／(n＋1)로 나타낼 수 있다. 여기서 n=0은, 상술한 것처럼 장면 변화 직후의 프레임, 필드, 또는 도 16에 도시한 바와 같이 이동체(7A, 7B)에 의해 숨겨지게 된 배경의 영역, 또는 이동체(7A, 7B)의 이동에 의해 나타나게 된 배경의 영역이 된다. 그러므로, 이 경우, 직전 필드 또는 직전 프레임과의 사이의 차분 신호(S4)에 의한 잡음 보정용 신호(SN)에 대해서는, 귀환율(kt)이 값 0으로 설정되어 입력 영상 신호(S1)로부터 감산하지 않도록 설정된다. 또한, 이후의 프레임과 필드에서는, 차례차례, 연속하는 프레임 또는 필드에 대응하는 값(n)에 따라 값이 증가하도록 귀환율(kh)이 설정된다. 또한, 귀환율 설정부(35)는, 순회 이력 정보 기억부(28)로부터 출력되는 설정 횟수(n)에 의해 룩업테이블(look-up table)을 참조하여 이 귀환율(kt)을 구한다. 또한, 연산에 의해 귀환율(kh)을 구하도록 해도 괜찮다. 또한, 귀환율(kt)을 유한 비트 길이를 가지는 값으로 한정될 수 있다.
또한, 귀환율 설정부(35)는, 잡음 레벨(NL)에 소정의 정수(β)를 곱셈하여, 차분 신호(S4)의 제 1의 판정 기준치(Lth(NL·β))를 생성한다. 게다가, 귀환율 설정부(35)는, 이 판정 기준치(Lth)에 값 1보다 작은 정수(γ)를 곱셈하여, 차분 신호(S4)의 제 2의 판정 기준치(Coth(Lth·γ))를 생성한다. 귀환율 설정부(35)는, 도 7에 도시한 바와 같이, 차분 신호(S4)의 진폭치(|Diff(x,y)|)를 제 1및 제 2의 판정 기준치(Lth(NL·β) 및 Coth(Lth·γ))로 판정하고, 진폭치(|Diff(x,y)|)가 제 1의 판정 기준치 (Lth(NL·β))보다 큰 경우, 귀환율(kc)을 값 0으로 설정한다. 또한, 진폭치(|Diff(x,y)|)가 제 2의 판정 기준치(Coth(Lth·γ))보다 작은 경우, 귀환율(kc)을 값 1이하의 고정치로 설정한다. 또한, 진폭치(|Diff(x,y)|)가 제 1및 제 2의 판정 기준치(Lth(NL·β) 및 Coth(Lth·γ))의 사이의 값인 경우, 진폭치(|Diff(x,y)|)에 대응하는 직선 보간에 의해 귀환율(kc)의 값을 설정한다. 이에 의해, 귀환율 설정부(35)는, 잡음 레벨 계측 결과에 대한 차분 신호의 진폭치가 커짐에 따라, 값이 작아지도록 귀환율(kc)을 설정한다. 또한, 귀환율 설정부(35)는, 화소마다 귀환율(kc)을 설정한다.
(2) 실시예의 동작
이상의 구성에서, 차례차례 입력되는 입력 영상 신호(S1)(도 1)는, 잡음필터(10)내에 차례차례 입력되므로, 감산 회로(21)에서 잡음 보정용 신호(SN)가 감산되어 잡음이 억압되며, 출력 영상 신호(S2)로서 출력된다. 입력 영상 신호(S1)는, 이 출력 영상 신호(S2)가 참조 영상 신호 생성부(11)에서 처리되어 참조 영상 신호(S3)가 생성되며, 감산 회로(17)에서 이 참조 영상 신호(S3)가 감산되어 차분 신호(S4)가 생성된다. 또한, 이 차분 신호(S4)가 보정용 신호 생성부(18)에서 처리되어 잡음 보정용 신호(SN)가 생성된다. 이에 의해, 입력 영상 신호(S1)는, 시간 순회형의 잡음필터(10)에서, 보정용 신호 생성부(18)내의 귀환율(kt)의 설정에 따르는 특성에 의해 잡음이 억압된다.
그렇지만, 도 8에 도시한 바와 같이, 이 귀환율(kt)의 값을 높은 상수치로, 최종적인 잡음 억압 효과는 커지지만, 컨버젼스하는데 시간이 필요하므로, 빠른 이동에 대응할 수 없게 된다. 이에 대해서, 귀환율 (kt)의 값을 작게 하여 일정치로 설정하면, 컨버젼스 시간은 짧아지지만, 최종적인 잡음 억압 효과는 작아진다.
그러므로, 잡음필터(10)에서, 입력 영상 신호(S1)의 잡음 레벨(NL)이 잡음 레벨 계측부(24)에 의해 계측되며, 이 잡음 레벨(NL)에 근거하여, 차분 신호(S4)의 판정 기준치(Cth)가 설정된다. 또한, 이 판정 기준치 (Cth)로 차분 신호(S4)의 진폭치(|Diff(x,y)|)가 판정되며, 차분 신호(S4)의 진폭치(|Diff(x,y)|)가 판정 기준치(Cth)보다 작은 경우, 잡음의 억압를 지시하는 순회 식별 플래그(F1)가, 잡음에 의해 차분 신호(S4)의 신호 레벨이 변화하고 있는 화소로서, 설정된다.
입력 영상 신호(S1)에 대해서는, 부분 영역 순회 판정부(29)(도 4)에 의해, 입력 영상 신호(S1)의 한 화면에 대해 설정된 각 영역(도 5)에, 이 순회 식별 플래그(F1)가 집계되어, 영역 순회 식별 플래그(F1P)가 설정된다. 또한, 영역마다, 이 순회 식별 플래그(F1)의 연속된 설정이 순회 횟수 카운터부(31)에 의해 카운트되며, 이 카운트 결과인 설정 횟수(n)에 대응하는 귀환율(kh)(도 6)이 귀환율 설정부(35)에 의해 설정된다.
여기서, 이 귀환율 설정부(35)에 의한 귀환율의 설정은, 당초, 작은 값으로 설정되며, 설정 횟수(n)가 증가함에 따라서 차례차례 증가하도록 설정된다(도 6). 이에 의해, 입력 영상 신호(S1)는, 연속한 필드 또는 프레임내에서, 당초, 값이 작은 귀환율에 의해 분산의 값이 감소하여 고속으로 컨버지된다(converge)(도 8). 그 후, 서서히 귀환율의 값이 증가하여 최종적인 잡음 억압 효과가 커지도록 설정된다. 따라서, 이 잡음필터(10)에서는, 귀환율의 동적인 설정에 의해, 귀환율의 값이 큰 경우에는, 큰 잡음 억압 효과와 귀환율의 값이 작은 경우에 컨버젼스(convergence)에 필요로 하는 시간을 짧게 하는 효과를 도모할 수 있고, 종래에 비해 고속으로 충분히 잡음을 억압할 수 있다.
이 때, 입력 영상 신호(S1)는, 차분 신호(S4)의 진폭치(|Diff(x,y)|)가 판정 기준치(Cth)보다 작은 경우에만, 순회 식별 플래그(F1)가 설정되며, 차례차례 귀환율의 값이 가변된다. 차분 신호(S4)의 진폭치(|Diff(x,y)|)가 판정 기준치(Cth) 보다 큰 경우에는 순회 식별 플래그(F1)가 설정되지 않고, 귀환율(kt)은 값 0으로 설정된다. 이에 의해, 동적으로 귀환율을 설정하는 구성을 유효하게 이용하여 동영상 영역에서 잡음이 억압되지 않은 입력 영상 신호(S1)에 대해 설정이 결정된다. 그러므로, 이동 물체에 있어서의 이른바 블러(blur)의 발생을 방지할 수 있다.
또한, 이 때 입력 영상 신호(S1)에 대해서는, 이 차분 신호(S4)의 진폭 치(|Diff(x,y)|)의 판정 기준치(Cth)가 잡음 레벨(NL)에 따라 설정된다. 그러므로, 잡음 레벨이 증가해 정지화면 영역을 잘못하여 동영상 영역으로 판정하는 상황을 효과적으로 회피할 수 있으며 그 결과, 입력 영상 신호 (S1)의 잡음 레벨이 큰 경우에도, 충분히 잡음을 억압할 수 있다.
게다가, 입력 영상 신호(S1)내에서, 장면 변화 검출부(25)가 장면 변화를 검출하여 장면 변화가 발생했을 경우에도, 동영상 영역의 경우와 같이, 설정 횟수(n)가 초기치로 설정되며 귀환율(kh)이 초기치 0으로 설정된다. 따라서, 입력 영상 신호(S1)내에서 장면 변화가 발생했을 경우에도, 동적으로 귀환율을 설정하는 구성을 효과적으로 이용하여 잡음 억압를 실행하지 않도록 설정된다. 그러므로, 장면 변화의 부분에 있어서의 블러의 발생을 방지할 수 있다.
또한, 입력 영상 신호(S1)에 대해서는, 귀환율 설정부(35)가, 잡음 레벨(NL)에 소정의 정수(β)를 곱셈하여서 얻어진 제 1의 판정 기준치(Lth (NL·β))와 이 판정 기준치(Lth)에 값 1보다 작은 정수(γ)를 곱셈하여 생성된 제 2의 판정 기준치(Coth(Lth·γ))에 의해 차분 신호(S4)의 진폭치(|Diff(x,y)|)를 판정한다. 진폭치(|Diff(x,y)|)가 작은 경우에도, 값이 커지도록 귀환율(kc)이 생성된다(도 7). 또한, 이 귀환율(kc)을 반복의 횟수인 설정 횟수(n)에 따르는 귀환율(kh)에 곱셈하여 최종적인 귀환율(kt)이 설정된다.
이에 의해, 동적으로 귀환율을 설정하는 구성을 효과적으로 이용하여, 입력 영상 신호(S1)의 큰 진폭 성분이 억압되어, 잡음 보정용 신호(SN)가 생성된다. 그러므로, 엣지(edge) 등의 입력 영상 신호(S1)의 본래의 고역성분(high frequency components)의 열화(deterioration)가 방지된다. 또한, 이 때에, 잡음 레벨(NL)에 따라 제 1및 제 2의 판정 기준치(Lth(NL·β) 및 Coth(Lth·γ))가 설정되며, 잡음량에 따라 적절히 입력 영상 신호 (S1)의 본래의 고역성분의 열화가 방지된다.
(3) 실시예의 효과
이상의 구성에 의하면, 입력 영상 신호에 대해 신호 레벨이 급격하게 변화한 후에, 필드수와 프레임수를 카운트하고, 이 카운트치에 따라 귀환율이 차례차례 증가하도록 동적으로 귀환율을 제어하여, 종래에 비해 고속으로 충분히 잡음을 억압할 수 있다.
또한, 이 때에, 잡음 레벨 계측 결과에 근거해 판정 기준치를 설정하고, 신호 레벨이 급격하게 변화한 영역을 검출함으로써, 잡음 레벨에 의한 정지화면 부분과 동영상 부분과의 오류 검출을 유효하게 회피하고, 확실히 잡음 억압 효과를 얻을 수 있다.
또한, 장면 변화의 검출에 의해, 모든 영역의 카운트치를 값 0으로 초기화하여, 장면 변화 후에는, 종래에 비해 고속으로 충분히 잡음을 억압할 수 있다.
또한, 잡음 레벨 계측 결과에 대한 차분 신호의 진폭치가 커짐에 따라, 값이 작아지도록 귀환율(kc)을 생성하고, 이 귀환율(kc)을 귀환율(kh)에 곱셈하여 귀환율을 보정한다. 그러므로, 귀환율을 동적으로 가변 제어하는 구성을 유효하게 이용하여, 큰 진폭 성분을 억압함으로써 잡음 레벨을 억압할 수 있으므로, 적절히 잡음 레벨을 억압할 수 있다.
실시예 2
도 9는, 본 발명의 실시예 2의 잡음필터를 도시한 블럭도이다. 잡음필터(40)에서는, 실시예 1 잡음필터(10)와 동일한 구성은, 대응하는 부호로 표시하였으며, 중복되는 설명은 생략한다.
잡음필터(40)에서, 대역 분할부(41)는, 화소 영역의 신호인 차분 신호(S4)를 주파수 영역상의 복수 대역의 부분 차분 신호(S4B)로 변환하여 출력한다. 여기서, 주파수 영역상의 변환 처리에는, 예를 들면 하다마드(Hadamard) 변환, 하르(Haar) 변환, 이산 코싸인 변환 등의 직교변환 처리, 필터 뱅크를 이용한 웨이브렛(wavelet) 변환, 서브 밴드 분할 등과 같은, 여러 가지의 수법을 적용할 수 있다.
보정용 신호 생성부(42)에서, 증폭 회로(44)는, 대역 분할부(41)에 의해 복수 대역으로 분할된 복수의 부분 차분 신호(S4B)와, 각 대역의 귀환율(ktB)을 곱셈하여, 복수 대역의 잡음 보정용 신호(SNB)를 생성한다.
대역 합성부(45)는, 보정용 신호 생성부(42)로부터 출력되는 복수 대역의 잡음 보정용 신호(SNB)를 화소 영역의 신호로 변환하고 보정용 신호(SN)를 생성한다. 이에 의해, 이 잡음필터(40)는, 차분 신호(S4)를 대역 분할하고, 대역마다 귀환율(ktB)을 설정하여 입력 영상 신호(S1)의 잡음 레벨을 억압한다.
이 구성에 따라, 귀환율 제어부(47)는, 대역마다 귀환율(ktB)을 설정한다. 그러므로, 귀환율 제어부(47)에서는, 잡음 레벨 계측부(48)와 장면 변화 검출부(49)가, 대역 분할된 부분 차분 신호(S4B)를 각각 처리하고, 대역마다 잡음 레벨(NLB)과, 장면 변화 검출 플래그(FSB)를 설정한다.
순회 판정부(51)는, 실시예 1에 대해 상술한 순회 판정부(27)와 같이, 대역마다, 부분 차분 신호(S4B)의 진폭치를 판정하고 순회 식별 플래그(F1B)를 출력한다. 따라서, 도 10에 도시한 바와 같이, 차분 신호(S4)를 수평 방향, 수직 방향에서 각각 8개 및 4개의 대역으로 분할했을 경우, 부분 차분 신호(S4B)는, 결국, 32계통의 신호로 분할된다. 따라서, 순회 판정부(51)는, 대역마다, 각 화소에 대응하는 잡음 레벨(NLB)에 정수(α)를 곱셈하여, 각 대역의 판정 기준치(Cth B(NL·α))를 생성하고, 이 판정 기준치(Cth B)에 대응하는 부분 차분 신호(S4B)의 진폭치(|Diff(x,y) B|)를 판정하여 순회 식별 플래그(F1B)를 설정한다. 또한, 여기서 다음의 식은, 임계치의 설정, 플래그의 설정과 관련되는 관계식이다. 여기서, bx, by는 수평 방향 및 수직 방향에서 각 대역을 특정하는 변수이며, NLbx , by는, 변수(bx, by)에 의해 특정되는 대역의 잡음 레벨, Cthbx , by는, 변수(bx, by)에 의해 특정되는 대역의 임계치(|Diffbx , by(x,y)|)는, 수평 방향 및 수직 방향의 좌표(x, y)의 화소내에서, bx, by에 의해 특정되는 대역의 진폭치이다. 순회 판정부(51)는, 식 (8)의 관계식이 성립하는 경우에, 대응하는 대역의 순회 식별 플래그(F1B)를 설정한다. 임계치는, 실시예 1에 대해 상술한 바와 같이 여러 가지로 설정할 수 있다.
[식 7]
Cthbx , by = NLbx , byㆍα -----------------------(7)
[식 8]
｜Diffbx , by(x,y)｜＜ Cthbx , by --------------(8)
순회 이력 정보 기억부(52)는, 실시예 1에 대해 상술한 순회 이력 정보 기억부(28)와 같이, 대역마다, 귀환율(kcB)의 반복의 설정 횟수(nB)를 구해 출력한다. 여기서, 도 11은, 순회 이력 정보 기억부(52)를 도시한 블럭도이다. 순회 이력 정보 기억부(52)에서, 부분 영역 순회 판정부(53)는, 실시예 1에서 상술한 부분 영역 순회 판정부(29)와 같이, 영역마다, 순회 식별 플래그(F1B)의 수를 판정해 영역 순회 식별 플래그(F1PB)를 설정한다. 이 때, 부분 영역 순회 판정부(53)는, 대역마다, 영역 순회 식별 플래그(F1PB)를 설정한다. 또한, 도 12에 도시한 바와 같이, 수평 방향 및 또는 수직 방향에서 주파수가 인접하는 복수 대역내에 영역 순회 식별 플래그(F1PB)를 설정하여, 이후의 처리를 간략화한다. 또한, 도 12에 도시한 예에서는, 수평 방향 및 수직 방향에서 각각 인접하는 2×2의 대역을 1개로 정리하고, 이 정리한 대역마다 영역 순회 식별 플래그(F1PB)를 설정하는 예이며, 1개의 영역에 대해서 8개의 영역 순회 식별 플래그(F1PB)를 설정하는 예이다. 또한, 이와 같이 복수 대역으로 정리하는 일없이, 원래의 대역마다, 영역 순회 식별 플래그(F1PB)를 설정하도록 해도 괜찮다.
순회 횟수 카운터부(55), 순회 횟수 메모리(56), 순회 횟수 보정부(57)는, 실시예 1에 대해 상술한 순회 횟수 카운터부(31), 순회 횟수 메모리(30), 순회 횟수 보정부(32)와 각각 동일하며, 대역마다, 설정 횟수(nB)를 계산해 출력한다.
귀환율 설정부(59)는, 실시예 1에서 상술한 귀환율 설정부(35)와 같으며, 대 역마다 귀환율(kt)을 계산하여 출력한다.
이 실시예에 의하면, 대역마다 귀환율을 설정하므로, 실시예 1 에 비해 한층 더 확실하게 잡음을 저감할 수 있다.
실시예 3
또한, 상술의 실시예에서는, 영역마다 설정한 귀환율(kh)과 화소마다 설정한 귀환율(kc)을 곱셈하여 최종적인 귀환율(kt)을 구하는 경우에 대해 설명했지만, 본 발명은 이에 한정되지 않고, 실용상 충분한 특성을 확보할 수 있는 경우에는, 영역마다 설정한 귀환율(kh)만으로도 잡음 보정용 신호를 생성하도록 해도 괜찮다.
또한, 상술의 실시예에 대해서는, 하드웨어에 의해 잡음필터를 구성하는 경우에 대해 말했지만, 본 발명은 이것에 한정하지 않고, 연산 처리 수단에 의한 프로그램의 실행에 의해 구성하도록 해도 괜찮다. 또한, 이 경우, 이 프로그램은, 사전에 설치하여 제공하도록 해도 되지만, 광디스크, 자기 디스크, 메모리 카드 등의 기록 매체에 기록해 제공하도록 해도 괜찮으며, 또한 인터넷 등의 네트워크를 통해 다운로드에 의해 제공하도록 해도 괜찮다.
본 발명은, 예를 들면, 영상신호의 잡음을 제거하는 시간 순회형의 잡음 필터에 적용하는 것이 가능하다.
본 발명에 의하면, 종래에 비해 고속으로 충분히 잡음을 억압할 수 있다.

Claims (8)

  1. 입력 영상 신호의 잡음을 억압하고 출력 영상 신호를 출력하는 잡음 억압 방법에 있어서,
    상기 방법은,
    상기 입력 영상 신호와 상기 출력 영상 신호와의 필드간 또는 프레임간의 차분 신호를 생성하는 차분 신호 생성 스텝과,
    상기 차분 신호를 귀환율로 곱셈하여 잡음 보정용 신호를 생성하는 보정용 신호 생성 스텝과,
    상기 잡음 보정용 신호를 상기 입력 영상 신호로부터 감산하는 잡음 보정용 신호 감산 스텝과,
    상기 귀환율을 제어하는 귀환율 제어 스텝을 가지며,
    상기 귀환율 제어 스텝은,
    상기 차분 신호를 위해 설정된 영역마다, 즉, 상기 입력 영상 신호의 소정 화소 단위로 분할된 영역 마다, 판정 기준치에 의해 상기 차분 신호의 신호 레벨을 판정하고, 상기 입력 영상 신호에 있어서의 급격한 신호 레벨의 변화를 검출하는 신호 레벨 판정 스텝과,
    상기 각 화소 영역마다, 상기 신호 레벨 판정 스텝에 있어서, 상기 급격한 신호 레벨의 변화가 검출되고, 계속해서 상기 급격한 신호 레벨의 변화가 검출될 때까지의, 상기 입력 영상 신호의 필드수 또는 프레임수를 카운트하는 카운트 스텝과,
    상기 카운트 스텝에 의한 카운트치에 따라, 상기 영역마다, 상기 귀환율을 설정하는 귀환율 설정 스텝을 가지며,
    상기 귀환율 설정 스텝은, 상기 카운트치가 증가함에 따라, 값 0으로부터 값이 차례차례 증가하도록 상기 귀환율을 설정하는 것을 특징으로 하는 잡음 억압 방법.
  2. 제 1항에 있어서,
    상기 입력 영상 신호의 잡음 레벨을 계측하여 잡음 레벨 계측 결과를 출력하는 잡음 레벨 계측 스텝과,
    상기 잡음 레벨 계측 결과에 근거하여, 상기 판정 기준치를 설정하는 판정 기준치 설정 스텝을 가지는 것을 특징으로 하는 잡음 억압 방법.
  3. 제 1항에 있어서,
    상기 입력 영상 신호에 있어서의 장면 변화를 검출하는 장면 변화 검출 스텝을 가지며,
    상기 카운트 스텝은, 상기 장면 변화 검출 스텝에 의한 장면 변화의 검출에 의해, 모든 상기 영역의 상기 카운트치를 값 0으로 초기화하는 것을 특징으로 하는 잡음 억압 방법.
  4. 제 1항에 있어서,
    상기 입력 영상 신호의 잡음 레벨을 계측하여 잡음 레벨 계측 결과를 출력하 는 잡음 레벨 계측 스텝을 가지며,
    상기 귀환율 설정 스텝은, 상기 잡음 레벨 계측 결과에 대한 상기 차분 신호의 진폭치가 커짐에 따라 값이 작아지도록, 상기 귀환율을 보정하는 귀환율 보정 스텝을 가지는 것을 특징으로 하는 잡음 억압 방법.
  5. 제 1항에 있어서,
    상기 차분 신호 생성 스텝은, 상기 차분 신호를 복수 대역으로 대역 분할하여 출력하며,
    상기 보정용 신호 생성의 스텝은, 상기 복수의 대역마다, 대응하는 대역의 귀환율로 상기 차분 신호를 곱셈한 후, 대역 합성하여 상기 잡음 보정용 신호를 생성하며,
    상기 귀환율 제어 스텝은, 상기 대역마다, 상기 귀환율을 제어하는 것을 특징으로 하는 잡음 억압 방법.
  6. 입력 영상 신호의 잡음을 억압하여, 출력 영상 신호를 출력하는 잡음 억압 방법을, 컴퓨터로 실행시키는, 프로그램을 기록한 기록 매체에 있어서,
    상기 프로그램은,
    상기 입력 영상 신호와 상기 출력 영상 신호와의 필드간 또는 프레임간의 차분 신호를 생성하는 차분 신호 생성 스텝과,
    상기 차분 신호를 귀환율로 곱셈하여 잡음 보정용 신호를 생성하는 보정용 신호 생성 스텝과,
    상기 잡음 보정용 신호를 상기 입력 영상 신호로부터 감산하는 잡음 보정용 신호 감산 스텝과,
    상기 귀환율을 제어하는 귀환율 제어 스텝을 가지며,
    상기 귀환율 제어 스텝은,
    상기 차분 신호를 위해 설정된 영역마다, 즉, 상기 입력 영상 신호의 소정 화소 단위로 분할된 영역 마다, 판정 기준치에 의해 상기 차분 신호의 신호 레벨을 판정하고, 상기 입력 영상 신호에 있어서의 급격한 신호 레벨의 변화를 검출하는 신호 레벨 판정 스텝과,
    상기 각 화소 마다, 상기 신호 레벨 판정 스텝에 있어서, 상기 급격한 신호 레벨의 변화가 검출되고, 계속해서 상기 급격한 신호 레벨의 변화가 검출될 때까지의, 상기 입력 영상 신호의 필드수 또는 프레임수를 카운트하는 카운트 스텝과,
    상기 카운트 스텝에 의한 카운트치에 따라, 상기 영역마다, 상기 귀환율을 설정하는 귀환율 설정 스텝을 가지며,
    상기 귀환율 설정 스텝은, 상기 카운트치가 증가함에 따라, 값 0으로부터 값이 차례차례 증가하도록 상기 귀환율을 설정하는 것을 특징으로 하는 기록 매체.
  7. 입력 영상 신호의 잡음을 억압하여 출력 영상 신호를 출력하는 잡음 억압 방법의 프로그램을 기록한 기록 매체에 있어서,
    상기 잡음 억압 방법의 프로그램은,
    상기 입력 영상 신호와 상기 출력 영상 신호와의 필드간 또는 프레임간의 차분 신호를 생성하는 차분 신호 생성 스텝과,
    상기 차분 신호를 귀환율로 곱셈하여 잡음 보정용 신호를 생성하는 보정용 신호 생성 스텝과,
    상기 잡음 보정용 신호를 상기 입력 영상 신호로부터 감산하는 잡음 보정용 신호 감산 스텝과,
    상기 귀환율을 제어하는 귀환율 제어 스텝을 가지며,
    상기 귀환율 제어 스텝은,
    상기 차분 신호를 위해 설정된 영역마다, 즉, 상기 입력 영상 신호의 소정 화소 단위로 분할된 영역 마다, 판정 기준치에 의해 상기 차분 신호의 신호 레벨을 판정하고, 상기 입력 영상 신호에 있어서의 급격한 신호 레벨의 변화를 검출하는 신호 레벨 판정 스텝과,
    상기 각 화소 마다, 상기 신호 레벨 판정 스텝에 있어서, 상기 급격한 신호 레벨의 변화가 검출되고, 계속해서 상기 급격한 신호 레벨의 변화가 검출될 때까지의, 상기 입력 영상 신호의 필드수 또는 프레임수를 카운트하는 카운트 스텝과,
    상기 카운트 스텝에 의한 카운트치에 따라, 상기 영역마다, 상기 귀환율을 설정하는 귀환율 설정 스텝을 가지며,
    상기 귀환율 설정 스텝은, 상기 카운트치가 증가함에 따라, 값 0으로부터 값이 차례차례 증가하도록 상기 귀환율을 설정하는 것을 특징으로 하는 잡음 억압 방법의 프로그램을 기록한 기록 매체.
  8. 입력 영상 신호의 잡음을 억압하여 출력 영상 신호를 출력하는 잡음 억압 장치에 있어서,
    상기 잡음 억압 장치는,
    상기 입력 영상 신호와 상기 출력 영상 신호와의 필드간 또는 프레임간의 차분 신호를 생성하는 차분 신호 생성부와,
    상기 차분 신호를 귀환율로 곱셈하여 잡음 보정용 신호를 생성하는 보정용 신호 생성부와,
    상기 잡음 보정용 신호를 상기 입력 영상 신호로부터 감산하는 잡음 보정용 신호 감산부와,
    상기 귀환율을 제어하는 귀환율 제어부를 가지며,
    상기 귀환율 제어부는,
    상기 차분 신호를 위해 설정된 영역마다, 즉, 상기 입력 영상 신호의 소정 화소 단위로 분할된 영역 마다, 판정 기준치에 의해 상기 차분 신호의 신호 레벨을 판정하고, 상기 입력 영상 신호에 있어서의 급격한 신호 레벨의 변화를 검출하는 신호 레벨 판정부와,
    상기 각 화소마다, 상기 신호 레벨 판정부에 있어서, 상기 급격한 신호 레벨의 변화가 검출되고, 계속해서 상기 급격한 신호 레벨의 변화가 검출될 때까지의, 상기 입력 영상 신호의 필드수 또는 프레임수를 카운트하는 카운트부와,
    상기 카운트부의 카운트치에 따라, 상기 영역마다, 상기 귀환율을 설정하는 귀환율 설정부를 가지며,
    상기 귀환율 설정부는,
    상기 카운트치가 증가함에 따라, 값 0으로부터 값이 차례차례 증가하도록 상기 귀환율을 설정하는 것을 특징으로 하는 잡음 억압 장치.
KR1020070055064A 2006-06-06 2007-06-05 잡음 억압 방법, 잡음 억압 방법의 프로그램, 잡음 억압방법의 프로그램을 기록한 기록 매체 및 잡음 억압 장치 Expired - Fee Related KR101331237B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JPJP-P-2006-00156803 2006-06-06
JP2006156803A JP4857916B2 (ja) 2006-06-06 2006-06-06 ノイズ抑圧方法、ノイズ抑圧方法のプログラム、ノイズ抑圧方法のプログラムを記録した記録媒体及びノイズ抑圧装置

Publications (2)

Publication Number Publication Date
KR20070116743A KR20070116743A (ko) 2007-12-11
KR101331237B1 true KR101331237B1 (ko) 2013-11-18

Family

ID=38529709

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020070055064A Expired - Fee Related KR101331237B1 (ko) 2006-06-06 2007-06-05 잡음 억압 방법, 잡음 억압 방법의 프로그램, 잡음 억압방법의 프로그램을 기록한 기록 매체 및 잡음 억압 장치

Country Status (5)

Country Link
US (1) US8111332B2 (ko)
EP (1) EP1865711A3 (ko)
JP (1) JP4857916B2 (ko)
KR (1) KR101331237B1 (ko)
CN (1) CN100481879C (ko)

Families Citing this family (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2010107717A2 (en) * 2009-03-15 2010-09-23 San Diego State University Rectangular power spectral densities of orthogonal functions
US8682102B2 (en) * 2009-06-18 2014-03-25 Schlumberger Technology Corporation Cyclic noise removal in borehole imaging
JP5460146B2 (ja) * 2009-07-01 2014-04-02 キヤノン株式会社 撮像装置及びその制御方法
JP5603676B2 (ja) * 2010-06-29 2014-10-08 オリンパス株式会社 画像処理装置及びプログラム
JP2012238212A (ja) 2011-05-12 2012-12-06 Sony Corp 加算比率学習装置および方法、画像処理装置および方法、プログラム、並びに記録媒体
JP2012253645A (ja) * 2011-06-06 2012-12-20 Sony Corp 画像処理装置および画像処理方法
JP2013059016A (ja) * 2011-08-12 2013-03-28 Sony Corp 画像処理装置および方法、並びにプログラム
JP2015019120A (ja) * 2011-11-10 2015-01-29 シャープ株式会社 ノイズ低減装置、表示装置、ノイズ低減方法及びノイズ低減プログラム
US9041864B2 (en) * 2012-11-19 2015-05-26 Nokia Technologies Oy Method and apparatus for temporal stabilization of streaming frames
JP6087612B2 (ja) 2012-12-17 2017-03-01 キヤノン株式会社 画像処理装置および画像処理方法
CN103632352B (zh) * 2013-11-01 2017-04-26 华为技术有限公司 一种噪声图像的时域降噪方法和相关装置
JP6407686B2 (ja) * 2014-12-01 2018-10-17 キヤノンメディカルシステムズ株式会社 ノイズ低減回路
US9232118B1 (en) * 2015-01-23 2016-01-05 Interra Systems, Inc Methods and systems for detecting video artifacts
JP6800806B2 (ja) * 2017-05-09 2020-12-16 キヤノン株式会社 画像処理装置、画像処理方法およびプログラム

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4841366A (en) * 1986-03-31 1989-06-20 Nec Home Electronics Ltd. Cyclic noise reducing apparatus
US20030138164A1 (en) 2002-01-22 2003-07-24 Hitachi, Ltd. Image recording device

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPS61177073A (ja) * 1985-02-01 1986-08-08 Nec Corp 画像信号処理装置
JPS62290270A (ja) * 1986-06-10 1987-12-17 Matsushita Electric Ind Co Ltd 雑音除去装置
JPH05336497A (ja) * 1992-05-29 1993-12-17 Sanyo Electric Co Ltd 動き検出回路
JPH07162718A (ja) * 1993-12-10 1995-06-23 Nikon Corp 巡回型ノイズ低減装置
JP3364342B2 (ja) * 1994-12-19 2003-01-08 松下電器産業株式会社 雑音除去装置
EP0731601B2 (en) * 1995-03-06 2006-10-18 Matsushita Electric Industrial Co., Ltd. Video signal noise reduction apparatus
JP2000224444A (ja) * 1999-02-04 2000-08-11 Toshiba Corp 巡回型ノイズ低減装置
JP2001136416A (ja) * 1999-08-20 2001-05-18 Sony Corp 信号処理装置及び方法
JP3979933B2 (ja) * 2002-12-03 2007-09-19 シャープ株式会社 ノイズ除去装置及びノイズ除去方法
US20060114994A1 (en) * 2004-12-01 2006-06-01 Silverstein D Amnon Noise reduction in a digital video
JP2007274067A (ja) * 2006-03-30 2007-10-18 Mitsubishi Electric Corp ノイズ除去装置、ノイズ除去方法、および映像信号表示装置

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4841366A (en) * 1986-03-31 1989-06-20 Nec Home Electronics Ltd. Cyclic noise reducing apparatus
US20030138164A1 (en) 2002-01-22 2003-07-24 Hitachi, Ltd. Image recording device

Also Published As

Publication number Publication date
JP2007329524A (ja) 2007-12-20
US20070293181A1 (en) 2007-12-20
EP1865711A3 (en) 2009-12-30
CN101087367A (zh) 2007-12-12
CN100481879C (zh) 2009-04-22
US8111332B2 (en) 2012-02-07
KR20070116743A (ko) 2007-12-11
EP1865711A2 (en) 2007-12-12
JP4857916B2 (ja) 2012-01-18

Similar Documents

Publication Publication Date Title
KR101331237B1 (ko) 잡음 억압 방법, 잡음 억압 방법의 프로그램, 잡음 억압방법의 프로그램을 기록한 기록 매체 및 잡음 억압 장치
US7602440B2 (en) Image processing apparatus and method, recording medium, and program
US9444977B2 (en) Method and device for adaptive noise measurement of a video signal
US20110158550A1 (en) Information processing apparatus, processing method, and computer-readable storage medium
KR20060076176A (ko) 비디오 시퀀스에서 시간적 잡음 제거 방법 및 시스템
KR20070116738A (ko) 영상 신호 처리 방법, 영상 신호 처리 방법의 프로그램,영상 신호 처리 방법의 프로그램을 기록한 기록 매체 및영상 신호 처리 장치
US20100150465A1 (en) Method and apparatus for removing image noise
KR100757392B1 (ko) 노이즈검출장치 및 방법과, 이를 이용한 노이즈저감장치 및방법
JP3240371B2 (ja) 映像信号処理装置
JP2005150903A (ja) 画像処理装置、ノイズ除去方法及びノイズ除去プログラム
JP2008017448A (ja) 映像信号処理方法、映像信号処理方法のプログラム、映像信号処理方法のプログラムを記録した記録媒体及び映像信号処理装置
EP1777939A1 (en) Image processing apparatus and method, recording medium, and program
CN103858421B (zh) 影像处理装置以及影像处理方法
JP4627940B2 (ja) ノイズ低減装置、及びノイズ低減方法
KR20060069443A (ko) 보간된 이미지들의 후처리
US10068319B2 (en) Method for noise reduction in an image sequence
JP4289170B2 (ja) ノイズ量測定装置および映像受像機
JP5147655B2 (ja) 映像信号処理装置および映像表示装置
KR20060029283A (ko) 모션-보상된 영상 신호 보간
JP2000152036A (ja) ノイズ除去装置およびノイズ除去方法
JP2007179211A (ja) 画像処理装置、画像処理方法、およびそのプログラム
TWI386868B (zh) 使用內容調適懲罰函數的移動偵測方法
JP2008199267A (ja) 映像受像機
JP2014107611A (ja) 画像処理装置及び画像処理方法
JP2011082932A (ja) テロップ画像検出方法およびテロップ画像検出装置

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

A201 Request for examination
P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

FPAY Annual fee payment

Payment date: 20161019

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

LAPS Lapse due to unpaid annual fee
PC1903 Unpaid annual fee

St.27 status event code: A-4-4-U10-U13-oth-PC1903

Not in force date: 20171113

Payment event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

PC1903 Unpaid annual fee

St.27 status event code: N-4-6-H10-H13-oth-PC1903

Ip right cessation event data comment text: Termination Category : DEFAULT_OF_REGISTRATION_FEE

Not in force date: 20171113

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301