KR20130000827A - 이미지의 에지 향상 방법 - Google Patents

이미지의 에지 향상 방법 Download PDF

Info

Publication number
KR20130000827A
KR20130000827A KR1020110061589A KR20110061589A KR20130000827A KR 20130000827 A KR20130000827 A KR 20130000827A KR 1020110061589 A KR1020110061589 A KR 1020110061589A KR 20110061589 A KR20110061589 A KR 20110061589A KR 20130000827 A KR20130000827 A KR 20130000827A
Authority
KR
South Korea
Prior art keywords
edge
value
image
noise
data
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020110061589A
Other languages
English (en)
Other versions
KR101812341B1 (ko
Inventor
박수진
비 굽타 라구반쉬
Original Assignee
엘지이노텍 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 엘지이노텍 주식회사 filed Critical 엘지이노텍 주식회사
Priority to KR1020110061589A priority Critical patent/KR101812341B1/ko
Priority to US13/214,610 priority patent/US8737762B2/en
Priority to JP2011201409A priority patent/JP5767064B2/ja
Publication of KR20130000827A publication Critical patent/KR20130000827A/ko
Application granted granted Critical
Publication of KR101812341B1 publication Critical patent/KR101812341B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/73Deblurring; Sharpening
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/20Image enhancement or restoration using local operators
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T3/00Geometric image transformations in the plane of the image
    • G06T3/40Scaling of whole images or parts thereof, e.g. expanding or contracting
    • G06T3/4007Scaling of whole images or parts thereof, e.g. expanding or contracting based on interpolation, e.g. bilinear interpolation
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T5/00Image enhancement or restoration
    • G06T5/70Denoising; Smoothing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00Image analysis
    • G06T7/10Segmentation; Edge detection
    • G06T7/13Edge detection
    • HELECTRICITY
    • H04ELECTRIC COMMUNICATION TECHNIQUE
    • H04NPICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N9/00Details of colour television systems
    • H04N9/64Circuits for processing colour signals
    • H04N9/67Circuits for processing colour signals for matrixing
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/10Image acquisition modality
    • G06T2207/10024Color image
    • GPHYSICS
    • G06COMPUTING OR CALCULATING; COUNTING
    • G06TIMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00Indexing scheme for image analysis or image enhancement
    • G06T2207/20Special algorithmic details
    • G06T2207/20172Image enhancement details
    • G06T2207/20192Edge enhancement; Edge preservation

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Processing (AREA)
  • Picture Signal Circuits (AREA)
  • Facsimile Image Signal Circuits (AREA)

Abstract

본 발명은 촬영된 이미지에 에지 필터를 적용하고, 에지일 가능성이 있는 픽셀들에 대해 1차적으로 노이즈인지 에지인지 판단하는 과정을 진행한다. 노이즈인지 에지인지 불명확한 픽셀들에 대해서는 3x3 마스크를 이용하여 노이즈인지 에지인지 판단하는 과정을 다시 한번 수행한다. 본 발명에 따르면 간단한 알고리즘을 통해 에지 향상을 수행할 수 있다.

Description

이미지의 에지 향상 방법{A METHOD FOR EDGE ENHANCEMENT OF IMAGE}
본 발명은 이미지의 에지 향상 방법에 관한 것이다. 보다 구체적으로, 본 발명은 촬영된 이미지에 에지 필터를 적용하고, 에지일 가능성이 있는 픽셀들에 대해 1차적으로 노이즈인지 에지인지 판단하는 과정을 진행한다. 노이즈인지 에지인지 불명확한 픽셀들에 대해서는 3x3 마스크를 이용하여 노이즈인지 에지인지 판단하는 과정을 다시 한번 수행한다. 본 발명에 따르면 간단한 알고리즘을 통해 에지 향상을 수행할 수 있다.
일반적으로, 이미지 선명도 향상 기법 또는 에지 향상 방법은 이미지의 에지(윤곽선) 성분을 강조하는 방식을 채택하고 있다. 종래에 알려진 이미지의 선명도 향상을 위한 에지 강조 기법으로는, 전체 이미지에 동일한 2 차원 고역통과필터(2D HPF)를 적용하여 원본 이미지에 그 값을 적용하는 방식과, 에지(윤곽선)의 특성을 파악해서 각각의 특성에 맞춰진 2 차원 고역통과필터를 적용하여 원본 이미지에 그 값을 적용하는 방식 등이 알려져 있다.
종래의 에지 향상 방법은 에지 향상을 수행하면 에지뿐만 아니라 노이즈 성분도 같이 증가되는 문제점이 있었다.
보다 효율적이고 간단한 알고리즘을 통해 노이즈와 에지를 구분하여 에지를 향상시키는 방법이 요구된다.
본 발명은 에지와 노이즈를 구분하고, 에지에 대해서만 에지 향상을 적용하는 방법을 제공하는 것을 목적으로 한다.
본 발명의 일 실시예에 따른 에지 향상 방법은, RGB 데이터를 수신하는 단계; 상기 RGB 데이터를 YCbCr 데이터로 변환하는 단계; 상기 YCbCr 데이터 중 Y 채널에 대해 에지 필터링을 수행하여 에지값을 추출하는 단계; 상기 에지값에 대해 노이즈인지 에지인지 모호성을 판단하는 단계; 노이즈인지 에지인지 모호하다고 판단되면, 상기 에지값에 해당하는 픽셀에 n x n (n은 정수)마스크을 적용하고 상기 마스크에서 최소값, 최대값 및 평균값을 산출하는 단계; 상기 최소값, 최대값 및 평균값을 사용하여 상기 에지값에 해당하는 픽셀이 노이즈인지 에지인지를 판단하는 단계; 및 에지라고 판단되면 상기 에지값을 갖는 픽셀에 대해 에지 향상을 수행하는 단계를 포함한다.
본 발명에 따르면 간단한 알고리즘으로 노이즈와 에지를 구분할 수 있고, 에지에 대해서만 에지 향상을 적용할 수 있다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치(10)의 구성을 나타내는 구성도이다.
도 2는 본 발명의 일 실시예에 따른 에지 향상 방법을 나타내는 순서도이다.
이하 도면을 참조하여 본 발명의 실시예들을 보다 상세히 설명한다.
도 1은 본 발명의 일 실시예에 따른 이미지 처리 장치(10)의 구성을 나타내는 구성도이다.
도 1에 도시된 바와 같이 본 발명의 일 실시예에 따른 이미지 처리 장치(10)는 이미지를 촬영하는 이미지 센서(11), 이미지 센서(11)에서 출력된 로 데이터(raw data)를 RGB 데이터로 변환하는 색 보간부(12), RGB 데이터를 YCbCr 데이터로 변환하는 색 공간 변환부(13) 및 상기 YCbCr 데이터 중 Y 채널 데이터에 대해 에지 향상을 수행하는 에지 향상부(14)를 포함할 수 있다. 에지 향상부(14)에서 출력된 데이터는 디스플레이로 바로 출력되거나 또는 노이즈 감소부, 컬러 압축 등의 추가 과정을 거쳐 출력될 수 있다.
도 1에 도시된 구성 요소 외에도, 이미지 처리 장치(10)는 이미지 센서(11)에 의해 제공되는 데이터에 디지털 고정(Digital Clamp), 백색 결점 보정(White Defect Correction), 패턴 생성(Pattern Generation), 색 음영 보정(RGB Shading) 등과 같은 전처리 과정을 수행하는 전 처리부를 더 포함할 수 있다.
보다 구체적으로, 색 보간부(12)는 보간(interpolation)을 통하여 하나의 채널 성분을 가지는 각각의 화소 성분을 R(Red), G(Green), B(Blue) 성분으로 분리한 후 이들을 결합하여 각각의 화소가 R, G, B의 세 가지 채널 성분을 가지는 이미지 데이터를 생성한다.
에지 향상부(14)는 후술하는 바와 같은 방법에 의해 이미지 데이터의 에지(edge)를 검출하여 에지를 향상(Edge Enhancement)시켜 이미지의 선명도를 향상시킨다.
도 2는 본 발명의 일 실시예에 따른 에지 향상 방법을 나타내는 순서도이다.
단계(S11)에서, RGB 이미지 데이터를 수신한다. RGB 이미지 데이터는 이미지 센서에 의해 촬영한 것일 수도 있고, 다른 장치로부터 수신하거나 저장 매체에 저장된 데이터를 읽어들일 수도 있다. 이미지 센서에 의해 촬영하는 경우는 도 1의 이미지 센서(11)에 의해 촬영된 로 데이터를 색 보간부(12)에 의해 변환할 수 있다.
단계(S12)에서, 수신한 RGB 데이터를 YCbCr로 변환한다. 이는 도 1의 색 공간 변환부(13)에 의해 수행될 수 있다.
이하의 단계들은 도 1의 에지 향상부(14)에 의해 수행될 수 있다. 단계(S13)에서, YCbCr 데이터 중 Y 채널 데이터에 대해 에지 필터링을 수행하여 에지에 해당하는 픽셀들을 추출한다.
이때, 에지 필터링은 공지된 다양한 에지 검출 알고리즘에 의해 수행될 수 있으며, 예컨대 표준 라플라시안 커널(Standard Laplacian kernel)을 사용할 수 있다.
에지 필터링은 이미지의 윤곽선인 에지를 필터링해내는 과정이지만, 노이즈도 에지와 유사한 특성을 보이므로, 노이즈도 에지에 해당하는 픽셀로 추출된다.
단계(S14)에서, 1차적으로 노이즈를 제거하는데, 이때 에지값, 즉 에지에 해당하는 픽셀의 휘도값이 소정 범위 내에 있는지 여부, 예컨대 제1 임계값(Th1)과 제2 임계값(Th2) 사이에 있는지 여부를 판단하여 노이즈인지 에지인지를 판단한다. 제1 임계값(Th1)과 제2 임계값(Th2)은 실시예에 따라 달라질 수 있으며, 이미지의 특성에 따라 적응적으로 다르게 설정할 수도 있다.
해당 픽셀의 픽셀값이 제1 임계값(Th1)와 제2 임계값(Th2)의 범위 내에 있는 경우, 해당 에지 픽셀은 에지인 것으로 판단하고, 단계(S17)에서 에지 향상을 수행한다. 단계(S17)에서의 에지 향상은 원래 입력 이미지 값에 에지값을 한번 더 더해줌으로써 수행될 수 있으며, 이 외에 다른 방식의 에지 향상도 사용될 수 있다.
해당 픽셀의 픽셀값이 제1 임계값(Th1)와 제2 임계값(Th2)의 범위 밖에 있는 경우는 일단 노이즈일 가능성이 있는 픽셀로 간주되어 2차적으로 노이즈인지 에지인지 판단하는 단계를 거치게 된다. 단계(S15)에서, 해당 픽셀을 중심으로 n x n 크기의 마스크를 설정하고(n은 정수), 해당 마스크의 포함된 픽셀들의 min(최소값), max(최대값), mean(평균값)을 산출한다. 마스크의 사이즈를 결정하는 n은 실시예에 따라 변경될 수 있으며, 바람직하게는 마스크의 사이즈는 3x3 또는 5x5이다.
단계(S16)에서 산출된 (min-mean)의 절대값이 제3 임계값(Th3)이상이고, (max-mean)의 절대값이 제4 임계값(Th4) 이상이면 최종적으로 에지인 것으로 판단하고, 아니면 노이즈인 것으로 판단한다.
에지인 것으로 판단되면 단계(S17)에서 에지 향상을 수행하고, 노이즈인 것으로 판단되면 다음 에지 픽셀에 대해 같은 과정을 반복한다.
이상의 설명은 본 발명의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 발명의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 발명에 개시된 실시예들은 본 발명의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 발명의 기술 사상의 범위가 한정되는 것은 아니다. 본 발명의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 발명의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
10 : 이미지 처리 장치
11 : 이미지 센서
12 : 색 보간부
13 : 색 공간 변환부
14 : 에지 향상부

Claims (7)

  1. RGB 데이터를 수신하는 단계;
    상기 RGB 데이터를 YCbCr 데이터로 변환하는 단계;
    상기 YCbCr 데이터 중 Y 채널에 대해 에지 필터링을 수행하여 에지값을 추출하는 단계;
    상기 추출한 에지값에 대해 노이즈인지 에지인지 모호성을 판단하는 단계;
    상기 노이즈인지 에지인지 모호하다고 판단되면, 상기 에지값에 해당하는 픽셀에 n x n (n은 정수)마스크를 적용하고 상기 마스크에서 최소값, 최대값 및 평균값을 산출하는 단계;
    상기 최소값, 최대값 및 평균값을 사용하여 상기 에지값에 해당하는 픽셀이 노이즈인지 에지인지를 판단하는 단계; 및
    에지라고 판단되면 상기 에지값을 갖는 픽셀에 대해 에지 향상을 수행하는 단계를 포함하는 에지 향상 방법.
  2. 제1항에 있어서,
    상기 에지 필터링은 스탠다드 라플라시안 커널에 의해 수행되는 에지 향상 방법.
  3. 제1항에 있어서,
    상기 에지값에 대해 모호성을 판단하는 단계는, 상기 에지값이 소정 범위 이내인지 판단하는 단계를 포함하는 에지 향상 방법.
  4. 제1항에 있어서,
    상기 n은 3 또는 5인 에지 향상 방법.
  5. 제1항에 있어서,
    상기 노이즈인지 에지인지 모호하지 않다고 판단되면, 상기 에지값에 대해 에지 향상을 수행하는 단계를 포함하는 에지 향상 방법.
  6. 제1항에 있어서,
    상기 최소값, 최대값 및 평균값을 사용하여 상기 에지값에 해당하는 픽셀이 노이즈라고 판단되면 다음 픽셀에 대해 위 단계들을 수행하는 단계를 더 포함하는 에지 향상 방법.
  7. 제1항에 있어서,
    상기 에지 향상을 수행하는 단계는, 입력 이미지에 상기 에지값을 합산하는 단계를 포함하는 에지 향상 방법.
KR1020110061589A 2011-06-24 2011-06-24 이미지의 에지 향상 방법 Active KR101812341B1 (ko)

Priority Applications (3)

Application Number Priority Date Filing Date Title
KR1020110061589A KR101812341B1 (ko) 2011-06-24 2011-06-24 이미지의 에지 향상 방법
US13/214,610 US8737762B2 (en) 2011-06-24 2011-08-22 Method for enhancing image edge
JP2011201409A JP5767064B2 (ja) 2011-06-24 2011-09-15 イメージのエッジ向上方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020110061589A KR101812341B1 (ko) 2011-06-24 2011-06-24 이미지의 에지 향상 방법

Publications (2)

Publication Number Publication Date
KR20130000827A true KR20130000827A (ko) 2013-01-03
KR101812341B1 KR101812341B1 (ko) 2017-12-26

Family

ID=47361907

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020110061589A Active KR101812341B1 (ko) 2011-06-24 2011-06-24 이미지의 에지 향상 방법

Country Status (3)

Country Link
US (1) US8737762B2 (ko)
JP (1) JP5767064B2 (ko)
KR (1) KR101812341B1 (ko)

Families Citing this family (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104680484B (zh) * 2013-11-26 2018-01-26 展讯通信(上海)有限公司 一种图像增强的方法及装置
CN104751415B (zh) * 2013-12-31 2017-12-26 展讯通信(上海)有限公司 一种图像去噪和增强的方法、装置及图像处理系统
CN105225203B (zh) * 2014-06-23 2018-01-26 展讯通信(上海)有限公司 噪声抑制方法及装置
CN105809633B (zh) * 2014-12-29 2019-04-30 展讯通信(上海)有限公司 去除颜色噪声的方法及装置
CN105160676A (zh) * 2015-08-31 2015-12-16 中国烟草总公司广东省公司 一种烤后烟叶烟筋图像提取方法
CN105898174A (zh) * 2015-12-04 2016-08-24 乐视网信息技术(北京)股份有限公司 用于提高视频清晰度的方法及设备
CN106131949B (zh) * 2016-06-02 2020-05-19 上海物联网有限公司 一种基于能量均值检测的到达时间估计方法
CN107358368B (zh) * 2017-07-21 2021-07-20 国网四川省电力公司眉山供电公司 一种面向电力用户细分的鲁棒k-means聚类方法
CN111491098A (zh) * 2020-04-14 2020-08-04 重庆幻光影视科技有限公司 一种新型峰值对焦方法
CN112508798A (zh) * 2020-09-26 2021-03-16 中南林业科技大学 一种基于高斯函数的图像增强及降噪方法与系统
CN120164401A (zh) * 2025-04-08 2025-06-17 中茵微电子(南京)有限公司 一种基于边缘判断的rgbg型显示面板子像素渲染方法及系统

Family Cites Families (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2000322569A (ja) * 1999-05-10 2000-11-24 Ricoh Co Ltd 画像処理装置
KR100296596B1 (ko) * 1999-07-14 2001-07-12 윤종용 4방향 일차원 고역 통과 필터링에 의한 윤곽선 강조 방법
US6459807B1 (en) * 2000-06-13 2002-10-01 Semiconductor Technologies & Instruments, Inc. System and method for locating irregular edges in image data
JP3818044B2 (ja) * 2000-10-18 2006-09-06 ヤマハ株式会社 ノイズ除去装置及びノイズ除去方法並びにコンピュータ読み取り可能な記録媒体
JP2004318356A (ja) * 2003-04-15 2004-11-11 Olympus Corp 画像処理装置、画像処理方法及びそのプログラム
JP4250483B2 (ja) * 2003-08-25 2009-04-08 キヤノン株式会社 画像処理装置、画像処理方法ならびにプログラム、記憶媒体
JP2005311962A (ja) * 2004-04-26 2005-11-04 Olympus Corp 画像処理装置、画像処理方法、画像処理プログラム
US8514303B2 (en) * 2006-04-03 2013-08-20 Omnivision Technologies, Inc. Advanced imaging systems and methods utilizing nonlinear and/or spatially varying image processing
JP2007306501A (ja) * 2006-05-15 2007-11-22 Fujifilm Corp 画像処理方法、画像処理装置、および画像処理プログラム
KR100864286B1 (ko) * 2007-05-09 2008-10-17 엠텍비젼 주식회사 조정 가능한 임계값을 이용한 노이즈 제거 장치 및 방법
JP5359646B2 (ja) * 2008-08-01 2013-12-04 株式会社ニコン 画像処理方法
JP5315158B2 (ja) * 2008-09-12 2013-10-16 キヤノン株式会社 画像処理装置及び画像処理方法
US8351725B2 (en) * 2008-09-23 2013-01-08 Sharp Laboratories Of America, Inc. Image sharpening technique
KR100975221B1 (ko) * 2008-11-05 2010-08-10 매그나칩 반도체 유한회사 샤프니스 보정장치 및 그 방법
US8885967B2 (en) * 2009-01-19 2014-11-11 Csr Technology Inc. Method and apparatus for content adaptive sharpness enhancement
US8861885B2 (en) * 2009-08-26 2014-10-14 Apple Inc. Directional noise filtering

Also Published As

Publication number Publication date
US20120328193A1 (en) 2012-12-27
US8737762B2 (en) 2014-05-27
KR101812341B1 (ko) 2017-12-26
JP2013008346A (ja) 2013-01-10
JP5767064B2 (ja) 2015-08-19

Similar Documents

Publication Publication Date Title
KR101812341B1 (ko) 이미지의 에지 향상 방법
EP2852152B1 (en) Image processing method, apparatus and shooting terminal
US8406559B2 (en) Method and system for enhancing image sharpness based on local features of image
CN105654445B (zh) 一种基于小波变换边缘检测的手机图像去噪方法
US9031321B2 (en) Content adaptive edge and detail enhancement for image and video processing
US20160225126A1 (en) Method for image processing using local statistics convolution
CN103873740B (zh) 图像处理装置及信息处理方法
WO2016206087A1 (zh) 一种低照度图像处理方法和装置
CN111784603A (zh) 一种raw域图像去噪方法、计算机装置及计算机可读存储介质
CN108389215B (zh) 一种边缘检测方法、装置、计算机存储介质及终端
CN109903294B (zh) 图像处理方法、装置、电子设备及可读存储介质
US9373162B2 (en) Auto-contrast enhancement system
CN102067171A (zh) 分割边缘增强架构
WO2011067755A1 (en) Method and system for automatically recovering chromaticity and image variation of colour clipped image regions
CN113256534B (zh) 一种图像增强方法、装置及介质
CN201726464U (zh) 一种新的视频图像锐化处理装置
JP5286215B2 (ja) 輪郭抽出装置、輪郭抽出方法、および輪郭抽出プログラム
JP5614550B2 (ja) 画像処理方法、画像処理装置及びプログラム
CN111429381A (zh) 图像边缘增强方法及装置、存储介质、计算机设备
CN109167892B (zh) 一种视频图像细节增强方法与系统
CN108133204B (zh) 一种手体识别方法、装置、设备及计算机可读存储介质
US8655061B2 (en) Image processing apparatus and image processing method for performing a convolution operation
CN103297787A (zh) 图像撷取系统及应用于图像撷取系统的图像处理方法
JP6339811B2 (ja) ノイズ判定装置、ノイズ判定方法
CN105450909B (zh) 一种信息处理方法及电子设备

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PN2301 Change of applicant

St.27 status event code: A-3-3-R10-R13-asn-PN2301

St.27 status event code: A-3-3-R10-R11-asn-PN2301

R17-X000 Change to representative recorded

St.27 status event code: A-3-3-R10-R17-oth-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PN2301 Change of applicant

St.27 status event code: A-5-5-R10-R13-asn-PN2301

St.27 status event code: A-5-5-R10-R11-asn-PN2301

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 9