KR20160061132A - 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 - Google Patents

차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 Download PDF

Info

Publication number
KR20160061132A
KR20160061132A KR1020140163659A KR20140163659A KR20160061132A KR 20160061132 A KR20160061132 A KR 20160061132A KR 1020140163659 A KR1020140163659 A KR 1020140163659A KR 20140163659 A KR20140163659 A KR 20140163659A KR 20160061132 A KR20160061132 A KR 20160061132A
Authority
KR
South Korea
Prior art keywords
vehicle
image
car
recognizing
illuminance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020140163659A
Other languages
English (en)
Other versions
KR101688695B1 (ko
Inventor
김정구
Original Assignee
아이티에스엔지니어링 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아이티에스엔지니어링 주식회사 filed Critical 아이티에스엔지니어링 주식회사
Priority to KR1020140163659A priority Critical patent/KR101688695B1/ko
Publication of KR20160061132A publication Critical patent/KR20160061132A/ko
Application granted granted Critical
Publication of KR101688695B1 publication Critical patent/KR101688695B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/60—Type of objects
    • G06V20/62—Text, e.g. of license plates, overlay texts or captions on TV images
    • G06V20/625—License plates
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/10—Image acquisition
    • G06V10/12—Details of acquisition arrangements; Constructional details thereof
    • G—PHYSICS
    • G08—SIGNALLING
    • G08G—TRAFFIC CONTROL SYSTEMS
    • G08G1/00—Traffic control systems for road vehicles
    • G08G1/01—Detecting movement of traffic to be counted or controlled
    • G08G1/04—Detecting movement of traffic to be counted or controlled using optical or ultrasonic detectors

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Traffic Control Systems (AREA)

Abstract

본 발명은 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 관한 것이다. 일 양태로서 차량번호 인식 장치는 차량진입 시 입차 촬영 범위 내의 루프감지 신호에 기초하여 조도 분석용 영상을 촬영하고, 번호판이 위치한 영역과 차량 컬러를 분석하여 선택범위 내 조도 값을 산출하는 조도분석부; 상기 산출된 조도 값에 기초하여 번호판의 인식범위로 촬영부의 셔터 동작을제어하여 차량번호 인식용 영상을 촬영하는 셔터제어부; 및 상기 촬영된 차량번호 인식용 영상을 판독하여 진입차량의 차량번호를 인식하는 차량번호 인식부를 포함하여 구성된다. 이러한 기술적 특징을 통하여 차량번호 인식 장치의 설치 위치에 상관없이, 또한 주간에 역광, 반사광 등이 발생치 않는 영상을 촬영할 수 있으며, 그 촬영된 영상으로부터 안정적으로 차량의 번호를 판독할 수 있다. 또한 측광, 자동차 헤드라이트 난반사가 발생하여도 스미어 현상과 밀러현상 등이 발생되지 않는 영상을 촬영하여 안정적으로 차량의 번호를 판독할 수 있다. 또한 자연 현상에 의한 눈, 비 등으로 인하여 차량 번호판이 가려지는 경우, 도로에서 운행 중 번호판에 오물 투척 등이 발생되는 경우, 차량의 번호판을 불법 개조 또는 불법 페인트를 칠할 경우 등으로 인하여 전면 번호판을 인식할 수 없는 경우에도 차량번호를 효과적으로 인식할 수 있다.

Description

차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체{APPARATUS AND METHOD FOR RECOGNIZING THE NUMBER OF CARS AND A COMPUTER-READABLE RECORDING PROGRAM FOR PERFORMING THE SAID METHOD, THE RECORDING MEDIUM}
본 발명은 차량의 전·후면 번호판을 촬영하여 차량번호를 인식 시 주간에 촬영영역의 조도 밝기 변화, 광원 각도 변화, 차량외형에 의해 잔광(역광, 반사광, 측광)이 발생하는 경우, 차량번호인식장비만 그림자의 영향을 받는 경우, 차량이 촬영되는 영역에만 그림자가 발생되는 경우, 야간에 자동차 헤드라이트의 난반사로 밀러 또는 스미어 현상이 발생되는 경우 등 차량번호를 인식하기 곤란한 다양한 환경에서도 차량번호를 용이하게 인식할 수 있는 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
차량의 번호판은 각 차량마다 식별을 달리하도록부여된 고유번호로서 차량의 종류, 제작사, 제작기간, 사용용도, 배기량, 원동기형식, 소유주, 거주등록지, 무적차량, 10부제위반차량, 도난차량 조회 등의 정보를 조회하기 위하여 사용된다. 따라서 어떠한 차량번호 조회환경에서도 신속 및 정확하게 차량번호를 인식하는 것이 매우 중요하다.
차량번호 인식 기술은 차량번호판으로부터 차량번호를 인식하는 기술로서 주차관리 시설의 관제 시스템에 적용되어 무 발권 입차 방식을 통한 입/출차 차량의 감시, 입차 시간 대비 주차장 사용 요금의 정산 등에 널리 이용되고 있으며, 또한 차선 위반, 신호 위반 및 속도위반 등의 도로교통 위반을 단속하기 위하여 널리 사용되고 있다.
그러나 종래의 차량번호 인식 기술은 눈 또는 비, 오물 투척 등으로 인해 차량 전 면부 번호판을 인식 할 수 없게 되거나 차량 차체 일부에서 태양광이 측각으로 반사되어 발생되는 스미어 현상이 발생되는 경우, 또는 야간의 차량 라이트에 의해 난반사 등이 발생하는 경우에 차량번호 인식률이 매우 저하되는 한계가 있다.
예를 들어, 주차장 입구에 진입하는 차량번호 인식을 위해서는 차량번호 인식장치가 주차장 입구의 지정된 위치와 거리가 먼 방향에서만 영상을 촬영할 수밖에 없는데 특히 주간에는 태양광의 위치와 밝기, 차량번호 인식기 설치 위치가 각종 그림자에 영향을 받게 되므로 촬영되는 영상에 대하여 많은부정적 영향이 미치게 된다.
게다가 반사광 발생 시 진입 차량의 외형 색상이나 번호판 색상 등에 의하여 반사광(밀러)현상이 나타나거나, 역광 발생 시 그림자 등의 영향으로 인하여 차량번호를 인식할 수 없는 정도의 영상이 촬영된다.
또한 눈 또는 비 등에 의한 주변 환경의 변화로 인하여 차량의 번호판이 가려지거나 오물 투척 등으로 인해 차량 전 면부 번호판을 인식 할 수 없게 되거나 진입하는 차량 차체 일부에서 태양광이 측각으로 반사되어 발생되는 스미어 현상이 발생하여 차량번호 인식률은 크게 저하된다. 더욱이 야간에는 차량 라이트에 의한 난반사 등으로 인하여 차량의 번호판을 인식하는데 매우 제한적이다.
이러한 문제점을 해결하고자 공개특허 KR10-2010-0112004호는 "듀얼 카메라를 이용한 차량 번호 인식 시스템 및 그 방법"이 개시되어 있다.
간략히 살펴보면 "듀얼 카메라를 이용한 차량번호 인식 시스템"은 차량 감지 영역에 진입한 차량을 감지하는 차량 감지부와; 상기 차량 감지 영역으로 적외선을 발사하는 투광부와; 상기 투광부와 연동하여 이미지를 촬영하기 위해 적외선 통과 필터를 채용한 제1카메라와; 적외선 차단 필터를 채용한 제2카메라와; 상기 차량을 촬영하기 위해 동원하는 카메라 정보를 설정한 데이터베이스와; 상기 제1 및 제2카메라 중 적어도 하나를 구동시키기 위해 제어신호에 따라 스위칭 하는 스위칭부와; 상기 제1 및 제2카메라로 촬영한 이미지에서 문자와 숫자로 구성된 차랑 번호를 인식하는 차량번호 인식부와; 상기 제1 및 제2카메라로 촬영한 이미지와 인식된 차량 번호를 저장하는 저장부와; 상기 차량 감지부의 감지신호에 따라 차량 감지 영역에 차량 진입을 인식하면 상기 데이터베이스에 설정된 카메라 정보에 따라 상기 제1 및 제2카메라 중 적어도 하나를 구동시키기 위한 제어신호를 스위칭부에 출력하고, 상기 차량번호 인식부에 의해 인식된 차량번호를 저장부에 저장하는 동작을 제어하는 제어부를 포함하여 구성된다.
이러한 구성을 통하여 공개특허는 데이터베이스에 설정된 카메라 아이디로 촬영에 동원할 카메라를 선택하거나 조도 센서(sensor)로 측정한 조도에 따라 촬영에 동원할 카메라를 선택하거나 데이터베이스와 조도 센서의 측정 조도를 모두 고려하여 촬영에 동원할 카메라를 선택한다. 즉 조도 센서로 측정한 조도와 기준 값을 비교하여 촬영에 동원할 촬영부를 선택하는 방식으로 주위 환경에 구속받지 않고 양질의 이미지를 획득하여 차량 번호의 인식률을 개선한다.
그러나 상기 공개특허에 제안된 기술은 앞서 언급한 기존의 기술과 마찬가지로 눈 또는 비, 오물 투척 등으로 인해 차량 전 면부 번호판을 인식 할 수 없게 되거나 차량 차체 일부에서 태양광이 측각으로 반사되어 발생되는 스미어 현상이 발생되는 경우, 또는 야간의 차량 라이트에 의해 난반사 등이 발생하는 경우에 차량번호 인식률이 매우 저하되는 한계가 있다.
따라서 어떠한 차량번호 인식 환경변화에서도 신속 및 정확하게 차량번호 인식이 가능한 기술이 크게 요구되고 있다.
한국공개특허 제10-2010-0112004호
본 발명은 종래의 문제점을 해결하기 위한 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 관한 것으로서,
주간에 주변의 건물 또는 사물에 의한 그림자 발생으로 인해 차량번호 인식 장치의 설치 위치에 제약이 따르거나 또한 주간에 역광, 반사광 등이 발생치 않는 영상을 촬영할 수 있는 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.
또한 측광, 자동차 헤드라이트 난반사가 발생하여도 스미어 현상과 밀러현상 등이 발생되지 않는 영상을 촬영할 수 있는 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.
또한 자연 현상에 의한 눈, 비 등으로 인하여 차량 번호판이 가려지는 경우, 도로에서 운행 중 번호판에 오물 투척 등이 발생되는 경우, 차량의 번호판을 불법 개조 또는 불법 페인트를 칠할 경우 등으로 인하여 전면 번호판을 인식할 수 없는 경우에도 차량번호를 인식 시 인식률 저하 및 오류 등이 전혀 발생하지 않는 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.
또한 야간과 어두운 날을 제외한 주간에는 소비전력이 가장 많은 적외선(IR) 조명을 켜지 않도록 하여 에너지 효율성을 향상시키는 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체를 제공하는 것을 목적으로 한다.
상기의 목적을 위한 본 발명의 일 양태에 따른 차량번호 인식 장치(a apparatus for Car number recognition)는,
입차 촬영 범위 내의 루프감지 신호에 기초하여 진입 차량의 영상을 촬영하는 하나 이상의 촬영부; 상기 촬영된 영상에 대하여 차량 번호판이 위치한 영역과 차량 컬러를 분석하여 선택범위 내의 조도 값을 산출하는 조도분석부; 상기 산출된 조도 값에 기초하여 번호판의 인식범위로 촬영부의 셔터 동작을 제어하여 차량번호 인식용 영상을 촬영하는 셔터제어부; 및 상기 촬영된 차량번호 인식용 영상을 판독하여 진입차량의 차량번호를 인식하는 차량번호 인식부를 포함하여 구성된다.
일 양태로서 조도분석부는 촬영되는 영상에서 번호판이 위치한 영역과 차량 컬러를 분석하기 위한 차량 번호판 주변 조도인식 범위를 설정하는 것을 특징으로 한다.
일 양태로서 진입 차량의 영상 및 차량번호 인식용 영상은 차량의 전면부 및 후면부에서 촬영된다. 차량번호 인식부는 상기 차량번호 인식용 영상으로부터 차량번호가 인식이 되지 않는 경우 차량 후면부에서 촬영된 차량번호 인식용 영상으로부터 차량번호를 인식한다. 일례로, 전후면 번호판 모두 1차로 조도 분석을 위해 영상을 촬영하고, 전체 영상범위에서 차량번호 판이 위치한부분의 조도를 분석하여 번호판 인식에 전혀 미인식이 발생되지 않도록 고속의 산술적 계산을 통해 번호판 인식에 최적의 셔터 범위로 변경 후 차량번호 인식용 2차 영상을 촬영하여 차량번호를 인식할 수 있다.
일 양태로서 셔터제어부는 상기 산출된 조도 값에 기초하여 촬영부의 셔터 위치, 최고 및 최저조도 값, 영상증폭 값, 최대셔터 이동 값을 통합 분석하고, 촬영 시점의 셔터 값보다 상기 분석된 셔터 값이 작거나 촬영 시점의 셔터 값 보다 분석된 셔터 값이 큰 경우 그 차이 값만큼 촬영부의 셔터의 여닫음을 제어한다.
조도분석부는 차량 검지 시 차량번호 인식 영상을 촬영하기 전에 차량 번호판 주변에 대하여 조도 분석용 영상을 촬영하여 차량번호가 위치한 구역의 번호판 색상과 반사 조도, 자동차 색상, 반사 조도 등을 통합 분석하여 번호판부분만은 해상도와 명료도가 최적의 범위로 이동시키기에 가장 근접한 셔터값을 산출하여 그 값으로 신속히 이동시켜 놓는다.
이때 차량의 전 면부 또는 후면부에 대하여 조도 분석용 영상을 촬영 시 촬영된 영상에서 번호판부분의 영상만은 잘 보이도록 사전 번호판이 포함된 예상 영역의 범위를 설정한다.
셔터제어부는 이전에 이동되어 있던 셔터 위치와 사전 대비 설정 시켜놓은 최저조도 값(minimum illumination)과 최대조도 값(maximum illumination) 등이 얼마였는가를 분석하고 현재 변경되어야 할 셔터 위치만큼 최저조도 값과 최대조도 값, 최대셔터 값, 영상밝기(Image illumination) 등을 연산 처리하여 셔터를 얼마만큼 열고 닫을지 등을 분석하고 그 결과에 기초하여 촬영부의 셔터를 순간 이동시켜 번호판 주변의 영상만큼은 최상의 명료도(Image Definition)가 되도록 전체 화면 범위의 조도를 번호판 주변 조도와 동일하게 변경시켜 차량번호 인식용 영상을 촬영 한다.
조도 조절용 영상을 촬영하여 차량번호판 주변의 영역 범위에 대하여 조도 분석을 한 결과 주간으로 판단되면 적외선(IR, Infrared Ray)램프를 켜지 않고 야간으로 판단되면 적외선(IR)램프를 켠 후 차량번호 인식을 위한 영상을 촬영하여 차량번호를 인식한다.
번호판부분의 영상만은 잘 보이도록 화질 변경(Image Quality Modification)된 영상을 촬영하여 차량번호 인식을 시켰음에도 차량번호가 인식이 되지 않는 경우 차량 번호판 불법 개조, 불법 페인트 사용, 눈에 의한 번호판 가림, 눈/비에 의한 오물 투척 발생, 과속, 자동차 헤드라이트 난반사, 번호판 구겨짐 등으로 인하여 차량 번호 분석이 불가능한 것으로 판단하여 전 면부 번호판 영상을 버리고 후면부 번호판을 촬영하여 전 면부 조도 분석과 동일한 조도 분석을 통해 차량번호를 인식시키고 그래도 인식되지 않으면 분석 시 촬영한 후면부 영상을 저장한다.
또한 차량번호 인식 장치가 설치되는 위치의 조도와 현재 차량이 진입 중인 영상을 촬영해 보면 위치별, 시간대별로 조도가 상이하므로 차량번호 인식 시 오류가 발생한다. 이러한 차량번호 인식 오류에 대하여 본 발명은 차량번호 인식 장치가 설치되는 위치에 상관없이 동작할 수 있도록 현재 진입 중인 위치의 차량 영상을 촬영하여 분석하고 그 결과 값에 기초하여 번호판 주변의 조도와 일치하는 동일한 조도로 전체 영상의 조도를 변경하여 차량번호 인식에 가장 적합한 영상을 촬영하는 방식으로 해결하였다. 이러한 기술적 특징을 통하여 본 발명은 차량번호 인식기 설치 위치와 각종 자연 현상 변화 등에 상관없이 고품질의 차량번호 인식용 영상을 확보할 수 있다.
한편 본 발명에 따른 차량번호 인식 방법(a method for car number recognition)은,
촬영되는 영상에서 번호판이 위치한 영역과 차량 컬러를 분석하기 위한 차량 번호판 주변 조도인식 범위를 설정하는 (A)단계; 차량진입 시 입차 촬영 범위 내의 루프감지 신호에 기초하여 조도 분석용 영상을 촬영하는 (B)단계; 상기 설정된 번호판이 위치한 영역과 차량 컬러를 분석하여 선택범위 내 조도 값을 산출하는 (C)단계; 상기 산출된 조도 값에 기초하여 번호판의 인식범위로 촬영부의 셔터 동작을제어하여 차량번호 인식용 영상을 촬영하는 (D)단계; 및 상기 촬영된 차량번호 인식용 영상을 판독하여 진입차량의 차량번호를 인식하는 (E)단계를 포함한다.
일 양태로서 차량번호 인식 방법은 상기 조도 분석용 영상을 촬영 시 상기 선택범위 내 조도 값에 기초하여 적외선램프의 ON, OFF를 제어하는 단계를 포함한다. 일례로, 번호판 주변의 조도가 주간으로 인식되는 경우 적외선(IR)램프의 전원을 off한다.
일 양태로서 차량번호 인식 방법은 차량 전 면부에서 촬영된 차량번호 인식용 영상으로부터 차량번호가 인식이 되지 않는 경우 차량 후면부에서 촬영된 차량번호 인식용 영상으로부터 차량번호를 인식하는 단계를 포함한다.
일 양태로서 차량번호 인식 방법은 진입차량으로부터 RFID CARD 정보를 인식하는 단계; 상기 인식된 RFID CARD 정보에 대하여 차량번호관리 서버에 등록조회를 요청하는 단계; 및 상기 조회결과 상기 차량번호 인식용 영상으로부터 인식된 차량번호와 동일한 차량인 경우, 상기 차량번호 인식용 영상 및 등록조회를 통하여 인식된 차량번호 중 선 인식된 차량번호를 진입차량의 번호로 인식하는 단계를 포함한다.
일 양태로서 차량번호 인식 방법은 차량 전 면부에서 촬영된 차량번호 인식용 영상, 차량 후면부에서 촬영된 차량번호 인식용 영상으로부터 차량번호가 인식되지 않는 경우 상기 차량 전 면부에서 촬영된 차량번호 인식용 영상을 삭제하고 차량 후면부에서 촬영된 차량번호 인식용 영상을 녹화 및 저장하는 단계를 포함한다.
본 발명에 따른 차량번호 인식 방법은 프로그램 명령으로 구현되어 컴퓨터 판독 가능 기록 매체에서 실행된다.
상기와 같은 과제해결수단을 통하여 본 발명에 따른 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체는,
차량번호 인식 장치의 설치 위치에 상관없이, 또한 주간에 역광, 반사광 등이 발생치 않는 영상을 촬영할 수 있으며, 그 촬영된 영상으로부터 안정적으로 차량의 번호를 판독할 수 있다.
또한 측광, 자동차 헤드라이트 난반사가 발생하여도 스미어 현상과 밀러현상 등이 발생되지 않는 영상을 촬영하여 안정적으로 차량의 번호를 판독할 수 있다.
또한 자연 현상에 의한 눈, 비 등으로 인하여 차량 번호판이 가려지는 경우, 도로에서 운행 중 번호판에 오물 투척 등이 발생되는 경우, 차량의 번호판을 불법 개조 또는 불법 페인트를 칠할 경우 등으로 인하여 전면 번호판을 인식할 수 없는 경우에도 차량번호를 효과적으로 인식할 수 있다.
또한 차량번호인식기가 설치되어 있는 곳이 계절별 시간대별로 다르게 광원이 이동되어 주변 건물과 사물체 등에 의해부분별 그림자 영향권에 있어도 촬영된 영상에서 번호판 위치에 조도를 분석하기 때문에 차량번호 인식에 가장 영향이 미치는 경우가 발생치 않는다.
또한 번호판 주변의 조도가 주간으로 인식되는 경우 적외선(IR)램프의 전원이 off되어 최대 48% 이상의 에너지 절감 효과를 기대할 수 있다.
도 1은 본 발명의 일 양태에 따른 차량번호 인식 장치의 구성을 도시한 블록도이다.
도 2는 도 1의 일 양태에 따른 차량번호 인식 장치의 구성을 도시한 블록도이다.
도 3은 본 발명의 일 양태에 따른 차량번호 인식 방법을 도시한 흐름도이다.
도 4는 본 발명의 일 양태에 따른 조도 분석용 영상을 촬영하기 위한 맵 설정 방법을 도시한 흐름도이다.
도 5는 본 발명의 일 양태에 따른 영상의 조도분석 값에 기초하여 셔터의 여닫기를 제어하는 방법을 도시한 흐름도이다.
도 6은 본 발명의 일 양태에 따른 차량번호 인식 장치와 RF READER에서 감지된 차량번호 정보에 기초하여 차단기를 제어하기 위한 방법을 도시한 흐름도이다.
도 7은 본 발명의 일 양태에 따른 태양의 위치별 반사광, 측광, 역광 발생 상태를 도시한 예시도이다.
도 8은 본 발명의 일 양태에 따른 차량 전??후면부의 전체 촬영 범위 화면에서 조도 분석용 범위 설정 구역을 도시한 예시도이다.
본 발명은 눈 또는 비, 오물 투척 등으로 인하여 차량 전 면부 번호판을 인식 할 수 없게 되거나, 차량 차체 일부에서 태양광이 측각으로 반사되어 발생되는 스미어 현상, 야간의 차량 라이트에 의해 난반사 등이 발생하더라도 차량의 번호판으로부터 번호인식이 가능한 것을 기술적 특징으로 하는 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체에 관한 것이다.
이를 위한 본 발명에 따른 차량번호 인식 장치는 차량진입 시 입차 촬영 범위 내의 루프감지 신호에 기초하여 조도 분석용 영상을 촬영하고, 번호판이 위치한 영역과 차량 컬러를 분석하여 사전 선택범위 내 조도 값을 산출하는 조도분석부; 상기 산출된 조도 값에 기초하여 번호판의 인식범위로 촬영부의 셔터 동작을제어하여 차량번호 인식용 영상을 촬영하는 셔터제어부; 및 상기 촬영된 차량번호 인식용 영상을 판독하여 진입차량의 차량번호를 인식하는 차량번호 인식부를 포함하여 구성된다.
이러한 기술적 특징을 통하여 본 발명에 따른 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체는 차량번호 인식 장치의 설치 위치에 상관없이, 또한 주간에 역광, 반사광 등이 발생치 않는 영상을 촬영할 수 있으며, 그 촬영된 영상으로부터 안정적으로 차량의 번호를 판독할 수 있다.
또한 측광, 자동차 헤드라이트 난반사가 발생하여도 스미어 현상과 밀러현상 등이 발생되지 않는 영상을 촬영하여 안정적으로 차량의 번호를 판독할 수 있다.
또한 자연 현상에 의한 눈, 비 등으로 인하여 차량 번호판이 가려지는 경우, 도로에서 운행 중 번호판에 오물 투척 등이 발생되는 경우, 차량의 번호판을 불법 개조 또는 불법 페인트를 칠할 경우 등으로 인하여 전면 번호판을 인식할 수 없는 경우에도 차량번호를 효과적으로 인식할 수 있다.
이하에서는 첨부된 본 발명의 실시 예 및 도면을 참고하여 동일 기술 분야의 통상의 지식을 가진 자가 본 발명의 기술적 특징 내용을 용이하게 실시할 수 있도록 상세히 설명한다.
명확한 설명을 위해서 첨부된 도면을 참고하지만 중복된 구성에 대한 반복적 설명 및 설명과 관계없는부분에 대한 구체적인 설명은 생략하였다. 또한 상세한 설명을 생략하여도 동일 기술 분야의 당 업자가 쉽게 이해할 수 있는부분에 대해서는 구체적인 설명을 생략하였다.
명세서 및 특허청구범위 전체에서 어떤부분이 어떤 구성 요소를 "포함"한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 더 포함할 수 있는 것을 의미한다.
본 발명은 특허청구범위에 기재된 기술적 사상에 기초하여 다양한 형태로 구현될 수 있다. 따라서 열거된 실시 예는 본 발명의 기술적 사상을 이해하기 위한 하나의 예시에 불과하다.
도 1은 본 발명의 일 양태에 따른 차량번호 인식 장치의 구성을 도시한 블록도이다.
도 1을 참고하면 본 발명에 따른 차량번호 인식 장치(100)는 전면 촬영부(110), 후면 촬영부(120), 전면 적외선램프(130), 후면 적외선램프(140), 제어부(150)) 및 컴퓨팅부(160)를 포함하여 구성된다.
차량감지 영역에 차량이 진입하면서 감지되는 전면 루프 감지 신호는 차량의 전 면부를 촬영하기 위한 감지 신호 역할을 하고, 후면 루프 감지 신호는 차량의 후면부를 촬영하기 위한 감지 신호 역할을 한다.
전면 촬영부(110) 및 후면 촬영부(120)는 차량의 전/후면 번호판 주변에 대하여 조도 분석용 영상의 촬영과 차량번호 인식용 영상의 촬영을 수행한다.
제어부(150)는 전/후면 루프 감지 신호 접수, 전면 적외선램프(130) 및 후면 적외선램프(140)의 ON/OFF 제어 및 지연시간(ON)을 유지시키며 컴퓨팅부(160)로부터 각종 명령 지령을 받거나 전/후면 루프 감지 신호 데이터를 전송한다. 또한 전면 촬영부(110) 및 후면 촬영부(120)에서 야간으로 분석된 데이터를 접수 시, 즉 차량번호 인식용 영상 촬영 시에만 전면 적외선램프(130) 및 후면 적외선램프(140)에 대하여 플리커(flicker) 전원 신호를 발생 시킨다.
도 2는 도 1의 일 양태에 따른 차량번호 인식 장치의 구성을 도시한 블록도이다.
도 2를 참고하면 차량의 전/후면 영상을 촬영하기 위한 루프코일 신호(차량 검지데이터)가 감지되면 컴퓨팅부(160)는 전면 촬영부(110) 및 후면 촬영부(120)에서 조도 분석용 영상과 차량번호 인식용 영상을 고속으로 촬영하기 위한 플리커(flicker) 전원 신호를 송출한다.
제어부(150)는 상기 플리커(flicker) 전원 신호에 기초하여 조도 분석용 영상을 촬영하도록 전면 촬영부(110) 및 후면 촬영부(120)의 동작을 제어한다. 이때 제어부(150)는 사전 설정시켜 놓은 범위만 조도 분석이 되고 그 값에 해당하는 셔터 값을 가감시켜 번호판만은 잘 보이는 영상이 촬영되도록 셔터 조절 후 전면 촬영부(110) 및 후면 촬영부(120)가 차량번호 인식용 영상을 촬영하도록 제어한다.
차량번호 인식용 영상에서 차량번호가 인식이 되지 않는 경우 제어부(150)는 후면 촬영부(120), 후면 적외선램프부(140)에 플리커(flicker) 전원 신호를 발생시켜 조도 분석 영역에 대하여 조도 조절을 수행한 후 차량번호 인식이 가능한 영상을 촬영한다.
일 양태로서 전면 촬영부(110) 및 후면 촬영부(120)는 줌렌즈와 본체로 구성되어지는데 전면 줌렌즈(111) 및 후면 줌렌즈(112)는 영상의 초점, 해상도별 촬영 범위와 촬영거리를 설정할 수 있도록 구성될 수 있다.
전면 촬영부(110)의 본체 및 후면 촬영부(120)의 본체는 영상을 촬영(imaging)하는 이미지센서(112, 122)와 촬영부의 모든 기능을 주도하는 CPU(113, 123), 영상의 전송이나 각종 플리커(flicker) 전원 신호를 제어하는 통신제어부(114, 124)로 구성되어 영상촬영, 촬영된 영상을 압축/저장/전송하거나 조도 조절(ISP)이 가능하도록 구성된다.
전면 적외선 통과 필터(115) 및 후면 적외선 통과 필터(125)는 항시 가시광선을 차단하고 적외선 파장만을 통과시키며 전면 적외선램프(130) 및 후면 적외선램프(140)를 켤 경우에도 적외선 빛의 파장만을 통과시킬 수 있도록 하여 빛의 파장 종류에 따라 초점거리가 변하지 않도록 형성된다. 또한 필터의 잔기스로 인하여 빛의 난반사가 발생하여 촬영되는 영상이 편광 필터를 채택하는 구조로 형성된다.
한편 전원부(170)는 전면 촬영부(110) 및 후면 촬영부(120)에 대하여 개별적으로 스위칭 전원을 공급하여 전원 이상 시 동시에 전면 촬영부(110) 및 후면 촬영부(120)가 차단되는 것을 방지한다.
전원부(170)는 여러 종류의 전원을 동시에 공급할 수 있도록 구성되며 전면 적외선램프(130) 및 후면 적외선램프(140)는 동시에 작동하지 않도록 구성된다. 또한 제어부(150)의 신호를 받아 일정시간 동안(약100m/s) 후레쉬 방식의 고압을 공급하여 짧은 순간에 차량과 사물에 반사되어 충분한 광량이 촬영부 이미지센서(112, 122)에 도달하도록 구성된다.
이하 첨부된 도면을 참조하여 이러한 구성을 포함하여 동작하는 차량번호 인식 장치의 동작을 상세히 설명한다.
주차장 내에 차량이 진입하여 입차 촬영 범위 내에서 전면 루프 감지 신호가 발생하면 제어부(150)는 차량진입 신호 데이터를 컴퓨팅부(160)에 전송한다.
컴퓨팅부(160)는 상기 차량진입 신호 데이터에 기초하여 제어부(150)에 전면 촬영부(110)의 영상 촬영을 위한 플리커(flicker) 전원 신호를 송출하고, 전면 촬영부(110)는 상기 플리커(flicker) 전원 신호에 기초하여 컴퓨팅부(160)에 조도 분석용 영상을 촬영하여 압축 전송한다.
컴퓨팅부(160)는 압축 영상 데이터 중 사전 등록시켜 놓은 차량 번호판의 주변 조도를 분석해 차량 번호판 주변의 영상만은 어떠한 자연 현상 변화에도 영향을 받지 않고 번호판 인식이 가능한 영상이 촬영되도록 전면 촬영부(110)의 셔터 동작(여닫기)을 제어한다.
이때 분석된 조도가 차량번호 인식시에 필요한 최저조도 이하가 되면 제어부(150)는 전면 적외선 램프(130)의 동작을 제어하여 차량번호 인식용 영상이 촬영되기 전부터 켜지도록 하고 촬영이 끝난 후에도 충분히 켜지도록 한다.
컴퓨팅부(160)가 제어부(150)에 번호 인식용 영상을 촬영하도록 명령을 송출하면 제어부(150)는 전면 촬영부(110)에 영상을 촬영하도록 플리커(flicker) 전원 신호를 보내 셔터 조절된 영상을 촬영하도록 제어하고, 컴퓨팅부(160)는 상기 촬영된 영상을 판독하여 차량번호 인식을 한다.
차량 전 면부의 번호판으로부터 번호 인식이 되지 않는 경우, 후면 루프 감지 신호가 발생되면 제어부(150)는 앞서 설명한 전면 촬영부(110)와 동일한 방식의 조도 조절 과정을 수행하고, 또한 필요에 따라 후면 적외선 램프(140)의 'On/Off' 동작을 제어하여 후면 촬영부(120)에 대하여 후면 차량번호를 인식시킨다.
전면 차량번호판 및 후면 차량번호판 모두에서 차량번호 인식이 되지 않는 경우 전 면부 촬영 영상을 삭제시키고 후면부 영상만을 녹화시킨다.
번호판 주변조도 분석 결과 야간이라고 판단되는 경우 컴퓨팅부(160)는 전면 적외선램프(130) 및 후면 적외선램프(140)를 켠 후 차량번호 인식용 영상을 촬영하도록 제어부(150)에 명령 신호를 송출한다.
한편 본 발명은 일 양태로서 차량번호 인식 장치가 주차관제 시설에 설치되어 동작 시 RFID 장치(200)와 연계되어 차량의 번호를 인식할 수 있다. 예를 들어 입차 촬영 범위 내에 진입한 차량으로부터 RFID 정보가 RFID 장치(200)에서 인식되어 그에 상응하는 차량번호가 입력될 수 있는데 컴퓨팅부(160)는 입력된 RFID 정보와 차량번호 인식 데이터가 동시에 인식되거나 선우선 동작 시 일정시간(사전 등록된 시간) 이내의 동일 데이터 중 하나만 인식시키고 영상 데이터는 각종 정보 분석을 위해 저장한다.
일 양태로서 촬영된 영상과 인식 정보는 차량번호 관리서버(300)에 저장되고, 차량관제 시설의 각종 장치로부터 영상 데이터에 대하여 요청이 수신되는 경우 선택적으로 제공될 수 있다.
본 발명에 따른 차량번호 인식 장치(100)는 조도분석부(161), 셔터제어부(162) 및 차량번호 인식부(163)를 포함하여 구성될 수 있다.)는 차량진입 시 입차 촬영 범위 내의 루프감지 신호에 기초하여 전면 촬영부(110) 및 후면 촬영부(120)에서 촬영된 영상에 대하여 차량 번호판이 위치한 영역과 차량 컬러를 분석하여 선택범위 내의 조도 값을 산출한다. 조도분석부(161)는 전면 촬영부(110) 및 후면 촬영부(120)에서 촬영된 영상에서 번호판이 위치한 영역과 차량 컬러를 분석하기 위한 차량 번호판 주변 조도인식 범위를 기 설정할 수 있다.
셔터제어부(162)는 상기 산출된 조도 값에 기초하여 번호판의 인식범위로 전면 촬영부(110) 및 후면 촬영부(120)의 셔터 동작을 제어하여 차량번호 인식용 영상을 촬영한다. 셔터제어부(162)는 상기 산출된 조도 값에 기초하여 전면 촬영부(110) 및 후면 촬영부(120)의 셔터 위치, 최고 및 최저 조도, 영상증폭 값, 최대 셔터 값을 분석하고, 촬영 시점의 셔터 값보다 상기 분석된 셔터 값이 작거나 촬영 시점의 셔터 값 보다 분석된 셔터 값이 큰 경우 그 차이 값만큼 촬영부의 셔터의 여닫음을 제어한다.
차량번호 인식부(163)는 전면 촬영부(110) 및 후면 촬영부(120)에서 촬영된 차량번호 인식용 영상을 판독하여 진입차량의 차량번호를 인식한다. 일 양태로서 차량번호 인식부(163)는 차량 전 면부에서 촬영된 차량번호 인식용 영상으로부터 차량번호가 인식이 되지 않는 경우 차량 후면부에서 촬영된 차량번호 인식용 영상으로부터 차량번호를 인식한다.
도 3은 본 발명의 일 양태에 따른 차량번호 인식 방법을 도시한 흐름도이다.
도 3을 참고하면, 조도 조절용 영상을 촬영하기 전 촬영부의 해상도 종류별로 촬영 범위를 설정한다. 예를 들어 차량 전 면부 루프검지가 설치된 입차 촬영 범위 내에 차량을 정지시키고 촬영되는 실시간 영상을 보며 줌렌즈(zoom lens)로 촬영 범위를 설정하여 촬영거리와 범위 등을 설정할 수 있다.
촬영거리와 범위가 설정된 이후 촬영된 영상에서 번호판이 위치한 영역과 차량 컬러를 분석하기 위한 차량 번호판 주변 조도인식 범위를 기 설정한다(도 4참고).
단계(S311)에서 촬영부의 해상도 종류별 촬영 범위와 차량 번호판 주변 조도인식 범위에 대하여 설정이 완료된 후 입차 촬영 범위 내에 차량이 진입하면 차량 전 면부 루프검지기에서 발생된 루프감지 신호에 기초하여 전면 촬영부(110)는 단계(S313)에서 차량 전 면부 조도 분석용 영상을 촬영한다.
상기 촬영된 영상에서 번호판 주변만은 인식이 되도록 전체 영상 조도를 변경 및 설정하기 위하여 단계(S314)에서 상기 기 설정된 선택 범위 내의 번호판과 차량 색상을 분석하여 선택 범위 내의 조도 값을 산출하고, 단계(S322)에서 상기 산출된 조도 값에 기초하여 번호판만은 잘 보이는 범위 내로 전자 셔터를 이동시킨다.
선택 범위 내의 조도 값을 분석하여 번호판 주변의 조도가 차량번호 인식이 불가능한 조도인지, 아니면 충분한 조도인지를 판독하고, 판독결과 선택 범위 내의 조도 값이 주간인 경우 단계(S316_A, S316_B)에서 전 면부 적외선(IR)램프 및 후면부 적외선(IR)램프를 켜지 않고 전 면부 차량번호 분석용 영상 및 후면부 차량번호 분석용 영상을 촬영한다.
만일 야간으로 판독되는 경우 전 면부 적외선(IR)램프 및 후면부 적외선(IR)램프를 켠 후 단계(S324_A, S324_B)에서 전 면부 차량번호 분석용 영상 및 후면부 차량번호 분석용 영상을 촬영한다.
단계(S317)에서 상기 촬영된 전 면부 차량번호 분석용 영상 및 후면부 차량번호 분석용 영상으로부터 차량의 전 면부 및 후면부에 대하여 영상이 인식되면 단계(S318_A)에서 차량의 전 면부에 대하여 인식된 영상 데이터가 차량번호관리 서버(300)로 전송된다.
차량의 전 면부 및 후면부에 대하여 영상이 인식이 되지 않는 경우에 단계(S319_A)에서 상기 차량의 전 면부에 대하여 인식된 영상 데이터는 삭제되고, 이후 입차 촬영 범위 내에 차량이 진입하여 차량 후면부 루프 감지 신호가 감지되는 경우 후면부 차량번호 분석용 영상이 촬영된다.
상기 촬영된 후면부 차량번호 분석용 영상은 앞서 설명한 차량의 전 면부에 대한 영상 인식과정과 동일한 방법으로 차량번호가 분석이 되는데 정상적으로 후면부에 대하여 영상이 인식되면 그 영상 데이터는 단계(S318_B)에서 차량번호관리 서버(300)로 전송된다. 만일 차량의 후 면부에 대하여 영상이 인식되지 않는 경우 그 인식되지 않은 후면부 영상 데이터는 단계(S319_B)에서 차량번호관리 서버(300)로 전송된다.
한편 본 발명은 일 양태로서 차량번호 인식 장치(100)가 주차관제 시설에 설치되어 동작 시 RFID 장치(200)와 연계되어 차량의 번호를 인식할 수 있다. 예를 들어 RFID CARD를 소지하고 입차 촬영 범위 내에 차량이 진입하는 경우에 단계(S327)에서 RFID 장치(200)는 RFID CARD에서 인식된 RFID 정보에 대한 등록 차량 번호 확인절차를 차량번호관리 서버(300)에 요청하는데 비교분석 결과 차량번호 인식 장치(100)에서 인식된 차량번호 인식 데이터와 동일한 등록 차량인 것으로 판단되는 경우 차단기 오류 방지를 위해 일정시간(사전 등록된 시간) 이내의 동일 데이터 중 하나만 인식시켜 차단기에 대한 바 열기의 동작을 제어할 수 있다.
도 4는 본 발명의 일 양태에 따른 조도 분석용 영상을 촬영하기 위한 맵 설정 방법을 도시한 흐름도이다.
본 발명에서는 조도 분석용 영상을 촬영하기 이전에 두 가지의 맵 설정을 수행한다. 먼저 도로 폭의 크기에 따라 촬영부의 해상도를 설정하고 촬영부의 해상도별 번호판 인식률이 최대가 되도록 단계(S416)에서 촬영 영상 범위 내 번호판 크기의 픽셀수가 최소 30픽셀 이상이 되도록 촬영부에 대한 해상도 도로 폭 맵을 설정시킨다.
이를 위하여 단계(S414)에서 촬영부의 해상도(41K, 80K, 1.3M, 기타 M 등)별로 차량 번호판의 크기가 30픽셀 이상으로 설정되도록 사전 등록한 맵 이상으로 촬영부의 해상도별로 렌즈의 줌 범위를 설정한 후 단계(S413)에서 입차 촬영 범위 내에 진입하는 차량의 번호판 주변에 대한 조도 분석을 위하여 조도 분석용 범위 맵 범위를 설정한다. 이때 단계(S411)에서 기초 인식 범위가 확인되면 단계(S412)에서 차량의 전면 번호판 및 후면 번호판에 대한부분 조도의 인식 범위를 재설정하여 변경 시킬 수 있다.
이와 같은 과정을 통하여 조도 분석용 영상을 촬영하기 이전에 두 가지의 맵 이 설정되고, 이후 차량이 입차 촬영 범위 내에 진입하면 단계(S421_A) 및 단계(S421_B)에서 차량 번호판의 주변 조도를 분석하여 번호판만은 잘 보이는 전체 영상으로 변화시킬 수 있다. 따라서 측광, 반사광, 역광, 차량 라이트에 의하여 난반사 등이 발생하더라도 차량번호에 대한 인식 오류가 발생하지 않는다. 또한 전면 번호판으로부터 차량번호를 인식 시 훼손, 오물 투척, 불법 페인트칠 등으로 인하여 오류가 발생하더라도 전면 번호판을 인식하는 과정과 동일한 방법으로 후면 차량 번호판으로부터 차량번호를 인식할 수 있다.
도 5는 본 발명의 일 양태에 따른 영상의 조도분석 값에 기초하여 셔터의 여닫기를 제어하는 방법을 도시한 흐름도이다.
전면 번호판 및 후면 번호판의 주변에 대하여 조도 분석을 수행 시 기존의 촬영부는 현재 셔터가 어느 위치에서 촬영되었는지, 혹은 현재 셔터가 어느 곳에 위치하는지 전혀 알 수가 없고 계절, 시간, 자연 현상 마다 현재의 실제 외부 조도를 인식하는데 영향을 미치는 변수가 거의 무한대로 발생하므로 셔터 값을 외부 조도에 대비하여 조금씩 변화시킬 수밖에 없다. 또한 촬영되는 영상 전체에 대하여 화질을 높이는 경우 그림자가 진 곳과 반사가 되는 곳의부분 영상은 더욱더 어두워지거나 밀러효과(Miller effect)가 발생된다.
본 발명은 이러한 문제점을 해결하고자 도 4의 단계(S413, S415)에서 사전 등록한 2가지 맵 설정의 기초 자료와 선택 범위 내 조도 분석을 통해 단계(S510)에서 현재 차량이 진입하는 영상을 촬영하여 전면 차량 번호판 및 후면 차량 번호판 주변의 조도 량과 색상을 분석한다.
단계(S530)에서 현재 셔터 위치, 최고조도(maximum illumination), 최저조도(minimum illumination), 영상증폭 값, 최대 셔터 값을 통합 분석하여 통계 값을 산출하고, 그 결과 현재 셔터 값 보다 분석된 셔터 값이 작은 경우와 현재 셔터 값 보다 분석된 셔터 값이 큰 경우에 단계(S550)에서 그 차액만큼 셔터에 대하여 여닫기를 실시하여 최적의 셔터 범위로 이동 시킨다.
이 상에서는 전면 번호판을 인식하고 영상의 조도분석 값에 기초하여 셔터의 여닫기를 제어하는 방법을 설명하였으나 전면 번호판이 인식되지 않는 경우도 상기와 동일한 과정을 수행하여 후면 번호판을 인식하여 차량번호를 인식할 수 있다.
도 6은 본 발명의 일 양태에 따른 차량번호 인식 장치와 RF READER에서 감지된 차량번호 정보에 기초하여 차단기를 제어하기 위한 방법을 도시한 흐름도이다.
차량번호 인식 장치(100)와 RFID 장치(200)가 주차관제 시설에 설치되어 차량의 번호를 인식하는 경우 진입 차량을 동시에 인식하거나, 하나의 장치가 먼저 인식된 후 다른 장치가 나중에 인식되어 2회에 걸쳐 동일한 중복 데이터가 다른 종류로 접수되므로 일정시간 이내에 동일 데이터가 접수되면 1회만 인식되어야 한다.
이를 위하여 인식된 차량 번호 영상은 단계(S670)에서 차량번호관리 서버(300)에 저장하고 단계(S640)에서 진입 차량의 RFID 정보에 대한 등록 차량 번호 확인절차를 차량번호관리 서버(300)에 요청한다. 확인 결과 차량번호 인식 장치(100)에서 인식된 차량번호 인식 데이터와 동일한 등록 차량인 것으로 판단되는 경우 차단기 오류 방지를 위해 일정시간(사전 등록된 시간) 이내의 동일 데이터 중 하나만 인식시켜 차단기에 대한 바 열기의 동작을 제어할 수 있다.
한편 차량번호 인식 장치(100)와 RFID 장치(200)가 주차관제 시설에 설치되어 차량의 번호를 인식하는 경우 선우선 동작 데이터를 먼저 처리할 수 있다.
예를 들어 입차 촬영 범위 내에 진입한 차량의 RFID CARD에서 RFID 정보가 인식되면 차량번호관리 서버(300)에 대하여 상기 RFID 정보에 대한 등록 차량 번호 확인절차를 요청하는데 비교분석 결과 상기 등록 차량 번호와 차량번호 인식 장치(100)에서 인식된 차량번호가 동일한 경우 확인요청을 먼저 한 장치에서 인식된 입차 정보를 차량번호관리 서버(300)에 우선적으로 등록시키고 이후의 장치에서 입력되는 입차 정보는 무시한다. 이때 인식된 영상 정보는 단계(S670)에서 입차 정보와 함께 저장된다.
한편 차량관제시설 내에 차량번호 인식 장치(100)가 각종 요금계산기(중간유인요금계산기, 출구유인요금계산기, 중간무인요금계산기, 출구무인요금계산기 등)와 연계하여 설치될 수 있다. 요금계산기로부터 차량번호 인식 데이터에 대한 요청이 접수되는 경우 차량번호 인식 장치(100)는 차량번호관리 서버(300)의 요청에 의하여 영상 데이터를 요금계산기에 신속히 분산 전송할 수 있다.
도 7은 본 발명의 일 양태에 따른 태양의 위치별 반사광, 측광, 역광 발생 상태를 도시한 예시도이고, 도 8(A) 및 도 8(B)는 본 발명의 일 양태에 따른 차량 전??후면부의 전체 촬영 범위 화면에서 조도 분석용 범위 설정 구역을 도시한 예시도이다.
앞서 도 5에서 설명한 바와 같이 선택 범위 내의 조도 값에 기초하여 번호판만은 잘 보이는 범위 내로 전자 셔터를 이동시킨다.
선택 범위 내의 조도 값을 분석하여 번호판 주변의 조도가 차량번호 인식이 불가능한 조도인지, 아니면 충분한 조도인지를 판독하고, 판독결과 선택 범위 내의 조도 값이 주간(H-I 구간)인 경우 전 면부 적외선(IR)램프 및 후면부 적외선(IR)램프를 켜지 않고 전 면부 차량번호 분석용 영상 및 후면부 차량번호 분석용 영상을 촬영한다. 만일 야간으로 판독되는 경우 전 면부 적외선(IR)램프 및 후면부 적외선(IR)램프를 켠 후 전 면부 차량번호 분석용 영상 및 후면부 차량번호 분석용 영상을 촬영한다.
한편 측광(G-H 구간)에 의한 영상인식 오류의 발생을 방지하기 위하여 적외선 통과 필터에 편광 필름이부착될 수 있다. 또한 촬영(imaging) 소자는 스미어 현상이 발생되지 않는 C-MOS 소자를 채택하여 측광 발생 시 차량 번호판에 대하여 빛이 자르는 스미어 현상(smear effect)이 발생되는 것을 방지할 수 있다. 스미어 현상이란 밝은 광원을 촬영할 때 세로방향(혹은 가로방향)으로 밝은 줄이 나타나는 현상을 의미한다. 일 양태로서 본 발명은 C-MOS 소자 또는 기타재료를 사용하였음에도 스미어와 난반사 등이 발생하는 경우 별도의 영상 보정 알고리즘을 이용하여 영상인식 오류 발생을 낮출 수 있다.
번호판에 대하여 인식 가능한 영상을 촬영하였으나 차량번호 인식에 실패하는 경우 차량의 전 면부에 대하여 인식된 영상 데이터를 삭제시키고 도 3에서 설명한 차량번호 인식 과정을 반복 수행한다. 만일 반복 수행에도 불구하고 차량번호 인식이 되지 않는 경우 후면부에서 촬영된 해당 차량번호 영상 데이터를 차량번호관리 서버에(300) 저장한다.
한편 자동차가 인식 범위 내 진입 시 차체에 의한 역광오류(번호판이 있는 곳에 그림자 발생), 반사광오류(차량 전 면부에 의한 밀러현상 발생), 측광오류(차량 차제에 의한 밀러형태 반사로 스미어 현상 발생) 등을 차단하기 위해서는 촬영 영상 범위 내에서 차량 번호판 주변의 현재 조도를 분석하기 위한 영역을 사전 등록해야 한다. 이를 위하여 차량번호 인식 장치(100)가 설치되는 곳에 따라 차량번호 인식 장치(100)를 달리 설치 후 소형차종부터 대형차량이 지나가도록 하여 촬영거리와 범위 등을 설정하고, 이후 촬영된 영상에서 번호판이 위치한 영역과 차량 컬러를 분석하기 위한 차량 번호판 주변 조도인식 범위를 기 설정한다(도 8참조).
이때 사전 도로 폭에 충분한 해상도로 촬영부의 렌즈 줌 범위를 설정하여 이동시키고 도로 폭을 충분히 커버할 수 있도록 인식 범위 내 루프검지기에 차량을 정지시킨 후 현재 사용하고 있는 번호판 중 번호와 문자가 가장 적은 번호판의 인식률이 최소 30픽셀 이상이 되도록 해상도별 기초 인식 범위의 확인수치 이상으로 근접 촬영 하도록 등록한다.
앞서 도 4에서 설명한 바와 같이 도로 폭의 크기에 따라 촬영부의 해상도를 설정하고 촬영부의 해상도별 번호판 인식률이 최대가 되도록 촬영부에 대하여 해상도 도로 폭 맵을 설정시킨 후 입차 촬영 범위 내에 차량이 진입하면 차량 전 면부 루프검지기에서 발생된 루프감지 신호에 기초하여 차량 전 면부 조도 분석용 영상을 촬영하고 기 설정된 선택 범위 내의 번호판과 차량 색상을 분석하여 선택 범위 내의 조도 값을 산출한다.
상기 산출된 조도 값에 기초하여 전면 촬영부(110) 및 후면 촬영부(120)의 셔터 위치, 최고 및 최저 조도, 영상증폭 값, 최대 셔터 값을 통합 분석하고, 촬영 시점의 셔터 값보다 상기 분석된 셔터 값이 작거나 촬영 시점의 셔터 값 보다 분석된 셔터 값이 큰 경우 그 차이 값만큼 촬영부의 셔터의 동작을 제어한다. 예를 들어 셔터 값이 현재 셔터 값이 분석 셔터 값 보다 클 경우 그 차이만큼 셔터를 개방(open)하고, 현 위치 셔터 값에 비해서 분석 셔터 값이 클 경우 그 차이만큼 셔터를 닫기(close) 하여 최적의 셔터 범위로 이동 시킨다.
이러한 기술적 특징을 통하여 본 발명에 따른 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체는 차량번호 인식 장치의 설치 위치에 상관없이, 또한 주간에 역광, 반사광 등이 발생치 않는 영상을 촬영할 수 있으며, 그 촬영된 영상으로부터 안정적으로 차량의 번호를 판독할 수 있다.
또한 측광, 자동차 헤드라이트 난반사가 발생하여도 스미어 현상과 밀러현상 등이 발생되지 않는 영상을 촬영하여 안정적으로 차량의 번호를 판독할 수 있다.
또한 자연 현상에 의한 눈, 비 등으로 인하여 차량 번호판이 가려지는 경우, 도로에서 운행 중 번호판에 오물 투척 등이 발생되는 경우, 차량의 번호판을 불법 개조 또는 불법 페인트를 칠할 경우 등으로 인하여 전면 번호판을 인식할 수 없는 경우에도 차량번호를 효과적으로 인식할 수 있다.
본 발명의 일 양태에 따른 차량번호 인식 방법의 실시 예는 프로그램 명령으로 구현되어 컴퓨팅부 판독 가능 기록 매체에서 실행된다. 컴퓨팅부 판독 가능 기록 매체는 프로그램 명령, 데이터 파일, 데이터 구조 등을 단독 또는 조합하여 포함할 수 있다.한편, 컴퓨팅부 판독 가능 기록 매체는 하드 디스크, 플로피 디스크, 및 자기 테이프와 같은 자기 매체(Magnetic Media), CD-ROM, DVD와 같은 광 기록 매체(Optical Media), 플롭티컬 디스크(Floptical Disk)와 같은 자기-광 매체(Magnetro-Optical Media), 및 롬(ROM), 램(RAM), 플래시 메모리 등과 같은 프로그램 명령을 저장하고 수행하도록 특별히 구성되는 하드웨어 장치가 포함된다. 프로그램 명령은 본 발명을 위하여 특별히 설계되고 구성되는 것들이거나 컴퓨팅부 소프트웨어 당업자에게 공지되어 사용 가능한 것일 수도 있다. 프로그램 명령은 컴파일러에 의해 만들어지는 것과 같은 기계어 코드뿐만 아니라 인터프리터 등을 사용해서 컴퓨팅부에 의해서 실행될 수 있는 고급 언어 코드를 포함한다.
상술한 본 발명의 방법은 예시된 각 단계의 순서에 한정되지 아니한다. 즉, 각 단계의 순서는 당업자의 기술적 수준에 따라 달라질 수 있고, 또한 복수의 단계가 동시에 발생할 수 있다. 당업자라면 예시된 각 단계들이 배타적이지 않고, 특정의 단계에 하나 이상의 다른 단계가 포함될 수 있으며, 본 발명의 기술적 범위에 영향을 미치지 않는 범위 내에서 순서도에 기재된 특정의 단계가 삭제될 수 있다.
상술한 본 발명의 실시 예들은 특허청구범위 내에 속하는 한 다양한 양태의 예시들을 포함한다. 따라서 본 발명의 특허청구범위 내에 해당하나 본 명세서에 구체적으로 예시되지 아니한 구성으로 조합, 교체, 수정 및 변경이 가능함은 동일 기술 분야의 통상의 지식을 가진 자에게 자명하다.
100 : 차량번호 인식 장치 110 : 전면 촬영부부
112, 122 : 이미지센서 113, 123 : CPU
114, 124 : 통신제어부 170 : 전원부
115 : 전면 적외선 통과 필터 125 : 후면 적외선 통과 필터
150 : 제어부(DIO보드) 160 : 컴퓨팅부부
161 : 조도분석부 162 : 셔터제어부
163 : 차량번호 인식부 120 : 후면 촬영부부
114, 124 : 통신제어부 113, 123 : CPU
111 : 전면렌즈 121 : 후면렌즈
130 : 전면 적외선램프 140 : 후면 적외선램프

Claims (10)

  1. 입차 촬영 범위 내의 루프감지 신호에 기초하여 진입 차량의 영상을 촬영하는 하나 이상의 촬영부;
    상기 촬영된 영상에 대하여 차량 번호판이 위치한 영역과 차량 컬러를 분석하여 선택범위 내의 조도 값을 산출하는 조도분석부;
    상기 산출된 조도 값에 기초하여 번호판의 인식범위로 촬영부의 셔터 동작을 제어하여 차량번호 인식용 영상을 촬영하는 셔터제어부; 및
    상기 촬영된 차량번호 인식용 영상을 판독하여 진입차량의 차량번호를 인식하는 차량번호 인식부;
    를 포함하여 구성되는 것을 특징으로 하는 차량번호 인식 장치.
  2. 제1 항에 있어서,
    상기 조도분석부는 촬영되는 영상에서 번호판이 위치한 영역과 차량 컬러를 분석하기 위한 차량 번호판 주변 조도인식 범위를 설정하는 것을 특징으로 하는 차량번호 인식 장치.
  3. 제1 항에 있어서,
    상기 진입 차량의 영상 및 차량번호 인식용 영상은 차량의 전면부 및 후면부에서 촬영되는 것을 특징으로 하고,
    상기 차량번호 인식부는 상기 차량번호 인식용 영상으로부터 차량번호가 인식이 되지 않는 경우 차량 후면부에서 촬영된 차량번호 인식용 영상으로부터 차량번호를 인식하는 것을 특징으로 하는 차량번호 인식 장치.
  4. 제1 항에 있어서,
    상기 셔터제어부는 상기 산출된 조도 값에 기초하여 촬영부의 셔터 위치, 최고 및 최저 조도, 영상증폭 값, 최대 셔터 값을 분석하고, 촬영 시점의 셔터 값보다 상기 분석된 셔터 값이 작거나 촬영 시점의 셔터 값 보다 분석된 셔터 값이 큰 경우 그 차이 값만큼 촬영부의 셔터의 여닫음을 제어하는 것을 특징으로 하는 차량번호 인식 장치.
  5. 촬영되는 영상에서 번호판이 위치한 영역과 차량 컬러를 분석하기 위한 차량 번호판 주변 조도인식 범위를 설정하는 (A)단계;
    차량진입 시 입차 촬영 범위 내의 루프감지 신호에 기초하여 조도 분석용 영상을 촬영하는 (B)단계;
    상기 설정된 번호판이 위치한 영역과 차량 컬러를 분석하여 선택범위 내 조도 값을 산출하는 (C)단계;
    상기 산출된 조도 값에 기초하여 번호판의 인식범위로 촬영부의 셔터 동작을제어하여 차량번호 인식용 영상을 촬영하는 (D)단계; 및
    상기 촬영된 차량번호 인식용 영상을 판독하여 진입차량의 차량번호를 인식하는 (E)단계;
    를 포함하여 구성되는 것을 특징으로 하는 차량번호 인식 방법.
  6. 제5 항에 있어서,
    상기 조도 분석용 영상을 촬영 시 상기 선택범위 내 조도 값에 기초하여 적외선램프의 ON, OFF를 제어하는 단계;를 포함하여 구성되는 것을 특징으로 하는 차량번호 인식 방법.
  7. 제5 항에 있어서,
    차량 전 면부에서 촬영된 차량번호 인식용 영상으로부터 차량번호가 인식이 되지 않는 경우 차량 후면부에서 촬영된 차량번호 인식용 영상으로부터 차량번호를 인식하는 단계;를 포함하는 것을 특징으로 하는 차량번호 인식 방법.
  8. 제5 항에 있어서,
    진입차량으로부터 RFID CARD 정보를 인식하는 단계;
    상기 인식된 RFID CARD 정보에 대하여 차량번호관리 서버에 등록조회를 요청하는 단계; 및
    상기 조회결과 상기 차량번호 인식용 영상으로부터 인식된 차량번호와 동일한 차량인 경우, 상기 차량번호 인식용 영상 및 등록조회를 통하여 인식된 차량번호 중 선 인식된 차량번호를 진입차량의 번호로 인식하는 단계;
    를 포함하는 것을 특징으로 하는 차량번호 인식 방법.
  9. 제5 항에 있어서,
    차량 전 면부에서 촬영된 차량번호 인식용 영상, 차량 후면부에서 촬영된 차량번호 인식용 영상으로부터 차량번호가 인식되지 않는 경우 상기 차량 전 면부에서 촬영된 차량번호 인식용 영상을 삭제하고 차량 후면부에서 촬영된 차량번호 인식용 영상을 분석 및 저장하는 단계;를 포함하는 것을 특징으로 하는 차량번호 인식 방법.
  10. 제5 항 내지 제9 항 중 어느 한 항의 방법을 수행하는 프로그램을 기록한 컴퓨팅부 판독 가능 기록 매체.
KR1020140163659A 2014-11-21 2014-11-21 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체 Active KR101688695B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140163659A KR101688695B1 (ko) 2014-11-21 2014-11-21 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140163659A KR101688695B1 (ko) 2014-11-21 2014-11-21 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체

Publications (2)

Publication Number Publication Date
KR20160061132A true KR20160061132A (ko) 2016-05-31
KR101688695B1 KR101688695B1 (ko) 2016-12-26

Family

ID=56099091

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140163659A Active KR101688695B1 (ko) 2014-11-21 2014-11-21 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체

Country Status (1)

Country Link
KR (1) KR101688695B1 (ko)

Cited By (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017217745A1 (ko) * 2016-06-13 2017-12-21 엘지전자 주식회사 야간 영상표시 장치
KR101999993B1 (ko) * 2019-04-22 2019-07-15 케이에스아이 주식회사 레이더 및 카메라를 이용한 무인 단속시스템
KR102180916B1 (ko) * 2020-03-30 2020-11-19 김정구 인공지능 영상 분석 시스템 및 방법
KR102245576B1 (ko) * 2020-06-15 2021-04-29 주식회사 넥스파시스템 조명제어를 통한 번호인식 방법 및 시스템
CN113628450A (zh) * 2021-08-02 2021-11-09 泰安昊程电子科技有限公司 一种新能源充电车位自动识别仪
KR102329137B1 (ko) * 2020-05-13 2021-11-18 김정구 주차장 통합 운영 시스템 및 그 방법
WO2022076481A1 (en) * 2020-10-05 2022-04-14 Pied Parker, Inc. Dynamic image-based parking management systems and methods of operation thereof
CN114708749A (zh) * 2022-03-17 2022-07-05 重庆长安汽车股份有限公司 停车位记忆提醒方法及相关装置
WO2022255786A1 (ko) * 2021-06-01 2022-12-08 주식회사 엠제이비전테크 차량번호판 위조 대응 시스템 및 방법
US11560091B2 (en) 2016-06-13 2023-01-24 Lg Electronics Inc. Night vision display device
KR20230039162A (ko) * 2021-09-14 2023-03-21 (주)에프엠이엔지 양방향 차량 속도 검출 및 도로관제모드와 번호인식모드 자동 전환 cctv 시스템
KR102558936B1 (ko) * 2022-12-27 2023-07-25 주식회사 아이에스앤로드테크 이륜차 단속 시스템 및 방법.
KR20240029159A (ko) * 2022-08-26 2024-03-05 유호진 번호판 과포화 제거방법과, 이를 이용한 차량번호 인식기

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102138019B1 (ko) 2020-04-01 2020-07-27 건아정보기술 주식회사 반사광 제거를 위한 전자편광필터 제어기술이 적용된 차량검지기

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325159A (ja) * 1993-05-10 1994-11-25 Mitsubishi Electric Corp 画像照度調節方法
KR20100033331A (ko) * 2008-09-19 2010-03-29 에스케이네트웍스 주식회사 차량 번호판 인식 시스템 및 방법
KR20100112004A (ko) 2009-04-08 2010-10-18 김재철 풍력 발전 장치를 구비한 전기자동차 및 선박

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325159A (ja) * 1993-05-10 1994-11-25 Mitsubishi Electric Corp 画像照度調節方法
KR20100033331A (ko) * 2008-09-19 2010-03-29 에스케이네트웍스 주식회사 차량 번호판 인식 시스템 및 방법
KR20100112004A (ko) 2009-04-08 2010-10-18 김재철 풍력 발전 장치를 구비한 전기자동차 및 선박

Cited By (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2017217745A1 (ko) * 2016-06-13 2017-12-21 엘지전자 주식회사 야간 영상표시 장치
US11560091B2 (en) 2016-06-13 2023-01-24 Lg Electronics Inc. Night vision display device
KR101999993B1 (ko) * 2019-04-22 2019-07-15 케이에스아이 주식회사 레이더 및 카메라를 이용한 무인 단속시스템
KR102180916B1 (ko) * 2020-03-30 2020-11-19 김정구 인공지능 영상 분석 시스템 및 방법
KR102329137B1 (ko) * 2020-05-13 2021-11-18 김정구 주차장 통합 운영 시스템 및 그 방법
KR102245576B1 (ko) * 2020-06-15 2021-04-29 주식회사 넥스파시스템 조명제어를 통한 번호인식 방법 및 시스템
WO2022076481A1 (en) * 2020-10-05 2022-04-14 Pied Parker, Inc. Dynamic image-based parking management systems and methods of operation thereof
US12243270B2 (en) 2020-10-05 2025-03-04 Pied Parker, Inc. Dynamic image-based parking management systems and methods of operation thereof
WO2022255786A1 (ko) * 2021-06-01 2022-12-08 주식회사 엠제이비전테크 차량번호판 위조 대응 시스템 및 방법
CN113628450A (zh) * 2021-08-02 2021-11-09 泰安昊程电子科技有限公司 一种新能源充电车位自动识别仪
KR20230039162A (ko) * 2021-09-14 2023-03-21 (주)에프엠이엔지 양방향 차량 속도 검출 및 도로관제모드와 번호인식모드 자동 전환 cctv 시스템
CN114708749A (zh) * 2022-03-17 2022-07-05 重庆长安汽车股份有限公司 停车位记忆提醒方法及相关装置
KR20240029159A (ko) * 2022-08-26 2024-03-05 유호진 번호판 과포화 제거방법과, 이를 이용한 차량번호 인식기
KR102558936B1 (ko) * 2022-12-27 2023-07-25 주식회사 아이에스앤로드테크 이륜차 단속 시스템 및 방법.

Also Published As

Publication number Publication date
KR101688695B1 (ko) 2016-12-26

Similar Documents

Publication Publication Date Title
KR101688695B1 (ko) 차량번호 인식 장치 및 그 방법, 그리고 상기 방법을 수행하는 프로그램을 기록한 컴퓨터 판독 가능한 기록 매체
US9317754B2 (en) Object identifying apparatus, moving body control apparatus, and information providing apparatus
JP5846872B2 (ja) 画像処理装置
US9639764B2 (en) Image recognition system for vehicle for traffic sign board recognition
JP5177147B2 (ja) 撮像装置、撮像方法および撮像プログラム
US20060269105A1 (en) Methods, Apparatus and Products for Image Capture
KR101625538B1 (ko) 도시방범이 가능한 다차선 자동차 번호판 인식시스템
WO2019085930A1 (zh) 车辆中双摄像装置的控制方法和装置
KR101146581B1 (ko) 인공지능 차량번호인식시스템
KR101259836B1 (ko) 우적 감응형 와이퍼 장치
KR102180916B1 (ko) 인공지능 영상 분석 시스템 및 방법
CN114266993B (zh) 一种基于图像的道路环境检测方法及装置
KR100878491B1 (ko) 방범 카메라 시스템 및 그 제어방법
CN113196740A (zh) 图像处理装置
KR102313804B1 (ko) 차량의 전방 또는 후방을 판별하기 위한 전자 장치 및 그 방법
KR102513818B1 (ko) 열 감지 센서를 이용한 피사체 인식률 향상 방법 및 이를 이용한 카메라
CN114663406A (zh) 对整车的车外灯光检测系统、方法、装置和存储介质
KR101501678B1 (ko) 노출 조절을 이용한 차량용 영상 촬영장치 및 그 방법
CN113139409A (zh) 车辆识别方法、装置、设备及存储介质
CN113628447B (zh) 远光灯开启检测方法、装置、设备及系统
CN105513372B (zh) 安装车牌防拍器车辆的捕获识别方法
KR102294525B1 (ko) 야간에 저속도 차량에 대한 차량번호 판별장치
KR101303758B1 (ko) 카메라 시스템 및 그 제어방법
CN103909881B (zh) 环境资讯侦测系统及环境资讯侦测方法
KR101934345B1 (ko) 야간 차량번호 및 생활 방범상의 특정이미지 판독 인식률 향상을 위한 현장분석 시스템

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E601 Decision to refuse application
PE0601 Decision on rejection of patent

St.27 status event code: N-2-6-B10-B15-exm-PE0601

X091 Application refused [patent]
AMND Amendment
E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

PX0901 Re-examination

St.27 status event code: A-2-3-E10-E12-rex-PX0901

PX0701 Decision of registration after re-examination

St.27 status event code: A-3-4-F10-F13-rex-PX0701

X701 Decision to grant (after re-examination)
GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

FPAY Annual fee payment

Payment date: 20191210

Year of fee payment: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

FPAY Annual fee payment

Payment date: 20201215

Year of fee payment: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

FPAY Annual fee payment

Payment date: 20211215

Year of fee payment: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

FPAY Annual fee payment

Payment date: 20221208

Year of fee payment: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 11

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 11

P14 Amendment of ip right document requested

Free format text: ST27 STATUS EVENT CODE: A-5-5-P10-P14-NAP-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000