KR20200049462A - 복합 센서 기반의 전자 안전펜스를 이용한 안전 관리 시스템 및 안전 관리 방법 - Google Patents

복합 센서 기반의 전자 안전펜스를 이용한 안전 관리 시스템 및 안전 관리 방법 Download PDF

Info

Publication number
KR20200049462A
KR20200049462A KR1020190043614A KR20190043614A KR20200049462A KR 20200049462 A KR20200049462 A KR 20200049462A KR 1020190043614 A KR1020190043614 A KR 1020190043614A KR 20190043614 A KR20190043614 A KR 20190043614A KR 20200049462 A KR20200049462 A KR 20200049462A
Authority
KR
South Korea
Prior art keywords
image
unit
fence
safety management
electronic safety
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020190043614A
Other languages
English (en)
Other versions
KR102229069B1 (ko
Inventor
김민경
Original Assignee
디테코 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 디테코 주식회사 filed Critical 디테코 주식회사
Publication of KR20200049462A publication Critical patent/KR20200049462A/ko
Application granted granted Critical
Publication of KR102229069B1 publication Critical patent/KR102229069B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/16—Actuation by interference with mechanical vibrations in air or other fluid
    • G08B13/1609—Actuation by interference with mechanical vibrations in air or other fluid using active vibration detection systems
    • G08B13/1618—Actuation by interference with mechanical vibrations in air or other fluid using active vibration detection systems using ultrasonic detection means
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04H—BUILDINGS OR LIKE STRUCTURES FOR PARTICULAR PURPOSES; SWIMMING OR SPLASH BATHS OR POOLS; MASTS; FENCING; TENTS OR CANOPIES, IN GENERAL
    • E04H17/00—Fencing, e.g. fences, enclosures, corrals
    • E04H17/14—Fences constructed of rigid elements, e.g. with additional wire fillings or with posts
    • E—FIXED CONSTRUCTIONS
    • E04—BUILDING
    • E04H—BUILDINGS OR LIKE STRUCTURES FOR PARTICULAR PURPOSES; SWIMMING OR SPLASH BATHS OR POOLS; MASTS; FENCING; TENTS OR CANOPIES, IN GENERAL
    • E04H17/00—Fencing, e.g. fences, enclosures, corrals
    • E04H17/14—Fences constructed of rigid elements, e.g. with additional wire fillings or with posts
    • E04H17/20—Posts therefor
    • E04H17/23—Posts therefor lateral supporting elements, e.g. braces, tie downs, or cables
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/02—Mechanical actuation
    • G08B13/12—Mechanical actuation by the breaking or disturbance of stretched cords or wires
    • G08B13/122—Mechanical actuation by the breaking or disturbance of stretched cords or wires for a perimeter fence
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • G08B13/18—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength
    • G08B13/189—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems
    • G08B13/194—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems
    • G08B13/196—Actuation by interference with heat, light, or radiation of shorter wavelength; Actuation by intruding sources of heat, light, or radiation of shorter wavelength using passive radiation detection systems using image scanning and comparing systems using television cameras
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B25/00—Alarm systems in which the location of the alarm condition is signalled to a central station, e.g. fire or police telegraphic systems

Landscapes

  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Engineering & Computer Science (AREA)
  • Architecture (AREA)
  • Civil Engineering (AREA)
  • Structural Engineering (AREA)
  • Business, Economics & Management (AREA)
  • Emergency Management (AREA)
  • Alarm Systems (AREA)
  • Measurement Of Velocity Or Position Using Acoustic Or Ultrasonic Waves (AREA)

Abstract

실시예에 의한 복합 센서 기반의 전자 안전펜스를 이용한 안전 관리 시스템 및 안전 관리 방법이 개시된다. 상기 안전 관리 시스템은 접근하는 대상체에 초음파 신호를 출력하여 상기 대상체에 반사된 초음파 신호를 수신하는 센서부와 상기 대상체의 영상을 촬영하는 촬영부를 포함하는 전자 안전펜스; 및 상기 전자 안전펜스로부터 상기 초음파 신호와 상기 영상을 제공받고 상기 제공받은 초음파 신호를 기초로 상기 대상체의 위치를 추정하고, 상기 추정된 대상체의 위치와 상기 영상을 정합하여 감시 영상을 생성하고, 상기 생성된 감시 영상을 디스플레이하는 통합 관제센터를 포함하고, 상기 전자 안전펜스는 다수의 슬레이브 펜스와 상기 다수의 슬레이브 펜스로부터 상기 초음파 신호와 상기 영상을 수집하여 상기 통합 관제센터에 제공하는 마스터 펜스를 포함한다.

Description

복합 센서 기반의 전자 안전펜스를 이용한 안전 관리 시스템 및 안전 관리 방법{SAFETY MANAGEMENT SYSTEM USING ELECTRONIC SAFETY FENCE BASED ON COMPOSITE SENSOR AND SAFETY MANAGEMENT METHOD}
실시예는 복합 센서 기반의 전자 안전펜스를 이용한 안전 관리 시스템 및 안전 관리 방법에 관한 것이다.
안전 펜스란 사고나 위험을 방지하기 위한 시설물을 말한다. 일반적으로, 안전 펜스는 도로상의 공사현장이나 각종 건물이나 시설을 건설하는 공사현장 등에서 위험요소가 상존하는 구역을 주변의 안전구역과 구별하기 위하여 사용된다. 이외에도 열차나 지하철의 승강장에서 이용객이 선로궤도로 전락하는 것을 방지하기 위해 사용되거나, 집안에서 아기가 집안 내 위험 지역으로 움직이는 것을 방지하기 위해 사용되기도 한다. 이와 같이, 안전 펜스는 다양한 위험 상황에서 안전 지역과 위험 지역의 경계를 구분함으로써 위험지역에서 발생할 수 있는 사고나 위험을 미리 차단한다.
이러한 안전 펜스는 일반적으로 다수의 강관 및 그물망 등을 연결한 철제 펜스 또는 PE 소재의 합성수지 재질로 이루어진 플라스틱 펜스 등이 사용되고 있는데, 단순히 안전 지역과 위험 지역을 구분하는 수동적 역할만을 수행하고 있다. 따라서, 사람이 스스로 안전 펜스의 존재를 인지하여 위험 지역으로의 진입을 멈춰야 하며, 관리자는 위험 지역에서 위험한 행동을 하더라도 이를 감지하거나 통제할 수 없다.
따라서 다양한 위험 상황이나 위험 지역으로의 접근을 감지하고 경보를 출력하여 안전 사고를 미연에 방지할 수 있는 능동적인 안전 펜스 장치가 필요한 상황이다.
공개특허공보 제10-2018-0098185호 공개특허공보 제10-2009-0002763호
실시예는 복합 센서 기반의 전자 안전펜스를 이용한 안전 관리 시스템 및 안전 관리 방법을 제공할 수 있다.
본 발명의 일 실시예에 따른 안전 관리 시스템은 접근하는 대상체에 초음파 신호를 출력하여 상기 대상체에 반사되어 되돌아온 초음파 신호를 수신하는 센서부와 상기 대상체의 영상을 촬영하는 촬영부를 포함하는 전자 안전펜스; 및 상기 전자 안전펜스로부터 상기 초음파 신호와 상기 영상을 제공받고 상기 제공받은 초음파 신호를 기초로 상기 대상체의 위치를 추정하고, 상기 추정된 대상체의 위치와 상기 영상을 정합하여 감시 영상을 생성하고, 상기 생성된 감시 영상을 디스플레이하는 통합 관제센터를 포함하고, 상기 전자 안전펜스는 다수의 슬레이브 펜스와 상기 다수의 슬레이브 펜스로부터 상기 초음파 신호와 상기 영상을 수집하여 상기 통합 관제센터에 제공하는 마스터 펜스를 포함할 수 있다.
상기 전자 안전펜스는 상기 센서부와 상기 촬영부를 포함하는 복합 센서모듈; 및 상기 복합 센서모듈의 일측에 착탈식으로 결합되고, 상기 복합 센서모듈이 소정의 위치에 고정 배치될 수 있도록 지지하는 지지 프레임을 포함할 수 있다.
상기 복합 센서모듈은 입체도형의 형상을 갖는 하우징; 상기 하우징의 측면에 배치되고, 제1축 방향으로 소정 간격으로 이격 배치된 다수의 센서부; 상기 다수의 센서부와 각각 나란히 배치되고, 상기 다수의 센서부를 각각 기준으로 상기 제1축 방향과 수직인 제2축 방향으로 배치된 다수의 촬영부; 상기 다수의 센서부와 상기 다수의 촬영부를 제어하는 제어부; 및 상기 다수의 센서부와 상기 다수의 촬영부로부터 각각 획득된 상기 초음파 신호와 상기 영상을 상기 통합 관제센터에 전송하는 통신부를 포함할 수 있다.
상기 하우징은 각기둥 형상으로 형성되고, 상기 하우징의 각 측면마다 상기 센서부와 상기 촬영부가 배치될 수 있다.
상기 제어부는 상기 대상체에 반사된된 초음파 신호를 분석하여 그 분석한 결과로 상기 대상체가 접근한다고 판단되는 경우, 상기 촬영부를 구동시켜 영상을 획득할 수 있다.
실시예에 따른 안전 관리 시스템은 상기 대상체가 접근한다고 판단되는 경우, 상기 제어부의 제어 신호에 따라 미리 정해진 소리나 빛을 출력하는 출력부를 더 포함할 수 있다.
상기 촬영부는 상기 대상체의 실영상을 촬영하여 제1 영상을 획득하는 제1 촬영부; 및 상기 대상체의 열영상을 촬영하여 제2 영상을 획득하는 제2 촬영부를 포함할 수 있다.
상기 센서부는 상기 대상체에 초음파 신호를 출력하는 초음파 신호 발생기; 및 다수의 센서가 배열되고, 상기 배열된 다수의 센서로부터 각각 상기 대상체에 반사된 초음파 신호를 수신하는 초음파 신호 수신기를 포함할 수 있다.
상기 통합 관제센터는 상기 제공받은 초음파 신호를 지연-합 빔형성(delay-sum beamforming) 방법을 이용하여 분석하여 그 분석한 결과로 상기 대상체의 위치를 추정하고, 상기 추정된 대상체의 위치를 상기 촬영된 영상에 정합할 수 있다.
본 발명의 다른 실시예에 따른 안전 관리 방법은 다수의 슬레이브 펜스와 상기 다수의 슬레이브 펜스로부터 대상체에 반사되어 되돌아온 초음파 신호와 대상체를 촬영한 영상을 수집하는 마스터 펜스를 포함하는 전자 안전펜스로부터 상기 수집된 초음파 신호와 상기 영상을 제공받는 단계; 상기 제공받은 초음파 신호를 기초로 상기 대상체의 위치를 추정하는 단계; 및 상기 추정된 대상체의 위치와 상기 제공받은 영상을 정합하여 감시 영상을 생성하고, 상기 생성된 감시 영상을 디스플레이하는 단계를 포함할 수 있다.
상기 추정하는 단계에서는 상기 제공받은 초음파 신호를 지연-합 빔형성(delay-sum beamforming) 방법을 이용하여 분석하여 그 분석한 결과로 상기 대상체의 위치를 추정할 수 있다.
실시예에 따르면, 위험 지역에 접근하는 대상체의 위치를 정확히 검출하는 것이 가능할 수 있다.
실시예에 따르면, 위험 지역에 접근하는 대상체를 검출하여 영상 촬영 및 전송뿐만 아니라 경고 방송으로 농등적 통제가 가능하여 안전 사고를 미연에 방지할 수 있다.
도 1은 본 발명의 일 실시예에 따른 안전 관리 시스템의 구성을 나타내는 도면이다.
도 2 내지 도 4는 지연-합 빔형성 방법의 원리를 설명하기 위한 도면이다.
도 5는 도 1에 도시된 전자 안전펜스의 형상을 나타내는 도면이다.
도 6a 내지 도 6b는 도 5에 도시된 복합 센서모듈의 상세한 구성을 나타내는 도면이다.
도 7 내지 도 8은 본 발명의 일 실시예에 따른 전자 안전펜스의 배치 형태를 나타내는 도면이다.
도 9는 도 1에 도시된 통합 관제센터의 상세한 구성을 나타내는 도면이다.
도 10a 내지 도 10b는 감시 영상을 디스플레이하는 화면을 보여주는 도면이다.
도 11은 본 발명의 일 실시예에 따른 안전 관리 방법을 나타내는 도면이다.
본 발명은 다양한 변경을 가할 수 있고 여러 가지 실시예를 가질 수 있는 바, 특정 실시예들을 도면에 예시하고 설명하고자 한다. 그러나, 이는 본 발명을 특정한 실시 형태에 대해 한정하려는 것이 아니며, 본 발명의 사상 및 기술 범위에 포함되는 모든 변경, 균등물 내지 대체물을 포함하는 것으로 이해되어야 한다.
제2, 제1 등과 같이 서수를 포함하는 용어는 다양한 구성요소들을 설명하는데 사용될 수 있지만, 상기 구성요소들은 상기 용어들에 의해 한정되지는 않는다. 상기 용어들은 하나의 구성요소를 다른 구성요소로부터 구별하는 목적으로만 사용된다. 예를 들어, 본 발명의 권리 범위를 벗어나지 않으면서 제2 구성요소는 제1 구성요소로 명명될 수 있고, 유사하게 제1 구성요소도 제2 구성요소로 명명될 수 있다. 및/또는 이라는 용어는 복수의 관련된 기재된 항목들의 조합 또는 복수의 관련된 기재된 항목들 중의 어느 항목을 포함한다.
어떤 구성요소가 다른 구성요소에 "연결되어" 있다거나 "접속되어" 있다고 언급된 때에는, 그 다른 구성요소에 직접적으로 연결되어 있거나 또는 접속되어 있을 수도 있지만, 중간에 다른 구성요소가 존재할 수도 있다고 이해되어야 할 것이다. 반면에, 어떤 구성요소가 다른 구성요소에 "직접 연결되어" 있다거나 "직접 접속되어" 있다고 언급된 때에는, 중간에 다른 구성요소가 존재하지 않는 것으로 이해되어야 할 것이다.
본 출원에서 사용한 용어는 단지 특정한 실시예를 설명하기 위해 사용된 것으로, 본 발명을 한정하려는 의도가 아니다. 단수의 표현은 문맥상 명백하게 다르게 뜻하지 않는 한, 복수의 표현을 포함한다. 본 출원에서, "포함하다" 또는 "가지다" 등의 용어는 명세서상에 기재된 특징, 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것이 존재함을 지정하려는 것이지, 하나 또는 그 이상의 다른 특징들이나 숫자, 단계, 동작, 구성요소, 부품 또는 이들을 조합한 것들의 존재 또는 부가 가능성을 미리 배제하지 않는 것으로 이해되어야 한다.
다르게 정의되지 않는 한, 기술적이거나 과학적인 용어를 포함해서 여기서 사용되는 모든 용어들은 본 발명이 속하는 기술 분야에서 통상의 지식을 가진 자에 의해 일반적으로 이해되는 것과 동일한 의미를 가지고 있다. 일반적으로 사용되는 사전에 정의되어 있는 것과 같은 용어들은 관련 기술의 문맥 상 가지는 의미와 일치하는 의미를 가지는 것으로 해석되어야 하며, 본 출원에서 명백하게 정의하지 않는 한, 이상적이거나 과도하게 형식적인 의미로 해석되지 않는다.
이하, 첨부된 도면을 참조하여 실시예를 상세히 설명하되, 도면 부호에 관계없이 동일하거나 대응하는 구성 요소는 동일한 참조 번호를 부여하고 이에 대한 중복되는 설명은 생략하기로 한다.
실시예에서는, 위험 지역에 설치되는 전자 안전펜스를 하나의 마스터 펜스와 다수의 슬레이브 펜스로 설정하여 하나의 마스터 펜스가 다수의 슬레이브 펜스로부터 대상체에 반사된 초음파 신호와 대상체를 촬영한 영상을 수집하여 통합 관제센터에 제공하고, 통합 관제센터가 초음파 신호를 기초로 대상체의 위치를 추정하고, 추정된 대상체의 위치와 영상을 정합하여 표시하도록 한, 새로운 방안을 제안한다.
도 1은 본 발명의 일 실시예에 따른 안전 관리 시스템의 구성을 나타내는 도면이다.
도 1을 참조하면, 본 발명의 일 실시예에 따른 안전 관리 시스템은 전자 안전펜스(100), 전자 안전펜스(100)와 연동하는 통합 관제센터(200)를 포함할 수 있다.
전자 안전펜스(100)는 위험 지역에 설치되고, 위험 지역에 접근하는 대상체를 감시하기 위하여 초음파 신호를 출력하여 반사되어 돌아온 초음파 신호를 를 수신하고, 수신된 초음파 신호의 반사 시간을 기초로 소정 거리 이내로 대상체가 접근한다고 판단되는 경우 해당 대상체의 영상을 촬영하여 획득할 수 있다.
전자 안전펜스(100)는 지속적으로 초음파 신호를 출력하고, 수신된 초음파 신호의 반사 시간을 기초로 대상체가 접근하는 경우에 대상체의 영상을 촬영할 수 있다.
전자 안전펜스(100)는 통합 관제센터(200)와 연동하고, 수신된 초음파 신호와 촬영된 영상을 통합 관제센터(200)에 제공할 수 있다. 전자 안전펜스(100)는 통합 관제센터(200)와 유선 통신 또는 무선 통신을 이용하여 연동할 수 있는데, 예컨대, 유선 통신으로는 이더넷을 포함할 수 있고, 무선 통신으로는 WiFi(Wireless Fidelity), LTE(Long Term Evalution), 무선 랜 등을 포함할 수 있다.
전자 안전펜스(100)는 다수의 전자 안전펜스로 구현될 수 있는데, 다수의 전자 안전펜스는 하나의 마스터 펜스(master fence)(100a)와 다수의 슬레이브 펜스(slave fence)(100b)를 포함할 수 있다.
하나의 마스터 펜스(100a)는 초음파 신호와 영상을 포함하는 제1 감시 데이터를 획득하고, 다수의 슬레이브 펜스(100b)와 연동하여 다수의 슬레이브 펜스(100b)로부터 각각 초음파 신호와 영상을 포함하는 제2 감시 데이터를 수집할 수 있다.
하나의 마스터 펜스(100a)는 통합 관제센터(200)와 연동하여 자신과 다수의 슬레이브 펜스(100b)로부터 수집된 제1 감시 데이터와 제2 감시 데이터를 제공할 수 있다.
여기서는 다수의 전자 안전펜스 중 마스터 펜스를 하나로 설정한 경우를 일 예로 설명하고 있지만 반드시 이에 한정되지 않고 필요에 따라 두개 이상이 될 수도 있다.
통합 관제센터(200)는 전자 안전펜스(100)와 연동하고, 전자 안전펜스(100)로부터 감시 데이터를 제공받고, 제공받은 감시 데이터를 기초로 위험 지역에 접근하는 대상체의 위치를 추정하고 추정된 대상체의 위치와 영상을 정합하여 감시 영상을 생성하고 생성된 감시 영상을 화면 상에 디스플레이할 수 있다.
통합 관제센터(200)는 제공받은 감시 데이터에 포함된 초음파 신호를 지연-합 빔형성(delay-sum beamforming) 방법을 이용하여 분석하여 그 분석한 결과로 대상체의 위치를 추정할 수 있다. 여기서 지연-합 빔형성 방법은 배열된 각 센서에서 입력되는 신호로 간단하고 빠르게 빔형성을 수행하는 방법으로 널리 사용된다.
도 2 내지 도 4는 지연-합 빔형성 방법의 원리를 설명하기 위한 도면이다.
도 2를 참조하면, 지연-합 빔형성 방법은 신호 사이의 입력 시간차로 센서 배열의 전방에 존재하는 음원의 위치를 추정하는 방법으로서 센서 전방의 수직 방향에서 입사되는 신호는 시간 지연이 발생하지 않지만 비스듬히 입사되는 신호는 입사각에 따라 센서별 시간지연이 비례하는 원리를 이용하여 음원의 위치를 추정하는 방법이다.
배열된 센서에서 인접한 두 센서에 입사되는 신호의 관계는 다음의 [수학식 1]과 같이 정의한다.
[수학식 1]
Figure pat00001
n번째 센서에 입사되는 신호 xn(t)는 인접한 센서에 입사되는 신호 xn -1(t+τ)에 τ만큼 시간 지연이 발생하며, 이때, τ는 다음의 [수학식 2]와 같이 정의한다.
[수학식 2]
Figure pat00002
여기서, θ는 신호의 입사각, d는 센서 사이의 거리, c는 신호의 전파속도 340m/s이다.
도 3을 참조하면, n개의 초음파 센서에서 입사되는 신호에 일정한 시간 지연을 주어 계산한 후 각 신호를 합한 지연-합 신호 r(t)는 다음의 [수학식 3]과 같이 나타낸다.
[수학식 3]
Figure pat00003
여기서 θ가 의미하는 것은 초음파 신호가 입사되는 가상의 방향을 나타낸다. 지연-합 빔형성 방법은 입사되는 신호의 시간지연을 구하여 실제 입사되는 방향을 추정하여 계산한 방향이 일치할 때 그 신호의 크기가 최대가 되며 이때 신호 r(t)는 음원의 신호와 같다.
그리고 위상 차이는 다음의 [수학식 4]와 같이 지연-합 신호가 최대값일 때의 값으로 추정한다.
[수학식 4]
Figure pat00004
도 4를 참조하면, 위상 차이에 따른 신호의 합으로 (a)는 지연-합 빔형성 방법에서 입사되는 신호에 각각 비례하는 위상차 τ를 더한 후 각 신호에 대해 위상 차이 만큼 신호가 이동되는 과정을 의미하며, (b)는 추정된 위상 차이가 참에 근접할수록 지연-합 신호 rmax(t)가 최대값에 근접함을 나타내고, (c)는 반대의 경우를 나타낸다.
따라서, 각 신호의 시간 지연 τ를 계산하게 되면, 입사각 θ를 추정할 수 있고, 이를 통해 센서 배열의 정면에서 입사되는 신호의 방향을 추정할 수 있게 된다.
도 5는 도 1에 도시된 전자 안전펜스의 형상을 나타내는 도면이고, 도 6a 내지 도 6b는 도 5에 도시된 복합 센서모듈의 상세한 구성을 나타내는 도면이다.
도 5를 참조하면, 본 발명의 일 실시예에 따른 전자 안전펜스(100)는 복합 센서모듈(110), 복합 센서모듈(110)을 지지하는 지지 프레임(120)을 포함할 수 있다.
복합 센서모듈(110)은 위험 지역에 접근하는 대상체를 감지하기 위한 센서를 포함할 수 있다. 이러한 복합 센서모듈(110)은 초음파 신호를 이용하여 접근하는 대상체를 감지하고 접근하는 대상체가 감지되는 경우 대상체의 영상을 촬영할 수 있다.
복합 센서모듈(110)은 내부에 수용 공간을 갖는 각기둥, 원기둥을 포함하는 입체 도형의 형상으로 형성될 수 있는데, 여기서는 육각 기둥으로 형성하는 경우를 일 예로 설명한다.
지지 프레임(120)은 복합 센서모듈(110)의 일측 예컨대, 하측에 착탈식으로 결합되고, 복합 센서모듈(110)이 소정의 위치에 고정 배치될 수 있도록 지지할 수 있다.
지지 프레임(120)은 지상에 배치하도록 형성될 수 있지만, 반드시 이에 한정되지 않고 필요에 따라 건물이나 나무 등에 배치될 수 있는 형태로 형성될 수 있다.
도 6a를 참조하면, 본 발명의 일 실시예에 따른 복합 센서모듈(110)은 하우징(111), 센서부(112), 촬영부(113), 제어부(114), 출력부(115), 통신부(116)를 포함할 수 있다.
하우징(111)은 내부에 수용 공간을 갖도록 입체 도형으로 형성될 수 있다. 하우징(111)의 측면에는 개구가 형성될 수 있는데, 개구를 통해 일부 부품이 외부로 노출되도록 배치하기 위함이다. 여기서는 센서부(112), 촬영부(113), 출력부(115), 통신부(116)가 하우징(111)의 개구를 통해 외부로 노출되도록 배치될 수 있다.
하우징(111)의 적어도 일 측면에는 센서부(112)와 촬영부(113)가 배치될 수 있다. 예컨대, 다수의 센서부(112)는 제1축 방향으로 소정 간격으로 이격 배치되며, 다수의 촬영부(113)는 다수의 센서부(112)와 각각 나란히 배치되어, 다수의 센서부(112)를 각각 기준으로 제1축 방향과 수직인 제2축 방향으로 배치될 수 있다.
센서부(112)는 초음파 신호를 이용하여 위험 지역에 접근하는 대상체를 감지할 수 있다. 센서부(112)는 초음파 신호 발생기(112a)와 초음파 신호 수신기(112b)를 포함할 수 있다. 초음파 신호 발생기(112a)는 지속적으로 초음파 신호를 출력하고, 초음파 신호 수신기(112b)는 대상체에 반사되어 되돌아오는 초음파 신호를 수신할 수 있다.
이때, 초음파 신호 수신기(112b)는 다수의 센서가 배열된 형태로 형성될 수 있다. 초음파 신호 수신기(112b)의 설계 시 초음파 센서의 배열 방법에 따라 음원의 수평 및 수직각 추정 정밀도의 차이가 생길 수 있기 때문에, 일반 격자 형태의 센서 배열보다 우수한 정밀도를 갖는 방사 형태의 초음파 센서 배열 구조로 설계하는 것이 바람직하다.
촬영부(113)는 위험 지역에 접근하는 대상체의 영상을 획득할 수 있다. 촬영부(113)는 대상체의 일반 영상 예컨대, 흑백 영상, 컬러 영상을 촬영하는 실영상 카메라(113a)와 대상체의 열화상 영상을 촬영하는 열화상 카메라(113b)를 포함할 수 있다.
이때, 실영상 카메라(113a)와 열화상 카메라(113b)는 좌우 방향으로 나란히 배치되거나 상하 방향으로 나란히 배치되어 실영상과 열화상 영상을 획득할 수 있다. 열화상 카메라는 화재 감지뿐만 아니라 야간 촬영을 위해 설치되는 것이 바람직하다.
제어부(114)는 센서부(112)와 촬영부(113)를 제어할 수 있다. 제어부(114)는 센서부를 구동시키고, 센서부(112)를 통해 대상체가 감지되는 경우 촬영부(113)를 구동시킬 수 있다.
제어부(114)는 센서부(112)를 통해 대상체에 반사되어 돌아온 초음파 신호와 촬영부(113)를 통해 획득된 영상 즉, 실화상 영상과 열화상 영상을 수집하고, 수집된 초음파 신호와 영상을 포함하는 감시 데이터를 생성하고, 생성된 감시 데이터를 이웃하는 전자 안전펜스에 전달하거나 통합 관제센터에 제공할 수 있다.
예컨대, 감시 데이터를 생성하는 전자 안전펜스가 슬레이브 펜스인 경우 제어부(114)는 감시 데이터를 이웃하는 슬레이브 펜스나 마스터 펜스에 전달할 수 있고, 마스터 펜스인 경우 제어부(114)는 감시 데이터를 통합 관제센터에 전송할 수 있다.
출력부(115)는 센서부(112)를 통해 대상체가 감지되는 경우 소리나 빛을 출력할 수 있다. 이러한 출력부(115)로는 예컨대, 스피커나 경광등을 포함할 수 있다.
통신부(116)는 감시 데이터를 이웃하는 전자 안전펜스에 전달하거나 통합 관제센터에 전송할 수 있다. 통신부(116)는 유선 통신을 수행하는 제1 통신부와 무선 통신을 수행하는 제2 통신부 중 적어도 하나를 포함할 수 있다.
그 일예로, 제1 통신부는 이웃하는 전자 안전펜스와 유선 통신하기 위한 케이블이 연결되는 커넥터이고, 제2 통신부는 통합 관제센터와 무선 통신하기 위한 모듈일 수 있다.
다른 예로, 제1 통신부는 이웃하는 전자 안전펜스와 무선 통신하기 위한 모듈이고, 마찬가지로 제2 통신부도 통합 관제센터와 무선 통신하기 위한 모듈일 수 있다.
또한 도시되지 않았지만 복합 센서모듈에는 전원을 공급할 수 있는 전원부가 구비될 수 있다.
도 6b를 참조하면, 실시예에 따르면 센서부(112), 촬영부(113), 출력부(115), 통신부(116)가 하우징(111)의 개구를 통해 외부로 노출되도록 배치될 수 있다.
예컨대, 육각 기둥의 형상을 갖는 하우징(111)의 각 측면에는 센서부(112)와 촬영부(113)가 개구를 통해 외부로 노출되도록 배치될 수 있는데, 센서부(112)의 초음파 신호 발생기(112a)와 초음파 신호 수신기(112b)가 상하 방향으로 배치될 수 있다. 이때, 초음파 신호 수신기(112b)의 중앙에는 2개의 개구(h1, h2)가 상하 방향으로 형성되어, 개구(h1, h2)를 통해 실영상 카메라와 열화상 카메라가 배치될 수 있다.
이때, 센서부(112)와 촬영부(113)는 하나의 쌍으로 하우징(111)의 측면에 배치되되, 적어도 하나의 측면에 배치되어 배치된 방향으로 대상체를 감지할 수 있다.
출력부(115)는 하우징(111)의 일 측면에 형성되어, 소리나 빛을 출력할 수 있다.
통신부(116)는 하우징(111)의 일 측면에 형성될 수 있는데, 이때는 이웃하는 전자 안전펜스와 통신하거나 전력을 전달하기 위한 케이블이 연결되는 커넥터일 수 있다.
도 7 내지 도 8은 본 발명의 일 실시예에 따른 전자 안전펜스의 배치 형태를 나타내는 도면이다.
도 7을 참조하면, 실시예에 따른 전자 안전펜스가 배치된 형태를 보여주고 있는데, 3개의 전자 안전펜스가 연결되어 배치될 수 있다. 3개의 전자 안전펜스 중 하나는 마스터 펜스(100a)이고, 나머지 두개는 슬레이브 펜스(100b1, 100b2)로 설정될 수 있다.
이때, 하나의 마스터 펜스(100a)와 두개의 슬레이브 펜스(100b1, 100b2)는 모두 초음파 신호와 영상을 획득할 수 있는데, 하나의 마스터 펜스(100a)는 자신이 획득한 초음파 신호와 영상뿐 아니라 두개의 슬레이브 펜스(100b1, 100b2)가 각각 획득한 초음파 신호와 영상을 수집하여 통합 관제센터에 전송할 수 있다.
3개의 전자 안전펜스(100a, 100b1, 100b2) 중 어느 하나의 전자 안전펜스가 대상체를 감지하게 되더라도 3개의 전자 안전펜스(100a, 100b1, 100b2) 모두 소리나 빛을 출력할 수 있다.
도 8을 참조하면, 실시예에 따른 전자 안전펜스는 복합 센서모듈을 포함하는데, 복합 센서모듈은 왼쪽 그림과 같이 지상에 설치될 수 있지만, 건물이나 구조물의 일측에 설치되어 해당 영역에 접근하는 대상체를 감지할 수 있다.
이때, 전자 안전펜스는 공사 현장과 같은 위험 지역에 배치되어 사용될 수 있지만, 반드시 이에 한정되지 않고 필요에 따라 출입 통제가 필요한 구역에 배치될 수 있다.
도 9는 도 1에 도시된 통합 관제센터의 상세한 구성을 나타내는 도면이다.
도 9를 참조하면, 본 발명의 일 실시예에 따른 통합 관제센터(200)는 통신부(210), 입력부(220), 제어부(230), 표시부(240), 저장부(250)를 포함할 수 있다.
통신부(210)는 전자 안전펜스 즉, 마스터 펜스와 연동하고, 마스터 펜스로부터 초음파 신호와 영상을 포함하는 감시 데이터를 실시간으로 수신할 수 있다. 이때, 통신부(210)는 전자 안전펜스와 유선 통신 또는 무선 통신을 수행할 수 있다.
입력부(220)는 사용자의 메뉴 또는 키 조작에 따른 정보를 입력 받을 수 있다.
제어부(230)는 제공받은 초음파 신호를 기초로 대상체의 위치를 추정하고, 추정된 대상체의 위치와 영상 즉, 실영상 또는 열화상 영상을 정합하여 감시 영상을 생성할 수 있다.
제어부(230)는 제공받은 초음파 신호를 지연-합 빔형성 방법을 이용하여 분석하여 그 분석한 결과로 대상체의 위치를 추정하고, 추정된 대상체의 위치를 영상에 정합할 수 있다.
표시부(240)는 제어부(230)에서 생성된 감시 영상을 화면 상에 디스플레이할 수 있다.
저장부(250)는 전자 안전펜스가 설치된 영역과 설치된 개수 등의 정보와 함께 전자 안전펜스로부터 제공받은 감시 데이터와 감시 영상을 저장 및 갱신할 수 있다.
도 10a 내지 도 10b는 감시 영상을 디스플레이하는 화면을 보여주는 도면이다.
도 10a를 참조하면, 통합 관제센터의 화면 상에 표시되는데, 전자 안전펜스가 설치된 지역과 다수의 전자 안전펜스의 감시 영상을 실시간으로 보여주고 있다.
도 10b를 참조하면, 다수의 전자 안전펜스 중 관리자가 선택한 전자 안전펜스의 감시 영상을 디스플레이함으로써, 감시 영상 내 대상체의 위치를 확인할 수 있다. 여기서는 감지된 대상체와 그 대상체의 위치에 붉은색 동그라미가 표시되고 있다.
도 11은 본 발명의 일 실시예에 따른 안전 관리 방법을 나타내는 도면이다.
도 11을 참조하면, 본 발명의 실시예에 따른 통합 관제센터는 전자 안전펜스로부터 대상체에 반사되어 되돌아온 초음파 신호와 대상체를 촬영한 영상을 제공받을 수 있다(S110).
이때, 전자 안전펜스는 대상체에 반사되어 되돌아온 초음파 신호와 대상체를 촬영한 영상을 수집하고 수집된 초음파 신호와 영상을 통합 관제센터에 제공할 수 있다. 즉, 마스터 펜스는 자신이 획득한 초음파 신호와 영상 및 다수의 슬레이브 펜스로부터 대상체에 반사되어 되돌아온 초음파 신호와 대상체를 촬영한 영상을 수집할 수 있다.
다음으로, 통합 관제센터는 전자 안전펜스로부터 제공받은 초음파 신호를 기초로 대상체의 위치를 추정할 수 있다(S120).
이때, 통합 관제센터는 제공받은 초음파 신호를 지연-합 빔형성(delay-sum beamforming) 방법을 이용하여 분석하여 그 분석한 결과로 상기 대상체의 위치를 추정할 수 있다.
다음으로, 통합 관제센터는 추정된 대상체의 위치와 제공받은 영상을 정합하여 감시 영상을 생성할 수 있다(S130).
다음으로, 통합 관제센터는 생성된 감시 영상을 화면 상에 디스플레이할 수 있다(S140). 화면 상에 디스플레이되는 감시 영상을 통해 관리자는 해당 지역을 감시할 수 있을 뿐만 아니라 해당 지역에 접근하는 대상체와 그 위치를 확인할 수 있다.
본 실시예에서 사용되는 '~부'라는 용어는 소프트웨어 또는 FPGA(field-programmable gate array) 또는 ASIC과 같은 하드웨어 구성요소를 의미하며, '~부'는 어떤 역할들을 수행한다. 그렇지만 '~부'는 소프트웨어 또는 하드웨어에 한정되는 의미는 아니다. '~부'는 어드레싱할 수 있는 저장 매체에 있도록 구성될 수도 있고 하나 또는 그 이상의 프로세서들을 재생시키도록 구성될 수도 있다. 따라서, 일 예로서 '~부'는 소프트웨어 구성요소들, 객체지향 소프트웨어 구성요소들, 클래스 구성요소들 및 태스크 구성요소들과 같은 구성요소들과, 프로세스들, 함수들, 속성들, 프로시저들, 서브루틴들, 프로그램 코드의 세그먼트들, 드라이버들, 펌웨어, 마이크로코드, 회로, 데이터, 데이터베이스, 데이터 구조들, 테이블들, 어레이들, 및 변수들을 포함한다. 구성요소들과 '~부'들 안에서 제공되는 기능은 더 작은 수의 구성요소들 및 '~부'들로 결합되거나 추가적인 구성요소들과 '~부'들로 더 분리될 수 있다. 뿐만 아니라, 구성요소들 및 '~부'들은 디바이스 또는 보안 멀티미디어카드 내의 하나 또는 그 이상의 CPU들을 재생시키도록 구현될 수도 있다.
상기에서는 본 발명의 바람직한 실시예를 참조하여 설명하였지만, 해당 기술 분야의 숙련된 당업자는 하기의 특허 청구의 범위에 기재된 본 발명의 사상 및 영역으로부터 벗어나지 않는 범위 내에서 본 발명을 다양하게 수정 및 변경시킬 수 있음을 이해할 수 있을 것이다.
100: 전자 안전펜스
200: 통합 관제센터

Claims (11)

  1. 접근하는 대상체에 초음파 신호를 출력하여 상기 대상체에 반사되어 되돌아온 초음파 신호를 수신하는 센서부와 상기 대상체의 영상을 촬영하는 촬영부를 포함하는 전자 안전펜스; 및
    상기 전자 안전펜스로부터 상기 초음파 신호와 상기 영상을 제공받고 상기 제공받은 초음파 신호를 기초로 상기 대상체의 위치를 추정하고, 상기 추정된 대상체의 위치와 상기 영상을 정합하여 감시 영상을 생성하고, 상기 생성된 감시 영상을 디스플레이하는 통합 관제센터를 포함하고,
    상기 전자 안전펜스는,
    다수의 슬레이브 펜스와 상기 다수의 슬레이브 펜스로부터 상기 초음파 신호와 상기 영상을 수집하여 상기 통합 관제센터에 제공하는 마스터 펜스를 포함하는, 안전 관리 시스템.
  2. 제1항에 있어서,
    상기 전자 안전펜스는,
    상기 센서부와 상기 촬영부를 포함하는 복합 센서모듈; 및
    상기 복합 센서모듈의 일측에 착탈식으로 결합되고, 상기 복합 센서모듈이 소정의 위치에 고정 배치될 수 있도록 지지하는 지지 프레임을 포함하는, 안전 관리 시스템.
  3. 제2항에 있어서,
    상기 복합 센서모듈은,
    입체도형의 형상을 갖는 하우징;
    상기 하우징의 측면에 배치되고, 제1축 방향으로 소정 간격으로 이격 배치된 다수의 센서부;
    상기 다수의 센서부와 각각 나란히 배치되고, 상기 다수의 센서부를 각각 기준으로 상기 제1축 방향과 수직인 제2축 방향으로 배치된 다수의 촬영부;
    상기 다수의 센서부와 상기 다수의 촬영부를 제어하는 제어부; 및
    상기 다수의 센서부와 상기 다수의 촬영부로부터 각각 획득된 상기 초음파 신호와 상기 영상을 상기 통합 관제센터에 전송하는 통신부를 포함하는, 안전 관리 시스템.
  4. 제3항에 있어서,
    상기 하우징은 각기둥 형상으로 형성되고,
    상기 하우징의 각 측면마다 상기 센서부와 상기 촬영부가 배치된, 안전 관리 시스템.
  5. 제3항에 있어서,
    상기 제어부는,
    상기 대상체에 반사된된 초음파 신호를 분석하여 그 분석한 결과로 상기 대상체가 접근한다고 판단되는 경우, 상기 촬영부를 구동시켜 영상을 획득하는, 안전 관리 시스템.
  6. 제5항에 있어서,
    상기 대상체가 접근한다고 판단되는 경우, 상기 제어부의 제어 신호에 따라 미리 정해진 소리나 빛을 출력하는 출력부를 더 포함하는, 안전 관리 시스템.
  7. 제1항 또는 제3항에 있어서,
    상기 촬영부는,
    상기 대상체의 실영상을 촬영하여 제1 영상을 획득하는 제1 촬영부; 및
    상기 대상체의 열영상을 촬영하여 제2 영상을 획득하는 제2 촬영부를 포함하는, 안전 관리 시스템.
  8. 제1항 또는 제3항에 있어서,
    상기 센서부는,
    상기 대상체에 초음파 신호를 출력하는 초음파 신호 발생기; 및
    다수의 센서가 배열되고, 상기 배열된 다수의 센서로부터 각각 상기 대상체에 반사된 초음파 신호를 수신하는 초음파 신호 수신기를 포함하는, 안전 관리 시스템.
  9. 제1항에 있어서,
    상기 통합 관제센터는,
    상기 제공받은 초음파 신호를 지연-합 빔형성(delay-sum beamforming) 방법을 이용하여 분석하여 그 분석한 결과로 상기 대상체의 위치를 추정하고,
    상기 추정된 대상체의 위치를 상기 촬영된 영상에 정합하는, 안전 관리 시스템.
  10. 다수의 슬레이브 펜스와 상기 다수의 슬레이브 펜스로부터 대상체에 반사되어 되돌아온 초음파 신호와 대상체를 촬영한 영상을 수집하는 마스터 펜스를 포함하는 전자 안전펜스로부터 상기 수집된 초음파 신호와 상기 영상을 제공받는 단계;
    상기 제공받은 초음파 신호를 기초로 상기 대상체의 위치를 추정하는 단계; 및
    상기 추정된 대상체의 위치와 상기 제공받은 영상을 정합하여 감시 영상을 생성하고, 상기 생성된 감시 영상을 디스플레이하는 단계를 포함하는, 안전 관리 방법.
  11. 제10항에 있어서,
    상기 추정하는 단계에서는,
    상기 제공받은 초음파 신호를 지연-합 빔형성(delay-sum beamforming) 방법을 이용하여 분석하여 그 분석한 결과로 상기 대상체의 위치를 추정하는, 안전 관리 방법.
KR1020190043614A 2018-10-29 2019-04-15 복합 센서 기반의 전자 안전펜스를 이용한 안전 관리 시스템 및 안전 관리 방법 Active KR102229069B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KR20180130195 2018-10-29
KR1020180130195 2018-10-29

Publications (2)

Publication Number Publication Date
KR20200049462A true KR20200049462A (ko) 2020-05-08
KR102229069B1 KR102229069B1 (ko) 2021-03-18

Family

ID=70677375

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190043614A Active KR102229069B1 (ko) 2018-10-29 2019-04-15 복합 센서 기반의 전자 안전펜스를 이용한 안전 관리 시스템 및 안전 관리 방법

Country Status (1)

Country Link
KR (1) KR102229069B1 (ko)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090002763A (ko) 2007-07-04 2009-01-09 정구관 박스형 접이식 안전펜스
KR20110042554A (ko) * 2009-10-19 2011-04-27 (주)태종씨앤아이 실외 적응형 감시 시스템
KR101627429B1 (ko) * 2014-11-28 2016-06-08 충남대학교산학협력단 복합센서 기반 배전선로 진단 시스템
JP3215346U (ja) * 2017-11-25 2018-03-15 株式会社テクノスジャパン 複合型鳥獣忌避装置
KR20180098185A (ko) 2018-05-28 2018-09-03 이정범 안전펜스

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20090002763A (ko) 2007-07-04 2009-01-09 정구관 박스형 접이식 안전펜스
KR20110042554A (ko) * 2009-10-19 2011-04-27 (주)태종씨앤아이 실외 적응형 감시 시스템
KR101627429B1 (ko) * 2014-11-28 2016-06-08 충남대학교산학협력단 복합센서 기반 배전선로 진단 시스템
JP3215346U (ja) * 2017-11-25 2018-03-15 株式会社テクノスジャパン 複合型鳥獣忌避装置
KR20180098185A (ko) 2018-05-28 2018-09-03 이정범 안전펜스

Also Published As

Publication number Publication date
KR102229069B1 (ko) 2021-03-18

Similar Documents

Publication Publication Date Title
JP3876288B2 (ja) 状態認識システムおよび状態認識表示生成方法
KR100862398B1 (ko) 다중 카메라를 이용한 방범용 씨씨티브이 기능을 갖는 불법주정차 무인 자동 단속방법 및 그 시스템
KR101066068B1 (ko) 듀얼 카메라를 이용한 영상 감시 장치 및 방법
KR101073076B1 (ko) 복합카메라를 이용한 화재감시 시스템 및 방법
US11410526B2 (en) Dynamic rollover zone detection system for mobile machinery
EP3308356B1 (en) System and method for detecting a dissimilar object in undercarriage of a vehicle
US20090128632A1 (en) Camera and image processor
EP2200312A1 (en) Video display device and video display method
US20110019873A1 (en) Periphery monitoring device and periphery monitoring method
KR101745551B1 (ko) Cctv 영상정보를 이용한 과속차량 감시 장치 및 그 방법
CN103247116A (zh) 基于视频分析、空间定位、射频识别相结合的安防系统
CN104902246A (zh) 视频监视方法和装置
JP2003515811A (ja) 映像危機管理カーテン
JP2022512290A (ja) 色覚困難の知覚を改善する多重スペクトル多重偏光（ｍｓｍｐ）フィルタ処理
US20200128188A1 (en) Image pickup device and image pickup system
JP5502700B2 (ja) 通行車両監視システム及び通行車両監視装置
EP3460773B1 (en) Monitoring system
KR101719799B1 (ko) 교통정보 감응형 cctv 모니터링 시스템
JP4554954B2 (ja) 全方位撮像システム
Ghidoni et al. A distributed perception infrastructure for robot assisted living
KR102229069B1 (ko) 복합 센서 기반의 전자 안전펜스를 이용한 안전 관리 시스템 및 안전 관리 방법
KR102305438B1 (ko) 무인기 감시 시스템 및 방법
KR101268076B1 (ko) 소리발생 방향 감지에 따른 감시카메라 시스템 및 이를 이용한 위치추정 방법
KR101736431B1 (ko) 다중영상을 이용한 교통정보 스마트 모니터링 시스템 및 방법
JP7031817B2 (ja) 監視システム、監視プログラム、および、記憶媒体

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P14-X000 Amendment of ip right document requested

St.27 status event code: A-5-5-P10-P14-nap-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 5