KR20160046733A - 사람 검지 시스템 및 방법 - Google Patents

사람 검지 시스템 및 방법 Download PDF

Info

Publication number
KR20160046733A
KR20160046733A KR1020150144638A KR20150144638A KR20160046733A KR 20160046733 A KR20160046733 A KR 20160046733A KR 1020150144638 A KR1020150144638 A KR 1020150144638A KR 20150144638 A KR20150144638 A KR 20150144638A KR 20160046733 A KR20160046733 A KR 20160046733A
Authority
KR
South Korea
Prior art keywords
person
detecting
area
detected
detection
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020150144638A
Other languages
English (en)
Other versions
KR101729857B1 (ko
Inventor
미츠히로 혼다
Original Assignee
아즈빌주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 아즈빌주식회사 filed Critical 아즈빌주식회사
Publication of KR20160046733A publication Critical patent/KR20160046733A/ko
Application granted granted Critical
Publication of KR101729857B1 publication Critical patent/KR101729857B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/0002—Inspection of images, e.g. flaw detection
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/103—Static body considered as a whole, e.g. static pedestrian or occupant recognition
    • G—PHYSICS
    • G08—SIGNALLING
    • G08B—SIGNALLING SYSTEMS, e.g. PERSONAL CALLING SYSTEMS; ORDER TELEGRAPHS; ALARM SYSTEMS
    • G08B13/00—Burglar, theft or intruder alarms
    • A—HUMAN NECESSITIES
    • A61—MEDICAL OR VETERINARY SCIENCE; HYGIENE
    • A61B—DIAGNOSIS; SURGERY; IDENTIFICATION
    • A61B5/00—Measuring for diagnostic purposes; Identification of persons
    • A61B5/01—Measuring temperature of body parts ; Diagnostic temperature sensing, e.g. for malignant or inflamed tissue
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04W—WIRELESS COMMUNICATION NETWORKS
    • H04W4/00—Services specially adapted for wireless communication networks; Facilities therefor
    • H04W4/02—Services making use of location information
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/10—Image acquisition modality
    • G06T2207/10048—Infrared image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T2207/00—Indexing scheme for image analysis or image enhancement
    • G06T2207/30—Subject of image; Context of image processing
    • G06T2207/30242—Counting objects in image
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Human Computer Interaction (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • General Health & Medical Sciences (AREA)
  • Quality & Reliability (AREA)
  • Child & Adolescent Psychology (AREA)
  • Geophysics And Detection Of Objects (AREA)
  • Emergency Management (AREA)
  • Business, Economics & Management (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Radar, Positioning & Navigation (AREA)
  • Biophysics (AREA)
  • Pathology (AREA)
  • Biomedical Technology (AREA)
  • Heart & Thoracic Surgery (AREA)
  • Medical Informatics (AREA)
  • Molecular Biology (AREA)
  • Surgery (AREA)
  • Animal Behavior & Ethology (AREA)
  • Public Health (AREA)
  • Veterinary Medicine (AREA)
  • Signal Processing (AREA)

Abstract

영역 내에 존재하는 각각의 사람에 관해서, 관계자인지 부외자인지를 정확하게 그리고 용이하게 구별하여 검지한다.
사람 검출부(14)가 영역(A)을 촬영하여 얻어진 열화상에 기초하여 해당 영역(A) 내에 존재하는 사람의 위치를 검출하고, 관계자 검출부(15)가 관계자(30)가 휴대하는 무선 단말(23)로부터 송신된 식별 신호에 기초하여 영역(A) 내에 존재하는 관계자(30)의 위치를 검출하며, 부외자 판정부(16)가 사람 검출부(14)에서 검출된 사람 중 관계자 검출부(15)에서 검출된 관계자(30)와는 상이한 위치에 존재하는 사람을 영역(A) 내에 존재하는 부외자(31)라고 판정한다.

Description

사람 검지 시스템 및 방법{HUMAN DETECTING SYSTEM AND METHOD}
본 발명은, 사람 검지 기술에 관한 것으로, 특히 영역 내에 존재하는 복수의 사람 중에서 관계자와 부외자(部外者)를 구별하여 검지하기 위한 사람 검지 기술에 관한 것이다.
종래, 영역 내에 존재하는 사람의 위치를 검지하는 사람 검지 기술로서, 카메라로 촬영한 화상으로부터 사람의 위치를 검지하는 기술이 제안되어 있다(예컨대, 특허문헌 1 등 참조). 이것은, 카메라로 촬영한 화상을 미리 준비한 배경 화상과 비교함으로써, 사람의 위치를 검지하는 방법이다. 이 때, 화상으로서 적외선 카메라로 촬영한 열(熱)화상을 이용하여, 배경 온도와 비교함으로써, 사람의 위치를 검지하는 방법도 있다.
한편, 화상을 이용하지 않고, 검지 대상이 되는 사람에게 RFID나 GPS 등의 기능을 갖는 무선 단말을 휴대시키고, 이들 무선 단말로부터 송신되는 신호에 기초하여 사람의 위치를 검지하는 기술이 제안되어 있다(예컨대, 특허문헌 2 등 참조). 이 때, 무선 단말로부터 송신된 신호(전파)의 강도에 기초하여 사람의 위치를 검지하는 방법이나, 무선 단말이 GPS에서 검출한 자기의 위치를 신호에 의해 통지하는 방법이 있다.
특허문헌 1 : 일본 특허 공개 공보 평11-311682호 특허문헌 2 : 일본 특허 공개 공보 제2008-112257호
영역 내에 존재하는 사람의 위치나 사람의 흐름을 분석할 때, 관계자와 부외자를 구별하여 검지하고자 하는 경우가 있다. 예컨대, 전시회나 점포 등의 영역에서 사람의 위치를 검지하여, 내방자나 손님이 어떤 위치에 집중하고 있는지, 혹은 어떠한 경로로 이동하고 있는지를 특정하는 경우, 영역 내에는 내방자나 손님 이외에 주최자측이나 점포측의 관계자도 존재하기 때문에, 이들 관계자가 노이즈 성분이 되어 정밀도가 높은 분석 결과를 얻을 수 없다. 또한, 사무실의 시큐러티 대책으로서, 사무실 내에 존재하는 사람을 감시하는 경우, 사원과 사원 이외를 구별하여 감시해야 한다.
전술한 특허문헌 1의 기술에 따르면, 카메라로 촬영한 화상으로부터 사람의 위치를 검지하고 있기 때문에, 검지 대상이 되는 사람에게 무선 단말을 휴대시킬 필요는 없다. 이 때문에, 영역 내에 존재하는 사람의 위치를 용이하게 검지할 수 있지만, 위치를 검지한 사람이 관계자인지 부외자인지를 구별할 수는 없다는 문제점이 있었다.
한편, 전술한 특허문헌 2의 기술에 따르면, 검지 대상이 되는 사람에게 휴대시키는 무선 단말을 용이하게 식별할 수 있기 때문에, 위치를 검지한 사람이 관계자인지 부외자인지를 구별할 수 있지만, 검지 대상이 되는 모든 사람에게 무선 단말을 휴대시킬 필요가 있다. 따라서, 많은 사람이 내방하는 것 같은 전시회나 점포 등의 영역에서 이용하는 경우, 무선 단말의 휴대를 모든 내방자에게 강요시키는 것은 곤란하며, 무선 단말의 관리 비용이 증대하기 때문에, 용이하게 검지할 수 없다는 문제점이 있었다.
본 발명은 이러한 과제를 해결하기 위한 것으로, 영역 내에 존재하는 각각의 사람에 관해서 관계자인지 부외자인지를 정확하게 그리고 용이하게 구별하여 검지할 수 있는 사람 검지 기술을 제공하는 것을 목적으로 하고 있다.
이러한 목적을 달성하기 위해서, 본 발명에 관한 사람 검지 시스템은, 영역 내에 존재하는 복수의 사람 중에서 관계자와 부외자를 구별하여 검지하는 사람 검지 시스템으로서, 상기 영역을 촬영하여 얻어진 열화상에 기초하여, 해당 영역 내에 존재하는 사람의 위치를 검출하는 사람 검출부와, 상기 관계자가 휴대하는 무선 단말로부터 송신된 식별 신호에 기초하여, 상기 영역 내에 존재하는 상기 관계자의 위치를 검출하는 관계자 검출부와, 상기 사람 검출부에서 검출된 사람 중 상기 관계자 검출부에서 검출된 관계자와는 상이한 위치에 존재하는 사람을, 상기 영역 내에 존재하는 상기 부외자라고 판정하는 부외자 판정부를 구비하고 있다.
또한, 본 발명에 따른 상기 사람 검지 시스템의 일 구성예는, 상기 부외자 판정부가 상기 사람의 위치와 상기 관계자의 위치에 기초하여 양자 사이의 검출 오차 거리를 산출하고, 해당 검출 오차 거리를 허용 오차 거리와 비교한 결과에 기초하여 해당 사람이 관계자인지 부외자인지를 판정하도록 한 것이다.
또한, 본 발명에 따른 상기 사람 검지 시스템의 일 구성예는, 상기 부외자 판정부가, 상기 검출 오차 거리를 상기 허용 오차 거리와 비교할 때, 양자 사이의 검출 오차 거리를 일정한 거리 판정 기간에 걸쳐 평균화하여 얻어진 평균 검출 오차 거리를 해당 허용 오차 거리와 비교하도록 한 것이다.
또한, 본 발명에 따른 상기 사람 검지 시스템의 일 구성예는, 상기 사람 검출부가 상기 열화상에 포함되는 각 화소의 화소 온도를 통계 처리함으로써 사람의 배경을 나타내는 배경 온도를 산출하고, 각 화소 온도와 해당 배경 온도의 차분을 기준 온도차와 비교함으로써 사람의 위치를 검출하도록 한 것이다.
또한, 본 발명에 따른 상기 사람 검지 시스템의 일 구성예는, 상기 사람 검출부가 상기 열화상과 해당 열화상에서 일정한 배경 선택 시간만큼 과거에 얻어진 열화상으로 이루어지는 배경 열화상에 관하여, 화소마다 화소 온도의 차분을 산출하고, 이들 차분을 기준 온도차와 비교함으로써 사람의 위치를 검출하도록 한 것이다.
또한, 본 발명에 따른 상기 사람 검지 시스템의 일 구성예는, 상기 사람 검출부에서 검출한 사람의 위치에 기초하여, 적어도 상기 부외자 판정부에서 판정된 상기 영역 내에 존재하는 상기 부외자의 위치를 화면 표시하는 검출 결과 출력부를 또한 구비하도록 한 것이다.
또한, 본 발명에 따른 사람 검지 방법은, 영역 내에 존재하는 복수의 사람 중에서 관계자와 부외자를 구별하여 검지하는 사람 검지 방법으로서, 상기 영역을 촬영하여 얻어진 열화상에 기초하여, 해당 영역 내에 존재하는 사람의 위치를 검출하는 사람 검출 스텝과, 상기 관계자가 휴대하는 무선 단말로부터 송신된 식별 신호에 기초하여 상기 영역 내에 존재하는 상기 관계자의 위치를 검출하는 관계자 검출 스텝과, 상기 사람 검출 스텝에서 검출된 사람 중 상기 관계자 검출 스텝에서 검출된 관계자와는 상이한 위치에 존재하는 사람을, 상기 영역 내에 존재하는 상기 부외자라고 판정하는 부외자 판정 스텝을 구비하고 있다.
본 발명에 따르면, 영역 내에 존재하는 부외자의 위치가, 직접적이지는 않고, 영역(A) 내에 존재하는 사람의 위치와 관계자의 위치에 기초하여 간접적으로 검출된다. 따라서, 관계자만 무선 단말을 휴대해 두면 좋기 때문에, 모든 내방자에게 무선 단말을 휴대시키지 않고 영역 내에 존재하는 각각의 사람에 관해서, 관계자인지 부외자인지를 정확하게 그리고 용이하게 구별하여 검지할 수 있다.
도 1은 검지 시스템의 구성을 나타내는 블럭도이다.
도 2는 사람 검출 방법을 나타내는 설명도이다.
도 3은 다른 사람 검출 방법을 나타내는 설명도이다.
도 4는 사람 검출 처리를 나타내는 플로우차트이다.
도 5는 열화상에 기초한 사람의 위치의 검출예이다.
도 6은 식별 신호에 기초한 사람의 위치의 검출예이다.
도 7은 검출 오차 거리의 산출예이다.
도 8은 검출 결과 출력 화면의 표시예이다.
[본 발명의 원리]
우선, 본 발명의 원리에 관해서 설명한다.
영역 내에 존재하는 사람의 위치는, 적외선 이미지 센서로 영역을 촬영하여 얻어진 열화상으로부터, 주위의 온도보다 높은 부분, 즉 발열체의 위치에 기초하여 특정할 수 있다. 그러나, 열화상만으로는, 각각의 사람이 관계자인지 부외자인지를 구별할 수는 없다.
한편, 영역 내에 존재하는 사람에게, RFID나 GPS 등의 기능을 갖는 무선 단말을 휴대시켜, 해당 무선 단말로부터의 식별 신호를 수신하면, 사람의 위치뿐만 아니라 관계자와 부외자를 용이하게 구별할 수 있다. 그러나, 전시회나 점포 등, 불특정 다수의 사람이 출입하는 것 같은 영역에서는, 모든 사람 혹은 내방자에게 무선 단말을 휴대시키는 것은 어렵다.
내방자 등의 부외자에게 무선 단말을 휴대시키는 어려움을 분석한 경우, 인수가 많아 무선 단말의 대여 관리를 위한 작업 부담이 방대해지는 점, 내방자가 무선 단말의 휴대를 거부할 가능성이 있는 점, 또한 접수를 통하지 않고 부정하게 입장하는 불심자에게는 무선 단말을 휴대시킬 수 없는 점 등의 이유가 생각된다.
여기서, 영역 내에 존재하는 사람 관계자와 부외자를 비교하면, 부외자에 비교하여 관계자의 인수는 적은 점, 관계자가 무선 단말의 휴대를 거부하는 일은 없는 점, 또한 모든 관계자에게 무선 단말을 휴대시키는 것이 가능하다는 점을 들 수 있고, 이들은 부외자에게 무선 단말을 휴대시키는 어려움을 모두 해소하고 있다.
본 발명은, 이와 같이 무선 단말의 휴대에 관한 관계자와 부외자의 차이에 착안하여, 부외자가 아니라 관계자에게 무선 단말을 휴대시켜, 이들 무선 단말으로부터의 식별 신호에 기초하여 관계자의 위치를 검지하고, 열화상으로부터 검지한 관계자와 부외자의 양방을 포함하는 사람의 위치와 비교함으로써, 열화상으로부터 검지한 사람 중, 관계자 이외의 사람을 부외자로서 판정하도록 한 것이다.
[사람 검지 시스템]
다음으로, 본 발명의 일 실시의 형태에 관해서 도면을 참조하여 설명한다.
우선, 도 1을 참조하여, 본 발명의 일 실시의 형태에 따른 사람 검지 시스템(10)에 관해서 설명한다. 도 1은 검지 시스템의 구성을 나타내는 블럭도이다.
이 사람 검지 시스템(10)은, 전체로서, 하나 또는 복수의 서버 장치로 이루어지고, 영역(A) 내에 존재하는 복수의 사람 중에서 관계자(30)와 부외자(31)를 구별하여 검지하는 기능을 갖고 있다.
검지 대상이 되는 영역(A)의 천장이나 벽에는, 서모파일 소자 등의 적외선 센서를 이용한 적외선 이미지 센서(21)가 설치되어 있고, 적외선 이미지 센서(21)로 촬영된 영역(A) 내의 관계자(30) 및 부외자(31)를 포함하는 열화상이 통신 회선(L1)을 개재하여 사람 검지 시스템(10)에 통지된다.
또한, 영역(A)의 천장이나 벽에는, 무선기(22)가 설치되어 있고, 관계자(30)가 휴대하는(또는 관계자(30)에게 장착한) 무선 단말(23)로부터 송신된 신호가 통신 회선(L2)을 개재하여 사람 검지 시스템(10)에 통지된다.
다음으로, 도 1을 참조하여, 본 실시의 형태에 따른 사람 검지 시스템(10)의 구성에 관해서 상세히 설명한다.
사람 검지 시스템(10)에는, 주된 기능부로서 통신 I/F부(11), 조작 입력부(12), 화면 표시부(13), 사람 검출부(14), 관계자 검출부(15), 부외자 판정부(16), 및 검출 결과 출력부(17)가 설치되어 있다.
통신 I/F부(11)는, 통신 회선(L1)을 개재하여 적외선 이미지 센서(21)와 데이터 통신을 행함으로써, 적외선 이미지 센서(21)로 촬영된 열화상을 수신하는 기능과, 통신 회선(L2)을 개재하여 무선기(22)와의 사이에서 무선 데이터 통신을 행함으로써, 무선 단말(23)로부터 송신된 신호를 수신하는 기능을 갖고 있다.
조작 입력부(12)는 키보드, 마우스, 터치 패널 등의 조작 입력 장치로 이루어지고, 오퍼레이터의 조작을 검출하여 각 기능부로 출력하는 기능을 갖고 있다.
화면 표시부(13)는 LCD 등의 화면 표시 장치로 이루어지고, 조작 화면이나 검출 결과 출력 화면 등, 각 기능부로부터 출력된 각종 데이터를 화면 표시하는 기능을 갖고 있다.
사람 검출부(14)는 통신 I/F부(11)를 개재하여 적외선 이미지 센서(21)로부터 취득한 열화상에 기초하여, 영역(A) 내에 존재하는 사람의 위치를 검출하는 기능을 갖고 있다.
도 2는, 사람 검출 방법을 나타내는 설명도이다. 여기서는, 하나의 적외선 이미지 센서(21)로 촬영한 열화상이 5×5화소로 이루어지는 예가 표시되어 있다. 또, 각 적외선 이미지 센서(21)로 얻어진 열화상마다에 사람의 위치를 검지해도 좋고, 각 열화상을 연결시킨 영역(A) 전체의 열화상에 관해서 사람의 위치를 검지해도 좋다.
우선, 열화상을 구성하는 각 화소의 화소 온도(화소값)를 통계 처리함으로써, 사람이 존재하지 않는 마루나 책상 등의 배경에 위치하는 배경 영역에 관한 배경 온도를 산출한다. 여기서는, 각 화소 온도의 평균값으로부터 배경 온도 28.4℃를 구하고 있지만, 평균값 외에 중앙값, 히스토그램 최빈값 등, 열화상의 화소 전체를 대표하는 대표값을 이용해도 좋다.
다음으로, 각 화소 온도와 배경 온도의 차분을 각각 구하여 기준 온도차와 비교하고, 차분이 기준 온도차보다 높은 화소를 특정하여, 이들 특정 화소가 일정한 유효 화소폭 이상이 종합된 영역을 나타내는 경우에 사람의 위치로서 검출한다. 이에 따라 유효 화소폭보다 작은 노이즈의 영향을 억지할 수 있다.
도 2의 예에서는, 차분이 기준 온도차보다 높은 특정 화소가, 예컨대 2×2화소로 이루어지는 일정한 유효 화소폭이 종합된 영역을 나타내고 있기 때문에, 이들 특정 화소의 중심 위치가 사람 위치로서 검출된다. 일정한 유효 화소폭에 관해서는, 열화상의 해상도와 사람의 크기의 관계에 기초하여 미리 설정해 두면 좋다.
도 3은, 다른 사람 검출 방법을 나타내는 설명도이다. 도 2에서는 통계 처리에서 구한 배경 온도와의 차분에 기초하여 사람 위치를 검출하는 방법에 관해서 설명했지만, 여기서는, 과거의 열화상으로 이루어지는 배경 열화상의 화소 온도와의 차분에 기초하여 사람 위치를 검출하는 방법에 관해서 설명한다.
도 3에서는, 우선, 새롭게 얻어진 열화상과, 이것보다 일정한 배경 선택 시간만큼 과거에 얻어진 열화상으로 이루어지는 배경 열화상에 관하여, 화소마다 화소 온도의 차분을 구하여 기준 온도차와 비교한다. 이후, 차분이 기준 온도차보다 높은 화소를 특정하고, 이들 특정 화소가 일정한 유효 화소폭 이상이 종합된 영역을 나타내는 경우에 사람의 위치로서 검출한다.
이 경우도, 차분이 기준 온도차보다 높은 특정 화소가, 예컨대 2×2 화소로 이루어지는 일정한 유효 화소폭이 종합된 영역을 나타내고 있기 때문에, 이들 특정 화소의 중심 위치가 사람 위치로서 검출된다.
관계자 검출부(15)는, 통신 I/F부(11)를 개재하여 무선기(22)로부터 취득한, 무선 단말(23)로부터의 식별 신호에 기초하여, 영역(A) 내에 존재하는 관계자(30)의 위치를 검출하는 기능을 갖고 있다. 식별 신호에 기초하여 사람의 위치를 검출하는 방법으로서는, 무선 단말(23)로부터 송신된 식별 신호(전파나 초음파)의 강도에 기초하여 사람의 위치를 검지하는 방법이나, 무선 단말(23)에 탑재되어 있는 GPS 기능으로 검출한 자기의 위치를 식별 신호에 의해 통지하는 방법 등, 공지의 기술을 이용하면 좋다.
부외자 판정부(16)는 사람 검출부(14)에서 검출된 사람 중, 관계자 검출부(15)에서 검출된 관계자(30)와는 상이한 위치에 존재하는 사람을 부외자(31)라고 판정하는 기능을 갖고 있다.
부외자(31)를 판정하는 방법으로서는, 사람과 관계자(30)의 모든 조합에 관해서 양자 사이의 검출 오차 거리를 구하고, 해당 검출 오차 거리가 허용 오차 거리 이하인 경우에는 해당 사람이 관계자(30)라고 판정하며, 그 이외의 사람을 부외자(31)라고 판정하는 방법이 있다.
검출 결과 출력부(17)는, 사람 검출부(14)에서 검출한 사람의 위치에 기초하여, 적어도 부외자 판정부(16)에서 판정된 영역(A) 내에 존재하는 부외자(31)의 위치를 나타내는 검출 결과 출력 화면을 생성하여, 화면 표시부(13)에서 화면 표시하는 기능을 갖고 있다. 이 때, 검출 결과 출력 화면에서, 부외자(31)와 관계자 검출부(15)에서 검출된 관계자(30)의 양방의 위치를 표시해도 좋다. 또한, 부외자(31)의 유무가 중요한 경우에는, 부외자(31)의 위치 대신에 부외자(31)의 유무나 인수를 화면 표시해도 좋다.
이들 기능부 중, 사람 검출부(14), 관계자 검출부(15), 부외자 판정부(16), 및 검출 결과 출력부(17)는 CPU가 기억부로부터 독출한 프로그램을 실행함으로써 각종 처리부를 실현하는 연산 처리부로 구성되어 있다.
[본 실시의 형태의 동작]
다음으로, 도 4를 참조하여, 본 실시의 형태에 따른 사람 검지 시스템(10)의 동작에 관해서 설명한다. 도 4는, 사람 검출 처리를 나타내는 플로우차트이다.
우선, 사람 검출부(14)는 통신 I/F부(11)를 개재하여 각 적외선 이미지 센서(21)로부터 열화상을 취득하고, 전술의 도 2나 도 3에서 설명한 사람 위치 검출 방법에 의해, 이들 열화상에 기초하여 영역(A) 내에 존재하는 사람의 위치를 검출한다(스텝 100).
도 5는, 열화상에 기초한 사람의 위치의 검출예이다. 여기서는, 영역(A) 내에 P1∼P6까지의 합계 6명의 사람이 검출되어 있다.
계속해서, 관계자 검출부(15)는 통신 I/F부(11)를 개재하여 무선 단말(23)로부터 식별 신호를 취득하고, 전술한 무선 단말(23)로부터 송신된 식별 신호(전파나 초음파)의 강도에 기초하여 사람의 위치를 검지하는 방법이나, 무선 단말(23)에 탑재되어 있는 GPS 기능으로 검출한 자기의 위치를 식별 신호에 의해 통지하는 방법 등의 공지의 기술에 의해, 이들 식별 신호에 기초하여 영역(A) 내에 존재하는 관계자(30)의 위치를 검출한다(스텝 101).
도 6은, 식별 신호에 기초한 사람의 위치의 검출예이다. 여기서는, 영역(A) 내에 M1∼M4까지의 합계 4명의 관계자(30)가 검출되어 있다.
다음으로, 부외자 판정부(16)는 사람 검출부(14)에서 검출된 사람 i와, 관계자 검출부(15)에서 검출된 관계자 j와의 조 ij마다, 양자 사이의 검출 오차 거리 Dij를 산출하고(스텝 102), 이들 조 중 검출 오차 거리 Dij가 허용 오차 거리 Dp 이하인 조의 사람을 관계자(30)라고 판정한다(스텝 103). 이 때, 동일한 사람에 대하여 검출 오차 거리 Dij가 허용 오차 거리 Dp 이하인 관계자(30)가 복수 존재하는 경우, 가장 검출 오차 거리 Dij가 작은 관계자(30)를 선택하면 좋다. 또한, 사람 검출부(14)에서 검출된 사람 중 관계자(30)로서 판정되지 않은 사람을 부외자(31)라고 판정한다(스텝 104).
사람 검출부(14)와 관계자 검출부(15)의 검출 결과에 관해서는, 서로의 검출 방식이나 이용하는 기기의 차이에 기인하여 양자의 검출 결과에 어느 정도의 검출 오차가 생기고, 검출 위치의 어긋남으로서 나타난다. 이 때문에, 이들 검출 오차에 기초하여 미리 설정한 허용 오차 거리 Dp에 기초하여, 양자의 검출 결과가 동일 인물을 나타내는 것인지 아닌지 판정하고 있다.
사람 i의 좌표 위치를 XTi, YTi로 하고, 관계자 j의 좌표 위치를 XRj, YRj로 한 경우, 양자 사이의 검출 오차 거리 Dij는, 다음 수학식(1)로 구해진다.
Figure pat00001
도 7은, 검출 오차 거리의 산출예이다. 여기서는, 사람 P1과 관계자 M1과의 검출 오차 거리 D11, 사람 P2와 관계자 M2과의 검출 오차 거리 D22, 사람 P4와 관계자 M3과의 검출 오차 거리 D43, 사람 P6과 관계자 M4의 검출 오차 거리 D64가 각각 허용 오차 거리 Dp 이하이다. 이 때문에, 사람 P1, P2, P4, P6은 관계자 M1, M2, M3, M4라고 판정된다. 또한, 이들 사람 P1, P2, P4, P6 이외의 사람 P3, P5에 관해서는 이들 사람 P3, P5의 검출 오차 거리 Dij가 허용 오차 거리 Dp보다 작은 관계자(30)가 존재하지 않기 때문에, 사람 P3, P5는 부외자(31)라고 판정된다.
이와 같이 하여, 부외자 판정부(16)는 사람 검출부(14)에서 검출된 사람 중 관계자 검출부(15)에서 검출된 관계자(30)와는 상이한 위치에 존재하는 사람을, 영역(A) 내에 존재하는 부외자(31)라고 판정한다.
이 후, 검출 결과 출력부(17)는 영역(A) 내에서의 관계자(30)의 위치 또는/및 부외자(31)의 위치를 나타내는 검출 결과 출력 화면을 생성하여, 화면 표시부(13)에서 화면 표시하고(스텝 105), 일련의 사람 검출 처리를 종료한다.
도 8은, 검출 결과 출력 화면의 표시예이다. 여기서는, 도 7에서 판정한 관계자(30)라고 판정한 사람 P1, P2, P4, P6의 위치에, 관계자(30)를 나타내는 원 심볼이 배치되어 있고, 동일하게 부외자(31)라고 판정한 사람 P3, P5의 위치에, 부외자(31)를 나타내는 사각 심볼(해칭)이 배치되어 있다. 이들 관계자(30)와 부외자(31)의 식별 표시 방법에 관해서는, 일반적인 수법을 이용하면 좋다. 또한, 부외자(31)의 위치가 중요해지는 경우에는, 관계자(30)를 비표시로 해도 좋다.
또, 관계자 검출부(15)에서의, 무선 단말(23)로부터 송신된 식별 신호의 강도에 기초하여 사람의 위치를 검지하는 방법이나, 무선 단말(23)에 탑재되어 있는 GPS 기능으로 검출한 자기의 위치를 식별 신호에 의해 통지하는 방법은, 현 시점에 있어서 일반적으로 현실적인 구성과 비교한 경우, 사람 검출부(14)에서의 사람 검출 방법보다 검출 정밀도가 낮다고들 하고 있다. 이 때문에, 부외자 판정부(16)에 있어서, 관계자(30)의 위치를 특정하는 경우, 사람 검출부(14)에서 검출한 사람 위치 좌표를 이용하여 검출 결과 출력 화면을 생성하면 좋다.
또한, 이러한 검출 정밀도를 고려하여, 부외자 판정부(16)에 있어서, 검출 오차 거리 Dij를 허용 오차 거리 Dp와 비교할 때, 양자 사이의 검출 오차 거리 Dij를 일정한 거리 판정 기간에 걸쳐 평균화하여 얻어진 평균 검출 오차 거리 Dijm을 허용 오차 거리 Dp와 비교하도록 해도 좋다. 이에 따라, 관계자 검출부(15)에서 검출한 관계자(30)의 위치에 포함되는 검출 오차를 저감시킬 수 있고, 결과로서 안정된 관계자 판정을 실현할 수 있다.
[본 실시의 형태의 효과]
이와 같이, 본 실시의 형태는, 사람 검출부(14)가 영역(A)를 촬영하여 얻어진 열화상에 기초하여 해당 영역(A) 내에 존재하는 사람의 위치를 검출하고, 관계자 검출부(15)가 관계자(30)가 휴대하는 무선 단말(23)로부터 송신된 식별 신호에 기초하여 영역(A) 내에 존재하는 관계자(30)의 위치를 검출하며, 부외자 판정부(16)가 사람 검출부(14)에서 검출된 사람 중 관계자 검출부(15)에서 검출된 관계자(30)와는 상이한 위치에 존재하는 사람을, 영역(A) 내에 존재하는 부외자(31)라고 판정하도록 한 것이다.
이에 따라, 영역(A) 내에 존재하는 부외자의 위치가, 직접적이지 않고, 영역(A) 내에 존재하는 사람의 위치와 관계자(30)의 위치에 기초하여 간접적으로 검출된다. 따라서, 관계자(30)만 무선 단말(23)을 휴대해 두면 좋기 때문에, 모든 내방자에게 무선 단말(23)을 휴대시키지 않고, 영역(A) 내에 존재하는 복수의 사람 중에서 관계자(30)와 부외자(31)를 정확하게 그리고 용이하게 구별하여 검지할 수 있다.
또한, 본 실시의 형태에서는, 부외자 판정부(16)가 사람의 위치와 관계자(30)의 위치에 기초하여 양자 사이의 검출 오차 거리 Dij를 산출하고, 해당 검출 오차 거리 Dij를 허용 오차 거리 Dp와 비교한 결과에 기초하여 해당 사람이 관계자(30)인지 부외자(31)인지를 판정하도록 해도 좋다. 이에 따라, 검출한 사람 위치와 관계자 위치의 사이에 검출 오차가 포함되어 있어도, 영역(A) 내에 존재하는 복수의 사람 중에서 관계자(30)를 정확히 판정할 수 있다.
또한, 부외자 판정부(16)가 검출 오차 거리 Dij를 허용 오차 거리 Dp와 비교할 때, 양자 사이의 검출 오차 거리 Dij를 일정한 거리 판정 기간에 걸쳐 평균화하여 얻어진 평균 검출 오차 거리 Dijm을 해당 허용 오차 거리 Dp와 비교하도록 해도 좋다. 이에 따라, 관계자 위치에 어느 정도의 검출 오차가 포함되어 있어도, 영역(A) 내에 존재하는 복수의 사람 중에서 관계자(30)를 정확히 판정할 수 있다.
또한, 본 실시의 형태에서는, 사람 검출부(14)가 열화상에 포함되는 각 화소의 화소 온도를 통계 처리함으로써 사람의 배경을 나타내는 배경 온도를 산출하고, 각 화소 온도와 해당 배경 온도의 차분을 기준 온도차와 비교함으로써, 사람의 위치를 검출하도록 해도 좋다. 이에 따라, 얻어진 열화상에만 기초하여, 비교적 간소한 계산 처리로 사람의 위치를 정밀하게 검출할 수 있다.
또한, 본 실시의 형태에서는, 사람 검출부(14)가 열화상과 해당 열화상에서 일정한 배경 선택 시간만큼 과거에 얻어진 열화상으로 이루어지는 배경 열화상에 관하여, 화소마다 화소 온도의 차분을 산출하고, 이들 차분을 기준 온도차와 비교함으로써 사람의 위치를 검출하도록 해도 좋다. 이에 따라, 발열체로서 고정적인 것이 영역(A) 내에 존재하는 경우라도, 사람과 같이 이동하는 발열체만을 정밀하게 검출할 수 있다. 또, 통계 처리에 의해 구한 배경 온도에 기초하여 사람 위치를 검출하는 경우, 영역(A) 내에 존재하는 고정적인 발열체를 사람으로서 구별할 수 없는 경우도 생각되지만, 고정적인 발열체의 위치를 미리 설정해 두면, 용이하게 사람으로 구별할 수 있다.
[실시의 형태의 확장]
이상, 실시형태를 참조하여 본 발명을 설명했지만, 본 발명은 상기 실시형태에 한정되는 것은 아니다. 본 발명의 구성이나 상세에는, 본 발명의 스코프 내에서 당업자가 이해할 수 있는 여러 가지 변경을 할 수 있다. 또한, 각 실시형태에 관해서는 모순하지 않는 범위에서 임의로 조합하여 실시할 수 있다.
10 : 사람 검지 시스템, 11 : 통신 I/F부, 12 : 조작 입력부, 13 : 화면 표시부, 14 : 사람 검출부, 15 : 관계자 검출부, 16 : 부외자 판정부, 17 : 검출 결과 출력부, 21 : 적외선 이미지 센서, 22 : 무선기, 23 : 무선 단말, 30 : 관계자, 31 : 부외자, L1, L2 : 통신 회선, A : 영역.

Claims (7)

  1. 영역 내에 존재하는 복수의 사람 중에서 관계자와 부외자(部外者)를 구별하여 검지하는 사람 검지 시스템으로서,
    상기 영역을 촬영하여 얻어진 열(熱)화상에 기초하여, 해당 영역 내에 존재하는 사람의 위치를 검출하는 사람 검출부와,
    상기 관계자가 휴대하는 무선 단말로부터 송신된 식별 신호에 기초하여, 상기 영역 내에 존재하는 상기 관계자의 위치를 검출하는 관계자 검출부와,
    상기 사람 검출부에서 검출된 사람 중 상기 관계자 검출부에서 검출된 관계자와는 상이한 위치에 존재하는 사람을, 상기 영역 내에 존재하는 상기 부외자라고 판정하는 부외자 판정부
    를 구비하는 것을 특징으로 하는 사람 검지 시스템.
  2. 제1항에 있어서,
    상기 부외자 판정부는, 상기 사람의 위치와 상기 관계자의 위치에 기초하여 양자 사이의 검출 오차 거리를 산출하고, 해당 검출 오차 거리를 허용 오차 거리와 비교한 결과에 기초하여 해당 사람이 관계자인지 부외자인지를 판정하는 것을 특징으로 하는 사람 검지 시스템.
  3. 제2항에 있어서,
    상기 부외자 판정부는, 상기 검출 오차 거리를 상기 허용 오차 거리와 비교할 때, 양자 사이의 검출 오차 거리를 일정한 거리 판정 기간에 걸쳐 평균화하여 얻어진 평균 검출 오차 거리를 해당 허용 오차 거리와 비교하는 것을 특징으로 하는 사람 검지 시스템.
  4. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 사람 검출부는, 상기 열화상에 포함되는 각 화소의 화소 온도를 통계 처리함으로써 사람의 배경을 나타내는 배경 온도를 산출하고, 각 화소 온도와 해당 배경 온도의 차분을 기준 온도차와 비교함으로써, 사람의 위치를 검출하는 것을 특징으로 하는 사람 검지 시스템.
  5. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 사람 검출부는, 상기 열화상과 해당 열화상에서 일정한 배경 선택 시간만큼 과거에 얻어진 열화상으로 이루어지는 배경 열화상에 관하여, 화소마다 화소 온도의 차분을 산출하고, 이들 차분을 기준 온도차와 비교함으로써 사람의 위치를 검출하는 것을 특징으로 하는 사람 검지 시스템.
  6. 제1항 내지 제3항 중 어느 한 항에 있어서,
    상기 사람 검출부에서 검출한 사람의 위치에 기초하여, 적어도 상기 부외자 판정부에서 판정된 상기 영역 내에 존재하는 상기 부외자의 위치를 화면 표시하는 검출 결과 출력부를 또한 구비하는 것을 특징으로 하는 사람 검지 시스템.
  7. 영역 내에 존재하는 복수의 사람 중에서 관계자와 부외자를 구별하여 검지하는 사람 검지 방법으로서,
    상기 영역을 촬영하여 얻어진 열화상에 기초하여, 해당 영역 내에 존재하는 사람의 위치를 검출하는 사람 검출 스텝과,
    상기 관계자가 휴대하는 무선 단말로부터 송신된 식별 신호에 기초하여, 상기 영역 내에 존재하는 상기 관계자의 위치를 검출하는 관계자 검출 스텝과,
    상기 사람 검출 스텝에서 검출된 사람 중 상기 관계자 검출 스텝에서 검출된 관계자와는 상이한 위치에 존재하는 사람을, 상기 영역 내에 존재하는 상기 부외자라고 판정하는 부외자 판정 스텝을 구비하는 것을 특징으로 하는 사람 검지 방법.
KR1020150144638A 2014-10-21 2015-10-16 사람 검지 시스템 및 방법 Active KR101729857B1 (ko)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2014214378A JP6374757B2 (ja) 2014-10-21 2014-10-21 人検知システムおよび方法
JPJP-P-2014-214378 2014-10-21

Publications (2)

Publication Number Publication Date
KR20160046733A true KR20160046733A (ko) 2016-04-29
KR101729857B1 KR101729857B1 (ko) 2017-04-24

Family

ID=55749323

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020150144638A Active KR101729857B1 (ko) 2014-10-21 2015-10-16 사람 검지 시스템 및 방법

Country Status (4)

Country Link
US (1) US9727791B2 (ko)
JP (1) JP6374757B2 (ko)
KR (1) KR101729857B1 (ko)
CN (1) CN105528778A (ko)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106231120A (zh) * 2016-08-31 2016-12-14 上海斐讯数据通信技术有限公司 一种能自动呼叫转移的手机及呼叫转移方法
JP2018200252A (ja) * 2017-05-29 2018-12-20 アズビル株式会社 熱画像処理装置およびオフセット量算出方法
JP6836961B2 (ja) * 2017-06-09 2021-03-03 アズビル株式会社 人検知装置および方法
CN109727429A (zh) * 2017-10-27 2019-05-07 恒为科技（上海）股份有限公司 人体定位方法及装置、计算机可读存储介质、终端
JP7040237B2 (ja) * 2018-04-06 2022-03-23 富士フイルムビジネスイノベーション株式会社 情報処理装置、装置、情報処理プログラム及び装置プログラム
WO2019219206A1 (en) 2018-05-18 2019-11-21 Essity Hygiene And Health Aktiebolag Presence and absence detection
CN110506299A (zh) * 2018-11-02 2019-11-26 深圳市汇顶科技股份有限公司 活体识别的装置和门锁
CN109657700B (zh) * 2018-11-22 2022-11-11 南京茶非氪信息科技有限公司 一种宏观区域连通道热度检测方法
CN112419637B (zh) * 2019-08-22 2024-05-14 北京奇虎科技有限公司 安防图像数据的处理方法及装置
CN115063940B (zh) * 2022-06-06 2024-02-09 中国银行股份有限公司 一种风险监控方法及装置、存储介质及电子设备
JP2024039742A (ja) * 2022-09-12 2024-03-25 竹中エンジニアリング株式会社 通過人数計測装置
WO2025057286A1 (ja) * 2023-09-12 2025-03-20 オプテックス株式会社 人体検知システム、人体検知システム用プログラム
US20250378685A1 (en) * 2024-06-07 2025-12-11 Subaru Corporation Method of training machine learning model for detecting target object in infrared image, method executed by processor therefor, onboard vehicle computer unit therefor, non-transitory computer readable storage medium comprising program codes therefor, vehicle

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11311682A (ja) 1998-04-28 1999-11-09 Sanyo Electric Co Ltd 室内監視装置
JP2008112257A (ja) 2006-10-30 2008-05-15 Secom Co Ltd 位置管理システム

Family Cites Families (20)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH04291191A (ja) * 1991-03-20 1992-10-15 Sanyo Electric Co Ltd 人体計数装置
US5555512A (en) * 1993-08-19 1996-09-10 Matsushita Electric Industrial Co., Ltd. Picture processing apparatus for processing infrared pictures obtained with an infrared ray sensor and applied apparatus utilizing the picture processing apparatus
JP2002133542A (ja) * 2000-10-20 2002-05-10 Hitachi Kiden Kogyo Ltd 個体識別防犯及び管理システム
JP4258459B2 (ja) * 2004-09-29 2009-04-30 三菱電機株式会社 移動物体検出システム
JP5122155B2 (ja) * 2007-02-15 2013-01-16 パナソニック株式会社 入退室管理システム
US8472670B2 (en) * 2008-08-08 2013-06-25 Panasonic Corporation Target detection device and target detection method
JP5577545B2 (ja) * 2010-03-30 2014-08-27 国立大学法人 東京大学 特定スペース内異常判別用計算式の作成方法及び該計算式を用いた特定スペース内異常検知システム
US20110280439A1 (en) * 2010-05-11 2011-11-17 Beverly Harrison Techniques for person detection
JP5595828B2 (ja) * 2010-08-09 2014-09-24 日本セラミック株式会社 赤外線人体検出装置
CN102567983B (zh) * 2010-12-26 2014-11-26 浙江大立科技股份有限公司 即时红外热图中被监测目标位置的确定方法及应用
JP5799219B2 (ja) * 2011-03-17 2015-10-21 パナソニックＩｐマネジメント株式会社 物体検出装置
EP2741020A4 (en) * 2011-05-13 2016-08-31 Toshiba Kk ENERGY MANAGEMENT SYSTEM
CN202075829U (zh) * 2011-06-10 2011-12-14 无锡国科微纳传感网科技有限公司 一种入侵检测系统
WO2013128326A1 (en) * 2012-02-29 2013-09-06 Koninklijke Philips N.V. Apparatus, method and system for monitoring presence of persons in an area
JP5932998B2 (ja) * 2012-06-22 2016-06-08 三菱電機株式会社 空気調和システム
CN102789585A (zh) * 2012-07-31 2012-11-21 天津瀚旺数据系统集成有限公司 老龄公寓rfid人员定位系统
JP2014075755A (ja) * 2012-10-05 2014-04-24 Panasonic Corp 認証システム
CN104896685B (zh) * 2014-03-03 2019-06-28 松下电器（美国）知识产权公司 传感方法、传感系统及包含它们的空调设备
CN103994767A (zh) * 2014-05-12 2014-08-20 东北大学 一种救援人员室内协同定位装置及方法
CN110645670B (zh) * 2014-05-27 2021-10-15 松下电器（美国）知识产权公司 空气调节装置所执行的传感器的控制方法

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11311682A (ja) 1998-04-28 1999-11-09 Sanyo Electric Co Ltd 室内監視装置
JP2008112257A (ja) 2006-10-30 2008-05-15 Secom Co Ltd 位置管理システム

Also Published As

Publication number Publication date
US20160110614A1 (en) 2016-04-21
US9727791B2 (en) 2017-08-08
KR101729857B1 (ko) 2017-04-24
JP6374757B2 (ja) 2018-08-15
JP2016080619A (ja) 2016-05-16
CN105528778A (zh) 2016-04-27

Similar Documents

Publication Publication Date Title
KR101729857B1 (ko) 사람 검지 시스템 및 방법
KR102021999B1 (ko) 인체 감시 발열 경보 장치
US10846537B2 (en) Information processing device, determination device, notification system, information transmission method, and program
US10810438B2 (en) Setting apparatus, output method, and non-transitory computer-readable storage medium
US9947138B2 (en) System and method for augmented reality display of dynamic environment information
Rantz et al. Automated in-home fall risk assessment and detection sensor system for elders
US12167172B2 (en) Video monitoring apparatus, control method thereof, and computer readable medium
US20190205904A1 (en) Information-processing device, data analysis method, and recording medium
US12469296B2 (en) Suspicious person alarm notification system and suspicious person alarm notification method
US9367742B2 (en) Apparatus and method for monitoring object from captured image
JP2013232181A5 (ko)
TWI538503B (zh) 監測方法及攝影機
JP2015185106A (ja) 人数計測装置、人数計測システムおよび人数計測方法
US20180012267A1 (en) Electronic device, apparatus and system
KR20210074259A (ko) 체온검출장치 및 그 방법
EP4160533B1 (en) Estimation program, estimation method, and estimation device
US12100206B2 (en) Real-time risk tracking
US20240402333A1 (en) Information provision device, information provision method, recording medium, and observation system
US11144771B2 (en) In-vehicle device, control method, program, and vehicle
JP2012108777A (ja) 監視システム、監視装置、監視方法、及びプログラム
JP5175881B2 (ja) 監視装置
CN107209559A (zh) 交互分析
KR102853578B1 (ko) 산업 현장 내 객체의 상대적 깊이 기반 위험구역 진입 감지 시스템
JP7770937B2 (ja) 生成装置および生成方法
JP6724325B2 (ja) 情報処理装置

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

P22-X000 Classification modified

St.27 status event code: A-4-4-P10-P22-nap-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 8

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 9

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 10

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 10