KR20200038097A - 생명체와 물건의 차량 내 방치 방지시스템 및 그 방치 방지방법 - Google Patents

생명체와 물건의 차량 내 방치 방지시스템 및 그 방치 방지방법 Download PDF

Info

Publication number
KR20200038097A
KR20200038097A KR1020180117786A KR20180117786A KR20200038097A KR 20200038097 A KR20200038097 A KR 20200038097A KR 1020180117786 A KR1020180117786 A KR 1020180117786A KR 20180117786 A KR20180117786 A KR 20180117786A KR 20200038097 A KR20200038097 A KR 20200038097A
Authority
KR
South Korea
Prior art keywords
vehicle
objects
preventing
living
neglect
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020180117786A
Other languages
English (en)
Other versions
KR102151192B1 (ko
Inventor
김세권
Original Assignee
주식회사 유라코퍼레이션
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 유라코퍼레이션 filed Critical 주식회사 유라코퍼레이션
Priority to KR1020180117786A priority Critical patent/KR102151192B1/ko
Publication of KR20200038097A publication Critical patent/KR20200038097A/ko
Application granted granted Critical
Publication of KR102151192B1 publication Critical patent/KR102151192B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/1001—Alarm systems associated with another car fitting or mechanism, e.g. door lock or knob, pedals
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/0153—Passenger detection systems using field detection presence sensors
    • B60R21/01538—Passenger detection systems using field detection presence sensors for image processing, e.g. cameras or sensor arrays
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R21/00—Arrangements or fittings on vehicles for protecting or preventing injuries to occupants or pedestrians in case of accidents or other traffic risks
    • B60R21/01—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents
    • B60R21/015—Electrical circuits for triggering passive safety arrangements, e.g. airbags, safety belt tighteners, in case of vehicle accidents or impending vehicle accidents including means for detecting the presence or position of passengers, passenger seats or child seats, and the related safety parameters therefor, e.g. speed or timing of airbag inflation in relation to occupant position or seat belt use
    • B60R21/01512—Passenger detection systems
    • B60R21/01542—Passenger detection systems detecting passenger motion
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/01—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles operating on vehicle systems or fittings, e.g. on doors, seats or windscreens
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60R—VEHICLES, VEHICLE FITTINGS, OR VEHICLE PARTS, NOT OTHERWISE PROVIDED FOR
    • B60R25/00—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles
    • B60R25/10—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device
    • B60R25/102—Fittings or systems for preventing or indicating unauthorised use or theft of vehicles actuating a signalling device a signal being sent to a remote location, e.g. a radio signal being transmitted to a police station, a security company or the owner
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2302/00—Responses or measures related to driver conditions
    • B60Y2302/03—Actuating a signal or alarm device
    • B—PERFORMING OPERATIONS; TRANSPORTING
    • B60—VEHICLES IN GENERAL
    • B60Y—INDEXING SCHEME RELATING TO ASPECTS CROSS-CUTTING VEHICLE TECHNOLOGY
    • B60Y2400/00—Special features of vehicle units
    • B60Y2400/30—Sensors
    • B60Y2400/303—Speed sensors

Landscapes

  • Engineering & Computer Science (AREA)
  • Mechanical Engineering (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Emergency Alarm Devices (AREA)
  • Traffic Control Systems (AREA)
  • Lock And Its Accessories (AREA)

Abstract

본 발명은 생명체와 물건의 차량 내 방치 방지시스템 및 그 방치 방지방법에 관한 것이다.
또한, 본 발명은 차량 도어의 잠금을 해제하고 주차된 차량의 슬립 모드를 웨이크업 모드로 전환하는 스마트키 모듈부와, 차량이 웨이크업 모드로 전환되면 차량 내부를 촬영하고 차량이 주행을 시작하면 차량 내부를 연속촬영하며 차량이 주차되고 시동이 꺼지면 차량 내부를 재촬영하는 촬영부와, 촬영부로부터 촬영된 이미지를 이용하여 차량에 탑승한 생명체의 수와 적재된 물건의 수를 분석하는 한편, 주차된 차량에 남아 방치되어 있는 생명체 또는 물건의 존재 여부와 수를 분석하는 이미지 분석부 및 경고 알람을 출력하거나 경고 메세지를 사용자 단말에 전송하는 경고부를 구비하므로, 모든 탑승자가 차량에서 하차했을 때 차량에 남아 방치되어 있는 생명체 또는 물건에 대한 정보를 운전자에게 알릴 수 있다.

Description

생명체와 물건의 차량 내 방치 방지시스템 및 그 방치 방지방법{Neglect prevention system of Infant and stuff in vehicle and neglect prevention method thereof}
본 발명은 생명체와 물건의 차량 내 방치 방지시스템 및 그 방치 방지방법에 관한 것이다.
일반적으로, 차량에는 운전자만 탑승하는 것이 아니라 동승자 또는 반려동물이 함께 탑승하는 경우도 빈번하게 발생하게 되는데, 운전자가 내린 차량에 동승자로 탑승한 어린이 또는 유아가 방치되거나 반려동물이 방치되는 경우가 발생하고 있다.
특히, 여름철과 같은 경우에는 태양열 등에 의해 차량 내부의 온도가 급격하게 상승하게 되므로, 차량에 방치된 어린이, 유아 또는 반려동물의 생명에 큰 위험을 초래할 수 있으며, 실제로, 차량에 방치된 어린이 또는 유아의 사망사고도 발생하고 있는 실정이다.
또한, 운전자가 소정의 물건을 갖고 차량에 탑승한 후 하차하면서 그 물건을 차량에 두는 상황도 빈번하게 발생하고 있는데, 차량에 음식 등을 두고 운전자가 내린 경우 차량 내부의 온도 변화에 의해 음식이 상하는 상황이 발생할 수 있고, 전술한 물건을 확보하기 위해 운전자가 차량을 재차 확인하는 상황도 빈번하게 발생하고 있다.
그러나, 종래의 차량에는 운전자가 어린이 또는 유아를 데리고 탑승한 후 운전자가 하차하면서 어린이 또는 유아를 차량에 방치하더라도, 운전자에게 어떠한 알림이나 경고를 하지 못했으며, 운전자가 탑승하면서 차량에 둔 물건이 운전자의 하차 이후에도 차량에 방치되어 있더라도, 운전자에게 어떠한 알림이나 경고를 제공하지 못하는 문제점이 있다.
본 발명은 상기와 같은 문제점을 감안하여 안출된 것으로, 차량에 탑승한 유아, 어린이 및 애완동물을 포함하는 생명체와 운전자나 동승자에 의해 차량에 적재된 물건을 감지하고, 운전자를 포함하는 모든 탑승자가 차량에서 하차했을 때 차량에 남아 방치되어 있는 생명체 또는 물건의 존재 여부를 운전자에게 알릴 수 있는 생명체와 물건의 차량 내 방치 방지시스템 및 그 방치 방지방법을 제공하는데 그 목적이 있다.
또한, 본 발명은 차량에 방치된 생명체 또는 물건이 언제 차량에 탑승 또는 적재되었는지 분석하고 그 분석 결과를 운전자에게 제공할 수 있는 생명체와 물건의 차량 내 방치 방지시스템 및 그 방치 방지방법을 제공하는데 그 목적이 있다.
본 발명의 목적들은 이상에서 언급한 목적으로 제한되지 않으며, 언급되지 않은 또 다른 목적들은 아래의 기재로부터 당업자에게 명확하게 이해될 수 있을 것이다.
상기와 같은 목적을 달성하기 위한 본 발명은 운전자가 소지한 차량의 스마트키로부터 언락(Unlock) 신호를 수신하거나 근거리 통신을 통해 스마트키를 인식하여 차량 도어의 잠금을 해제하고, 주차된 차량의 슬립 모드를 웨이크업 모드로 전환하는 스마트키 모듈부; 차량 내부의 촬영이 가능하도록 설치되어, 차량이 웨이크업 모드로 전환되면 차량 도어가 열리기 전에 차량 내부를 촬영하고, 차량이 주행을 시작하면 차량 내부를 연속촬영하며, 차량이 주차되고 시동이 꺼지면 차량 내부를 재촬영하는 촬영부; 차량 도어가 열리기 전에 촬영된 이미지를 기준 이미지로 설정하여 저장하고, 차량이 주행을 시작하여 차량 내부가 연속촬영되면, 연속촬영된 이미지를 기준 이미지와 비교하여 차량에 탑승한 생명체의 수와 적재된 물건의 수를 분석하며, 차량이 주차되어 차량 내부가 재촬영되면, 재촬영된 이미지로부터 차량에 남아 방치되어 있는 생명체 또는 물건의 존재 여부와 수를 분석하는 이미지 분석부; 및 차량에 방치된 생명체 또는 물건이 존재할 경우, 경고 알람을 출력하거나 상기 이미지 분석부로부터 분석된 분석 결과가 포함된 경고 메세지를 사용자 단말에 전송하는 경고부;를 포함하는 생명체와 물건의 차량 내 방치 방지시스템을 제공한다.
바람직한 실시예에 있어서, 상기 이미지 분석부는, 연속촬영된 이미지들과 기준 이미지를 비교하여 생명체 또는 물건으로 추정되는 객체들을 식별하고, 식별된 객체에 기설정된 외곽선 특징 또는 변위가 존재할 경우 생명체로 판정하며, 생명체로 판정되는 객체 이외의 타 객체는 물건으로 판정한다.
바람직한 실시예에 있어서, 상기 촬영부는, 차량이 주행 도중에 정차한 다음 재출발할 때마다 차량 내부를 연속촬영하고, 상기 이미지 분석부는, 차량의 재출발시 연속촬영된 이미지를 이용하여 차량에 새로 탑승하거나 하차한 생명체 및 그 수의 변화를 분석하고, 차량에 새로 적재되거나 차량으로부터 하차한 물건 및 그 수의 변화를 분석한다.
바람직한 실시예에 있어서, 상기 이미지 분석부는, 재촬영된 이미지로부터 차량에 방치된 생명체 또는 물건의 존재 여부 및 외곽선 특징을 분석하고, 그 외곽선 특징을 연속촬영된 이미지들로부터 분석된 외곽선 특징과 비교하여 차량에 방치된 생명체 또는 물건이 언제 차량에 탑승 또는 적재되었는지 분석한다.
바람직한 실시예에 있어서, 차량에 적재된 차속 센서(Vehicle Speed Sensor, VSS) 또는 전자제어장치(ECU)로부터 차량의 속도 정보를 수신하는 속도 정보 수신부;를 더 포함하고, 상기 촬영부는, 상기 속도 정보 수신부로부터 수신된 속도 정보를 이용하여 차량이 주행을 시작하거나 정차 또는 주차한 상태인지를 판정한다.
또한, 본 발명은 생명체와 물건의 차량 내 방치 방지시스템에서 수행되는 생명체와 물건의 차량 내 방치 방지방법으로서, (1) 상기 생명체와 물건의 차량 내 방치 방지시스템이, 운전자가 소지한 차량의 스마트키로부터 언락(Unlock) 신호를 수신하거나 근거리 통신을 통해 스마트키를 인식하여 차량 도어의 잠금을 해제하고, 주차된 차량의 슬립 모드를 웨이크업 모드로 전환하는 단계; (2) 차량이 웨이크업 모드로 전환되면, 해당 차량의 차량 도어가 열리기 전에 차량 내부를 촬영하고, 그 촬영된 이미지를 기준 이미지로 설정하여 저장하는 단계; (3) 차량이 주행을 시작하면, 차량 내부를 연속촬영하고, 연속촬영된 이미지를 기준 이미지와 비교하여, 차량에 탑승한 생명체의 수와 적재된 물건의 수를 분석하는 단계; (5) 차량이 주차되고 시동이 꺼지면, 차량 내부를 재촬영하고, 재촬영된 이미지로부터 차량에 남아 방치되어 있는 생명체 또는 물건의 존재 여부와 수를 분석하는 단계; 및 (6) 차량에 방치된 생명체 또는 물건이 존재할 경우, 경고 알람을 출력하거나 상기 분석된 분석 결과가 포함된 경고 메세지를 사용자 단말에 전송하는 단계;를 포함하는 생명체와 물건의 차량 내 방치 방지방법을 제공한다.
바람직한 실시예에 있어서, 상기 제 (3)단계에서 상기 생명체와 물건의 차량 내 방치 방지시스템은, 연속촬영된 이미지들과 기준 이미지를 비교하여 생명체 또는 물건으로 추정되는 객체들을 식별하고, 식별된 객체에 기설정된 외곽선 특징 또는 변위가 존재할 경우 생명체로 판정하며, 생명체로 판정되는 객체 이외의 타 객체는 물건으로 판정한다.
바람직한 실시예에 있어서, 상기 제 (3)단계와 상기 제 (5)단계 사이에, (4) 상기 생명체와 물건의 차량 내 방치 방지시스템이, 차량이 주행 도중에 정차하여 재출발할 때마다 차량 내부를 연속촬영하고, 그 연속촬영된 이미지를 이용하여 차량에 탑승한 생명체 수의 변화와 적재된 물건 수의 변화를 분석하는 단계;를 더 포함한다.
바람직한 실시예에 있어서, 상기 제 (5)단계에서 상기 생명체와 물건의 차량 내 방치 방지시스템은, 재촬영된 이미지로부터 차량에 방치된 생명체 또는 물건의 존재 여부 및 외곽선 특징을 분석하고 그 외곽선 특징을 연속촬영된 이미지들로부터 분석된 외곽선 특징과 비교하여, 차량에 방치된 생명체 또는 물건이 언제 차량에 탑승 또는 적재되었는지 분석한다.
바람직한 실시예에 있어서, 상기 생명체와 물건의 차량 내 방치 방지시스템은, 차량에 적재된 차속 센서(Vehicle Speed Sensor, VSS) 또는 전자제어장치(ECU)로부터 차량의 속도 정보를 수신하여, 차량이 주행을 시작하거나 정차 또는 주차한 상태인지를 판정한다.
전술한 과제해결 수단에 의해 본 발명은 차량 도어의 잠금을 해제하고 주차된 차량의 슬립 모드를 웨이크업 모드로 전환하는 스마트키 모듈부와, 차량이 웨이크업 모드로 전환되어 차량 도어가 열리기 전에 차량 내부를 촬영하고, 차량이 주행을 시작하면 차량 내부를 연속촬영하며, 차량이 주차되고 시동이 꺼지면 차량 내부를 재촬영하는 촬영부와, 차량 도어가 열리기 전에 촬영된 기준 이미지와 차량이 주행을 시작하여 차량 내부를 연속촬영한 이미지를 비교하여 차량에 탑승한 생명체의 수와 적재된 물건의 수를 분석하며 차량이 주차되어 차량 내부가 재촬영되면 재촬영된 이미지로부터 차량에 남아 방치되어 있는 생명체 또는 물건의 존재 여부와 수를 분석하는 이미지 분석부 및 차량에 방치된 생명체 또는 물건이 존재할 경우 경고 알람을 출력하거나 경고 메세지를 사용자 단말에 전송하는 경고부를 구비하므로, 운전자를 포함하는 모든 탑승자가 차량에서 하차했을 때 차량에 남아 방치되어 있는 생명체 또는 물건에 대한 정보를 운전자에게 알릴 수 있는 효과가 있다.
이로 인해, 본 발명은 차량에 방치된 어린이, 유아 또는 반려동물의 생명에 지장을 주는 사고를 미연에 방지할 수 있고, 차량에 방치된 음식 등의 물건이 상하는 상황을 미연에 방지할 수 있다.
또한, 본 발명은 차량에 방치된 생명체 또는 물건의 외곽선 특징을 분석하고, 그 외곽선 특징을 연속촬영된 이미지들로부터 분석된 외곽선 특징과 비교하여 차량에 방치된 생명체 또는 물건이 언제 차량에 탑승 또는 적재되었는지 분석함으로써, 차량에 방치된 생명체 또는 물건이 언제 차량에 탑승 또는 적재된 것인지 운전자에게 알려줄 수 있는 효과가 있다.
도 1은 본 발명의 일실시예에 따른 생명체와 물건의 차량 내 방치 방지시스템을 설명하기 위한 도면.
도 2는 촬영부의 설치 위치를 설명하기 위한 도면.
도 3은 본 발명의 일실시예에 따른 생명체와 물건의 차량 내 방치 방지방법을 설명하기 위한 도면.
하기의 설명에서 본 발명의 특정 상세들이 본 발명의 전반적인 이해를 제공하기 위해 나타나 있는데, 이들 특정 상세들 없이 또한 이들의 변형에 의해서도 본 발명이 용이하게 실시될 수 있다는 것은 이 기술분야에서 통상의 지식을 가진 자에게 자명할 것이다.
이하, 본 발명에 따른 바람직한 실시예를 첨부된 도 1 내지 도 3을 참조하여 상세히 설명하되, 본 발명에 따른 동작 및 작용을 이해하는데 필요한 부분을 중심으로 설명한다.
도 1은 본 발명의 일실시예에 따른 생명체와 물건의 차량 내 방치 방지시스템을 설명하기 위한 도면이고, 도 2는 촬영부의 설치 위치를 설명하기 위한 도면이다.
도 1 및 도 2를 참조하면, 본 발명의 일실시예에 따른 생명체와 물건의 차량 내 방치 방지시스템은 스마트키 모듈부(110), 속도 정보 수신부(120), 촬영부(130), 이미지 분석부(140) 및 경고부(150)를 포함하여 구성된다.
상기 스마트키 모듈부(110)는 차량 도어의 잠금 또는 잠금 해제를 위한 것으로, 운전자가 소지한 차량의 스마트키로부터 언락(Unlock) 신호를 수신하거나 근거리 통신을 통해 스마트키를 인식하여 차량 도어의 잠금을 해제하는 기능을 수행한다.
또한, 스마트키 모듈부(110)는 차량 도어를 잠그면서 차량을 웨이크업 모드에서 슬립 모드로 전환하거나, 차량 도어의 잠금을 해제하면서 주차된 차량의 슬립 모드를 웨이크업 모드로 전환할 수 있다.
아울러, 스마트키 모듈부(110)에 의해 차량이 웨이크업 모드로 전환된 이후에, 후술할 속도 정보 수신부(120), 촬영부(130), 이미지 분석부(140) 및 경고부(150)가 동작하도록 구비하면 불필요한 전력 소모를 줄일 수 있다.
상기 속도 정보 수신부(120)는 차량의 속도 정보를 수신하기 위한 것으로, 차량에 적재된 차속 센서(Vehicle Speed Sensor, VSS) 또는 전자제어장치(ECU)에 CAN 통신을 포함하는 통신망으로 연결되어 차량의 속도 정보를 수신하는 기능을 수행한다.
이때, 속도 정보 수신부(120)로부터 수신되는 차량의 속도 정보는, 후술할 촬영부(130)에 출력되어 차량이 주행을 시작하거나 정차 또는 주차한 상태인지를 판정하는 정보로 활용될 수 있다.
상기 촬영부(130)는 차량 내부의 촬영이 가능하도록 설치되는 것으로, 적어도 하나의 카메라로 구비되어 차량 내부의 좌석들을 촬영할 수 있는 위치에 설치되며, 촬영된 이미지 또는 영상은 후술할 이미지 분석부(140)에 출력될 수 있다.
예컨대, 도 2에 도시된 바와 같이, 촬영부(130)는 운전석과 그 옆의 보조석을 촬영하는 제 1카메라(131)와 운전석 후방의 좌석들을 촬영하는 제 2카메라(132)로 구비되어 차량의 내부에 각각 설치될 수 있다.
또한, 촬영부(130)는 차량이 웨이크업 모드로 전환되어 차량 도어가 열리기 전에 차량 내부를 촬영하고, 차량이 주행을 시작하면 차량 내부를 연속촬영하며, 차량이 주행 도중에 정차한 다음 재출발할 때마다 차량 내부를 연속촬영하고, 차량이 주차되고 시동이 꺼지면 차량 내부를 재촬영하도록 구비될 수 있다.
상기 이미지 분석부(140)는 촬영부(130)로부터 촬영되는 이미지들을 저장 및 분석하기 위한 것으로, 특히, 차량에 탑승한 생명체와 차량에 적재된 물건을 분석하는 한편, 차량이 주차되어 차량 도어가 잠긴 이후 차량에 생명체나 물건이 방치되어 있는지 분석하는 기능을 수행한다.
이러한, 이미지 분석부(140)는 차량 도어가 열리기 전에 촬영된 이미지를 기준 이미지로 설정하여 저장하고, 차량이 주행을 시작하여 차량 내부가 연속촬영되면, 연속촬영된 이미지를 기준 이미지와 비교하여 차량에 탑승한 생명체의 수와 적재된 물건의 수를 분석하도록 구비될 수 있다.
이때, 이미지 분석부(140)는, 연속촬영된 이미지들과 기준 이미지를 비교하여 생명체 또는 물건으로 추정되는 객체들을 각각 식별하고, 식별된 객체에 기설정된 외곽선 특징 또는 변위가 존재할 경우 생명체로 판정하며, 생명체로 판정되는 객체 이외의 타 객체는 물건으로 판정할 수 있다.
여기서, 전술한 외곽선 특징은 사람의 머리, 몸, 팔 및 다리의 외곽선 형태, 애완동물의 머리, 몸, 팔 및 다리의 외곽선 형태에 대한 정보를 사전에 설정한 것일 수 있고, 차량을 주로 이용하는 운전자와 탑승자들의 전신 사진으로부터 머리, 몸, 팔 및 다리의 외곽선 형태를 추출할 정보일 수도 있다.
또한, 이미지 분석부(140)는 차량이 주행 도중에 정차한 다음 재출발할 때 연속촬영된 이미지를 이용하여, 차량에 새로 탑승하거나 하차한 생명체 및 그 수의 변화를 분석하고, 차량에 새로 적재되거나 차량으로부터 하차한 물건 및 그 수의 변화를 분석할 수 있다.
이때, 이미지 분석부(140)는 차량이 주행 도중에 처음 정차하여 재출발하면, 차량의 재출발시 연속촬영된 이미지로부터 생명체 또는 물건으로 추정되는 객체들을 각각 식별하고, 그 객체들의 외곽선 특징에 기초하여 차량에 새로 탑승하거나 하차한 생명체와 차량에 새로 적재되거나 차량으로부터 하차한 물건을 분석하는 한편, 차량이 주행을 시작할 때 식별된 객체 수와 비교하여 생명체 수의 변화와 물건 수의 변화를 분석할 수 있다.
또한, 이미지 분석부(140)는 차량이 주행 도중에 두 번째로 정차하여 재출발하면, 차량의 재출발시 연속촬영된 이미지를 이용하여 차량에 새로 탑승하거나 하차한 생명체와 차량에 새로 적재되거나 차량으로부터 하차한 물건을 분석하고, 차량이 주행 도중에 처음 정차할 때 식별된 객체 수와 비교하여 생명체 수의 변화와 물건 수의 변화를 분석하며, 이러한 과정은 차량이 주행 도중에 정차하여 재출발할 때마다 반복하여 수행될 수 있다.
한편, 이미지 분석부(140)는 차량이 주차되어 차량 내부가 재촬영되면, 재촬영된 이미지로부터 차량에 남아 방치되어 있는 생명체 또는 물건의 존재 여부와 수를 분석할 수 있다.
이때, 이미지 분석부(140)는 재촬영된 이미지로부터 차량에 방치된 생명체 또는 물건의 존재 여부 및 외곽선 특징을 분석하고, 그 외곽선 특징을 연속촬영된 이미지들로부터 분석된 외곽선 특징과 비교하여 차량에 방치된 생명체 또는 물건이 언제 차량에 탑승 또는 적재되었는지 분석할 수 있다.
즉, 차량에 방치된 생명체 또는 물건이 언제 차량에 탑승 또는 적재된 것인지 운전자에게 알려줌으로써, 그 운전자가 차량에 방치된 대상을 쉽게 파악하거나 특정할 수 있게 한다.
상기 경고부(150)는 차량에 방치된 생명체 또는 물건에 대해 경고하기 위한 것으로, 차량에 방치된 생명체 또는 물건이 존재할 경우 경고 알람을 출력하거나 이미지 분석부(140)로부터 분석된 분석 결과가 포함된 경고 메세지를 사용자 단말에 전송하는 기능을 수행한다.
이러한, 경고부(150)는 차량에 방치된 대상이 생명체인 경우에는 최우선의 경고 메시지로 구분하고, 물건인 경우에는 차순위의 경고 메시지로 구분한 다음, 최우선의 경고 메시지는 안전 안내문자 형태로 전송하여 사용자 단말에서 발신음과 함께 진동이 발생되도록 하고, 차순위의 경고 메시지는 일반 메시지 형태로 전송하도록 구비될 수 있다.
이때, 경고부(150)는 차량 도어가 잠긴 시간을 카운팅하여 기설정된 시간 이내에 차량에 방치된 생명체 또는 물건이 분석된 경우에는 차량의 경적 및 비상등을 점등시키고, 기설정된 시간을 경과한 이후에 차량에 방치된 생명체 또는 물건이 분석되면, 전술한 경고 메세지의 형태로 사용자 단말에 전송할 수 있다.
아울러, 경고부(150)는 경고 메세지의 전송 시, 이미지 분석부(140)로부터 차량에 방치된 생명체 또는 물건이 언제 차량에 탑승 또는 적재되었는지 분석한 분석 결과를 함께 전송하도록 구비될 수 있다.
한편, 경고부(150)는 경고 메세지의 전송 시, 차량의 주행을 시작한 시점의 생명체 수와 물건 수, 차량이 주행 도중에 정차하면서 발생힌 생명체 수의 변화와 물건 수의 변화, 차량이 주차 이전에 최종적으로 차량에 남아 있는 생명체 수와 물건 수에 대한 정보를 이미지 분석부(140)로부터 입력받아 사용자 단말에 전송하도록 구비될 수도 있다.
따라서, 본 발명의 일실시예에 따른 생명체와 물건의 차량 내 방치 방지시스템은 운전자를 포함하는 모든 탑승자가 차량에서 하차했을 때 차량에 남아 방치되어 있는 생명체 또는 물건에 대한 정보를 운전자에게 알릴 수 있으므로, 차량에 방치된 어린이, 유아 또는 반려동물의 생명에 지장을 주는 사고를 미연에 방지하고, 차량에 방치된 음식 등의 물건이 상하는 상황도 미연에 방지할 수 있다.
도 3은 본 발명의 일실시예에 따른 생명체와 물건의 차량 내 방치 방지방법을 설명하기 위한 도면이다.
도 3을 참조하여, 본 발명의 일실시예에 따른 생명체와 물건의 차량 내 방치 방지시스템에서 수행되는 생명체와 물건의 차량 내 방치 방지방법을 설명한다.
다만, 도 3에 도시된 생명체와 물건의 차량 내 방치 방지방법에서 수행되는 기능은 모두 도 1 및 도 2를 참조하여 설명한 생명체와 물건의 차량 내 방치 방지시스템에서 수행되므로, 명시적인 설명이 없어도, 도 1 및 도 2를 참조하여 설명한 모든 기능은 본 발명의 바람직한 실시예에 따른 생명체와 물건의 차량 내 방치 방지방법에서 수행되고, 도 3을 참조하여 설명하는 모든 기능은 본 발명의 바람직한 실시예에 따른 생명체와 물건의 차량 내 방치 방지시스템에서 그대로 수행됨을 주의해야 한다.
먼저, 스마트키 모듈부가 운전자가 소지한 차량의 스마트키로부터 언락(Unlock) 신호를 수신하거나 근거리 통신을 통해 스마트키를 인식하여 차량 도어의 잠금을 해제하고, 주차된 차량의 슬립 모드를 웨이크업 모드로 전환한다(S110).
아울러, 스마트키 모듈부에 의해 차량이 웨이크업 모드로 전환된 이후에, 속도 정보 수신부, 촬영부, 이미지 분석부 및 경고부가 동작하도록 하면 불필요한 전력 소모를 줄일 수 있다.
그 다음, 차량이 웨이크업 모드로 전환되면 차량 내부를 촬영하여 기준 이미지를 설정한다(S120).
이때, 촬영부는 해당 차량의 차량 도어가 열리기 전에 차량 내부를 촬영하고(S121), 이미지 분석부는 차량 도어가 열리기 전에 촬영된 이미지를 기준 이미지로 설정하여 저장하게 된다(S122).
그 다음에는, 차량이 주행을 시작하면 차량 내부를 연속촬영하여 차량 내부에 탑승한 생명체와 적재된 물건을 분석한다(S130).
이때, 촬영부는 차량이 주행을 시작한 이후에 차량 내부를 연속촬영하고(S131), 이미지 분석부는 연속촬영된 이미지를 기준 이미지와 비교하여 차량에 탑승한 생명체의 수와 적재된 물건의 수를 분석하게 된다(S132).
예컨대, 이미지 분석부는 연속촬영된 이미지들과 기준 이미지를 비교하여 생명체 또는 물건으로 추정되는 객체들을 식별하고, 식별된 객체에 기설정된 외곽선 특징 또는 변위가 존재할 경우 생명체로 판정하며, 생명체로 판정되는 객체 이외의 타 객체는 물건으로 판정할 수 있다.
한편, 촬영부는 차량에 적재된 차속 센서(Vehicle Speed Sensor, VSS) 또는 전자제어장치(ECU)로부터 차량의 속도 정보를 수신하여, 차량이 주행을 시작하거나 정차 또는 주차한 상태인지를 판정할 수 있다.
그 다음에는, 차량이 주행 도중에 정차하여 재출발할 때마다 차량 내부를 연속촬영하고, 그 연속촬영된 이미지를 이용하여 차량에 탑승한 생명체 수의 변화와 적재된 물건 수의 변화를 분석한다(S140).
이때, 촬영부는 차량이 재출발할 때마다 차량 내부를 연속촬영하며(S141), 이미지 분석부는 차량이 주행 도중에 처음 정차하여 재출발하면, 차량의 재출발시 연속촬영된 이미지로부터 생명체 또는 물건으로 추정되는 객체들을 각각 식별하고, 그 객체들의 외곽선 특징에 기초하여 차량에 새로 탑승하거나 하차한 생명체와 차량에 새로 적재되거나 차량으로부터 하차한 물건을 분석하는 한편, 차량이 주행을 시작할 때 식별된 객체 수와 비교하여 생명체 수의 변화와 물건 수의 변화를 분석한다(S142).
또한, 이미지 분석부는 차량이 주행 도중에 두 번째로 정차하여 재출발하면, 차량의 재출발시 연속촬영된 이미지를 이용하여 차량에 새로 탑승하거나 하차한 생명체와 차량에 새로 적재되거나 차량으로부터 하차한 물건을 분석하고, 차량이 주행 도중에 처음 정차할 때 식별된 객체 수와 비교하여 생명체 수의 변화와 물건 수의 변화를 분석하며, 이러한 과정은 차량이 주행 도중에 정차하여 재출발할 때마다 반복하여 수행될 수 있다.
그 다음에는, 차량이 주차되고 시동이 꺼지면, 차량 내부를 재촬영하고, 재촬영된 이미지로부터 차량에 남아 방치되어 있는 생명체 또는 물건의 존재 여부와 수를 분석한다(S150).
이때, 촬영부는 차량이 주차되고 시동이 꺼진 이후에 차량 도어가 잠금 상태가 되면 차량 내부를 재촬영하고(S151), 이미지 분석부는 재촬영된 이미지로부터 차량에 방치된 생명체 또는 물건의 존재 여부 및 외곽선 특징을 분석하고 그 외곽선 특징을 연속촬영된 이미지들로부터 분석된 외곽선 특징과 비교하여 생명체 또는 물건이 차량에 방치되어 있는지의 여부를 분석할 수 있다(S152).
특히, 이미지 분석부는 재촬영된 이미지로부터 분석된 외곽선 특징과 연속촬영된 이미지들로부터 분석된 외곽선 특징을 비교함으로써, 차량에 방치된 생명체 또는 물건이 언제 차량에 탑승 또는 적재되었는지 분석할 수 있다.
그 다음에는, 차량에 방치된 생명체 또는 물건이 존재할 경우, 경고 알람을 출력하거나 이미지 분석부로부터 분석된 분석 결과가 포함된 경고 메세지를 사용자 단말에 전송한다(S160).
이때, 경고부는 차량 도어가 잠긴 시간을 카운팅하여 기설정된 시간 이내에 차량에 방치된 생명체 또는 물건이 분석된 경우에는 차량의 경적 및 비상등을 점등시키고, 기설정된 시간을 경과한 이후에 차량에 방치된 생명체 또는 물건이 분석되면 경고 메세지를 사용자 단말에 전송할 수 있다.
또한, 경고부는 차량에 방치된 대상이 생명체인 경우에는 최우선의 경고 메시지로 구분하고, 물건인 경우에는 차순위의 경고 메시지로 구분한 다음, 최우선의 경고 메시지는 안전 안내문자 형태로 전송하여 사용자 단말에서 발신음과 함께 진동이 발생되도록 하고, 차순위의 경고 메시지는 일반 메시지 형태로 전송하게 되는데, 경고 메세지의 전송 시, 이미지 분석부로부터 차량에 방치된 생명체 또는 물건이 언제 차량에 탑승 또는 적재되었는지 분석한 분석 결과를 함께 전송할 수 있다.
이상에서는 본 발명의 바람직한 실시예를 예시적으로 설명하였으나, 본 발명의 범위는 이와 같은 특정 실시예에만 한정되는 것은 아니며, 특허청구범위에 기재된 범주 내에서 적절하게 변경 가능한 것이다.
110 : 스마트키 모듈부
120 : 속도 정보 수신부
130 : 촬영부
140 : 이미지 분석부
150 : 경고부

Claims (10)

  1. 운전자가 소지한 차량의 스마트키로부터 언락(Unlock) 신호를 수신하거나 근거리 통신을 통해 스마트키를 인식하여 차량 도어의 잠금을 해제하고, 주차된 차량의 슬립 모드를 웨이크업 모드로 전환하는 스마트키 모듈부;
    차량 내부의 촬영이 가능하도록 설치되어, 차량이 웨이크업 모드로 전환되면 차량 도어가 열리기 전에 차량 내부를 촬영하고, 차량이 주행을 시작하면 차량 내부를 연속촬영하며, 차량이 주차되고 시동이 꺼지면 차량 내부를 재촬영하는 촬영부;
    차량 도어가 열리기 전에 촬영된 이미지를 기준 이미지로 설정하여 저장하고, 차량이 주행을 시작하여 차량 내부가 연속촬영되면, 연속촬영된 이미지를 기준 이미지와 비교하여 차량에 탑승한 생명체의 수와 적재된 물건의 수를 분석하며, 차량이 주차되어 차량 내부가 재촬영되면, 재촬영된 이미지로부터 차량에 남아 방치되어 있는 생명체 또는 물건의 존재 여부와 수를 분석하는 이미지 분석부; 및
    차량에 방치된 생명체 또는 물건이 존재할 경우, 경고 알람을 출력하거나 상기 이미지 분석부로부터 분석된 분석 결과가 포함된 경고 메세지를 사용자 단말에 전송하는 경고부;를 포함하는 생명체와 물건의 차량 내 방치 방지시스템.
  2. 제 1항에 있어서,
    상기 이미지 분석부는,
    연속촬영된 이미지들과 기준 이미지를 비교하여 생명체 또는 물건으로 추정되는 객체들을 식별하고, 식별된 객체에 기설정된 외곽선 특징 또는 변위가 존재할 경우 생명체로 판정하며, 생명체로 판정되는 객체 이외의 타 객체는 물건으로 판정하는 것을 특징으로 하는 생명체와 물건의 차량 내 방치 방지시스템.
  3. 제 2항에 있어서,
    상기 촬영부는,
    차량이 주행 도중에 정차한 다음 재출발할 때마다 차량 내부를 연속촬영하고,
    상기 이미지 분석부는,
    차량의 재출발시 연속촬영된 이미지를 이용하여 차량에 새로 탑승하거나 하차한 생명체 및 그 수의 변화를 분석하고, 차량에 새로 적재되거나 차량으로부터 하차한 물건 및 그 수의 변화를 분석하는 것을 특징으로 하는 생명체와 물건의 차량 내 방치 방지시스템.
  4. 제 2항에 있어서,
    상기 이미지 분석부는,
    재촬영된 이미지로부터 차량에 방치된 생명체 또는 물건의 존재 여부 및 외곽선 특징을 분석하고, 그 외곽선 특징을 연속촬영된 이미지들로부터 분석된 외곽선 특징과 비교하여 차량에 방치된 생명체 또는 물건이 언제 차량에 탑승 또는 적재되었는지 분석하는 것을 특징으로 하는 생명체와 물건의 차량 내 방치 방지시스템.
  5. 제 1항 내지 제 4항 중 어느 한 항에 있어서,
    차량에 적재된 차속 센서(Vehicle Speed Sensor, VSS) 또는 전자제어장치(ECU)로부터 차량의 속도 정보를 수신하는 속도 정보 수신부;를 더 포함하고,
    상기 촬영부는,
    상기 속도 정보 수신부로부터 수신된 속도 정보를 이용하여 차량이 주행을 시작하거나 정차 또는 주차한 상태인지를 판정하는 것을 특징으로 하는 생명체와 물건의 차량 내 방치 방지시스템.
  6. 생명체와 물건의 차량 내 방치 방지시스템에서 수행되는 생명체와 물건의 차량 내 방치 방지방법으로서,
    (1) 상기 생명체와 물건의 차량 내 방치 방지시스템이, 운전자가 소지한 차량의 스마트키로부터 언락(Unlock) 신호를 수신하거나 근거리 통신을 통해 스마트키를 인식하여 차량 도어의 잠금을 해제하고, 주차된 차량의 슬립 모드를 웨이크업 모드로 전환하는 단계;
    (2) 차량이 웨이크업 모드로 전환되면, 해당 차량의 차량 도어가 열리기 전에 차량 내부를 촬영하고, 그 촬영된 이미지를 기준 이미지로 설정하여 저장하는 단계;
    (3) 차량이 주행을 시작하면, 차량 내부를 연속촬영하고, 연속촬영된 이미지를 기준 이미지와 비교하여, 차량에 탑승한 생명체의 수와 적재된 물건의 수를 분석하는 단계;
    (5) 차량이 주차되고 시동이 꺼지면, 차량 내부를 재촬영하고, 재촬영된 이미지로부터 차량에 남아 방치되어 있는 생명체 또는 물건의 존재 여부와 수를 분석하는 단계; 및
    (6) 차량에 방치된 생명체 또는 물건이 존재할 경우, 경고 알람을 출력하거나 상기 분석된 분석 결과가 포함된 경고 메세지를 사용자 단말에 전송하는 단계;를 포함하는 생명체와 물건의 차량 내 방치 방지방법.
  7. 제 6항에 있어서,
    상기 제 (3)단계에서 상기 생명체와 물건의 차량 내 방치 방지시스템은,
    연속촬영된 이미지들과 기준 이미지를 비교하여 생명체 또는 물건으로 추정되는 객체들을 식별하고, 식별된 객체에 기설정된 외곽선 특징 또는 변위가 존재할 경우 생명체로 판정하며, 생명체로 판정되는 객체 이외의 타 객체는 물건으로 판정하는 것을 특징으로 하는 생명체와 물건의 차량 내 방치 방지방법.
  8. 제 7항에 있어서,
    상기 제 (3)단계와 상기 제 (5)단계 사이에,
    (4) 상기 생명체와 물건의 차량 내 방치 방지시스템이, 차량이 주행 도중에 정차하여 재출발할 때마다 차량 내부를 연속촬영하고, 그 연속촬영된 이미지를 이용하여 차량에 탑승한 생명체 수의 변화와 적재된 물건 수의 변화를 분석하는 단계;를 더 포함하는 것을 특징으로 하는 생명체와 물건의 차량 내 방치 방지방법.
  9. 제 7항에 있어서,
    상기 제 (5)단계에서 상기 생명체와 물건의 차량 내 방치 방지시스템은,
    재촬영된 이미지로부터 차량에 방치된 생명체 또는 물건의 존재 여부 및 외곽선 특징을 분석하고 그 외곽선 특징을 연속촬영된 이미지들로부터 분석된 외곽선 특징과 비교하여, 차량에 방치된 생명체 또는 물건이 언제 차량에 탑승 또는 적재되었는지 분석하는 것을 특징으로 하는 생명체와 물건의 차량 내 방치 방지방법.
  10. 제 6항 내지 제 9항에 있어서,
    상기 생명체와 물건의 차량 내 방치 방지시스템은,
    차량에 적재된 차속 센서(Vehicle Speed Sensor, VSS) 또는 전자제어장치(ECU)로부터 차량의 속도 정보를 수신하여, 차량이 주행을 시작하거나 정차 또는 주차한 상태인지를 판정하는 것을 특징으로 하는 생명체와 물건의 차량 내 방치 방지방법.
KR1020180117786A 2018-10-02 2018-10-02 생명체와 물건의 차량 내 방치 방지시스템 및 그 방치 방지방법 Active KR102151192B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020180117786A KR102151192B1 (ko) 2018-10-02 2018-10-02 생명체와 물건의 차량 내 방치 방지시스템 및 그 방치 방지방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020180117786A KR102151192B1 (ko) 2018-10-02 2018-10-02 생명체와 물건의 차량 내 방치 방지시스템 및 그 방치 방지방법

Related Child Applications (1)

Application Number Title Priority Date Filing Date
KR1020200082719A Division KR102174411B1 (ko) 2020-07-06 2020-07-06 생명체와 물건의 차량 내 방치 방지시스템 및 그 방치 방지방법

Publications (2)

Publication Number Publication Date
KR20200038097A true KR20200038097A (ko) 2020-04-10
KR102151192B1 KR102151192B1 (ko) 2020-09-02

Family

ID=70291923

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020180117786A Active KR102151192B1 (ko) 2018-10-02 2018-10-02 생명체와 물건의 차량 내 방치 방지시스템 및 그 방치 방지방법

Country Status (1)

Country Link
KR (1) KR102151192B1 (ko)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111994030A (zh) * 2020-08-26 2020-11-27 北京汽车集团越野车有限公司 一种报警控制方法、装置、设备及汽车
KR20220076631A (ko) * 2020-12-01 2022-06-08 포티투닷 주식회사 차량 내부 촬영장치 및 이를 이용한 서비스 제공 방법
WO2025129425A1 (zh) * 2023-12-19 2025-06-26 蔚来汽车科技(安徽)有限公司 车内生命体遗留监测方法和系统

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4419672B2 (ja) * 2003-09-16 2010-02-24 株式会社デンソー 車両内忘れ物防止装置
JP2014210477A (ja) * 2013-04-18 2014-11-13 日産自動車株式会社 乗員検出装置
JP6167690B2 (ja) * 2013-06-25 2017-07-26 日産自動車株式会社 車室内監視装置

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP4419672B2 (ja) * 2003-09-16 2010-02-24 株式会社デンソー 車両内忘れ物防止装置
JP2014210477A (ja) * 2013-04-18 2014-11-13 日産自動車株式会社 乗員検出装置
JP6167690B2 (ja) * 2013-06-25 2017-07-26 日産自動車株式会社 車室内監視装置

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111994030A (zh) * 2020-08-26 2020-11-27 北京汽车集团越野车有限公司 一种报警控制方法、装置、设备及汽车
KR20220076631A (ko) * 2020-12-01 2022-06-08 포티투닷 주식회사 차량 내부 촬영장치 및 이를 이용한 서비스 제공 방법
WO2025129425A1 (zh) * 2023-12-19 2025-06-26 蔚来汽车科技(安徽)有限公司 车内生命体遗留监测方法和系统

Also Published As

Publication number Publication date
KR102151192B1 (ko) 2020-09-02

Similar Documents

Publication Publication Date Title
EP3621049B1 (en) Vehicle management system and method of operating the vehicle management system
US8836491B2 (en) Occupant detection
US9955326B2 (en) Responding to in-vehicle environmental conditions
US6922147B1 (en) Warning system sensing child left behind in infant seat in vehicle
JP4419672B2 (ja) 車両内忘れ物防止装置
US20160049061A1 (en) Integrated vehicle sensing and warning system
KR102307405B1 (ko) 음주운전 방지 제어 방법 및 음주운전 방지 제어 시스템
JP4687779B2 (ja) 車両用ドアロックシステム、キーレスエントリーシステム、ロック制御方法
JP2009075756A (ja) 車内忘れ物防止装置
CN111016841A (zh) 一种车内生命体遗落的提醒方法、装置、汽车和存储介质
JP2006298324A (ja) 車両セキュリティ装置、及び車両セキュリティシステム
CN112319367A (zh) 车内滞留人员监控保护系统及设备
CN116252736B (zh) 一种新型车内生命遗留检测系统及方法
US20170232895A1 (en) System and methods for verifying and mitigating danger to occupants of an unattended vehicle
CN115071566B (zh) 车辆的离车活物提醒方法、装置、车辆及存储介质
KR20200038097A (ko) 생명체와 물건의 차량 내 방치 방지시스템 및 그 방치 방지방법
JP2020147172A (ja) 車両制御システムおよび車両制御装置
JP2010111292A (ja) 車両制御装置
KR20200072897A (ko) 차량 침입 관리 장치, 그를 포함한 시스템 및 그 방법
JP6879003B2 (ja) 非搭乗型自動運転システム、及び非搭乗型自動運転方法
EP1729270B1 (en) System for controlling the operation of presence-detection devices and implementation method thereof
JP2000289459A (ja) 車室内異常検知装置
KR102174411B1 (ko) 생명체와 물건의 차량 내 방치 방지시스템 및 그 방치 방지방법
WO2018163773A1 (ja) 制御装置、制御方法及びコンピュータプログラム
US20250029473A1 (en) Abnormality detection system and abnormality detection method

Legal Events

Date Code Title Description
A201 Request for examination
PA0109 Patent application

Patent event code: PA01091R01D

Comment text: Patent Application

Patent event date: 20181002

PA0201 Request for examination
E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20200114

Patent event code: PE09021S01D

PG1501 Laying open of application
E701 Decision to grant or registration of patent right
PE0701 Decision of registration

Patent event code: PE07011S01D

Comment text: Decision to Grant Registration

Patent event date: 20200528

A107 Divisional application of patent
PA0107 Divisional application

Comment text: Divisional Application of Patent

Patent event date: 20200706

Patent event code: PA01071R01D

GRNT Written decision to grant
PR0701 Registration of establishment

Comment text: Registration of Establishment

Patent event date: 20200827

Patent event code: PR07011E01D

PR1002 Payment of registration fee

Payment date: 20200827

End annual number: 3

Start annual number: 1

PG1601 Publication of registration
PR1001 Payment of annual fee

Payment date: 20230620

Start annual number: 4

End annual number: 4

PR1001 Payment of annual fee

Payment date: 20240625

Start annual number: 5

End annual number: 5

PR1001 Payment of annual fee

Payment date: 20250619

Start annual number: 6

End annual number: 6

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-5-5-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)