KR20200047438A - 원거리 얼굴인식 및 다채널 모니터링 시스템 - Google Patents

원거리 얼굴인식 및 다채널 모니터링 시스템 Download PDF

Info

Publication number
KR20200047438A
KR20200047438A KR1020190176468A KR20190176468A KR20200047438A KR 20200047438 A KR20200047438 A KR 20200047438A KR 1020190176468 A KR1020190176468 A KR 1020190176468A KR 20190176468 A KR20190176468 A KR 20190176468A KR 20200047438 A KR20200047438 A KR 20200047438A
Authority
KR
South Korea
Prior art keywords
unit
image
face
face recognition
area
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Withdrawn
Application number
KR1020190176468A
Other languages
English (en)
Inventor
남규태
Original Assignee
주식회사 서브
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 서브 filed Critical 주식회사 서브
Priority to KR1020190176468A priority Critical patent/KR20200047438A/ko
Publication of KR20200047438A publication Critical patent/KR20200047438A/ko
Withdrawn legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • G06K9/00221—
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N21/00—Selective content distribution, e.g. interactive television or video on demand [VOD]
    • H04N21/40—Client devices specifically adapted for the reception of or interaction with content, e.g. set-top-box [STB]; Operations thereof
    • H04N21/43—Processing of content or additional data, e.g. demultiplexing additional data from a digital video stream; Elementary client operations, e.g. monitoring of home network or synchronising decoder's clock; Client middleware
    • H04N21/431—Generation of visual interfaces for content selection or interaction; Content or additional data rendering
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/695—Control of camera direction for changing a field of view, e.g. pan, tilt or based on tracking of objects
    • H04N5/23299—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/76—Television signal recording
    • H04N5/765—Interface circuits between an apparatus for recording and another apparatus
    • H04N5/77—Interface circuits between an apparatus for recording and another apparatus between a recording apparatus and a television camera

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)

Abstract

본 발명은, 종래의 얼굴인식 시스템을 개선하여 원거리에서 불특정 다수에 대한 얼굴을 구분하여 인식할 수 있도록 함으로써 신뢰성이 형상될 수 있는 원거리 얼굴인식 시스템과 관련된 것으로서, 고정형촬영부, PTZ카메라, 상기 고정형촬영부로부터의 영상을 수신하여 감시대상 영역에서의 얼굴을 검출하고 검출된 얼굴 영역을 추적하고 얼굴DB와 대비하여 얼굴을 인식하여 이벤트를 생성하는 관제부 및 상기 관제부로부터의 이벤트를 영상으로 표시하는 모니터링부를 포함하는 원거리 얼굴인식 및 다채널 모니터링 시스템을 제공한다.

Description

원거리 얼굴인식 및 다채널 모니터링 시스템{REMOTE FACE RECOGNITION ON LONG DISTANCE AND MULTI CHANNEL MONITORING SYSTEM}
본 발명은 얼굴인식 시스템에 관한 것으로서, 보다 구체적으로는 종래의 얼굴인식 시스템을 개선하여 원거리에서 불특정 다수에 대한 얼굴을 구분하여 인식할 수 있도록 함으로써 신뢰성이 형상될 수 있는 원거리 얼굴인식 및 다채널 모니터링 시스템을 제공하는 것을 목적으로 한다.
일반적으로 CCTV, DVR 등과 같은 보안 및 감시용 영상 시스템은 24시간 감시가 필요한 주택가나 학교, 놀이터 주변의 방범 취약지, 근무요원이 상시 관리할 수 없는 취약 개소, 은행, 백화점, 공항, 항만 따위의 공공 시설물 등에 감시 카메라 등의 장비를 구축하고, 이와 네트워크로 연결된 원격지의 중앙관제센터에 현장 영상을 실시간으로 전송하여 표시 및 기록함으로써 상황 관리자가 모니터링을 통해 각종 사고나 위험 상황, 범죄 등을 사전에 예방하는 안전 점검 및 다양한 정보를 수집하여 후속 대책이나 수습 조치를 취할 수 있는 데다 적은 인력으로도 많은 감시 장소의 이상 유무를 파악할 수 있음은 물론 추후 범죄수사, 미아나 실종자 찾기 등에 필요한 핵심적인 정보를 제공할 수 있다.
특히 CCTV를 활용하여 실시간 객체들의 위협 탐지 및 추적, 사고나 범죄 증거 수집 등의 응용이 넓어짐에 따라 유무선 정보통신환경에서의 텔레바이오메트릭스(Telebiometrics) 응용기술 및 CCTV 등 물리적 보안기술과 결합한 융합기술을 개발하는 신규 기술 개발 시도가 절대적으로 필요한 시점에 이르렀다. 즉, 국내 바이오인식 기반 국가인프라 구축사업에 신뢰성 제공을 위한 시험기술 표준 개발 및 표준화가 필요한 현 시점에서 CCTV 기반의 얼굴 검출 및 인식시스템 보안 프레임워크 모델을 모델링하고, 이를 구현하는 것은 국가 정보보호 기반 및 바이오인식 표준개발을 통안 신뢰성 및 안전성 제공을 위해 시급한 필요한 과제이다.
현재까지 얼굴 검출 및 인식 기술은 괄목할 성과를 거두었으나 CCTV와 융합된 환경에서 얼굴 검출 및 인식 기술에 관한 연구는 지금부터 시작되는 시점에 있다. 현재 국내에 설치된 CCTV로 촬영된 얼굴만으로는 직접적으로 범죄 성향을 보이는 범인의 인적 특성을 밝혀낼 수가 없을 뿐만 아니라, 검출 및 인식된 얼굴이라도 얼굴 인식 속도의 느림과 조명 등의 빛의 영향 문제로 인한 인식률 저하, 다양한 얼굴 포즈 및 표정 등으로 인해 인식률 저하 및 범인 검거 등에 취약하기에 극복되어야 하는 난제들이 상당히 많이 존재한다.
이와 같은 CCTV 기반 얼굴 검출 및 인식 기술의 한계를 극복하기 위해 최근 조명에 강인한 IR 기반 얼굴 인식기술 등 다양한 얼굴 검출 및 인식 기술들이 새롭게 연구되고 있다. 특히 고성능 얼굴 인식 시스템 개발을 위해서는 우수한 얼굴 검출 기술 개발이 우선적으로 개발되어져야 함을 최근 연구를 통해 발견되고 있다. 하지만 현재의 얼굴 검출 방법은 영상에서 얼굴이 있는 위치를 찾아내는 것으로 얼굴 인식에서의 문제점들과 더불어 얼굴판단, 크기가 다른 얼굴 찾기, 정확한 얼굴 영역 찾기, 얼굴 검출 속도, 결과 조합 등 해결되어야 할 많은 문제들이 존재한다. CCTV(Closed Circuit Television)라 함은 일정한 공간에 설치된 촬영기기를 통해 수집한 화상정보를 폐쇄적인 유/무선 전송로를 통하여 전송 후 특정인만이 수신할 수 있는 통신장비 일체를 일컬어 말한다.
현재 CCTV에 의한 여러 보안 위협이 발생하고 있음에도 불구하고 CCTV 설치 및 운영에 대한 관계 법률이 제대로 정립되어 있지 않으며 체계적인 CCTV 설치, 운영 및 관리가 이루어지지 않고 있다.
이러한 CCTV 시스템은 영상감시 서버에 연결된 여러 종류의 다양한 유무선 CCTV 카메라들로 구성한다. 또한 CCTV 시스템은 USB 또는 IP 카메라들도 지원한다. 특히 무선 Wi-Fi 카메라의 경우 아주 쉽고 저비용으로 원하는 임의의 위치에 설치가 가능하다. 오래전부터 사용되어 오고 있는 아날로그 카메라들 또한 사용 가능하며 전송된 아날로그 영상을 영상감시 서버는 코덱 알고리즘을 이용하여 디지털화하는 능력도 가진다. 일반적으로 영상은 서버에 의해 목적에 맞는 형태로 처리되며, 결과 영상들은 모바일 폰, 데스크톱 PC, 노트북/랩탑, PDA 등 다양한 클라이언트들에게 인터넷 망 등 유무선 통신망을 통해 전송되며, 해당 클라이언트들은 수신한 영상을 인증, ID관리, 범죄 예방, 증거 수집, 테러 예방, 접근 관리 등 그들의 목적에 맞게 활용하게 된다.
한국등록특허 제10-1297295호는 종래기술의 언굴인식 보안 관제 시스템을 개시하고 있으며, 도 1은 이에 대한 개념도이다.
구체적으로 살펴보면, CCTV인 복수개의 카메라장치(10), 중계기(20), 분석장치(30), 관리자용 단말기(40)를 포함하여 이루어지며, 복수의 감시영역에 각각 설치되는 복수개의 CCTV(11)가 일괄 접속하게 되는 스위칭허브(21)로 이루어진다. 이와 같은 스위칭허브(21)는 복수개의 CCTV(11)로부터 감시화상을 전달받아 일괄적으로 분석장치(30)로 전달하게 된다. 분석장치(30)는 블랙리스트 인원정보와 검출 대상자 정보를 포함하는 식별대상 인원 정보를 등록받아 저장하고,
중계기(20)와 연결되어 각 카메라장치(10)의 감시화상을 입력받아 감시화상 내 인원의 얼굴을 인식한다. 또한, 분석장치(30)는 식별대상 인원의 얼굴과 감시화상 내 인원의 얼굴 비교를 통해 일치여부를 판단하여 일치시 관리자나 관리요원에서 식별대상인원을 통보하며, 관리자나 관리요원이 소지하여 식별대상 인원의 식별 정보를 전달받게 되는 관리자용 단말기(40)로 팝업 메시지, SMS 메시지, 이메일 메시지를 전달하게 된다.
이러한 종래의 얼굴인식을 구현하는 시스템들의 경우 인식의 정확성 문제가 제기되고 있음은 상기한 바와 같다. 특히, 대중적인 공간에서 사용되는 CCTV의 경우 원거리에서 영상을 인식할 뿐만 아니라 한꺼번에 많은 사람이 지나다니기 때문에 얼굴인식의 적용에 사실상 장애요인이 된다.
따라서, 종래의 얼굴인식 방법이 카메라와 객체가 1:1로 매칭되는 경우에 어느 정도 인식율을 보이고 있고 대중적인 장소에서 적용하여 비디오월(Video Wall) 기능을 이용하고 다중으로서, 원거리로 얼굴을 구분하여 인식하여 표시하는 보안 및 관제시스템은 사실상 등장하기가 어려웠다.
본 발명은 상기한 문제를 해결하기 위하여 안출된 것으로, 근거리 및 원거리의 사람의 얼굴을 식별하고 이에 대한 정확한 인식을 수행할 수 있도록 하며, 통합 관제시 모니터링의 효율성을 극대화할 수 있는 원거리 얼굴인식 및 다채널 모니터링 시스템을 제공하는 것을 목적으로 한다.
상기한 과제를 해결하기 위한 본 발명은, 촬영 영역에 대한 영상 신호를 생성하는 고정형촬영부(100a), 식별 영역에 대한 좌표가 지정되면 추적하여 확대하여 영상 신호를 생성하는 PTZ카메라(100b) 및 상기 고정형촬영부와 PTZ카메라로부터의 영상을 수신하여 데이터화하는 영상수신부(1100)와, 상기 고정형촬영부로부터의 영상으로부터 얼굴 영역을 검출하여 식별 영역을 지정하도록 하는 검출부(1210)와, 식별 영역에 대한 상기 PTZ카메라로부터의 이미지와 얼굴DB(1020)를 매칭하여 얼굴을 인식하는 인식부(1220)와, 얼굴 인식 시점의 이벤트를 생성하는 이벤트처리부(1400)와, 식별 영역을 지정하며 상기 PTZ카메라에 식별 영역에 대한 추적 및 확대 제어신호를 전송하는 관리부(1500)를 구비하는 관제부(1000)를 포함하는 원거리 얼굴인식 및 다채널 모니터링 시스템을 제공한다.
또한, 상기 관제부는, 상기 영상수신부로부터의 영상을 저장하는 영상DB(1010)를 구비하고, 상기 이벤트처리부는, 얼굴 인식 시점을 지정하는 시점설정부(1410)와, 얼굴 인식 시점에 대한 섬네일을 생성하는 섬네일생성부(1420)와, 상기 영상DB로부터 얼굴 인식 시점 이후의 녹화영상을 호출하는 호출부(1430)를 구비할 수 있다.
한편, 상기 관제부로부터의 실시간 영상과, 얼굴 인식 결과 정보와, 녹화영상을 출력하는 모니터링부(2000)를 더 포함하며, 상기 이벤트처리부는 모니터링부에서 실시간 재생되는 영역에 호출된 녹화영역을 오버래핑하도록 하는 오버래핑부(1440)를 구비하는 것이 바람직하다.
또한, 상기 모니터링부는, 복수의 고정형촬영부로부터의 실시간 영상이 구획영역(2110)에 표시되도록 하는 통합영상표시영역과 얼굴 인식 결과 및 섬네일을 표시하는 정보영역을 구비하는 출력영역(2100)을 포함할 수 있다.
일실시예로서 상기 모니터링부는, 선택된 어느 하나의 섬네일에 해당되는 구획영역에서는 실시간 영상의 재생이 중단되고 상기 영상DB로부터 섬네일이 발생된 시점으로부터의 녹화 영상의 재생이 이루어질 수 있다.
본 발명에 따라 얼굴 영역의 검출과 얼굴의 인식을 위한 이미지의 획득을 서로 구분되고 특화되는 카메라를 통하여 이루어지도록 함으로써 종래에 비하여 원격의 사람들에 대한 인식률이 증가되고 그 신뢰성이 비약적으로 향상될 수 있으며, 다채널의 영상의 모니터링을 위하여 구획영역에 대한 영상의 노출과 재생을 경제적으로 구성함으로써 복합적인 정보의 처리에 있어서 효율성을 극대화할 수 있는 효과가 있다.
도 1은 종래기술의 언굴인식 보안 관제 시스템을 나타낸 도면이다.
도 2는 본 발명의 개념에 따른 원거리 얼굴인식 및 다채널 모니터링 시스템의 구성도이다.
도 3은 본 발명의 원거리 얼굴인식 및 다채널 모니터링 시스템에서 관제부의 실시예를 설명하기 위한 블록도이다.
도 4는 도 3의 출력부에 대한 실시예를 나타내는 블록도이다.
도 5는 도 3의 이벤트처리부에 대한 실시예를 나타내는 블록도이다.
도 6은 본 발명의 원거리 얼굴인식 및 다채널 모니터링 시스템에서 모니터링부에 출력되는 화면의 구역을 나타내는 도면이다.
이하, 첨부된 도면을 참고하여 본 발명에 따른 원거리 얼굴인식 및 다채널 모니터링 시스템을 더욱 상세하게 설명한다.
다만, 이하에서 설명되는 실시예는 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자가 발명을 쉽게 실시할 수 있을 정도로 상세하게 설명하기 위한 것에 불과하며, 이로 인해 본 발명의 보호범위가 한정되는 것을 의미하지는 않는다.
명세서 및 청구범위 전체에서, 어떤 부분이 어떤 구성 요소를 포함한다고 할 때, 이는 특별히 반대되는 기재가 없는 한 다른 구성 요소를 제외하는 것이 아니라 다른 구성 요소를 포함할 수 있는 것을 의미한다.
본 발명은 기본적으로, 고정형촬영부, PTZ카메라, 상기 고정형촬영부로부터의 영상을 수신하여 감시대상 영역에서의 얼굴을 검출하고 검출된 얼굴 영역을 추적하고 얼굴DB와 대비하여 얼굴을 인식하여 이벤트를 생성하는 관제부 및 상기 관제부로부터의 이벤트를 영상으로 표시하는 모니터링부를 포함하는 원거리 얼굴인식 및 다채널 모니터링 시스템을 제공한다.
본 발명은 다양한 위치에서의 영상을 촬영하고 이러한 영상신호를 원격으로 관제부에서 수집하여 얼굴인식을 함으로써 영상관제를 하는 개념을 제시하는데, 이를 위하여 복수의 개소에 복수의 카메라들이 적용될 수 있다.
본 발명의 개념에서는 상기 카메라가 고정형의 CCTV와 같은 고정형촬영부와 팬틸트줌이 가능한 PTZ카메라로 조합되어 구성되며, 이러한 고정형촬영부와 PTZ카메라는 각각 원격에서의 얼굴의 영역에 대한 검출 및 인식을 각각 수행할 수 있는 영상신호를 생성하게 된다. 이에 대한 구체적인 실시예는 후술하도록 한다. 다만, 상기 카메라는 영상신호를 발생할 수 있는 장비라면 종류를 불문한다.
또한, 상기 카메라들의 배치장소는 공공의 장소는 물론 사무실이나 공장 등 사람이 출입할 수 있고 얼굴에 대한 인식을 수행할 필요성이 있는 곳이라면, 보안 또는 출입관리 등 다양한 목적을 위한 다양한 장소에 비치될 수 있을 것이다.
도 2는 본 발명에 따른 원거리 얼굴인식 및 다채널 모니터링 시스템에 대한 구성도이다.
고정형촬영부(100a)는 소정의 위치를 비교적 원거리 및 광각으로 인식할 수 있는 CCTV 등의 카메라가 적용될 수 있다. 이때, 상기 고정형촬영부(100a)는 반드시 어느 하나의 개소에 고정된 위치를 지향하는 것을 의미하는 것은 아니며 관리자의 필요에 따라 지향하는 방향을 변경할 수 있는 경우도 무방하다. 따라서, 본 발명에서 고정형의 의미는 PTZ카메라(100b)가 실시간으로 식별 영역을 추적하는 것에 상대적인 것으로 이해되어야 할 것이다.
PTZ카메라(100b)는 고정형촬영부(100a)의 영상신호의 생성에 따라 얼굴의 영역이 검출되면 이에 대한 얼굴 인식을 수행할 수 있도록 얼굴 영역인 식별 영역에 대한 좌표 및/또는 윤곽을 추적하여 확대하고 얼굴을 추출해내는 기능을 수행할 수 있다. 따라서, PTZ카메라(100b)는 팬-틸트-줌(Pan-Tilt-Zoom) 기능을 가지는 카메라를 의미한다.
종래기술에서는 단일의 CCTV를 통하여 하나의 영상 촬영 영역에서 얼굴을 검출하고 인식하도록 영상 정보를 생성하였으나, 이러한 경우 원거리에서의 얼굴 인식은 사실상 불가능한 한계가 있음은 상기한 바와 같다. 여기서, 원거리란 대략 15m 이내의 거리를 의미하나 이러한 범위는 카메라의 성능에 따라 설정될 수 있을 것이다.
따라서, 본 발명에서는 고정형촬영부(100a)를 통하여 촬영 영역에서 얼굴을 검출할 수 있도록 하고, 검출된 영역에 대해 PTZ카메라(100b)에서 추적 및 확대를 통하여 얼굴을 DB의 정보와 대비하여 인식할 수 있도록 함으로써 원격의 사람의 얼굴에 대한 인식이 가능하도록 하는바 이와 관련하여 구체적인 설명은 후술한다.
상기 고정형촬영부(100a)와 PTZ카메라(100b)는 반드시 1:1로 매칭되어야 하는 것은 아니며, 경우에 따라 복수의 고정형촬영부(100a)와 어느 하나의 PTZ카메라(100b)가 매칭되는 경우도 고려될 수 있을 것이다. 이러한 고정형촬영부(100a)와 PTZ카메라(100b)의 조합은 필요한 개소의 숫자에 따라 각각 원격지에서 복수로 구성되어 중계부(200)를 통하여 관제부(1000)에 영상신호를 전송할 수 있다.
이러한 중계부(200)는 원격의 효율적인 관리를 위하여 TCP/IP(Transmission Control Protocol/Internet Protocol) 통신규약을 따르는 모든 네트워크 중계수단들을 포함할 수 있으며, 무선인터넷으로서 WiBRO(WIreless BROadband internet) 및 WiMAX(World Interoperability for Microwave Access)와 같은 휴대 인터넷을 포함할 수 있다. 또한, 전력선통신(PLC; Power Line Communication), RS485 인터페이스 또는 RS232 통신규약에 따른 통신방식이나, Zigbee 프로토콜(IEEE 802.15.4), 블루투스(Bluetooth) 통신 등의 다양한 유무선의 통신방식을 포함할 수 있다. 또한, 경우에 따라 촬영장치로부터의 유무선의 연결라인인 예를 들어, CCTV회선 그 자체가 중계망을 구성할 수도 있음은 물론이다.
관제부(1000)는 상기된 중계부(200)를 통하여 고정형촬영부(100a) 및 PTZ카메라(100b)로부터의 영상 신호를 수신하고 경우에 따라, 특히 팬, 틸트 또는 줌에 대한 제어명령을 송신하는 기능을 수행하며, 모니터링부(2000)에 관제부(1000)로부터 출력되는 정보를 출력하도록 기능한다. 이러한 관제부(1000)는 하나의 서버 또는 PC로 구성되는 것이 바람직하나 경우에 따라 복수의 개소에 설치되는 경우도 고려될 수 있을 것이다.
모니터링부(2000)는 관제실에 구비되는 디스플레이를 의미할 수 있으나 원격지에서 유선 또는 무선으로 관제부(1000)의 정보를 수신하여 화상으로 출력할 수 있는 모바일단말이나 노트북, PC 등을 의미할 수도 있다. 상기 모니터링부(2000)는 복수의 고정형촬영부(100a) 또는 PTZ카메라(100b)나 관제부(1000)로부터의 정보를 하나의 화면으로 분할표시할 수 있는데 이와 관련하여서는 후술하도록 한다.
도 3은 본 발명의 원거리 얼굴인식 및 다채널 모니터링 시스템에서 관제부를 설명하기 위한 블록도이다.
본 발명에서 설명되는 '부'들은 소정의 장치는 물론 각각의 기능을 하는 알고리즘을 의미할 수 있다.
영상수신부(1100)는 각각의 개소에 대한 고정형촬영부(100a)와 PTZ카메라(100b)의 영상을 수신하여 정보처리하는 기능을 수행하며, 소정의 파일 포맷으로 변환할 수 있다. 일반적인 영상신호의 파일 포맷은 MPEG, AVI, ASF, WMV, MOV, VIVO, RM, Yuv4mpeg, RoQ, OGG/OGM, 3gp 등으로 알려져 있고, 비디오 코덱은 MPEG-1(VCD), MPEG-2(DVD), DivX, 3ivX, MS MPEG-4 V1, V2, Xvid Windows Media Video 7/8(WMV1/WMV2), Windows Media Video 9(WMV3), Sorenson 1(SVQ1), Sorenson3(SVQ3),Intel Indeo(3.1, 3.2, 4.1, 5.0), MJPEG, AVID, VCR2, ASV2, VIVO 1.0, 2.0, I263, H263, FLI/FLC, RealVideo 1.0, 2.0, 3.0, 4.0, HuffYUV, H.264 정도의 코덱이 많이 사용되는 것으로 이해된다. 관제부(1000)는 다양한 개소의 다양한 유형의 카메라들의 영상신호를 하나의 포맷으로 변환하여 통합 관리할 수 있도록 할 수 있을 것이다.
경우에 따라 상기 영상수신부(1100)는 각각의 개소에서 입력되는 음성신호를디코딩 및 인코딩하여 함께 출력하도록 할 수 있다. 다만, 이러한 음성신호는 반드시 필수적인 요소는 아니다.
상기 영상수신부(1100)의 영상은 시계열적으로 영상DB(1010)에 저장되며 후술될 바와 같이 저장된 영상은 이벤트 시점을 기준으로 호출되어 모니터링부(2000)에서 재생될 수 있다.
1차적으로 고정형촬영부(100a)에서의 영상 신호의 입력을 통하여 검출부(1210)에서는 얼굴 영역을 검출하는 기능을 수행한다. 상기 얼굴 영역의 검출과 관련하여서는 다양한 공지의 기법이 적용될 수 있을 것이므로 구체적인 설명은 생략하도록 한다.
이렇게 검출된 영역은 식별 영역으로서 지정되며, 전체적인 고정형촬영부(100a)의 촬영 영역에서 식별 영역의 좌표 및 외곽이 지정되면 관리부(1500)에서는 중계부(200)를 통하여 PTZ카메라(100b)에 식별 영역에 대한 추적 및 확대 제어신호를 송신한다.
이에 2차적으로 PTZ카메라(100b)는 식별 영역에 대한 팬/틸트/줌 기능을 통하여 영상 신호를 생성하여 영상수신부(1100)로 전송하며 인식부(1220)는 상기 식별 영역에 대한 얼굴 이미지를 얼굴DB(1020)와 대비하여 얼굴에 대한 인식을 수행하는 기능을 수행하게 된다.
출력부(1300)는 이러한 얼굴 인식 결과정보를 모니터링부(2000)로 출력하도록 할 수 있으며, 이러한 인식 시점은 이벤트 발생시점으로 이해될 수 있다. 이러한 이벤트처리부(1400)에서의 이벤트의 발생처리와 관련하여서는 후술하도록 한다. 이때, 상기 출력부(1300)는 고정형촬영부(100a)로부터의 실시간 영상의 출력과, 이벤트 시점에서의 결과물 출력과, 녹화영상의 호출에 의한 재생의 기능을 수행할 수 있다.
관리부(1500)는 식별 영역의 지정과 PTZ카메라(100b)에 대한 제어신호의 송출 및 영상DB(1010)의 호출의 기능을 수행할 수 있다.
인식부(1220)에서 PTZ카메라(100b)로부터 추출된 이미지와 얼굴DB(1020)와 대비된 이미지가 대응되지 않아 인식의 수행이 불가능한 경우가 발생될 수 있다. 이 경우 이벤트처리부(1400)는 인식 불가의 결과를 출력하도록 하고 관리부(1500)는 PTZ카메라(100b)의 추출된 이미지를 새로운 얼굴DB(1020)로서 저장하여 갱신하는 기능을 수행하는 것이 바람직하다.
도 4는 도 3의 원거리 얼굴인식 및 다채널 모니터링 시스템에서 출력부의 실시예를 설명하기 위한 블록도이다.
관제실에 비치되는 모니터링부(2000)의 경우 관리자가 실시간의 영상과 이벤트 처리에 대한 정보를 모니터링 할 수 있으며, 이를 위하여 출력부(1300)는 고정형촬영부(100a)로부터의 영상을 실시간으로 연속하여 출력하도록 하는 실시간영상전송부(1310)를 포함할 수 있다. 상기 실시간영상전송부(1310)는 주로 고정형촬영부(100a)로부터의 영상을 출력하는 CCTV로서의 기능을 수행할 수 있을 것이나, 관리자의 선택이나 출력방식의 선택에 따라 PTZ카메라(100b)의 영상이 실시간으로 출력되도록 하는 경우도 고려될 수 있을 것이다.
또한, 식별 영역의 지정 또는 얼굴 인식의 완료와 같은 이벤트가 발생한 경우 이에 대한 정보를 표시하도록 하는 인식결과전송부(1320)를 포함할 수 있다. 이러한 인식결과전송부(1320)는 PTZ카메라(100b)의 영상 신호로부터 추출된 이미지와 매칭되는 얼굴DB(1020)의 정보를 모니터링부(2000)로 표시하도록 기능하며, 이때 매칭되는 결과값이 없는 경우 관리부(1500)에서 새로운 얼굴DB(1020)로 저장 및 갱신할 수 있음은 상기한 바와 같다.
한편, 녹화영상전송부(1330)를 더 포함할 수 있으며, 이러한 녹화영상전송부(1330)는 영상DB(1010)로부터 관리자의 선택이나 이벤트 발생시점의 지정 등에 따라 소정의 시점에서부터의 저장된 고정형촬영부(100a)로부터의 영상 또는 PTZ카메라(100b)로부터의 영상을 재생하도록 하는 기능을 수행할 수 있다. 본 발명에서는 후술될 바와 같이 다채널의 영상이 실시간으로 중계될 수 있는 분할 화면을 가질 수 있고, 상기 녹화 영상의 재생은 실시간 영상에 오버래핑 되는 방식으로 구현되는 것이 효율적이다. 이에 대한 구체적인 설명은 후술한다.
도 5는 본 발명의 원거리 얼굴인식 및 다채널 모니터링 시스템에서 이벤트처리부에 대한 실시예를 설명하기 위한 블록도이다.
이벤트 시점은 주로 고정형촬영부(100a)로부터의 영상 신호에서 식별 영역이 추출되는 시점을 의미할 수 있으나, 이는 인식부(1220)에서 매칭되는 얼굴DB(1020)의 검색이 완료되는 경우를 의미할 수도 있다. 이러한 이벤트 시점은 시점설정부(1410)에서 생성되며 상기된 이벤트 발생시점을 기준으로 얼굴인식과 특정 재생 시점이 지정될 수 있다.
또한, 상기 시점설정부(1410)에서의 이벤트 발생시점을 기준으로 섬네일생성부(1420)에서는 관리자의 확인이 용이하도록 섬네일 이미지를 생성하여 영상DB(1010)로부터의 호출이 가능하도록 할 수 있다.
또한, 호출부(1430)는 관리자가 모니터링부(2000)를 통하여 영상의 검색을 수행하면서 과거의 시점을 기준으로 영상을 호출하게 되면 해당 시점부터의 영상을 출력부(1300)에서 녹화영상으로서 전송하도록 할수 있다.
한편, 본 발명에서는 추가적으로 오버래핑부(1440)를 더 포함할 수 있으며, 상기 오버래핑부(1440)는 모니터링부(2000)의 실시간 영상의 재생 영역에서 특정 이벤트 발생 시점을 기준으로 녹화 영상을 재생하도록 하는 기능을 수행할 수 있다. 이 경우 녹화 영상의 재생은 별도의 팝업창 등을 통하여 이루어지는 경우도 고려될 수 있을 것이나 오버래핑부(1440)에서 해당 식별자를 가지는 실시간 재생영역에 녹화영상을 오버래핑함으로써 영상 관리의 효율성을 증대시킬 수 있을 것이다.
도 6은 본 발명의 원거리 얼굴인식 및 다채널 모니터링 시스템에서 모니터링부에 출력되는 화면의 구역을 나타내는 도면이다.
모니터링부(2000)는 소정의 출력영역(2100)을 가질 수 있는데, 상기 출력영역(2100)은 각각의 위치별 또는 촬영 영역별로 분할된 영역을 가질 수 있을 것이다. 각각의 분할된 영역은 소정의 식별자를 가지는 고정형촬영부(100a)의 촬영 영역을 의미할 수 있다.
상기 출력영역(2100)은 통합영상표시영역과 메뉴와 같은 자체정보 표시를 위한 정보영역(참조번호 미표시)으로 구분될 수 있다. 기본적으로 본 발명은 하나의 디스플레이에 복합적인 영상들을 표시하기 때문에 대부분의 영역은 통합영상표시영역이 차지할 수 있으나 이러한 비율은 선택적이다. 상기 통합영상표시영역은 분할된 영역을 구비하고, 이러한 분할된 영역들은 매트릭스 형태로서 구현될 수 있다. 각각의 분할된 영상 영역들은 소정의 좌표값을 가지고 각각의 고정형촬영부(100a) 및/또는 PTZ카메라(100b)에 해당되는 구획영역(2110)으로 이해될 수 있다.
각각의 구획영역(2110)은 실시간영상전송부(1310)로부터의 실시간 영상 이미지를 출력하는 기능을 수행하며 각각의 영상 제어를 위한 제어영역(2120)을 포함할 수 있다.
한편, 인식결과 및 이벤트 정보 등은 정보영역에 표시될 수 있으며, 이때 섬네일생성부(1420)에서 이벤트 시점의 섬네일 이미지들이 노출될 수 있다. 관리자의 입력에 따라 영상DB(1010)로부터 저장된 녹화영상이 출력될 수 있으며, 소정의 섬네일 이미지를 통합영상표시영역에 드래그하는 방식이나 클릭하는 방식 등을 통하여 영상DB(1010)로부터 해당 섬네일이 생성된 이벤트 발생시점으로부터 영상의 재생이 이루어질 수 있다.
이때, 이벤트가 발생된 식별자의 구획영역의 주소는 자동적으로 지정되어 관리자의 입력에 따라 해당 구획영역에서 실시간 영상의 재생이 중단되고 녹화된 영상이 재생되는 것이 바람직하다. 상기 제어영역(2120)은 녹화된 영상의 재생시에만 표시되도록 하는 것도 고려될 수 있다.
상술된 본 발명에 따른 원거리 얼굴인식 및 다채널 모니터링 시스템은 얼굴 영역의 검출과 얼굴의 인식을 위한 이미지의 획득을 서로 구분되고 특화되는 카메라를 통하여 이루어지도록 함으로써 종래에 비하여 원격의 사람들에 대한 인식률이 증가되고 그 신뢰성이 비약적으로 향상될 수 있다.
또한, 다채널의 영상의 모니터링을 위하여 구획영역에 대한 영상의 노출과 재생을 경제적으로 배치하고 복합적인 정보의 처리에 있어서 효율성을 극대화할 수 있다.
이상에서, 본 발명은 실시예 및 첨부도면에 기초하여 상세히 설명되었다. 그러나, 이상의 실시예들 및 도면에 의해 본 발명의 범위가 제한되지는 않으며, 본 발명의 범위는 후술한 특허청구범위에 기재된 내용에 의해서만 제한될 것이다.
100a...고정형촬영부 100b...PTZ카메라
200...중계부 1000...관제부
1010...영상DB 1020...얼굴DB
1100...영상수신부 1210...검출부
1220...인식부 1300...출력부
1310...실시간영상전송부 1320...인식결과전송부
1330...녹화영상전송부 1400...이벤트처리부
1410...시점설정부 1420...섬네일생성부
1430...호출부 1440...오버래핑부
1500...관리부 2000...클라이언트부

Claims (2)

  1. 촬영 영역에 대한 영상 신호를 생성하는 고정형촬영부(100a);
    식별 영역에 대하여 추적하여 확대한 영상 신호를 생성하는 PTZ카메라(100b);
    상기 고정형촬영부와 PTZ카메라로부터의 영상 신호를 수신하는 영상수신부(1100)와, 식별 영역을 지정하는 검출부(1210)와, 얼굴을 인식하는 인식부(1220)와, 얼굴 인식 시점의 이벤트를 생성하는 이벤트처리부(1400)와, PTZ카메라에 제어신호를 전송하는 관리부(1500)를 구비하는 관제부(1000);
    상기 관제부로부터의 실시간 영상과 얼굴 인식 결과 정보와 녹화영상을 출력하되, 복수의 고정형촬영부로부터의 실시간 영상이 구획영역에 표시되도록 하는 통합영상표시영역과 얼굴 인식 결과 및 섬네일을 표시하는 정보영역을 구비하는 출력영역을 구비하는 모니터링부(2000);를 포함하며,
    상기 검출부는, 고정형촬영부에서 1차로 촬영되어 송신된 영상 신호의 촬영 영역에서 얼굴 영역을 검출하여 식별 영역으로 지정하도록 하고,
    상기 관리부는, 상기 식별 영역의 좌표 및 외과에 대하여 PTZ카메라에 대해 추적 및 확대 제어 신호를 송출하여 2차로 영상 신호를 생성하여 송신하도록 하고,
    상기 인식부는, PTZ카메라로부터의 식별 영역에 대한 2차 영상 신호에서 얼굴 이미지를 얼굴 DB와 대비하여 인식을 수행하는 원거리 얼굴인식 및 다채널 모니터링 시스템.
  2. 제1항에 있어서,
    상기 관제부는,
    상기 영상수신부로부터의 영상을 저장하는 영상DB(1010)를 구비하고,
    상기 이벤트처리부는,
    얼굴 인식 시점을 지정하는 시점설정부(1410)와, 얼굴 인식 시점에 대한 섬네일을 생성하는 섬네일생성부(1420)와, 상기 영상DB로부터 얼굴 인식 시점 이후의 녹화영상을 호출하는 호출부(1430)를 구비하는 원거리 얼굴인식 및 다채널 모니터링 시스템.
KR1020190176468A 2019-12-27 2019-12-27 원거리 얼굴인식 및 다채널 모니터링 시스템 Withdrawn KR20200047438A (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020190176468A KR20200047438A (ko) 2019-12-27 2019-12-27 원거리 얼굴인식 및 다채널 모니터링 시스템

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020190176468A KR20200047438A (ko) 2019-12-27 2019-12-27 원거리 얼굴인식 및 다채널 모니터링 시스템

Related Parent Applications (1)

Application Number Title Priority Date Filing Date
KR1020180127911A Division KR102090879B1 (ko) 2018-10-25 2018-10-25 원거리 얼굴인식 및 다채널 모니터링 시스템

Publications (1)

Publication Number Publication Date
KR20200047438A true KR20200047438A (ko) 2020-05-07

Family

ID=70733804

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020190176468A Withdrawn KR20200047438A (ko) 2019-12-27 2019-12-27 원거리 얼굴인식 및 다채널 모니터링 시스템

Country Status (1)

Country Link
KR (1) KR20200047438A (ko)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230022598A (ko) * 2021-08-09 2023-02-16 양주섭 인공지능 모델을 이용하여 분석된 무인 매장 고객 행동 분석 결과를 표현하는 방법 및 장치, 그리고 시스템

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20230022598A (ko) * 2021-08-09 2023-02-16 양주섭 인공지능 모델을 이용하여 분석된 무인 매장 고객 행동 분석 결과를 표현하는 방법 및 장치, 그리고 시스템

Similar Documents

Publication Publication Date Title
KR101773173B1 (ko) 가정용 홈 모니터링 및 제어 시스템 및 방법
US11282380B2 (en) Automated camera response in a surveillance architecture
CN101123722B (zh) 全景视频智能监控方法和系统
CN101119482B (zh) 一种全景监控方法及设备
CN100504942C (zh) 智能视频监控设备模组和系统及其监控方法
KR101425505B1 (ko) 객체인식기술을 이용한 지능형 경계 시스템의 감시 방법
KR101147193B1 (ko) 스마트폰을 이용한 감시 시스템
CN101720029B (zh) 网络智能视频监控方法及系统
JP2007528620A (ja) 携帯用監視カメラ及びこれを利用した個人防犯システム
US20180167585A1 (en) Networked Camera
KR20120124785A (ko) 물체의 이동 경로를 추적하는 물체 추적 시스템 및 그 방법
KR101837184B1 (ko) 스마트 기기의 앱 연동이 가능한 ｐ2ｐ 서버를 구비하는 보안용 ｄｖｒ 시스템 및 그 방법
JP2007158860A (ja) 撮影システム、撮影装置、画像切替装置、およびデータ保持装置
US20170221219A1 (en) Method and apparatus for surveillance using location-tracking imaging devices
JP5636205B2 (ja) 画像記録制御装置及び監視システム
KR101837183B1 (ko) 음성인식 키패드와 연결되며 ｐ2ｐ 서버와 연동되는 ｄｖｒ 시스템 및 그 방법
KR20150041939A (ko) 실시간 이벤트 감지를 통한 도어 감시시스템 및 그 방법
KR20030085921A (ko) 원격 감시 시스템
JP5779380B2 (ja) 監視装置およびプログラム
US20160044282A1 (en) Desk-side surveillance
KR102516103B1 (ko) 폐쇄망 cctv용 정보 전송 시스템
KR102090879B1 (ko) 원거리 얼굴인식 및 다채널 모니터링 시스템
WO2019099321A1 (en) Collaborative media collection analysis
KR100439042B1 (ko) 원격지 백업기능을 갖는 디브이알 시스템
KR20200047438A (ko) 원거리 얼굴인식 및 다채널 모니터링 시스템

Legal Events

Date Code Title Description
PA0107 Divisional application

St.27 status event code: A-0-1-A10-A17-div-PA0107

St.27 status event code: A-0-1-A10-A16-div-PA0107

PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

PC1202 Submission of document of withdrawal before decision of registration

St.27 status event code: N-1-6-B10-B11-nap-PC1202

WITB Written withdrawal of application
P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

R18 Changes to party contact information recorded

Free format text: ST27 STATUS EVENT CODE: A-3-3-R10-R18-OTH-X000 (AS PROVIDED BY THE NATIONAL OFFICE)

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000