KR20160043484A - 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치 - Google Patents

팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치 Download PDF

Info

Publication number
KR20160043484A
KR20160043484A KR1020140137944A KR20140137944A KR20160043484A KR 20160043484 A KR20160043484 A KR 20160043484A KR 1020140137944 A KR1020140137944 A KR 1020140137944A KR 20140137944 A KR20140137944 A KR 20140137944A KR 20160043484 A KR20160043484 A KR 20160043484A
Authority
KR
South Korea
Prior art keywords
background model
image frame
event
current image
image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020140137944A
Other languages
English (en)
Other versions
KR102107137B1 (ko
Inventor
이광국
Original Assignee
에스케이텔레콤 주식회사
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 에스케이텔레콤 주식회사 filed Critical 에스케이텔레콤 주식회사
Priority to KR1020140137944A priority Critical patent/KR102107137B1/ko
Publication of KR20160043484A publication Critical patent/KR20160043484A/ko
Application granted granted Critical
Publication of KR102107137B1 publication Critical patent/KR102107137B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/68—Control of cameras or camera modules for stable pick-up of the scene, e.g. compensating for camera body vibrations
    • H04N23/681—Motion detection
    • H04N23/6815—Motion detection by distinguishing pan or tilt from motion
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/69—Control of means for changing angle of the field of view, e.g. optical zoom objectives or electronic zooming

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치를 개시한다.
PTZ 카메라로부터 소정의 프리셋 영상에 대한 영상 프레임을 획득하고, 획득된 영상 프레임에 대한 프리셋 영상의 장면변화 여부를 확인한 확인결과에 근거하여 생성된 신규 또는 기존 배경모델을 이용하여 이벤트 감시를 수행하는 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치에 관한 것이다.

Description

팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치{Method and Apparatus for Detecting Event by Using Pan-Tilt-Zoom Camera}
본 실시예는 팬틸트줌 카메라를 이용하여 이벤트를 감지하는 방법 및 그를 위한 장치에 관한 것이다.
이 부분에 기술된 내용은 단순히 본 실시예에 대한 배경 정보를 제공할 뿐 종래기술을 구성하는 것은 아니다.
PTZ(Pan-Tilt-Zoom) 카메라는 상하좌우로 회전 가능한 팬(Pan)/틸트(Tilt) 구동 장치에 전자동 줌 렌즈가 장착된 카메라를 결합한 구조로 되어 있으며, 외부 제어를 통해 카메라의 회전 및 렌즈의 줌인/줌 아웃이 가능하다. 따라서, 고정식 카메라와 비교해볼 때 비록 고가이기는 하지만 카메라의 회전을 통해 카메라 주위의 넓은 지역을 감시하고, 줌 렌즈를 통해 원거리/근거리 감시 및 관심 대상을 확대해서 볼 수 있도록 해주는 장점을 갖는다.
일반적인 PTZ 카메라를 이용한 이벤트 감시장치는 영상 프레임을 수신할 때마다 객체 감시를 위한 배경모델을 새롭게 생성하거나, PTZ 카메라의 이동에 대한 제어신호를 수신하여 프리셋 영상마다 객체 감시를 위한 배경모델을 새롭게 생성하여 이벤트 감시를 수행한다. 다만, 일반적인 이벤트 감시장치는 PTZ 카메라의 이동이 발생할 때마다 배경모델이 새롭게 생성되기 때문에 이동체 검출 성능이 저하되고, 배경모델을 생성하기 위한 연산량이 증가하는 문제점이 있다.
본 실시예는 PTZ 카메라로부터 소정의 프리셋 영상에 대한 영상 프레임을 획득하고, 획득된 영상 프레임에 대한 프리셋 영상의 장면변화 여부를 확인한 확인결과에 근거하여 생성된 신규 또는 기존 배경모델을 이용하여 이벤트 감시를 수행하는 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치를 제공하는 데 주된 목적이 있다.
본 실시예의 일 측면에 의하면, 카메라로부터 촬영영상을 획득하는 영상 획득부; 상기 촬영영상에 포함된 현재 영상 프레임 및 이전 영상 프레임을 비교하여 상기 카메라의 이동을 감지하는 장면변화 확인부; 상기 카메라의 이동이 감지되는 경우, 상기 현재 영상 프레임의 촬영 방향에 대한 배경모델을 생성하는 배경모델 제어부; 및 상기 배경모델을 이용하여 이벤트를 감지하는 이벤트 감지부를 포함하는 것을 특징으로 하는 이벤트 감지장치를 제공한다.
또한, 본 실시예의 다른 측면에 의하면, 카메라로부터 촬영영상을 획득하는 영상 획득과정; 상기 촬영영상에 포함된 현재 영상 프레임 및 이전 영상 프레임을 비교하여 상기 카메라의 이동을 감지하는 장면변화 확인과정; 상기 카메라의 이동이 감지되는 경우, 상기 현재 영상 프레임의 촬영 방향에 대한 배경모델을 생성하는 배경모델 제어과정; 및 상기 배경모델을 이용하여 이벤트를 감지하는 이벤트 감지과정을 포함하는 것을 특징으로 하는 이벤트 감지방법을 제공한다.
이상에서 설명한 바와 같이 본 실시예에 의하면, 이벤트 감지장치에서 입력된 영상 프레임과 유사한 배경모델을 추출한 갱신 배경모델을 이벤트 감시에 이용함으로써, 이벤트 감시를 위한 이동체 검출 성능을 향상시킬 수 있고, 이동체 검출을 위한 연산량을 감소시킬 수 있는 효과가 있다.
도 1은 본 실시예에 따른 이벤트 감지 시스템을 개략적으로 나타낸 블록 구성도이다.
도 2는 본 실시예에 따른 장면별로 배경모델을 제어하여 이벤트를 감지하는 방법을 설명하기 위한 순서도이다.
도 3은 본 실시예에 따른 이벤트 감지 장치에서 장면 변화를 확인하는 동작을 설명하기 위한 예시도이다.
도 4는 본 실시예에 따른 이벤트 감지 동작과 일반적인 이벤트 감지 동작을 비교하기 위한 예시도이다.
도 5는 본 실시예에 따른 이벤트 감지를 위해 배경모델을 비교하는 영역을 나타낸 예시도이다.
이하, 본 실시예를 첨부된 도면을 참조하여 상세하게 설명한다.
도 1은 본 실시예에 따른 이벤트 감지 시스템을 개략적으로 나타낸 블록 구성도이다.
본 실시예에 따른 이벤트 감지 시스템은 PTZ(Pan-Tilt-Zoom) 카메라(110) 및 이벤트 감지장치(120)를 포함한다. 이벤트 감지장치(120)는 영상 획득부(130), 장면변화 확인부(140), 배경모델 제어부(150) 및 이벤트 감지부(180)를 포함한다.
PTZ 카메라(110)는 팬(Pan), 틸트(Tilt), 줌(Zoom) 등의 기능을 갖는 카메라로서, 사용자가 원하는 장소 또는 영역을 상하, 좌우, 확대 또는 축소하여 감시한다. PTZ 카메라(110)는 감시하고자 하는 위치를 지정할 수 있으므로, 일반적으로 고정된 위치만을 감시하는 카메라에 비해 카메라의 감시 영역이 넓다.
PTZ 카메라(110)는 유선 또는 무선통신을 이용하여 관리장치(미도시)와 연결되며, 관리장치(미도시)로부터 수신된 제어명령에 대응하는 감시모드로 감시기능을 수행한다. 여기서, 감시 모드에는 사용자가 조이스틱을 조작하여 수동으로 PTZ 카메라(100)를 조정하여 감시를 수행하는 수동 모드와, 사용자가 기 설정한 감시 위치를 일정한 시간 또는 주기로 순차적으로 감시하는 프리셋 모드가 있다.
본 실시예에 따른 PTZ 카메라(110)는 관리자가 기 설정한 특정 장소의 고정된 위치에 배치되는 스피드 돔 카메라일 수 있으며, PTZ 카메라(110)는 유선 또는 무선 통신을 이용하여 연결된 이벤트 감지장치(120)로 프리셋 모드에서 촬영된 프리셋 영상에 대한 영상 프레임을 전송한다.
다시 말해, PTZ 카메라(110)는 소정의 시간 또는 주기로 팬(Pan), 틸트(Tilt), 줌(Zoom) 등의 기능을 이용하여 기 설정된 장소 또는 영역에 대한 프리셋 영상을 반복하여 촬영한다. 예컨대, PTZ 카메라(110)는 관리장치(미도시)로부터 획득한 제어신호에 근거하여 기 설정된 주기인 20 초 내지 30 초마다 120 °간격으로 이동하는 프리셋 모드로 동작할 수 있다. 이러한 경우, PTZ 카메라(110)는 처음 20 초 내지 30 초 동안 제1 프리셋 영상(0 ° 내지 120 °)을 촬영하고, 이후 20 초 내지 30 초 동안은 제2 프리셋 영상(120 ° 내지 240 °)을 촬영하고, 이후 20 초 내지 30 초 동안은 제3 프리셋 영상(240 ° 내지 360 °)을 촬영한다. PTZ 카메라(110)는 제3 프리셋 영상을 촬영한 이후 20 초 내지 30 초 동안은 다시 제1 프리셋 영상(0 ° 내지 120 °)을 촬영하게 되며, 소정의 주기로 반복하여 제1 프리셋 영상, 제2 프리셋 영상 및 제3 프리셋 영상을 촬영한다.
이벤트 감지장치(120)는 PTZ 카메라(110)로부터 소정의 프리셋 영상에 대한 영상 프레임을 획득하고, 획득된 영상 프레임에 대한 프리셋 영상의 장면변화 여부를 확인한 확인결과에 근거하여 생성된 배경모델을 기초로 이벤트 감시를 수행한다.
영상 획득부(130)는 PTZ 카메라(110)로부터 촬영된 프리셋 영상에 대한 영상 프레임을 수신한다. 영상 획득부(130)는 실시간으로 촬영된 프리셋 영상에 대한 영상 프레임을 수신하는 것이 바람직하나 반드시 이에 한정되는 것은 아니며, 기 촬영된 복수 개의 프리셋 영상에 대한 영상 프레임을 순차적으로 획득할 수 있다.
다시 말해, 영상 획득부(130)는 PTZ 카메라(110)를 이용하여 기 설정된 장소 또는 영역에 대해 소정의 주기로 촬영된 프리셋 영상에 대한 영상 프레임을 획득한다. 예를 들어, 영상 획득부(130)는 PTZ 카메라(110)로부터 기 설정된 제1 장소를 촬영한 제1 프리셋 영상의 영상 프레임을 수신한다. 또한, 영상 획득부(130)는 제1 프리셋 영상에 대한 영상 프레임을 모두 수신한 이후 PTZ 카메라(110)가 기 설정된 주기에 따라 이동되어 제2 장소를 촬영한 제2 프리셋 영상의 영상 프레임을 연속하여 수신한다.
영상 획득부(130)는 PTZ 카메라(110)로부터 기 설정된 주기에 따라 소정의 프리셋 영상을 반복하여 수신할 수 있다. 예컨대, 영상 획득부(130)는 제1 장소에 대한 제1 프리셋 영상(예: 0 ° 내지 120 °), 제2 장소에 대한 제2 프리셋 영상(예: 120 ° 내지 240 °) 및 제3 장소에 대한 제3 프리셋 영상(예: 240 ° 내지 360 °)을 수신한 후 다시 제1 프리셋 영상, 제2 프리셋 영상 및 제3 프리셋 영상 순으로 영상 프레임을 수신한다.
장면변화 확인부(140)는 PTZ 카메라(110)의 이동 여부를 판단하기 위한 모듈로서, 영상 획득부(130)에서 수신된 영상 프레임의 프리셋 영상의 변화 여부를 확인한다. 다시 말해, 장면변화 확인부(140)는 영상 획득부(130)에서 수신된 소정의 프리셋 영상에 대한 영상 프레임이 이전에 수신된 이전(이웃) 영상 프레임과 동일한 프리셋 영상에 포함되는지 여부를 확인한다. 예를 들어, 장면변화 확인부(140)는 영상 획득부(130)에서 수신된 영상 프레임과 기 수신된 이전(이웃) 영상 프레임을 비교하여 기 설정된 임계값 또는 비율 이상으로 차이가 존재하는 경우, 영상 프레임이 포함된 프리셋 영상과 이전 영상 프레임이 포함된 프리셋 영상이 서로 다른 장면 즉, 서로 다른 프리셋 영상인 것으로 판단한다.
한편, 장면변화 확인부(140)는 영상 획득부(130)에서 수신된 영상 프레임과 기 수신된 이전 영상 프레임을 비교하여 기 설정된 임계값 또는 비율 미만으로 차이가 존재하는 경우, 영상 프리셋이 포함된 프리셋 영상과 이전 영상 프레임이 포함된 프리셋 영상이 동일한 장면 즉, 장면변화가 없는 동일한 프리셋 영상인 것으로 판단한다.
이하, 장면변화 확인부(140)에서 현재 영상 프레임과 이전(이웃) 영상 프레임을 비교하여 장면변화 여부를 판단하는 동작에 대해 설명하도록 한다.
장면변화 확인부(140)는 현재 영상 프레임과 이전 영상 프레임의 전체 또는 일부 화소값의 밝기를 비교하여 산출된 화소 차이값에 근거하여 프리셋 영상의 장면변화를 확인한다.
예를 들어, 장면변화 확인부(140)는 w(가로 화소수) × h(세로 화소수) 개의 화소를 포함하는 현재 영상 프레임 및 이전 영상 프레임 각각에 대해 수직, 대각선, 수평 등의 소정의 라인 상에 위치하는 화소의 밝기 또는 색깔을 샘플링한다.
장면변화 확인부(140)는 현재 영상 프레임과 이전 영상 프레임의 소정의 라인 상에 샘플링된 화소값을 비교하여 화소 차이값을 산출하고, 산출된 화소값이 기 설정된 임계값 이상인 경우, 현재 영상 프레임을 포함하는 프리셋 영상이 변화한 것으로 판단한다. 여기서, 장면변화 확인부(140)는 현재 영상 프레임 및 이전 영상 프레임 각각에 대해 소정의 라인 상의 화소만을 이용하여 프리셋 영상의 장면변화를 확인하는 것으로 기재하고 있으나, 이는 장면변화를 검출하는 연산량을 감소시키기 위함이며, 장면변화 확인부(140)에서 장면변화를 판단할 수만 있다면 현재 영상 프레임 및 이전 영상 프레임에서 사용되는 화소의 개수는 변경하여 적용가능하다.
한편, 도 1에 기재된 장면변화 확인부(140)는 영상 프레임의 장면변화를 판단하기 위해 비쥬얼 리듬(Visual Rhythm) 방식을 이용하는 것으로 기재하고 있으나 반드시 이에 한정되는 것은 아니며, 영상 프레임과 이웃하는 영상 프레임을 이용하여 프리셋 영상의 장면변화를 판단할 수 있다면 그 어떤 방식도 적용가능하다.
배경모델 제어부(150)는 장면변화 확인부(140)에서 현재 영상 프레임이 프리셋 영상이 변화한 영상 프레임으로 판단된 경우, 현재 영상 프레임에 대응하는 배경모델을 생성 또는 추출하여 이벤트 감시부(180)로 전송한다. 즉, 배경모델 제어부(150)는 장면이 변화한 것으로 판단된 현재 영상 프레임을 포함하는 프리셋 영상에 대해 기 저장된 기존 배경모델이 존재하는 경우, 기존 배경모델을 추출하여 기존 배경모델을 업데이트하고, 기 저장된 기존 배경모델이 존재하지 않는 경우, 영상 프레임에 대응하는 신규 배경모델을 생성하여 이벤트 감시부(180)로 배경모델을 전송한다.
본 실시예에 따른 배경모델 제어부(150)은 기존 배경모델 처리부(160) 및 신규 배경모델 처리부(170)를 포함한다.
기존 배경모델 처리부(160)는 현재 영상 프레임이 포함된 프리셋 영상에 대한 기존 배경모델을 추출한다. 다시 말해, 기존 배경모델 처리부(160)는 현재 영상 프레임과 기 생성된 복수의 배경모델과 비교하여 유사한 것으로 판단된 기존 배경모델을 추출한다. 여기서, 기존 배경모델은 현재 영상 프레임이 포함된 특정 프리셋 영상의 신규 배경모델에 수신되는 특정 프리셋 영상에 대한 복수의 영상 프레임 각각을 지속적으로 업데이트한 배경모델을 의미한다.
예를 들어, 기존 배경모델 처리부(160)는 현재 영상 프레임이 제1 프리셋 영상에 포함된 경우, 제1 프리셋 영상에 대응하는 기존 배경모델이 존재하는지 확인하여 해당 기존 배경모델을 추출한다. 여기서, 제1 프리셋 영상에 대응하는 기존 배경모델은 제1 프리셋 영상에 대한 첫 번째 영상 프레임에서 생성된 배경모델을 기준으로 이후 수신되는 제1 프리셋 영상에 대한 영상 프레임을 지속적으로 갱신하여 제2 프리셋 영상에 대한 영상 프레임이 수신되기 전까지 생성된 배경모델을 의미한다.
기존 배경모델 처리부(160)는 이벤트 감지장치(120)의 외부에 위치한 데이터베이스(미도시)에서 기존 배경모델을 추출할 수 있으나 이벤트 감지장치(120)의 내부에 구비된 저장부(미도시)로부터 기존 배경모델을 추출할 수도 있다.
이하, 기존 배경모델 처리부(160)에서 현재 영상 프레임과 기 저장된 복수의 배경모델을 비교하여 현재 영상 프레임이 포함된 프리셋 영상에 대응하는 기존 배경모델을 추출하는 동작에 대해 설명하도록 한다.
기존 배경모델 처리부(160)는 현재 영상 프레임과 기 저장된 복수의 배경모델 각각을 비교하여 비교 차이값을 산출한다. 기존 배경모델 처리부(160)는 비교 차이값을 수학식 1를 이용하여 산출한다.
Figure pat00001
(e: 비교 차이값, m: 배경모델, W: 현재 영상 프레임의 너비, H: 현재 영상 프레임의 높이, x, y: 소정의 화소(좌표값), I: 입력된 현재 영상 프레임)
기존 배경모델 처리부(160)는 소정의 화소 (x, y) 위치에서 현재 영상 프레임의 색상값인 I(x, y)에서 소정의 화소 (x, y) 위치에서 배경모델 mi의 색상값인 mi(x, y)를 뺀 차이값의 수열을 영상 프레임의 너비 및 높이로 각각 합하여 비교 차이값(e(mi))을 산출한다.
기존 배경모델 처리부(160)는 기 저장된 복수의 배경모델 각각과 현재 영상 프레임을 비교하여 산출된 복수의 비교 차이값(e(mi)) 중 최소값을 갖는 배경모델을 선택하고, 선택된 배경모델에 대한 비교 차이값(e(mi))이 기 설정된 임계값(T)보다 작을 경우, 선택된 배경모델을 현재 영상 프레임과 유사한 기존 배경모델로 추출한다.
기존 배경모델 처리부(160)는 기 저장된 복수의 배경모델 각각과 현재 영상 프레임을 비교하여 비교 차이값을 산출하는데 있어서, 현재 영상 프레임에 포함된 객체로 인한 오차를 감소시키기 위해, 현재 영상 프레임 중 객체가 다수 존재할 것으로 예상되는 영역을 제외한 배경 예상 영역만을 이용하여 비교 차이값을 산출할 수 있다. 여기서, 배경 예상 영역에 대한 설명은 도 5에 기재하도록 한다.
기존 배경모델 처리부(160)는 추출된 기존 배경모델에 현재 영상 프레임을 업데이트(학습)하여 갱신 배경모델을 생성한다. 이하, 기존 배경모델 처리부(160)에서 기존 배경모델에 현재 영상 프레임을 업데이트하는 동작에 대해 설명하도록 한다.
기존 배경모델 처리부(160)는 기존 배경모델과 신규로 수신되는 영상 프레임의 가중합을 산출하여 배경모델을 업데이트한다. 다시 말해, 기존 배경모델 처리부(160)는 현재시간 t에서 화소 (x, y)의 기존 배경모델 mt(x, y)과 t에서 입력된 영상 프레임 It(x, y)와의 가중합을 이용하여 t + 1 시간에서의 갱신 배경모델 mt+1(x, y)로 업데이트한다. 전술한 기존 배경모델을 갱신 배경모델로 업데이트하는 수학식 2은 다음과 같다.
Figure pat00002
(m: 배경모델, x, y: 소정의 화소(좌표값), α: 배경모델 학습률, t: 현재 시간, I: 입력된 영상 프레임)
기존 배경모델 처리부(160)는 전술한 수학식 2에서 기존 배경모델을 갱신 배경모델로 업데이트하는 속도는 학습률 α에 의해 조절되며, 학습률(α)는 0 내지 1 사이의 값으로 설정된다.
한편, 기존 배경모델 처리부(160)는 장면변화 확인부(140)로부터 프리셋 영상의 변화가 없는 현재 영상 프레임에 대한 업데이트할 수 있다. 다시 말해, 기존 배경모델 처리부(160)는 프리셋 영상의 변화가 없는 현재 영상 프레임이 수신되는 경우, 이전에 사용되고 있는 이전 배경모델에 현재 영상 프레임을 업데이트하여 갱신 배경모델을 생성할 수 있다.
신규 배경모델 처리부(170)는 현재 영상 프레임에 대한 신규 배경모델을 생성한다. 다시 말해, 신규 배경모델 처리부(170)는 현재 영상 프레임이 포함된 프리셋 영상에 대응하는 기존 배경모델이 존재하지 않는 경우, 현재 영상 프레임에 대한 신규 배경모델을 생성한다. 예를 들어, 신규 배경모델 처리부(170)는 현재 영상 프레임이 제1 프리셋 영상에 포함되며, 제2 프리셋 영상 및 제3 프리셋 영상에 대한 기존 배경모델만이 존재하는 경우, 제1 프리셋 영상에 대한 현재 영상 프레임을 기초로 신규 배경모델을 생성한다.
이벤트 감지부(180)는 배경모델 제어부(150)로부터 배경모델을 수신하고, 현재 영상 프레임에서 배경모델을 제외한 관심영역을 이용하여 이동하는 객체에 대한 이벤트를 감지한다. 다시 말해, 이벤트 감지부(180)는 배경모델 제어부(150)로부터 수신된 생성된 신규 배경모델 또는 갱신 배경모델을 제외한 관심영역 내에서 이벤트를 감지한다. 이벤트 감지부(180)는 관심영역 내의 이벤트 감지결과정보를 사용자 또는 관리자에게 전송하여 출력되도록 한다.
이벤트 감지부(180)는 관심영역 내에서 화소블록을 설정하고, 화소블록을 기준으로 에지 검출, 기 저장된 참조영상 비교 등의 방식을 이용하여 영상 분할을 수행하여 객체를 분류하여 이벤트 감지를 수행할 수 있으나 반드시 이에 한정되는 것은 아니며, 관심영역 내에 기 설정된 윈도우를 슬라이딩하여 객체 인식을 수행할 수도 있다.
도 2는 본 실시예에 따른 장면별로 배경모델을 제어하여 이벤트를 감지하는 방법을 설명하기 위한 순서도이다.
이벤트 감지장치(120)는 PTZ 카메라(110)로부터 신규 영상 프레임을 획득한다(S210). 이벤트 감지장치(120)는 PTZ 카메라(110)를 이용하여 기 설정된 장소 또는 영역에 대해 소정의 주기로 촬영된 프리셋 영상에 대한 영상 프레임을 획득한다.
이벤트 감지장치(120)는 신규 영상 프레임에 대한 장면변화 여부를 확인한다(S220). 이벤트 감지장치(120)는 소정의 프리셋 영상에 대한 영상 프레임이 이전에 수신된 이전(이웃) 영상 프레임과 동일한 프리셋 영상에 포함되는지 여부를 확인한다. 이벤트 감지장치(120)는 영상 프레임의 장면변화를 판단하기 위해 비쥬얼 리듬(Visual Rhythm) 방식을 이용하는 것이 바람직하나 반드시 이에 한정되는 것은 아니다.
신규 영상 프레임에 대한 장면이 변화한 경우, 이벤트 감지장치(120)는 기 저장된 배경모델 중 신규 영상 프레임과 유사한 기존 배경모델이 존재하는지 여부를 확인한다(S230). 이벤트 감지장치(120)는 신규 영상 프레임과 유사한 기존 배경모델이 존재하는 경우, 신규 영상 프레임과 유사한 기존 배경모델을 추출하고(S240), 신규 영상 프레임을 기초로 기존 배경모델을 업데이트한다(S250).
이벤트 감지장치(120)는 신규 영상 프레임과 유사한 기존 배경모델이 존재하지 않는 경우, 신규 영상 프레임을 기초로 신규 배경모델을 생성한다(S260).
한편, 신규 영상 프레임에 대한 장면이 변화하지 않은 경우, 이벤트 감지장치(120)는 이전 영상 프레임에 대한 이전 배경모델을 신규 영상 프레임을 기초로 업데이트한다(S250).
이벤트 감지장치(120)는 신규 배경모델 또는 업데이트된 기존 배경모델을 기초로 관심영역을 결정하고, 관심영역 내에서 객체에 대한 이벤트를 감지하고(S270), 관심영역 내의 이벤트 감지 결과정보를 사용자 또는 관리자에게 전송하여 출력되도록 한다(S280).
이벤트 감지장치(120)는 이벤트 감지 후 감지 종료신호가 입력된 경우, 이벤트 감지를 종료하고, 감지 종료신호가 입력되지 않은 경우, 신규 영상 프레임을 획득하는 동작을 반복한다(S290).
도 3은 본 실시예에 따른 이벤트 감지 장치에서 장면 변화를 확인하는 동작을 설명하기 위한 예시도이다.
도 3에 기재된 바와 같이, 이벤트 감시장치(120)는 현재 영상 프레임과 이전영상 프레임을 이용하여 PTZ 카메라(110)의 이동 여부를 판단한다. 도 3에서 이벤트 감시장치(120)는 제2 프리셋 영상에 대한 제1 영상 프레임(310)과 제6 프리셋 영상에 대한 제2 영상 프레임(320)을 이웃하는 영상 프레임으로 수신한 것으로 가정한다.
이벤트 감시장치(120)는 제1 영상 프레임(310)의 제1 대각선 라인(312)인 S(O) 내지 S(n) 상에 위치한 n 개의 화소의 색깔을 샘플링한 제1 샘플링 정보(314)생성하고, 제2 영상 프레임(320)의 제2 대각선 라인(322)인 S(O) 내지 S(n) 상에 위치한 n 개의 화소의 색깔을 샘플링한 제2 샘플링 정보(324)를 생성한다.
이벤트 감시장치(120)는 제1 샘플링 정보(314)와 제2 샘플링 정보(324)를 인접한 시간(t)에 대응하는 2 개의 열(Column)마다 색상 차이값(d)을 계산한다.
이벤트 감시장치(120)는 제1 샘플링 정보(314)와 제2 샘플링 정보(324) 간에 계산된 색상 차이값(d) 중 기 설정된 임계값 이상 즉, 피크값(330)이 존재하는 경우, 제1 영상 프레임(310)에서 제2 영상 프레임(320)이 수신되는 사이에서 PTZ 카메라(110)의 이동하여 프리셋 영상의 변화가 존재하는 것으로 판단한다.
도 4는 본 실시예에 따른 이벤트 감지 동작과 일반적인 이벤트 감지 동작을 비교하기 위한 예시도이다.
도 4의 (a)는 일반적인 이벤트 감시를 위한 프리셋 영상과 그에 따른 배경모델을 생성하는 동작을 나타낸다. 도 4의 (a)에 도시된 바와 같이, 일반적인 이벤트 감지장치는 PTZ 카메라(110)로부터 제1 프리셋 영상, 제2 프리셋 영상 및 제3 프리셋 영상을 순차적으로 획득하고, 기 설정된 주기로 3 개의 프리셋 영상을 반복하여 획득한다. 여기서, 일반적인 이벤트 감지장치는 PTZ 카메라(110)로부터 수신된 소정의 프리셋 영상마다 배경모델을 생성하며, 프리셋 영상마다 생성된 배경모델을 제외하여 이동하는 객체에 대한 이벤트를 감지하는 동작을 수행한다.
도 4의 (b)는 본 실시예에 따른 이벤트 감시를 위한 프리셋 영상과 그에 따른 배경모델을 생성하는 동작을 나타낸다. 도 4의 (b)에 도시된 바와 같이, 이벤트 감시장치(120)는 PTZ 카메라(110)로부터 제1 프리셋 영상(410), 제2 프리셋 영상(420) 및 제3 프리셋 영상(430)을 순차적으로 획득한다. 이후, 반복하여 제1 반복 프리셋 영상(412), 제2 반복 프리셋 영상(422) 및 제3 반복 프리셋 영상(432)을 획득한다.
도 4의 (b)에 도시된 바와 같이, 이벤트 감시장치(120)는 제1 프리셋 영상(410)을 수신하는 경우, 제1 신규 배경모델을 생성한다. 이후, 이벤트 감시장치(120)는 제2 프리셋 영상(420)을 수신하는 경우, 제2 신규 배경모델을 생성한다. 이후, 이벤트 감시장치(120)는 제3 프리셋 영상(430)을 수신하는 경우, 제3 신규 배경모델을 생성한다.
이후, 이벤트 감시장치(120)는 반복하여 제1 반복 프리셋 영상(412)을 수신하는 경우, 제1 반복 프리셋 영상(412)과 유사한 것으로 판단되는 제1 신규 배경모델을 추출하고, 제1 신규 배경모델에 제1 반복 프리셋 영상(412)을 업데이트한 갱신 배경모델을 제외하여 이동하는 객체에 대한 이벤트를 감지하는 동작을 수행한다. 이벤트 감시장치(120)에서 제2 반복 프리셋 영상(422) 및 제3 반복 프리셋 영상(432)을 수신하는 경우, 제1 반복 프리셋 영상(412)에서 배경모델을 업데이트하는 동작과 동일하므로 그에 대한 기재는 생략하도록 한다.
도 5는 본 실시예에 따른 이벤트 감지를 위해 배경모델을 비교하는 영역을 나타낸 예시도이다.
이벤트 감지장치(120)는 PTZ 카메라(110)로부터 입력된 현재 영상 프레임을 기 저장된 복수의 배경모델과 비교하여 비교 차이값을 산출하고, 비교 차이값에 근거하여 현재 영상 프레임이 포함된 프리셋 영상에 대한 기존 배경모델을 추출한다.
이벤트 감지장치(120)는 비교 차이값을 산출하는데 있어서, 현재 영상 프레임의 모든 영역을 이용하는 경우, 현재 영상 프레임 내에 포함된 객체로 인해 오차가 발생할 수 있다. 이러한, 오차 발생률을 감소시키기 위해, 이벤트 감시장치(120)는 현재 영상 프레임 중 객체가 존재할 것으로 예상되는 영역을 제외한 배경 예상 영역만을 이용하여 비교 차이값을 산출한다.
도 5의 (a)는 현재 영상 프레임의 중심영역에서 이동하는 객체가 많은 것으로 판단되는 경우, 제1 배경 예상 영역(510)만을 이용하여 비교 차이값을 산출하는 영역을 나타낸다. 도 5의 (b)는 현재 영상 프레임의 상단영역에서 이동하는 객체가 많은 것으로 판단되는 경우, 제2 배경 예상 영역(520)만을 이용하여 비교 차이값을 산출하는 영역을 나타낸다. 도 5의 (c)는 현재 영상 프레임의 특정영역에서 이동하는 객체가 많은 것으로 판단되어, 관리자로부터 설정된 객체 관심구역(530)을 기초로 객체 관심구역(530)에 해당하는 영역을 제외한 제3 배경 예상 영역(532)만을 이용하여 비교 차이값을 산출하는 영역을 나타낸다.
이상의 설명은 본 실시예의 기술 사상을 예시적으로 설명한 것에 불과한 것으로서, 본 실시예가 속하는 기술 분야에서 통상의 지식을 가진 자라면 본 실시예의 본질적인 특성에서 벗어나지 않는 범위에서 다양한 수정 및 변형이 가능할 것이다. 따라서, 본 실시예들은 본 실시예의 기술 사상을 한정하기 위한 것이 아니라 설명하기 위한 것이고, 이러한 실시예에 의하여 본 실시예의 기술 사상의 범위가 한정되는 것은 아니다. 본 실시예의 보호 범위는 아래의 청구범위에 의하여 해석되어야 하며, 그와 동등한 범위 내에 있는 모든 기술 사상은 본 실시예의 권리범위에 포함되는 것으로 해석되어야 할 것이다.
이상에서 설명한 바와 같이 본 실시예는 이벤트 감시분야에 적용되어, 이벤트 감시를 위한 이동체 검출 성능을 향상시킬 수 있고, 이동체 검출을 위한 연산량을 감소시킬 수 있는 효과를 발생하는 유용한 발명이다.
110: PTZ 카메라 120: 이벤트 감시장치
130: 영상 획득부 140: 장면변화 확인부
150: 배경모델 제어부 160: 기존 배경모델 처리부
170: 신규 배경모델 처리부 180: 이벤트 감지부

Claims (8)

  1. 카메라로부터 촬영영상을 획득하는 영상 획득부;
    상기 촬영영상에 포함된 현재 영상 프레임 및 이전 영상 프레임을 비교하여 상기 카메라의 이동을 감지하는 장면변화 확인부;
    상기 카메라의 이동이 감지되는 경우, 상기 현재 영상 프레임의 촬영 방향에 대한 배경모델을 생성하는 배경모델 제어부; 및
    상기 배경모델을 이용하여 이벤트를 감지하는 이벤트 감지부
    를 포함하는 것을 특징으로 하는 이벤트 감지장치.
  2. 제 1 항에 있어서,
    상기 장면변화 확인부는,
    상기 현재 영상 프레임과 상기 이전 영상 프레임의 화소의 밝기 또는 색깔을 비교하여 화소 차이값을 산출하고, 산출된 화소 차이값이 기 설정된 임계값 이상인 경우, 상기 카메라의 이동에 따라 상기 촬영영상의 촬영 위치가 변화한 것으로 감지하는 것을 특징으로 하는 것을 특징으로 하는 이벤트 감지장치.
  3. 제 2 항에 있어서,
    상기 장면변화 확인부는,
    상기 현재 영상 프레임 및 상기 이전 영상 프레임 각각에 대해 수직선, 대각선 및 수평선 중 적어도 하나의 라인 상에 위치한 상기 화소의 밝기 또는 색깔을 샘플링하여 비교한 상기 화소 차이값에 근거하여 상기 카메라의 이동에 따른 상기 촬영영상의 장면 변화를 감지하는 것을 특징으로 하는 이벤트 감지장치.
  4. 제 1 항에 있어서,
    상기 배경모델 제어부는,
    상기 현재 영상 프레임의 촬영 방향에 대한 기존 배경모델이 존재하는 경우, 상기 기존 배경모델에 상기 현재 영상 프레임을 업데이트하여 갱신 배경모델을 생성하는 기준 배경모델 처리부; 및
    상기 현재 영상 프레임의 촬영 방향에 대한 상기 기존 배경모델이 존재하지 않는 경우, 상기 현재 영상 프레임에 대한 신규 배경모델을 생성하는 신규 배경모델 처리부
    를 포함하는 것을 특징으로 하는 이벤트 감지장치.
  5. 제 4 항에 있어서,
    상기 기준 배경모델 처리부는,
    기 저장된 복수의 배경모델 각각과 상기 현재 영상 프레임을 비교하여 산출된 복수의 비교 차이값 중 최소값을 갖는 배경모델을 선택하고, 선택된 상기 배경모델에 대한 비교 차이값이 기 설정된 임계값 이하인 경우, 선택된 상기 배경모델을 상기 기존 배경모델로 추출하는 것을 특징으로 하는 이벤트 감지장치.
  6. 제 1 항에 있어서,
    상기 이벤트 감지부는,
    상기 현재 영상 프레임 내에서 상기 배경모델을 제외한 나머지 영역을 관심영역으로 설정하고, 상기 관심영역 내에서 에지 검출, 기 저장된 참조영상 비교 및 윈도우 슬라이드 중 적어도 하나의 객체 검출방식을 이용하여 이벤트를 감지하는 것을 특징으로 하는 것을 특징으로 하는 이벤트 감지장치.
  7. 카메라로부터 촬영영상을 획득하는 영상 획득과정;
    상기 촬영영상에 포함된 현재 영상 프레임 및 이전 영상 프레임을 비교하여 상기 카메라의 이동을 감지하는 장면변화 확인과정;
    상기 카메라의 이동이 감지되는 경우, 상기 현재 영상 프레임의 촬영 방향에 대한 배경모델을 생성하는 배경모델 제어과정; 및
    상기 배경모델을 이용하여 이벤트를 감지하는 이벤트 감지과정
    을 포함하는 것을 특징으로 하는 이벤트 감지방법.
  8. 제 7 항에 있어서,
    상기 배경모델 제어과정은,
    상기 현재 영상 프레임이 포함된 상기 프리셋 영상에 대한 상기 기존 배경모델이 존재하는 경우, 상기 기존 배경모델에 상기 현재 영상 프레임을 업데이트하여 갱신 배경모델을 생성하는 기준 배경모델 처리과정; 및
    상기 현재 영상 프레임이 포함된 상기 프리셋 영상에 대한 상기 기존 배경모델이 존재하지 않는 경우, 상기 현재 영상 프레임에 대한 신규 배경모델을 생성하는 신규 배경모델 처리과정
    을 포함하는 것을 특징으로 하는 이벤트 감지방법.
KR1020140137944A 2014-10-13 2014-10-13 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치 Active KR102107137B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020140137944A KR102107137B1 (ko) 2014-10-13 2014-10-13 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020140137944A KR102107137B1 (ko) 2014-10-13 2014-10-13 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치

Publications (2)

Publication Number Publication Date
KR20160043484A true KR20160043484A (ko) 2016-04-21
KR102107137B1 KR102107137B1 (ko) 2020-05-07

Family

ID=55917977

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020140137944A Active KR102107137B1 (ko) 2014-10-13 2014-10-13 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치

Country Status (1)

Country Link
KR (1) KR102107137B1 (ko)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210127536A (ko) * 2020-04-14 2021-10-22 김선권 비디오 장면 비교 알고리즘을 이용한 이동식 전자 기기에 적용할 수 있는 도난 방지 방법 및 시스템
KR20220134372A (ko) * 2021-03-26 2022-10-05 경희대학교 산학협력단 동영상에서 실시간 물체 감지 시스템 및 방법

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20240061627A (ko) 2022-10-31 2024-05-08 한국과학기술원 인공 신경망을 이용한 장면 변화 감지 장치 및 방법, 장면 변화 감지를 위한 인공 신경망의 학습 방법

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100879623B1 (ko) * 2008-07-05 2009-01-21 주식회사 일리시스 Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
KR20100116829A (ko) * 2009-04-23 2010-11-02 (주)플렛디스 씨씨티브이 카메라 영상에서의 특정 움직임 감지 장치 및 방법
KR20120025753A (ko) * 2010-09-08 2012-03-16 한국전자통신연구원 영상의 전경 배경 분리 장치 및 방법

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR100879623B1 (ko) * 2008-07-05 2009-01-21 주식회사 일리시스 Ｐｔｚ 카메라를 이용한 자동화된 광역 감시 시스템 및 그방법
KR20100116829A (ko) * 2009-04-23 2010-11-02 (주)플렛디스 씨씨티브이 카메라 영상에서의 특정 움직임 감지 장치 및 방법
KR20120025753A (ko) * 2010-09-08 2012-03-16 한국전자통신연구원 영상의 전경 배경 분리 장치 및 방법

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210127536A (ko) * 2020-04-14 2021-10-22 김선권 비디오 장면 비교 알고리즘을 이용한 이동식 전자 기기에 적용할 수 있는 도난 방지 방법 및 시스템
KR20220134372A (ko) * 2021-03-26 2022-10-05 경희대학교 산학협력단 동영상에서 실시간 물체 감지 시스템 및 방법
US12272073B2 (en) 2021-03-26 2025-04-08 University-Industry Cooperation Group Of Kyung Hee University System and method for real-time object detection in video

Also Published As

Publication number Publication date
KR102107137B1 (ko) 2020-05-07

Similar Documents

Publication Publication Date Title
KR101666397B1 (ko) 객체 영상 획득 장치 및 방법
US10467479B2 (en) Image processing apparatus, method, and storage medium for reducing a visibility of a specific image region
US7385626B2 (en) Method and system for performing surveillance
US20160142680A1 (en) Image processing apparatus, image processing method, and storage medium
JP7092615B2 (ja) 影検出装置、影検出方法、影検出プログラム、学習装置、学習方法、及び学習プログラム
WO2005107240A1 (ja) 自動撮影方法および装置
JP6579950B2 (ja) カメラの撮影画像に映る人物を検出する画像解析装置、プログラム及び方法
KR102282470B1 (ko) 카메라 장치 및 이를 이용한 객체 추적 방법
JP4578864B2 (ja) 自動追尾装置及び自動追尾方法
US10122984B2 (en) Pan/tilt/zoom camera based video playing method and apparatus
KR102107137B1 (ko) 팬틸트줌 카메라를 이용한 이벤트 감지방법 및 장치
KR101861245B1 (ko) 멀티 센서 ｃｃｔｖ 파노라마 영상에서 움직임 검출 시스템 및 방법
JP2007148988A (ja) 顔認証装置、顔認証方法および入退場管理装置
KR20200013335A (ko) 압축영상에 대한 신택스 기반의 ptz 카메라의 객체 추적 제어 방법
KR101695127B1 (ko) 영상을 이용한 집단 행동 분석 방법
US20130265420A1 (en) Video processing apparatus, video processing method, and recording medium
JP4699056B2 (ja) 自動追尾装置及び自動追尾方法
KR101924336B1 (ko) 영상 감시를 위한 영역 설정 방법과 그를 위한 영상 감시 장치
JP2021022783A (ja) 制御装置、追尾システム、制御方法、及びプログラム
KR101670247B1 (ko) Ｃｃｔｖ 실시간 영상의 원클릭 선택을 이용한 객체 확대 이동 시스템 및 그 방법
JP2015097089A (ja) 対象物検出装置、対象物検出方法
KR101272631B1 (ko) 이동물체 감지장치 및 방법
KR20220114820A (ko) 영상 내의 카메라 움직임 제거 시스템 및 방법
KR20150087708A (ko) 영상 처리 장치 및 방법
KR101429006B1 (ko) 움직임 영역 탐지용 영상 처리 방법 및 움직임 탐지 장치

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 7