KR20140052357A - 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법 - Google Patents

다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법 Download PDF

Info

Publication number
KR20140052357A
KR20140052357A KR1020120118382A KR20120118382A KR20140052357A KR 20140052357 A KR20140052357 A KR 20140052357A KR 1020120118382 A KR1020120118382 A KR 1020120118382A KR 20120118382 A KR20120118382 A KR 20120118382A KR 20140052357 A KR20140052357 A KR 20140052357A
Authority
KR
South Korea
Prior art keywords
image
unit
channel
command
camera unit
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
KR1020120118382A
Other languages
English (en)
Other versions
KR102014285B1 (ko
Inventor
김동준
권병욱
김정영
김현오
백송훈
최성림
허의무
황영헌
Original Assignee
주식회사 케이티
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 주식회사 케이티 filed Critical 주식회사 케이티
Priority to KR1020120118382A priority Critical patent/KR102014285B1/ko
Publication of KR20140052357A publication Critical patent/KR20140052357A/ko
Application granted granted Critical
Publication of KR102014285B1 publication Critical patent/KR102014285B1/ko
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Signal Processing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Studio Devices (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

본 발명은 다중 카메라를 선별적으로 제어하여 이용하여 이동하는 객체의 추적 영상을 단일 스트림의 고화질 영상으로 생성하는 객체 추적 시스템 및 객체 추적 방법을 개시한다. 본 발명에 따르는 객체 추적 시스템은, 전송받은 촬영 명령을 이용하여 객체의 이동에 따라 객체 영상을 촬영하는 카메라부; 촬영 명령을 카메라부로 전송하고, 카메라부로부터 객체 영상을 전송받는 게이트웨이부; 및 객체 정보를 등록받고, 객체의 좌표를 이용하여 이동 정보를 예측하고, 예측된 이동 정보에 대응하는 적어도 하나의 카메라부를 선정하여 게이트웨이부를 통해 카메라부로 촬영 명령을 전송하고, 게이트웨이를 통해 수신된 객체 영상 중에서 특정 채널의 객체 영상을 선택하여 단일 스트림의 객체 추적 영상으로 생성하는 영상 서버부를 포함한다. 본 발명에 따르면, 카메라부로 촬영 명령을 전송하여 수신된 고품질의 객체 영상을 이용하여 단일 스트림의 객체 추적 영상을 제공한다.

Description

다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법{System for tracking object using multi cameras and method thereof}
본 발명은 객체 추적 시스템 및 객체 추적 방법에 관한 것으로, 보다 상세하게는 다중 카메라에 의해 촬영된 각각의 채널별 영상들로부터 객체의 이동을 추적하여 단일 스트림 영상을 생성하는 객체 추적 시스템 및 객체 추적 방법에 관한 것이다.
다중 카메라는 보안용 또는 방범용으로 복수개의 카메라가 감시 지역마다 각각 설치되어 촬영된 영상을 실시간 송출한다. 여기서, 특정 영상에 등장하는 이동 객체를 추적하려면 제어국의 모니터링 전문가가 복수개 카메라들 중에서 이동 객체의 촬영에 적합한 카메라를 선택하면서 촬영을 제어한다. 모니터 요원의 수작업에 의한 객체 추적 기술은 전문가의 개인적 능력에 의존해야만 하고, 복수개 채널의 촬영 영상을 동시에 화면에 표시하면서 화면 전환을 제어하기에 영상 데이터의 송출 및 화면 표시에 과부하가 걸린다.
이후, 영상의 객체 인식 기술과 카메라의 핸드 오프 기술을 이용하여 자동으로 객체를 추적하는 기술이 도입되었다. 핸드 오프 방식의 객체 추적 기술은 다중 IP CCTV 환경에서 특정 IP 카메라에 의해 촬영된 영상으로부터 객체가 인식되면, 상기 객체가 인식된 IP 카메라를 선택하여 촬영을 계속해 나가는 방식이었다.
아래의 특허 문헌은 상기 핸드 오프 기술을 이용하는 물체 추적 방법을 개시한다. 하지만, 상기 물체 추적 방법은 복수의 카메라를 상대로 이동하는 객체를 놓치지 않고 촬영하기 위해 카메라를 릴레이 방식으로 촬영 제어하는데 그쳤다. 객체를 추적하는 카메라는 촬영된 영상에 객체가 출현해야만 선택되는 방식이었다. 또한, 객체의 추적 영상과 일반 촬영시의 영상은 양자 모두 영상 품질이 동일하다는 문제점이 있었다.
한국등록특허 10-0994722
본 발명은 상기와 같은 종래 기술의 인식 하에 창출된 것으로서, 객체의 이동을 예측하고 이동 방향의 카메라를 미리 선택하여 촬영 명령을 내리는 객체 추적 시스템 및 객체 추적 방법을 제공하는데 있다.
본 발명의 다른 목적은 다중 카메라의 영상을 일반 품질로 각각 저장하되, 객체의 추적 영상은 고품질로 촬영하여 하나의 스트림 영상으로 생성하여 송출하는데 있다.
상기 기술적 과제를 달성하기 위한 본 발명에 따른 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템은, 다중 채널별로 각각 할당되고, 네트워크를 통해 전송된 촬영 명령의 객체 정보와 영상 품질을 이용하여 객체의 이동에 따라 객체 영상을 촬영하는 카메라부; 외부로부터 상기 촬영 명령을 전송받으면 상기 카메라부로 전송하고, 상기 카메라부로부터 영상 정보를 전송받으면 외부로 전송하는 게이트웨이부; 및 객체 정보를 등록받고, 상기 게이트웨이부를 통해 전송받은 채널별 상기 영상 정보로부터 추출된 상기 객체의 좌표를 이용하여 이동 정보를 예측하고, 예측된 이동 정보에 대응하는 적어도 하나의 카메라부를 선정하여 상기 게이트웨이부를 통해 선정된 상기 카메라부로 상기 촬영 명령을 전송하여 미리 촬영 개시시키고, 상기 촬영 명령에 의해 채널별로 수신된 객체 영상 중에서 특정 채널의 객체 영상을 선택하여 단일 스트림의 객체 추적 영상으로 생성하는 영상 서버부를 포함한다.
여기서, 상기 객체 추적 시스템은, 상기 영상 서버부에 접속하여 추적 대상의 객체를 등록하고, 상기 영상 서버부로 등록된 상기 객체의 추적 영상을 요청하면 상기 객체 추적 영상을 전송받는 사용자 단말을 더 포함한다.
본 발명의 일 실시예에 따르면, 상기 객체 추적 시스템은, 추적 대상의 객체 정보를 등록받는 객체 정보 등록부; 채널별 카메라부에 의해 각각 촬영된 적어도 하나의 영상으로부터 객체 정보를 추출하는 객체 정보 식별부; 상기 객체 정보로부터 분석된 객체의 좌표를 이용하여 객체의 이동 속도와 이동 방향을 산출하는 객체 이동 예측부; 상기 이동 속도와 상기 이동 방향을 이용하여 예측되는 적어도 하나의 카메라부를 선정하고, 선정된 상기 카메라부로 촬영 명령을 전송하여 미리 준비시키는 촬영 명령 전송부; 및 상기 촬영 명령에 의해 촬영되어 수신된 채널별 객체 영상으로부터 특정 채널의 객체 영상을 선택하여 단일 스트림의 객체 추적 영상으로 생성하는 객체 추적 영상 생성부를 포함하는 영상 서버부를 포함한다.
본 발명에 있어서, 상기 영상 서버부는, 상기 촬영 명령에 포함된 비트 레이트(bit rate) 및 프레임 수에 대하여 일반 영상 품질보다 높은 비율을 설정하여 고품질의 촬영 명령을 내린다.
여기서, 상기 영상 서버부는, 서로 다른 시간의 2개의 영상 프레임에 존재하는 객체의 좌표를 각각 추출한 후, 추출된 2개의 객체 좌표로 이동 속도와 이동 방향을 산출하여 객체의 이동 정보를 예측한다.
또한, 상기 영상 서버부는, 객체의 이동 방향에서 객체의 위치와 가장 근접한 순서로 적어도 하나의 카메라부를 선정하고, 객체의 이동 속도를 고려하여 선정된 상기 카메라부로 상기 카메라부의 촬영 가시권에 도달하기 직전에 고품질의 촬영 명령을 전송한다.
본 발명의 일 측면에 따르면, 상기 영상 서버부는, 수신된 채널별 객체 영상으로부터 객체의 크기가 가장 크게 촬영된 상기 객체 영상을 선택하여 상기 객체 추적 영상으로 생성한다.
대안적으로, 상기 영상 서버부는, 수신된 채널별 객체 영상으로부터 객체의 얼굴 인식 필터링을 처리하여 얼굴 인식된 객체의 크기가 가장 크게 촬영된 상기 객체 영상을 선택하여 상기 객체 추적 영상으로 생성한다.
여기서, 상기 영상 서버부는, 객체의 다음번 이동 방향을 예측하여 고품질의 촬영 명령을 기 수신한 카메라부가 감시 대상의 카메라부로 선정되지 않으면, 해당 채널의 상기 카메라부에 대해 일반 품질의 촬영 명령을 생성하여 전송한다.
본 발명의 다른 실시예에 따르면, 상기 영상 서버부는, 상기 객체 추적 영상을 생성하기 위한 고품질로 촬영된 상기 객체 영상이 선택되면, 선택된 상기 객체 영상의 채널 카메라부를 제외한 나머지 채널의 카메라부로 일반 품질의 촬영 명령을 생성하여 전송한다.
여기서, 상기 영상 서버부는, 상기 나머지 채널의 카메라부에 대하여 일정 시간 동안 고품질의 촬영 명령의 전송을 제한한다.
본 발명에 있어서, 상기 카메라부는, 상기 촬영 명령으로부터 추출된 객체 정보를 이용하여 자동으로 팬(pan), 틸트(tilt), 줌(zoom) 기능을 제어하여 영상을 촬영하는 기능; 상기 촬영 명령으로부터 추출된 객체 정보 및 촬영 제어 정보를 이용하여 상기 촬영 제어 정보에 의해 팬, 틸트, 줌 기능을 제어받아 영상을 촬영하는 기능; 및 상기 촬영 명령으로부터 추출된 객체 정보를 이용하여 객체의 존재가 인식되면 자동으로 고품질의 객체 영상을 촬영하고, 객체의 존재가 사라지면 자동으로 일반 품질로 영상을 촬영하는 기능 중에서 적어도 하나의 기능을 구비한다.
상기 기술적 과제를 달성하기 위한 본 발명에 따른 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 방법은, 객체 정보를 등록받아 객체가 존재하는 채널별 복수개 객체 영상으로부터 단일 스트림의 객체 추적 영상을 생성하는 영상 서버부가 실행하는 영상 분석 방법에 있어서, (a)추적 대상의 객체 정보를 등록받는 객체 추적 요청 단계; (b)채널별 카메라부에 의해 각각 촬영된 적어도 하나의 영상으로부터 객체 정보를 추출하는 객체 정보 식별 단계; (c)식별된 상기 객체 정보로부터 분석된 객체의 좌표를 이용하여 객체의 이동 속도와 이동 방향을 산출하는 객체 이동 예측 단계; (d)예측된 객체의 이동 정보를 이용하여 예측되는 적어도 하나의 카메라부를 선정하고, 선정된 상기 카메라부로 촬영 명령을 전송하여 미리 준비시키는 촬영 명령 전송 단계; 및 (e)상기 촬영 명령에 의해 촬영되어 수신된 채널별 객체 영상으로부터 특정 채널의 객체 영상을 선택하여 단일 스트림의 객체 추적 영상으로 생성하는 객체 추적 영상 생성 단계를 포함한다.
본 발명의 일 측면에 따르면, 추적 대상의 객체에 대해 예측된 이동 방향의 카메라를 선택한 후, 선택된 카메라 중에서 예측된 객체의 이동 속도에 따라 객체의 영상을 촬영할 수 있는 카메라를 다시 선별하여 촬영 명령을 내림으로써 감시 대상의 카메라를 지능적으로 선택한다.
또한, 다중 카메라의 영상을 일반 품질로 저장하는 과정에서 감시 대상의 카메라로 고품질의 촬영 명령을 내리고, 고품질로 촬영된 객체 영상 중에서 가장 식별력이 높은 객체 영상을 선택하여 객체의 추적 영상을 생성함으로써 객체의 식별력을 높인다.
본 명세서에 첨부되는 다음의 도면들은 본 발명의 바람직한 실시예를 예시하는 것이며, 후술한 발명의 상세한 설명과 함께 본 발명의 기술사상을 더욱 이해시키는 역할을 하는 것이므로, 본 발명은 그러한 도면에 기재된 사항에만 한정되어 해석되지 않아야 한다.
도 1은 본 발명의 일 실시예에 따른 객체 추적 시스템의 개략적 구성도이다.
도 2는 본 발명의 일 실시예에 따른 영상 서버가 객체의 이동 정보를 예측하는 예시도이다.
도 3은 본 발명의 일 실시예에 따른 영상 서버가 카메라로 내리는 촬영 명령의 예시도이다.
도 4는 본 발명의 일 실시예에 따른 영상 서버가 단일 스트림의 객체 추적 영상을 생성하는 예시도이다.
도 5는 본 발명의 일 실시예에 따른 영상 서버의 개략적 내부 구조도이다.
도 6은 본 발명의 다른 실시예에 따른 영상 서버가 일반 품질로 복귀하는 촬영 명령을 내리는 예시도이다.
도 7은 본 발명의 일 실시예에 따른 객체 추적 방법의 개략적 순서도이다.
도 8은 본 발명의 다른 실시예에 따른 일반 품질로 복귀하는 촬영 명령을 내리는 객체 추적 방법의 개략적 순서도이다.
이하, 첨부된 도면을 참조하여 본 발명의 바람직한 실시예를 상세히 설명하기로 한다. 이에 앞서, 본 명세서 및 청구범위에 사용된 용어나 단어는 통상적이거나 사전적인 의미로 한정해서 해석되어서는 아니되며, 발명자는 그 자신의 발명을 가장 최선의 방법으로 설명하기 위해 용어의 개념을 적절하게 정의할 수 있다는 원칙에 입각하여 본 발명의 기술적 사상에 부합하는 의미와 개념으로 해석되어야만 한다.
따라서, 본 명세서에 기재된 실시예와 도면에 도시된 구성은 본 발명의 가장 바람직한 일 실시예에 불과할 뿐이고 본 발명의 기술적 사상에 모두 대변하는 것은 아니므로, 본 출원시점에 있어서 이들을 대체할 수 있는 다양한 균등물과 변형예들이 있을 수 있음을 이해하여야 한다.
도 1은 본 발명의 일 실시예에 따른 객체 추적 시스템(1)의 개략적 구성도이다.
본 발명의 일 실시예에 따른 객체 추적 시스템(1)은 유, 무선 네트워크를 기반으로 구축되며, 특정 객체를 선택받아 추적을 요청하는 사용자 단말(2), 추적이 요청된 객체의 촬영 명령을 내리고, 객체가 촬영된 영상을 수신하여 하나의 단일 스트림 영상으로 생성하는 영상 서버(3), 영상 서버(3)가 내리는 촬영 명령을 카메라(5)로 전송하며 카메라(5)로부터 촬영된 영상을 수신하여 영상 서버(3)로 전송하는 게이트웨이(4) 및 촬영 명령을 수신하여 객체의 이동을 추적하면서 촬영하는 카메라(5)를 포함하여 구성된다.
본 발명에서의 상기 유, 무선 네트워크는 대표적으로 이동통신망, 인터넷과 같은 유, 무선 공중망이나 전용망 등과 같이 다양한 프로토콜을 이용하여 데이터 통신이 가능한 모든 통신망을 포괄한다.
상기 사용자 단말(2)은 영상 서버(3)에 접속할 수 있는 유, 무선 통신 기능을 갖는 컴퓨터 단말, 스마트 단말 등을 포함한다. 사용자 단말(2)이 상기 스마트 단말의 경우, 영상 서버(3)와 인터페이스하는 전용 어플리케이션이 설치될 수 있다. 사용자 단말(2)은 영상 서버(3)에 접속하여 원격지에 설치된 개별 채널의 카메라를 선택하여 영상 송출을 요청하고, 영상 서버(3)로부터 원격지의 카메라(5)에 의해 촬영된 영상을 수신하여 화면에 표시한다. 또한, 사용자 단말(2)은 감시 대상의 객체를 선택하여 추적을 요청할 수 있고, 상기 추적 요청에 의해 단일 스트림으로 생성된 객체의 추적 영상을 영상 서버(3)로부터 수신한다. 사용자 단말(2)이 객체의 추적 영상을 화면에 표시하면, 사용자는 화면의 영상에 대해 카메라의 촬영을 제어하는 명령을 입력하는 것도 가능할 수 있다.
상기 영상 서버(3)는 객체의 추적 요청에 따라 객체의 이동을 예측하고, 예측된 이동 정보에 따라 촬영에 적합한 적어도 하나의 채널별 카메라(5)를 선별하여 촬영 명령을 내린다. 그리고 영상 서버(3)는 상기 채널별 카메라(5)로부터 상기 촬영 명령에 의해 객체가 촬영된 객체 영상을 수신한 후, 연속되는 단일 스트림의 영상으로 합성하여 객체 추적 영상을 생성한다. 예를 들어, 영상 서버(3)는 서로 다른 복수개 채널로부터 송출되는 객체 영상을 단일 스트림의 영상 파일로 합성하는 것이다. 그러면, 영상 서버(3)는 객체의 추적을 요청한 사용자 단말(2)로 상기 객체 추적 영상을 송출한다.
상기 게이트웨이(4)는 다중 IP CCTV 환경의 카메라(5)들을 관리하며, 영상 서버(3)와 카메라(5) 사이에서 데이터를 중개 전송한다. 예를 들면, 게이트웨이(4)가 영상 서버(3)로부터 상기 촬영 명령을 수신하면, 수신된 촬영 명령으로부터 식별된 아이디에 해당하는 카메라(5)로 촬영 명령을 개별 전송하거나 브로드캐스팅 전송한다. 또한, 게이트웨이(4)가 각각의 카메라(5)로부터 촬영된 영상 정보를 수신하면, 수신된 영상 정보를 영상 서버(3)로 업로드한다. 여기서, 상기 영상 정보는 영상 데이터와 함께 장치 아이디(카메라 아이디), 해상도(영상 크기 정보), 코덱 정보, 좌표 정보 등을 포함할 수 있다.
상기 카메라(5)는 감시 지역마다 각각 설치되는 다중 카메라(multi cameras)로서 개별 카메라(5)는 고유의 채널이 할당되어 감시 지역의 영상을 촬영한다. 카메라(5)는 게이트웨이(4)의 중개를 통해 영상 서버(3)로부터 촬영 명령을 수신하고, 수신된 촬영 명령의 정보에 따라 객체의 이동을 추적하면서 객체 영상을 촬영한다. 그리고 각각의 카메라(5)는 촬영한 영상 정보를 고유의 채널별 영상 파일로 생성하여 게이트웨이(4)로 전송한다.
도 2는 본 발명의 일 실시예에 따른 영상 서버(3)가 객체의 이동 정보를 예측하는 예시도이다.
상기 영상 서버(3)는 상기 게이트웨이(4)의 중개를 통해 상기 카메라(5)로부터 각각의 채널별 영상을 전송받고 DB에 기록한다. 그리고 영상 서버(3)는 사용자 단말(2)이 요청하는 채널의 영상을 제공한다. 여기서, 영상 서버(3)가 사용자 단말(2)로부터 감시 대상의 객체를 선택받아 객체의 추적을 요청받을 수 있다.
그러면, 영상 서버(3)는 시간 t와 t+1(T t +1 - T t > 0)의 2개 영상 프레임으로부터 객체의 "좌표 A" 및 "좌표 B"를 각각 추출한다. 상기 좌표는 2D 또는 3D 좌표일 수 있으며 도 2에서는 설명의 편의상 2D 좌표로 예시한다. 영상 서버(3)는 추출된 A, B 2개 지점의 객체 좌표를 이용하여 이동 거리 S 및 이동 방향 θ를 구하고, 시간 Tt +1 - Tt를 이용하여 이동 속도 V를 구한다.
여기서, 영상 서버(3)는 이동 방향 θ의 벡터 정보를 이용하여 이동 방향으로부터 최근 거리에 위치하는 적어도 하나의 카메라(5)를 선별한다. 그리고 영상 서버(3)는 이동 속도 V를 이용하여 이동하는 객체를 촬영할 수 있는 상기 선별된 카메라(5)의 촬영 거리로 진입하는 예측 시간을 구한 후, 상기 예측 시간 직전에 상기 선별된 카메라(5)로 촬영 명령을 전송한다. 예를 들어, 영상 서버(3)가 현재 시점에서 적어도 하나의 채널의 카메라를 선별하면, 당해 선별된 카메라(5)가 객체를 촬영할 수 있는 예측된 시점(예 : 객체가 카메라의 촬영 거리에 진입하기 10초 전)에 맞추어 촬영 명령을 전송한다. 그러면 각각의 선별된 카메라(5)는 객체를 촬영하여 객체 영상으로 기록하고, 기록된 객체 영상을 게이트웨이(4)로 송출한다.
도 3은 본 발명의 일 실시예에 따른 영상 서버(3)가 카메라(5)로 내리는 촬영 명령의 예시도이다.
상기 촬영 명령의 정보는 카메라 아이디, 객체 정보 및 영상 품질의 정보 등을 포함한다. 상기 영상 품질은 비트 레이트 및 초당 프레임 수의 정보를 포함한다. 또한, 상기 영상 품질은 일반 품질과 고 품질로 구분되어 영상 서버(3)가 영상 품질을 제어하는 촬영 명령을 카메라(5)로 내리는 것이 가능하다.
예를 들어, 상기 영상 서버(3)는 평상시에는 기 설정된 일반 품질의 비트 레이트 및 프레임 수로 카메라(5)의 촬영을 원격 제어하여 일반 품질의 영상을 수신하여 DB에 저장한다. 그리고 상기 영상 서버(3)가 객체의 추적을 요청받으면, 객체의 이동 정보를 예측하여 선별된 채널별 카메라(5)로 일반 품질의 비트 레이트 및 프레임 수보다 높은 값을 설정하여 고품질의 촬영 명령을 전송한다. 그러면, 영상 서버(3)는 채널별 카메라(5)로부터 상기 촬영 명령에 의해 촬영된 고품질의 객체 영상을 수신하여 DB에 저장한다.
여기서, 상기 카메라(5)의 처리 기능 및 촬영 기능에 따라 다양한 촬영 명령의 처리가 구현될 수 있으며 본 발명은 특정 촬영 명령의 구현 방식으로 제한하지 않는다.
예를 들면, 카메라(5)는 상기 촬영 명령으로부터 추출된 객체 정보를 이용하여 자동으로 팬(pan), 틸트(tilt), 줌(zoom) 기능을 제어하여 영상을 촬영할 수 있다. 또는, 상기 카메라(5)가 상기 촬영 명령으로부터 추출된 객체 정보 및 촬영 제어 정보를 이용하여 상기의 팬, 틸트, 줌 기능을 제어하면서 영상을 촬영할 수 있다. 더욱이, 상기 카메라(5)가 영상 분석 필터의 기능을 구비한다고 가정하면, 수신된 촬영 명령으로부터 추출된 객체 정보를 이용하여 촬영된 영상으로부터 객체의 존재 유무를 필터링 처리할 수 있다. 상기 카메라가 필터리 처리 과정에서 객체의 존재 이벤트를 감지하면 자동으로 고품질의 객체 영상을 촬영하고, 객체의 소멸 이벤트를 감지하면 자동으로 일반 품질로 복귀하여 영상을 촬영하는 것도 가능하다.
도 4는 본 발명의 일 실시예에 따른 영상 서버(3)가 단일 스트림의 객체 추적 영상을 생성하는 예시도이다.
상기 영상 서버(3)는 실시간으로 예측된 객체의 이동 정보에 따라 대응하는 채널별 카메라(5)로부터 객체 영상을 수신한다. 상기 객체 영상이 고품질의 영상 데이터라 가정하면, 영상 서버(3)는 미리 이동 방향과 이동 속도를 고려하여 대응하는 채널별 카메라(5)로 고품질의 촬영 명령을 전송하여 카메라(5)의 고품질 촬영을 제어한다.
그리고 영상 서버(3)는 상기 촬영 명령을 수신한 채널별 카메라(5)로부터 고품질의 객체 영상을 수신한다. 만약, 영상 서버(3)가 복수개 채널별 카메라(5)로부터 각각의 객체 영상을 수신하면, 적합한 어느 하나 채널의 객체 영상을 선택하여 단일 스트림의 객체 추적 영상으로 합성하여 기록한다.
도 4를 참조하면, 영상 서버(3)가 시간 T에서 객체 영상 1의 채널을 채택하여 객체 추적 영상으로 기록하다가, 시간 T+Δt에서 객체 영상 1과 객체 영상 2의 영상 중에서 객체 영상 2의 채널을 선택하여 객체 추적 영상으로 기록한다. 그리고 영상 서버(3)는 시간 T+Δ2t에서 객체 영상 2와 객체 영상 3이 경합을 벌이는 과정에서 객체 영상 3의 채널을 선택하여 객체 추적 영상으로 기록한다. 따라서, 영상 서버(3)는 객체의 추적 과정에서 복수의 채널별로 객체 영상을 수신할 수 있고, 객체의 식별이 우세한 어느 특정 채널의 영상을 선택하여 단일 스트림의 객체 추적 영상을 기록한다. 이후, 영상 서버(3)가 상기 객체 추적 영상을 사용자 단말(2)로 송출하면, 복수개 객체 영상의 채널을 전부 사용자 단말(2)로 전송하는 것에 비하여 데이터 트래픽의 부하를 줄일 수 있다. 또한, 사용자는 단일 스트림의 객체 추적 영상을 제공받기에 사용자가 채널을 전환할 필요없이 연속적인 영상으로 객체의 이동을 확인할 수 있어 사용자의 편의성이 증대된다.
도 5는 본 발명의 일 실시예에 따른 영상 서버(3)의 개략적 내부 구조도이다.
본 발명의 일 실시예에 따른 영상 서버(3)는 추적 요청되는 객체를 등록받는 객체 정보 등록부(31), 영상으로부터 등록된 객체의 식별 정보를 추출하는 객체 정보 식별부(32), 식별된 객체 정보로 객체의 이동 정보를 예측하는 객체 이동 예측부(33), 예측된 이동 정보에 따라 카메라(5)를 선별하여 촬영 명령을 전송하는 촬영 명령 전송부(34) 및 촬영 명령에 의해 수신되는 객체 정보를 이용하여 단일 스트림의 객체 추적 영상을 생성하는 객체 추적 영상 생성부(35)를 포함하여 구성된다.
상기 객체 정보 등록부(31)는 추적 대상의 객체를 선택받고 객체의 추적을 요청받는다. 영상 서버(3)가 사용자 단말(2)로 요청된 채널 영상을 제공하는 과정에서 객체 정보 등록부(31)는 사용자 단말(2)로부터 특정 객체의 추적을 요청받을 수 있다. 한편, 객체 정보 등록부(31)가 사용자 단말(2)로부터 상기 채널 영상에서 객체를 선택받는 것이 아니라, 특정 객체의 이미지 파일을 업로드받아서 추적을 요청받아도 무방하다.
상기 객체 정보 식별부(32)는 등록된 객체의 정보를 채널 영상으로부터 추출하여 객체의 영상 식별 정보로서 저장한다. 여기서, 상기 객체 정보 식별부(32)는 객체의 식별력 높은 정보를 추출하고자, 당해 객체가 등장하는 채널별 영상을 검색할 수 있고, 검색된 영상으로부터 객체의 식별 정보를 추출하는 것도 무방하다.
상기 객체 이동 예측부(33)는 수신된 카메라(5)의 영상 정보로부터 객체의 좌표를 추출하고, 2개의 추출된 좌표로부터 객체의 이동 거리, 이동 방향, 속도 등을 산출하여 객체의 이동 정보를 예측한다(도 3 참조).
상기 촬영 명령 전송부(34)는 예측된 이동 방향에서 최근 거리에 있는 적어도 하나 이상의 채널별 카메라(5)를 선택한다. 채널별 카메라(5)가 선택되면, 예측된 객체의 이동 방향 및 이동 속도 등의 예측 정보를 이용하여 선택된 개별 카메라(5)의 촬영 가시권에 진입하는 객체의 도달 시간을 산출하고, 산출된 시간 직전에 선택된 상기 카메라(5)로 촬영 명령을 전송한다(도 2 참조).
한편, 촬영 명령 전송부(34)에 의해 이전 예측에서는 이동 방향의 카메라(5)로 선택되어 상기 고품질의 촬영 명령이 전송되었으나, 이번의 예측에서는 이동 방향의 카메라(5)로 선택되지 않을 수 있다. 이때, 촬영 명령 전송부(34)는 이번에 상기 선택되지 않은 카메라(5)로 일반 품질의 영상 촬영으로 복귀하라는 촬영 명령을 전송할 수 있다.
상기 촬영 명령이 촬영 명령 전송부(34)에 의해 전송되면, 게이트웨이(4)의 촬영 명령 중개부(41)는 촬영 명령 전송부(34)로부터 전송되는 상기 촬영 명령을 수신하고, 대응하는 카메라(5)로 수신된 상기 촬영 명령을 전송한다. 또한, 게이트웨이(4)의 촬영 영상 중개부(42)는 각각의 채널별 카메라(5)가 송출하는 영상 정보를 수신하여 영상 서버(3)로 전송한다.
여기서, 객체를 추적하기 위해 내리는 상기 촬영 명령은 비트 레이트 및 프레임 수가 일반 품질의 값보다 높게 설정된 고품질의 촬영 명령일 수 있다. 따라서, 감시 영역에 설치된 전체 채널별 카메라(5)는 평상시 일반 품질로 영상을 촬영하고 송출하지만, 객체 추적이 개시되어 추적 대상의 카메라로서 선정되면 상기 촬영 명령을 수신하면 고품질로 영상을 촬영하여 송출한다.
상기 객체 추적 영상 생성부(35)는 상기 촬영 명령에 의해 촬영된 적어도 하나의 채널별 객체 영상을 수신하여 DB에 저장한다. 물론, 상기 촬영 명령을 받지 못한 경우에는 일반 품질의 채널별 영상이 촬영되어 DB에 저장된다. 그리고 객체 추적 영상 생성부(35)는 수신된 상기 객체 영상 중에서 특정 채널의 객체 영상을 선택하여 단일 스트림의 객체 추적 영상으로 생성한다(도 4 참조).
여기서, 상기 객체 추적 영상 생성부(35)는 복수개의 채널별 객체 영상을 수신할 경우, 객체의 크기가 가장 크게 촬영된 어느 하나의 객체 영상을 선택한 후 상기 객체 추적 영상으로 생성하여 DB에 저장할 수 있다. 또는 얼굴 인식이 가능한 객체일 경우, 객체 추적 영상 생성부(35)는 복수개의 채널별 객체 영상 중에서 객체의 얼굴 인식 필터링을 처리하여 얼굴 인식된 객체의 크기가 가장 크게 촬영된 객체 영상을 선택한 후 상기 객체 추적 영상으로 생성하여 DB에 저장할 수 있다. 물론, 객체 추적 영상 생성부(35)가 객체 크기 항목 및 얼굴 인식 항목에 각각 가중치를 설정하고, 각각의 항목에 가중치가 적용된 합산 점수에 따라서 객체 영상을 선택하여 객체 추적 영상으로 채택하여도 무방하다. 예를 들면, 얼굴 인식 항목의 가중치가 클 경우, 객체의 크기가 큰 채널 영상의 합산 점수보다 객체의 크기는 작지만 얼굴 인식이 되는 채널 영상의 합산 점수가 더 높아서 객체 추적 영상으로 선택될 수 있다.
상기의 실시예에서는, 영상 서버(3)가 객체의 이동 정보를 예측하면서, 이동 방향에 부합하여 선택된 카메라(5)들을 대상으로 고품질의 촬영 명령을 내리고, 이동 방향의 예측에서 벗어난 카메라(5)들을 대상으로 일반 품질의 촬영 명령을 내린다.
도 6은 본 발명의 다른 실시예에 따른 영상 서버(3)가 일반 품질로 복귀하는 촬영 명령을 내리는 예시도이다.
본 발명의 다른 실시예에서는 영상 서버(3)가 3개의 채널로부터 "고품질 객체 영상 1", "고품질 객체 영상 2" 및 ""고품질 객체 영상 3"을 수신한다고 가정한다. 객체 추적 영상 생성부(35)에 의해 3개의 수신된 객체 영상 중에서 "고품질 객체 영상 2"가 선택되어 객체 추적 영상으로 저장되면, 선택된 상기 객체 영상의 채널을 제외한 나머지 2개 채널의 영상에 대해 실시간으로 일반 품질의 촬영 명령을 전송한다. 따라서, 객체의 이동에 따라 복수개 채널의 카메라(5)로 고품질의 촬영 명령을 전송한 후 실제로 상기 객체 추적 영상으로 채택된 채널의 카메라(5)를 제외한 나머지 채널의 카메라(5)는 일반 품질의 촬영으로 복귀시키기 때문에 카메라(5)의 촬영 효율 및 DB의 저장 효율이 극대화될 수 있다.
여기서, 상기 촬영 명령에 의해 고품질 촬영이 중단된 "일반 품질 객체 영상 1" 및 "일반 품질 객체 영상 3"의 채널별 카메라(5)는 다음번 예측시에 다시 객체 이동 예측부(33)에 의해 객체를 촬영할 카메라(5)로 선정되어 촬영 명령 전송부(34)에 의해 고품질의 촬영 명령을 전송받을 수 있다. 그리고 다시 객체 추적 영상 생성부(35)에 의해 "고품질 객체 영상 1" 및 "고품질 객체 영상 3"의 상기 채널별 카메라(5)의 객체 영상은 객체 추적 영상으로 선택받지 못하는 일련의 과정이 반복될 수 있다. 예를 들면, "고품질 객체 영상 1"의 카메라(5)가 촬영 가시 영역에 존재하는 객체를 촬영한 객체 영상을 송출하지만, "고품질 객체 영상 2"의 카메라(5)의 객체 영상이 객체 추적 영상으로 선택되기 때문에 "고품질 객체 영상 1"의 카메라(5)는 객체 추적 영상의 카메라(5)로 선택받지 못하면서 고품질 촬영 명령을 전송받은 후 이어서 일반 품질의 촬영 명령을 전송받고 다시 고품질 촬영 명령을 전송받는 일련의 소모적인 명령 수신 및 처리가 계속되는 것이다.
그래서, 영상 서버(3)는 객체 추적 영상으로 선택받지 못한 나머지 카메라(5)로 일반 품질로 복귀하는 촬영 명령을 전송하고난 후, 일정 시간 동안 고품질의 촬영 명령의 전송을 제한한다. 예를 들면, "고품질 객체 영상 1" 및 "고품질 객체 영상 3"의 카메라(5)는 "고품질 객체 영상 2"가 객체 추적 영상으로 선택되어 일반 품질의 촬영 명령을 전송받는다. 이때, 객체 영상 1 및 객체 영상 3의 카메라(5)는 객체 영상을 촬영할 수 있지만 영상 서버(3)는 상기 카메라(5)들로 소정 시간 동안 고품질 촬영 명령의 전송을 제한하는 것이다.
여기서, 객체 영상 1의 카메라(5)일 경우, 상기 소정 시간은 객체 영상 1의 카메라(5)가 고품질 촬영 명령을 전송받고 촬영한 객체 영상이 실제 객체 추적 영상으로 채택되기까지의 평균 시간일 수 있다. 또는, 상기 소정 시간은 객체 영상 2의 카메라(5)의 객체 영상이 객체 추적 영상으로 선택된 이후로 객체 영상 1의 카메라(5)의 객체 영상이 객체 추적 영상으로 선택되기까지의 과거의 누적된 시간의 평균 시간일 수 있다. 또는 상기 소정 시간(2)은 과거에 객체 영상 2의 카메라(5)가 객체 추적 영상으로 선택된 시간 동안의 평균 시간일 수 있다. 따라서, 영상 서버(3)는 과거의 경험치를 토대로 복수개 채널별 카메라(5)를 상대로 보다 지능적인 고품질 촬영을 제어하고 DB의 저장 공간을 효율적으로 절약할 수 있다.
도 7은 본 발명의 일 실시예에 따른 객체 추적 방법의 개략적 순서도이다.
카메라(5)에 전원이 들어오면, 초기화 작업이 개시되어 카메라(5)의 장치 정보(예 : 아이디, IP 주소, 해상도, 코덱 정보, 위치, 촬영 거리 등)는 게이트웨이(4)를 통해 상기 영상 서버(3)로 전송되어 DB에 저장된다.
사용자 단말(2)은 영상 서버(3)에 로그인하고, 로그인 인증이 성공되면, 영상 서버(3)는 사용자 단말(2)이 요청하는 채널의 영상을 송출한다.
사용자 단말(2)이 추적 대상의 객체를 지정하여 상기 객체의 추적을 요청하면(S21), 영상 서버(3)가 추적 요청을 수신하여 상기 지정된 객체의 정보를 DB에 저장한다(S31). 여기서, 사용자 단말(2)은 영상 서버(3)로부터 실시간 송출받아 화면에 표시되는 영상을 통해 사용자로부터 추적 대상의 객체를 선택받을 수 있다. 또한, 사용자 단말(2)은 사용자로부터 객체의 선택과 함께 고화질 또는 일반 품질, 해상도 등의 촬영 제어 정보를 선택받아 영상 서버(3)로 객체의 추적을 요청할 수 있다.
객체의 추적이 요청되면, 영상 서버(3)는 영상 데이터로부터 객체가 식별되는 영상 정보를 객체 정보로서 추출한다(S32). 여기서, 영상 서버(3)는 사용자가 추적 요청한 객체가 식별되는 영상 데이터를 검색하고, 검색된 영상 데이터로부터 상기 객체 정보를 추출할 수 있다.
추적 대상의 객체 정보가 식별되면, 영상 서버(3)는 객체의 서로 다른 2개의 좌표를 이용하여 객체의 이동 방향과 이동 속도 등의 이동 정보를 산출하여 객체의 이동을 예측한다(S33).
객체의 이동 정보가 예측되면, 영상 서버(3)는 객체의 이동 방향에 위치하는 적어도 하나의 채널별 카메라(5)를 최단 거리의 순서로 선택한다(S34). 그리고 영상 서버(3)는 선택된 카메라(5)에 대해 카메라(5)의 촬영 거리 및 상기 이동 속도를 고려하여 객체의 출현 시간에 맞추어 고품질의 촬영 명령을 상기 선택된 카메라(5)로 전송한다(S341).
여기서, 영상 서버(3)는 이동 방향의 카메라를 선택하면서, 이전의 예측에서는 이동 방향의 카메라로 선정되어 고품질의 촬영 명령을 수신했으나, 이번의 예측에서는 상기 선정에서 제외된 카메라를 대상으로 일반 품질의 촬영으로 복귀하라는 촬영 명령을 내릴 수 있다.
이후, 게이트웨이(4)는 영상 서버(3)로부터 상기 촬영 명령을 수신하고, 수신된 촬영 명령에 포함된 카메라(5)의 장치 아이디를 식별하여 해당 카메라(5)로 수신된 촬영 명령을 전송한다(S41). 물론, 상기 촬영 명령은 영상 서버(3)가 객체의 이동을 예측하여 주변의 카메라(5)들에게 고품질의 촬영을 개시하라고 미리 준비시키는 것이다. 따라서, 카메라(5)는 상기 촬영 명령을 전송받으면, 상기 카메라(5)의 촬영 거리 이내로 객체가 출현하는지 여부와 상관없이 객체의 위치 방향을 향하여 미리 고품질의 영상으로 촬영을 개시한다.
상기 카메라(5)는 고품질의 상기 촬영 명령을 수신하고, 수신된 상기 촬영 명령의 정보에 따라 고품질의 영상으로 객체를 촬영하여 객체가 포착된 객체 영상을 송출한다. 한편, 상기 게이트웨이(4)는 각각의 채널별 카메라(5)로부터 영상 정보를 수신하여 영상 서버(3)로 전송한다. 여기서, 게이트웨이(4)는 상기 촬영 명령을 수신한 카메라(5)에 의해 촬영된 객체 영상을 수신하여 영상 서버(3)로 전송한다(S42).
영상 서버(3)는 게이트웨이(4)의 중개를 통해 수신되는 각각의 채널별 영상 정보를 DB에 저장한다. 그리고 영상 서버(3)는 상기 고품질 촬영 명령에 의해 적어도 하나의 채널별 카메라(5)가 촬영한 객체 영상 중에서 적합한 객체 영상을 선택한다(S35). 여기서, 적합한 객체 영상은 영상으로부터 식별되는 객체의 크기가 가장 크거나 또는 객체의 얼굴이 인식되는 영상일 수 있다.
객체 영상이 선택되면, 영상 서버(3)는 선택된 객체 영상을 단일 스트림의 객체 추정 영상으로 생성하여 DB에 저장한다(S351). 물론, 상기 객체 추정 영상은 복수개 채널별 카메라라 객체의 이동을 추적하면서 고품질로 촬영한 단일의 스트림 영상이다. 그리고 영상 서버(3)는 생성된 상기 객체 추적 영상을 객체의 추적을 요청한 사용자 단말(2)로 송출한다(S352). 따라서, 사용자는 사용자 단말(2)의 화면에 표시되는 객체 추적 영상을 통해 자연스럽게 연결되는 객체의 추적 영상을 감시할 수 있다. 이후 영상 서버(3)는 상기 단계(S33)부터 객체의 다음번 이동 예측을 수행한다.
한편, 상기의 영상 서버(3)의 촬영 명령 전송부(34)는 객체의 이동 방향을 예측하면서 감시 대상의 카메라(5)를 선정하는 1차 처리를 수행한다(S34). 상기 1차 처리는 영상 서버(3)가 객체의 출현 영상을 촬영할 수 있는 카메라(5) 후보들을 미리 선정해 놓는 것이다.
상기 1차 처리를 계속하는 동안에 상기 촬영 명령 전송부(34)는 객체의 이동 속도를 예측하여 1차 처리에 의해 선정된 카메라(5)의 촬영 거리 이내로 객체가 출현하는 시점을 예측하면, 미리 상기 시점에 맞추어 고품질의 촬영 명령을 내리는 2차 처리를 수행한다(S341). 상기 2차 처리는 영상 서버(3)가 설정된 상기 카메라 후보들 중에서 객체 영상을 송출할 카메라(5) 후보들을 다시 한번 선별하여 촬영 개시의 명령을 내림으로써 카메라(5)의 효율성을 극대화하는 것이다.
그리고 상기 2차 처리 이후에 객체 추적 영상부(35)는 상기 촬영 명령을 통해 수신된 적어도 하나의 채널의 객체 영상 중에서 가장 적합한 객체 영상을 선택하여 객체 추적 영상을 생성하는 3차 처리를 수행한다(S35 및 S351). 상기 3차 처리는 객체 영상의 선택에 의해 객체의 식별성을 극대화하는 것이다. 이후, 영상 서버(3)는 다시 1차 처리부터 재개하여 2차 및 3차 3차 작업(S35 및 S351)을 지속적으로 수행한다.
도 8은 본 발명의 다른 실시예에 따른 일반 품질로 복귀하는 촬영 명령을 내리는 객체 추적 방법의 개략적 순서도이다.
상기 영상 서버(3)는 상기의 단일 스트림의 객체 추적 영상을 생성하여 DB에 저장한다. 이후, 영상 서버(3)는 상기 객체 추적 영상을 생성하는데 선택된 채널의 객체 영상을 제외한 나머지 미선택된 채널의 카메라(5) 정보를 조회한다(S36).
상기 나머지의 카메라(5) 정보가 조회되면, 영상 서버(3)는 조회된 카메라들을 대상으로 일반 품질의 촬영 명령을 전송한다(S37).
그리고 영상 서버(3)는 일반 품질의 촬영 명령을 전송받은 카메라가 다시 고품질의 촬영 명령을 전송받고 다시 객체 추적 영상으로 미선택되어 일반 품질의 촬영 명령을 전송받는 일련의 처리가 반복되는 것을 방지하고자, 고품질의 촬영 명령의 전송을 소정 시간 동안 제한한다(S371). 상기 소정 시간에 대해서는 위에서 이미 설명한 바 있다.
상술한 실시예에서, "~부"라는 용어는 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템(1)의 하드웨어적 구분을 의미하는 용어로 사용된 것이 아니다. 따라서 복수의 구성부가 하나의 구성부로 통합될 수도 있고, 하나의 구성부가 복수의 구성부로 분할될 수도 있다. 또한, 구성부는 하드웨어의 구성부를 의미할 수도 있지만, 소프트웨어의 구성부를 의미할 수도 있다. 따라서 본 발명은 "~부"라는 용어에 의해 특별히 한정되지 않음을 이해하여야 할 것이다.
본 발명은 비록 한정된 실시예와 도면에 의해 설명되었으나, 본 발명은 이것에 의해 한정되지 않으며 본 발명이 속하는 기술분야에서 통상의 지식을 가진 자에 의해 본 발명의 기술사상과 아래에 기재될 특허청구범위의 균등범위 내에서 다양한 수정 및 변형이 가능함은 물론이다.
1 : 객체 추적 시스템 2 : 사용자 단말
3 : 영상 서버 4 : 게이트웨이
5 : 카메라

Claims (22)

  1. 다중 채널별로 각각 할당되고, 네트워크를 통해 전송된 촬영 명령의 객체 정보와 영상 품질을 이용하여 객체의 이동에 따라 객체 영상을 촬영하는 카메라부;
    외부로부터 상기 촬영 명령을 전송받으면 상기 카메라부로 전송하고, 상기 카메라부로부터 영상 정보를 전송받으면 외부로 전송하는 게이트웨이부; 및
    객체 정보를 등록받고, 상기 게이트웨이부를 통해 전송받은 채널별 상기 영상 정보로부터 추출된 상기 객체의 좌표를 이용하여 이동 정보를 예측하고, 예측된 이동 정보에 대응하는 적어도 하나의 카메라부를 선정하여 상기 게이트웨이부를 통해 선정된 상기 카메라부로 상기 촬영 명령을 전송하여 미리 촬영 개시시키고, 상기 촬영 명령에 의해 채널별로 수신된 객체 영상 중에서 특정 채널의 객체 영상을 선택하여 단일 스트림의 객체 추적 영상으로 생성하는 영상 서버부
    를 포함하는 것을 특징으로 하는 객체 추적 시스템.
  2. 제 1항에 있어서,
    상기 영상 서버부에 접속하여 추적 대상의 객체를 등록하고, 상기 영상 서버부로 등록된 상기 객체의 추적 영상을 요청하면 상기 객체 추적 영상을 전송받는 사용자 단말을 더 포함하는 것을 특징으로 하는 객체 추적 시스템.
  3. 추적 대상의 객체 정보를 등록받는 객체 정보 등록부;
    채널별 카메라부에 의해 각각 촬영된 적어도 하나의 영상으로부터 객체 정보를 추출하는 객체 정보 식별부;
    상기 객체 정보로부터 분석된 객체의 좌표를 이용하여 객체의 이동 속도와 이동 방향을 산출하는 객체 이동 예측부;
    상기 이동 속도와 상기 이동 방향을 이용하여 예측되는 적어도 하나의 카메라부를 선정하고, 선정된 상기 카메라부로 촬영 명령을 전송하여 미리 준비시키는 촬영 명령 전송부; 및
    상기 촬영 명령에 의해 촬영되어 수신된 채널별 객체 영상으로부터 특정 채널의 객체 영상을 선택하여 단일 스트림의 객체 추적 영상으로 생성하는 객체 추적 영상 생성부
    를 포함하는 영상 서버부를 포함하는 것을 특징으로 하는 객체 추적 시스템.
  4. 제 1항 내지 제 3항에 있어서,
    상기 영상 서버부는,
    상기 촬영 명령에 포함된 비트 레이트(bit rate) 및 프레임 수에 대하여 일반 영상 품질보다 높은 비율을 설정하여 고품질의 촬영 명령을 내리는 것을 특징으로 하는 객체 추적 시스템.
  5. 제 1항 내지 제 3항에 있어서,
    상기 영상 서버부는,
    서로 다른 시간의 2개의 영상 프레임에 존재하는 객체의 좌표를 각각 추출한 후, 추출된 2개의 객체 좌표로 이동 속도와 이동 방향을 산출하여 객체의 이동 정보를 예측하는 것을 특징으로 하는 객체 추적 시스템.
  6. 제 1항 내지 제 3항에 있어서,
    상기 영상 서버부는,
    객체의 이동 방향에서 객체의 위치와 가장 근접한 순서로 적어도 하나의 카메라부를 선정하고, 객체의 이동 속도를 고려하여 선정된 상기 카메라부로 상기 카메라부의 촬영 가시권에 도달하기 직전에 고품질의 촬영 명령을 전송하는 것을 특징으로 하는 객체 추적 시스템.
  7. 제 1항 내지 제 3항에 있어서,
    상기 영상 서버부는,
    수신된 채널별 객체 영상으로부터 객체의 크기가 가장 크게 촬영된 상기 객체 영상을 선택하여 상기 객체 추적 영상으로 생성하는 것을 특징으로 하는 객체 추적 시스템.
  8. 제 1항 내지 제 3항에 있어서,
    상기 영상 서버부는,
    수신된 채널별 객체 영상으로부터 객체의 얼굴 인식 필터링을 처리하여 얼굴 인식된 객체의 크기가 가장 크게 촬영된 상기 객체 영상을 선택하여 상기 객체 추적 영상으로 생성하는 것을 특징으로 하는 객체 추적 시스템.
  9. 제 1항 내지 제 3항에 있어서,
    상기 영상 서버부는,
    객체의 다음번 이동 방향을 예측하여 고품질의 촬영 명령을 기 수신한 카메라부가 감시 대상의 카메라부로 선정되지 않으면, 해당 채널의 상기 카메라부에 대해 일반 품질의 촬영 명령을 생성하여 전송하는 것을 특징으로 하는 객체 추적 시스템.
  10. 제 1항 내지 제 3항에 있어서,
    상기 영상 서버부는,
    상기 객체 추적 영상을 생성하기 위한 고품질로 촬영된 상기 객체 영상이 선택되면, 선택된 상기 객체 영상의 채널 카메라부를 제외한 나머지 채널의 카메라부로 일반 품질의 촬영 명령을 생성하여 전송하는 것을 특징으로 하는 객체 추적 시스템.
  11. 제 10항에 있어서,
    상기 영상 서버부는,
    상기 나머지 채널의 카메라부에 대하여 일정 시간 동안 고품질의 촬영 명령의 전송을 제한하는 것을 특징으로 하는 객체 추적 시스템.
  12. 제 1항 내지 제 3항에 있어서,
    상기 카메라부는,
    상기 촬영 명령으로부터 추출된 객체 정보를 이용하여 자동으로 팬(pan), 틸트(tilt), 줌(zoom) 기능을 제어하여 영상을 촬영하는 기능;
    상기 촬영 명령으로부터 추출된 객체 정보 및 촬영 제어 정보를 이용하여 상기 촬영 제어 정보에 의해 팬, 틸트, 줌 기능을 제어받아 영상을 촬영하는 기능; 및
    상기 촬영 명령으로부터 추출된 객체 정보를 이용하여 객체의 존재가 인식되면 자동으로 고품질의 객체 영상을 촬영하고, 객체의 존재가 사라지면 자동으로 일반 품질로 영상을 촬영하는 기능
    중에서 적어도 하나의 기능을 구비하는 것을 특징으로 하는 객체 추적 시스템.
  13. 객체 정보를 등록받아 객체가 존재하는 채널별 복수개 객체 영상으로부터 단일 스트림의 객체 추적 영상을 생성하는 영상 서버부가 실행하는 영상 분석 방법에 있어서,
    (a)추적 대상의 객체 정보를 등록받는 객체 추적 요청 단계;
    (b)채널별 카메라부에 의해 각각 촬영된 적어도 하나의 영상으로부터 객체 정보를 추출하는 객체 정보 식별 단계;
    (c)식별된 상기 객체 정보로부터 분석된 객체의 좌표를 이용하여 객체의 이동 속도와 이동 방향을 산출하는 객체 이동 예측 단계;
    (d)예측된 객체의 이동 정보를 이용하여 예측되는 적어도 하나의 카메라부를 선정하고, 선정된 상기 카메라부로 촬영 명령을 전송하여 미리 준비시키는 촬영 명령 전송 단계; 및
    (e)상기 촬영 명령에 의해 촬영되어 수신된 채널별 객체 영상으로부터 특정 채널의 객체 영상을 선택하여 단일 스트림의 객체 추적 영상으로 생성하는 객체 추적 영상 생성 단계
    를 포함하는 것을 특징으로 하는 객체 추적 방법.
  14. 제 13항에 있어서,
    상기 단계(a)는,
    사용자 단말이 상기 영상 서버부에 네트워크 접속하여 추적 대상의 객체를 등록하여 상기 객체 추적 영상을 요청하는 단계; 및
    상기 객체 추적 영상이 생성되면, 상기 사용자 단말이 상기 영상 서버부로부터 송출되는 상기 객체 추적 영상을 제공받는 단계
    를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
  15. 제 13항에 있어서,
    상기 단계(b) 이전에,
    게이트웨이부가 각각의 상기 채널별 카메라부로부터 촬영된 영상을 전송받고, 상기 영상을 영상 서버부로 중개 전송하는 단계를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
  16. 제 13항에 있어서,
    상기 단계(c)는,
    상기 영상 서버부가 서로 다른 시간의 2개의 영상 프레임에 존재하는 객체의 좌표를 각각 추출한 후, 추출된 2개의 객체 좌표로 이동 속도와 이동 방향을 산출하여 객체의 이동 정보를 예측하는 단계인 것을 특징으로 하는 객체 추적 방법.
  17. 제 13항에 있어서,
    상기 단계(d)는,
    상기 영상 서버부가 객체의 상기 이동 방향에서 객체의 위치와 가장 근접한 순서로 적어도 하나의 카메라부를 선정하는 단계;
    상기 영상 서버부가 객체의 상기 이동 속도를 고려하여 선정된 상기 카메라부로 상기 카메라부의 촬영 가시권에 도달하기 직전에 촬영 명령을 전송하는 단계; 및
    게이트웨이부가 상기 영상 서버부로부터 상기 촬영 명령을 수신하여 대응하는 채널별 카메라부로 중개하여 전송하는 단계
    를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
  18. 제 13항 또는 제 17항에 있어서,
    상기 단계(d)는,
    상기 영상 서버부가 상기 촬영 명령에 포함된 비트 레이트(bit rate) 및 프레임 수에 대하여 일반 품질보다 높은 비율을 설정하여 고품질의 촬영 명령을 내리는 단계인 것을 특징으로 하는 객체 추적 방법.
  19. 제 13항에 있어서,
    상기 단계(e) 이전에,
    게이트웨이부가 각각의 상기 채널별 카메라부로부터 상기 촬영 명령에 의해 촬영된 상기 채널별 영상을 전송받아 상기 영상 서버부로 중개 전송하는 단계를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
  20. 제 13항 또는 19항에 있어서,
    상기 단계(e)는,
    상기 영상 서버부가 상기 채널별 영상으로부터 객체의 크기가 가장 크게 촬영된 상기 객체 영상을 선택하는 단계; 및
    상기 영상 서버부가 상기 채널별 영상으로부터 객체의 얼굴 인식 필터링을 처리하여 얼굴 인식된 객체의 크기가 가장 크게 촬영된 상기 객체 영상을 선택하는 단계
    중에서 적어도 어느 하나의 단계를 이용하여 상기 객체 추적 영상으로 생성하는 단계인 것을 특징으로 하는 객체 추적 방법.
  21. 제 13항에 있어서,
    상기 단계(e) 이후에,
    영상 서버가 상기 단계(c)에서 객체의 다음번 이동 방향을 예측하여, 상기 단계(d)에서 고품질의 촬영 명령을 기 수신한 카메라부가 감시 대상의 카메라부로 선정되지 않으면, 해당 채널의 상기 카메라부에 대해 일반 품질의 촬영 명령을 생성하여 전송하는 단계를 더 포함하는 것을 특징으로 하는 객체 추적 방법.
  22. 제 13항에 있어서,
    상기 단계(e) 이후에, 상기 영상 서버가,
    상기 객체 추적 영상을 생성하기 위해 선택된 상기 객체 영상의 채널 카메라부를 제외한 나머지 채널의 카메라부로 일반 품질의 촬영 명령을 생성하여 전송하는 단계; 및
    상기 나머지 채널의 카메라부에 대하여 일정 시간 동안 고품질의 촬영 명령의 전송을 제한하는 단계를 더 실행하는 것을 특징으로 하는 객체 추적 방법.
KR1020120118382A 2012-10-24 2012-10-24 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법 Active KR102014285B1 (ko)

Priority Applications (1)

Application Number Priority Date Filing Date Title
KR1020120118382A KR102014285B1 (ko) 2012-10-24 2012-10-24 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
KR1020120118382A KR102014285B1 (ko) 2012-10-24 2012-10-24 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법

Publications (2)

Publication Number Publication Date
KR20140052357A true KR20140052357A (ko) 2014-05-07
KR102014285B1 KR102014285B1 (ko) 2019-11-04

Family

ID=50885610

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020120118382A Active KR102014285B1 (ko) 2012-10-24 2012-10-24 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법

Country Status (1)

Country Link
KR (1) KR102014285B1 (ko)

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101485022B1 (ko) * 2014-10-20 2015-01-21 에코아이넷 주식회사 행동 패턴 분석이 가능한 객체 추적 시스템 및 이를 이용한 방법
KR101523027B1 (ko) * 2014-12-31 2015-05-26 주식회사 리노아이엔씨 이동 통신 단말기를 활용한 침입 감지 시스템
KR20160068281A (ko) * 2014-12-05 2016-06-15 삼성에스디에스 주식회사 객체 인식 방법
KR20160099933A (ko) 2015-02-13 2016-08-23 대한민국(국민안전처 국립재난안전연구원장) 3차원 지형 지물을 고려한 cctv 가시권 분석방법
CN108668106A (zh) * 2017-03-28 2018-10-16 杭州海康威视数字技术股份有限公司 摄像机状态获取方法、摄像机及摄像机系统
KR101941660B1 (ko) * 2018-09-03 2019-01-24 렉스젠(주) 영상 처리 장치 및 그 방법
KR102039277B1 (ko) * 2018-12-07 2019-10-31 장승현 보행자 얼굴 인식 시스템 및 그 방법
WO2020101063A1 (ko) * 2018-11-13 2020-05-22 전자부품연구원 강화학습 기반 ptz 카메라 제어 시스템 및 방법
KR102183473B1 (ko) * 2020-07-22 2020-11-27 (주)대교씨엔에스 영상 모니터링 방법 및 장치
KR102211734B1 (ko) * 2020-08-28 2021-02-03 주식회사 문창 영상 보정 필터를 이용한 영상 감시 장치
KR102242693B1 (ko) * 2020-11-19 2021-04-26 (주)대교씨엔에스 Vms 기반의 모니터링 방법 및 장치
KR102242694B1 (ko) * 2020-11-19 2021-04-26 (주)대교씨엔에스 비디오 월을 이용한 모니터링 방법 및 장치
WO2021168289A1 (en) * 2020-02-21 2021-08-26 Nec Laboratories America, Inc. Tracking within and across facilities
KR20220104434A (ko) * 2021-01-18 2022-07-26 주식회사 씨제이이엔엠 인물 별 직캠 영상 제작 방법 및 서비스 서버
KR20220117491A (ko) * 2021-02-17 2022-08-24 한국전자통신연구원 재식별 방법 및 장치
CN115547031A (zh) * 2022-07-26 2022-12-30 北京万集科技股份有限公司 轨迹证据获取方法、电子设备及存储介质
KR20230095396A (ko) * 2021-12-22 2023-06-29 한국건설기술연구원 교통정보를 이용한 능동적 차량 감시 장치 및 방법
KR20230166346A (ko) * 2022-05-30 2023-12-07 포인드 주식회사 멀티속성기반의 객체 재인식 방법
WO2024233451A1 (en) * 2023-05-08 2024-11-14 Nec Laboratories America, Inc. Optimizing multi-camera multi-entity artificial intelligence tracking systems

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325180A (ja) * 1993-05-14 1994-11-25 Matsushita Electric Ind Co Ltd 移動体自動追跡装置
KR20080103586A (ko) * 2006-03-15 2008-11-27 오므론 가부시키가이샤 트래킹 장치, 트래킹 방법, 트래킹 장치의 제어 프로그램, 및 컴퓨터 판독 가능한 기록 매체
JP2009021983A (ja) * 2007-06-13 2009-01-29 Panasonic Corp 監視画像記録装置
KR100994722B1 (ko) 2008-08-01 2010-11-16 포항공과대학교 산학협력단 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법
JP2011170711A (ja) * 2010-02-19 2011-09-01 Toshiba Corp 移動物体追跡システムおよび移動物体追跡方法

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH06325180A (ja) * 1993-05-14 1994-11-25 Matsushita Electric Ind Co Ltd 移動体自動追跡装置
KR20080103586A (ko) * 2006-03-15 2008-11-27 오므론 가부시키가이샤 트래킹 장치, 트래킹 방법, 트래킹 장치의 제어 프로그램, 및 컴퓨터 판독 가능한 기록 매체
JP2009021983A (ja) * 2007-06-13 2009-01-29 Panasonic Corp 監視画像記録装置
KR100994722B1 (ko) 2008-08-01 2010-11-16 포항공과대학교 산학협력단 카메라 핸드오프를 이용한 다중 카메라상의 연속적인 물체추적 방법
JP2011170711A (ja) * 2010-02-19 2011-09-01 Toshiba Corp 移動物体追跡システムおよび移動物体追跡方法

Cited By (19)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR101485022B1 (ko) * 2014-10-20 2015-01-21 에코아이넷 주식회사 행동 패턴 분석이 가능한 객체 추적 시스템 및 이를 이용한 방법
KR20160068281A (ko) * 2014-12-05 2016-06-15 삼성에스디에스 주식회사 객체 인식 방법
KR101523027B1 (ko) * 2014-12-31 2015-05-26 주식회사 리노아이엔씨 이동 통신 단말기를 활용한 침입 감지 시스템
KR20160099933A (ko) 2015-02-13 2016-08-23 대한민국(국민안전처 국립재난안전연구원장) 3차원 지형 지물을 고려한 cctv 가시권 분석방법
CN108668106A (zh) * 2017-03-28 2018-10-16 杭州海康威视数字技术股份有限公司 摄像机状态获取方法、摄像机及摄像机系统
KR101941660B1 (ko) * 2018-09-03 2019-01-24 렉스젠(주) 영상 처리 장치 및 그 방법
WO2020101063A1 (ko) * 2018-11-13 2020-05-22 전자부품연구원 강화학습 기반 ptz 카메라 제어 시스템 및 방법
KR102039277B1 (ko) * 2018-12-07 2019-10-31 장승현 보행자 얼굴 인식 시스템 및 그 방법
WO2021168289A1 (en) * 2020-02-21 2021-08-26 Nec Laboratories America, Inc. Tracking within and across facilities
KR102183473B1 (ko) * 2020-07-22 2020-11-27 (주)대교씨엔에스 영상 모니터링 방법 및 장치
KR102211734B1 (ko) * 2020-08-28 2021-02-03 주식회사 문창 영상 보정 필터를 이용한 영상 감시 장치
KR102242693B1 (ko) * 2020-11-19 2021-04-26 (주)대교씨엔에스 Vms 기반의 모니터링 방법 및 장치
KR102242694B1 (ko) * 2020-11-19 2021-04-26 (주)대교씨엔에스 비디오 월을 이용한 모니터링 방법 및 장치
KR20220104434A (ko) * 2021-01-18 2022-07-26 주식회사 씨제이이엔엠 인물 별 직캠 영상 제작 방법 및 서비스 서버
KR20220117491A (ko) * 2021-02-17 2022-08-24 한국전자통신연구원 재식별 방법 및 장치
KR20230095396A (ko) * 2021-12-22 2023-06-29 한국건설기술연구원 교통정보를 이용한 능동적 차량 감시 장치 및 방법
KR20230166346A (ko) * 2022-05-30 2023-12-07 포인드 주식회사 멀티속성기반의 객체 재인식 방법
CN115547031A (zh) * 2022-07-26 2022-12-30 北京万集科技股份有限公司 轨迹证据获取方法、电子设备及存储介质
WO2024233451A1 (en) * 2023-05-08 2024-11-14 Nec Laboratories America, Inc. Optimizing multi-camera multi-entity artificial intelligence tracking systems

Also Published As

Publication number Publication date
KR102014285B1 (ko) 2019-11-04

Similar Documents

Publication Publication Date Title
KR102014285B1 (ko) 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법
JP7184148B2 (ja) 監視システム、管理装置および監視方法
JP5891061B2 (ja) 映像監視装置、監視システム、監視システム構築方法
JP4478510B2 (ja) カメラシステム、カメラ、及びカメラの制御方法
CN107766788B (zh) 信息处理装置、其方法和计算机可读存储介质
US9615015B2 (en) Systems methods for camera control using historical or predicted event data
KR20130130544A (ko) 감시 영상 표시 방법 및 시스템
CN106303390B (zh) 图像采集方法及其装置，图像传输方法及其装置
JP6807548B2 (ja) 処理装置、制御方法、プログラム、及びインターホンシステム
JP2012216102A (ja) 画像蓄積システム
KR20130068343A (ko) 지능적 다중 객체 추적 알고리즘 기반의 다중 ｐｔｚ 카메라 제어 시스템 및 방법
KR100967718B1 (ko) 물체인식 정보를 이용한 영상 보안시스템
KR20150019230A (ko) 복수의 카메라를 이용한 객체 추적 방법 및 장치
JP2012257021A (ja) 表示制御装置および方法、プログラム、並びに記録媒体
CN110633648A (zh) 一种自然行走状态下的人脸识别方法和系统
KR101332820B1 (ko) 객체 추적 시스템 및 방법, 객체관리장치 및 그 장치의 구동방법, 촬영장치 및 그 장치의 구동방법
JP6941458B2 (ja) 監視システム
JP2007067510A (ja) 映像撮影システム
JP2018170573A (ja) 監視システム
JP2006165729A (ja) 撮影プログラム、撮影方法及び撮影システム
JP2007208659A (ja) 連携カメラシステム

Legal Events

Date Code Title Description
PA0109 Patent application

St.27 status event code: A-0-1-A10-A12-nap-PA0109

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

R18-X000 Changes to party contact information recorded

St.27 status event code: A-3-3-R10-R18-oth-X000

PG1501 Laying open of application

St.27 status event code: A-1-1-Q10-Q12-nap-PG1501

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

P22-X000 Classification modified

St.27 status event code: A-2-2-P10-P22-nap-X000

A201 Request for examination
PA0201 Request for examination

St.27 status event code: A-1-2-D10-D11-exm-PA0201

D13-X000 Search requested

St.27 status event code: A-1-2-D10-D13-srh-X000

D14-X000 Search report completed

St.27 status event code: A-1-2-D10-D14-srh-X000

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

St.27 status event code: A-1-2-D10-D21-exm-PE0902

T11-X000 Administrative time limit extension requested

St.27 status event code: U-3-3-T10-T11-oth-X000

E13-X000 Pre-grant limitation requested

St.27 status event code: A-2-3-E10-E13-lim-X000

P11-X000 Amendment of application requested

St.27 status event code: A-2-2-P10-P11-nap-X000

P13-X000 Application amended

St.27 status event code: A-2-2-P10-P13-nap-X000

E701 Decision to grant or registration of patent right
PE0701 Decision of registration

St.27 status event code: A-1-2-D10-D22-exm-PE0701

GRNT Written decision to grant
PR0701 Registration of establishment

St.27 status event code: A-2-4-F10-F11-exm-PR0701

PR1002 Payment of registration fee

St.27 status event code: A-2-2-U10-U11-oth-PR1002

Fee payment year number: 1

PG1601 Publication of registration

St.27 status event code: A-4-4-Q10-Q13-nap-PG1601

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 4

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 5

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 6

R18-X000 Changes to party contact information recorded

St.27 status event code: A-5-5-R10-R18-oth-X000

PR1001 Payment of annual fee

St.27 status event code: A-4-4-U10-U11-oth-PR1001

Fee payment year number: 7

U11 Full renewal or maintenance fee paid

Free format text: ST27 STATUS EVENT CODE: A-4-4-U10-U11-OTH-PR1001 (AS PROVIDED BY THE NATIONAL OFFICE)

Year of fee payment: 7