KR20200053474A - 정보처리시스템 - Google Patents

정보처리시스템 Download PDF

Info

Publication number
KR20200053474A
KR20200053474A KR1020207004259A KR20207004259A KR20200053474A KR 20200053474 A KR20200053474 A KR 20200053474A KR 1020207004259 A KR1020207004259 A KR 1020207004259A KR 20207004259 A KR20207004259 A KR 20207004259A KR 20200053474 A KR20200053474 A KR 20200053474A
Authority
KR
South Korea
Prior art keywords
nice
capture device
information
image
specific object
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
KR1020207004259A
Other languages
English (en)
Inventor
요시노리 오오타
Original Assignee
소니 세미컨덕터 솔루션즈 가부시키가이샤
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by 소니 세미컨덕터 솔루션즈 가부시키가이샤 filed Critical 소니 세미컨덕터 솔루션즈 가부시키가이샤
Publication of KR20200053474A publication Critical patent/KR20200053474A/ko
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H04N5/23206—
    • H04N5/23216—
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

[과제]복수의 영상으로부터, 영상에 포함되는 대상의 움직임을 추정한다.
[해결 수단]본 개시에 의하면, 복수의 촬상 장치와, 복수의 상기 촬상 장치로부터 영상정보를 취득하는 서버를 구비하는 시스템으로서, 상기 서버는, 상기 영상정보로부터 특정의 대상을 인식하는 대상 인식부와, 상기 영상정보에 기초하여 얻어지는 상기 특정의 대상의 움직임을 추정하는 추정부를 갖는, 정보처리시스템이 제공된다.

Description

정보처리시스템
본 개시는, 정보처리시스템에 관한 것이다.
종래, 예를 들면 하기의 특허문헌 1에는, 복수의 감시 카메라와, 감시 카메라가 촬영한 영상을 기록하는 레코더를 구비하고, 레코더는 감시 카메라로부터 수신한 영상에 따라 각 감시 카메라의 개별 설정값을 결정하는 감시 카메라 시스템이 기재되어 있다.
특허문헌 1: 일본공개특허공보 특개2018-121163호 공보
최근에 있어서는, 도시부 등에서 감시 카메라가 보급되고 있고, 감시 카메라의 영상으로부터 다양한 대상에 관한 정보가 취득 가능해지고 있다. 예를 들면, 감시 카메라의 화상으로부터 수상한 사람이나 수상한 차량 등의 특정이 가능하기 때문에, 감시 카메라는 범죄의 조기해결과 억제 효과의 일역을 담당하고 있다.
그러나, 움직임이 있는 대상(예를 들면, 수상한 사람)을 특정하고자 한 경우, 하나의 감시 카메라 영상으로부터 대상을 특정할 수 있었다 하더라도, 그 후의 대상의 이동을 특정하는 것에는 어려움이 따른다.
이에, 복수의 영상으로부터, 영상에 포함되는 대상의 움직임을 추정하는 것이 요구되고 있었다.
본 개시에 의하면, 복수의 촬상 장치와, 복수의 상기 촬상 장치로부터 영상정보를 취득하는 서버를 구비하는 시스템으로서, 상기 서버는 복수의 상기 촬상 장치로부터 취득한 상기 영상정보의 시각을 동기하는 동기부와, 상기 영상정보로부터 특정의 대상을 인식하는 대상 인식부와, 상기 영상정보에 기초하여 얻어지는 상기 특정 대상의 움직임을 추정하는 추정부를 갖는, 정보처리시스템이 제공된다.
이상 설명한 바와 같이 본 개시에 의하면, 복수의 영상으로부터, 영상에 포함되는 대상의 움직임을 추정할 수 있다.
또한, 상기의 효과는 반드시 한정적인 것이 아니며, 상기의 효과와 함께, 또는 상기의 효과에 대신하여, 본 명세서에 개시된 어떠한 효과, 또는 본 명세서로부터 파악될 수 있는 다른 효과가 얻어져도 된다.
도 1은 NICE 시스템(서버)과 NICE 캡쳐 디바이스의 전체를 나타내는 모식도이다.
도 2는 NICE디바이스에 대한 요구 사양을 나타내는 모식도이다.
도 3은 NICE 캡쳐 디바이스를 나타내는 모식도이다.
도 4는 실시간(real time)에서의 대상의 추적을 설명하기 위한 모식도이다.
도 5는 실시간에서의 대상의 추적을 설명하기 위한 모식도이다.
도 6은 실시간에서의 대상의 추적을 설명하기 위한 모식도이다.
도 7은 실시간에서의 대상의 추적을 설명하기 위한 모식도이다.
도 8은 기록된 영상으로부터의 대상의 추적을 설명하기 위한 모식도이다.
도 9는 기록된 영상으로부터의 대상의 추적을 설명하기 위한 모식도이다.
도 10은 기록된 영상으로부터의 대상의 추적을 설명하기 위한 모식도이다.
도 11은 기록된 영상으로부터의 대상의 추적을 설명하기 위한 모식도이다.
도 12는 기록된 영상으로부터의 대상의 추적을 설명하기 위한 모식도이다.
도 13은 영상기록 포맷의 예를 나타내는 모식도이다.
도 14는 NICE 시스템을 구성하는 서버의 구성예를 나타내는 모식도이다.
도 15는 데이터베이스에 저장된 정보 중, NICE 캡쳐 디바이스에 관계되는 카메라 데이터베이스의 정보를 나타내는 모식도이다.
도 16은 NICE 시스템의 영상 데이터베이스의 정보를 나타내는 모식도이다.
도 17은 대상의 위치를 추정하는 수법을 설명하기 위한 모식도이다.
도 18은 대상의 위치를 추정하는 수법을 설명하기 위한 모식도이다.
도 19는 대상의 위치를 추정하는 수법을 설명하기 위한 모식도이다.
도 20은 사용자가 NICE 프레젠테이션 디바이스(300)의 화면을 조작하여 대상(10)을 특정하고 있는 모습을 나타내는 모식도이다.
도 21은 NICE 캡쳐 디바이스와 NICE 프레젠테이션 디바이스가 NICE 시스템에 접속된 모습을 나타내는 모식도이다.
도 22는 카메라 모듈에 포함되는 광학 렌즈를 나타내는 모식도이다.
도 23은 NICE 캡쳐 디바이스의 다른 구성예를 나타내는 모식도이다.
도 24는 NICE 캡쳐 디바이스, NICE 프레젠테이션 디바이스, NICE 시스템의 구체적인 구성예를 나타내는 모식도이다.
이하에 첨부 도면을 참조하면서, 본 개시의 바람직한 실시형태에 대해 상세히 설명한다. 한편, 본 명세서 및 도면에 있어서, 실질적으로 동일한 기능 구성을 가진 구성요소에 대해서는, 동일한 부호를 붙여 중복 설명을 생략한다.
한편, 설명은 이하의 순서로 하는 것으로 한다.
1. NICE 시스템의 컨셉트
2. NICE 시스템의 개요
2.1. NICE 워쳐(watcher)
2.2. NICE 체이서(chaser)
2.3. NICE 3D월드
3. NICE 캡쳐 디바이스의 개요
3.1. NICE 캡쳐 디바이스의 구성예
4. NICE 시스템(서버)의 구성예
1. NICE 시스템의 컨셉트
본 실시 형태에 관한 NICE 시스템(Network of Intelligent Camera Ecosystem)은, 대상(오브젝트)의 트래킹과 해석, 3D맵, 영상 또는 화상의 검색과 해석을 행하는 서비스를 제공하는 시스템이다. 이를 실현하기 위해, 시스템은 카메라 시스템과 접속된다. 본 실시 형태에서는, 카메라 시스템을 NICE 캡쳐 디바이스라고 칭한다. 상정할 수 있는 NICE 캡쳐 디바이스는, 도시에 있어서의 감시 카메라, 스마트 홈의 방범 카메라, 웨어러블 카메라, 드론 및 대쉬보드 카메라 등이다.
도 1은, NICE 시스템(서버)(200)과 NICE 캡쳐 디바이스(촬상 장치)(100)로 이루어지는 정보처리 시스템의 전체 구성을 나타내는 모식도이다. 바람직하게, NICE 시스템(200)은 클라우드 서버로 구성되고, NICE 시스템(200)과 NICE 캡쳐 디바이스(100)로부터, 본 실시 형태에 관한 정보처리 시스템이 구성된다.
NICE 시스템(200)은, 대상을 캡쳐하기 위해, SLAM(Simultaneously Localization and Mapping)과 같은 3D맵을 만들기 위해, 씬(scene)을 해석하기 위해 NICE 캡쳐 디바이스(100)를 제어한다. 또한, NICE 시스템(200)은, 대상을 추적하기 위해, 3D맵을 작성하기 위해, 영상을 검색하기 위해서 씬 안에 메타 데이터를 만들기 위해, NICE 캡쳐 디바이스(100)로 촬영되어 기록된 영상의 후처리를 행할 수 있다. 도 1에 도시한 바와 같이, 각 NICE 캡쳐 디바이스(100) 간에는, 뎁스(depth) 정보를 획득하기 위해 동기 처리가 행해진다. 또한, 각 NICE 캡쳐 디바이스(100)는, 이벤트(事象)을 해석하기 위해, 같은 시각에 다른 스펙트럼에서 같은 씬의 영상을 획득한다. GPS(Global Positioning System)가 절대 위치와 절대 시간의 정보를 제공하고, LPWA(Low Power Wide Area) 시스템은 각 NICE 캡쳐 디바이스(100)의 위치가 취득 가능하도록 되어 있다.
도 2는, NICE 디바이스에 대한 요구 사양을 나타내는 모식도이다. NICE 시스템(200)은, NICE 캡쳐 디바이스(100)를 이용하여, 대상(10)의 위치, 방향, 속도 등을 추정한다. NICE 캡쳐 디바이스(100)는, 무선 통신에 의해, 영상 데이터, 음성 데이터, 센서 데이터를 NICE 시스템(100)으로 송신한다.
도3은, NICE 캡쳐 디바이스(100)를 나타내는 모식도이다. 서비스를 효율적으로 하기 위해, NICE 캡쳐 디바이스(100)는, GPS로부터 절대 시간과 절대 위치를 얻는 센서 등을 가지고 있다. 또한, NICE 캡쳐 디바이스(100)는, 세계 축(world axis)에 기초하는 촬영 방향을 얻기 위해 AHRS와 같은 계측 시스템을 가지고 있다. 또한, NICE 캡쳐 디바이스(100)는, ToF 센서 등의 대상까지의 거리를 측정하는 센서를 구비하고 있다. 한편, NICE 캡쳐 디바이스(100)의 상세한 구성은, 후술한다.
NICE의 사양서에서는, 효율적으로 대상을 측정하고, 캡쳐하기 위해, NICE 캡쳐 디바이스(100)의 시스템을 정의한다. 예를 들면, 이미지 센서와 렌즈의 능력, 팬/틸트/줌의 결정, 바른 촬영 방향을 얻기 위한 합리적인 제어의 결정, IMU의 정확성 등을 정의한다.
또한, NICE 시스템(200)은, NICE 캡쳐 디바이스(100)를 제어하기 위해, 그리고, 축적된 많은 영상을 취급하기 위한 유저 인터페이스를 정의한다. 이는, NICE 사양이, NICE 시스템과 상호 작용하는 표시 시스템을 정의하는 것을 의미한다. NICE 시스템을 위한 표시 시스템은, 본 명세서에 있어서, NICE 프레젠테이션 디바이스(300)라고 칭한다. NICE 프레젠테이션 디바이스(300)로서, 한 손으로 쥘 수 있는 스마트폰과 같은 컴퓨터, VR 시스템, AR 시스템과 같은 헤드 마운트 디스플레이 등을 상정한다. NICE 프레젠테이션 디바이스(300)의 사양서는, 그 디바이스와 유저 인터페이스의 시스템을 정의한다. 도 21은, NICE 캡쳐 디바이스(100)와 NICE 프레젠테이션 디바이스(300)가 NICE 시스템(200)에 접속된 모습을 나타내는 모식도이다. NICE 프레젠테이션 디바이스(300)는, 피어 투 피어(peer-to-peer) 통신에 의해, NICE 캡쳐 디바이스(100)로부터 영상 스트림을 직접 취득해도 된다. 또한, 도 24는, NICE 캡쳐 디바이스(100), NICE 프레젠테이션 디바이스(300), NICE 시스템(200)의 구체적인 구성예를 나타내는 모식도이다.
NICE 시스템(200)은, NICE 캡쳐 디바이스(100)와 NICE 프레젠테이션 디바이스(300)를 제어한다. 한편, 대기 시간이 없는 것이 요구되는 사용 케이스(use-case)에서는, NICE 프레젠테이션 디바이스(300)는, NICE 캡쳐 디바이스(200)를 직접 제어할 수 있다. 그리고, 복수의 NICE 캡쳐 디바이스(200)는, 관계하는 위치를 적절히 조정하기 위해, 통신을 행할 수 있다. 드론 카메라를 고려하면, 지연 없이 다수의 드론 간의 편대 비행을 작성하는 것이 매우 중요하다.
2. NICE 시스템의 개요
NICE 시스템(200)은, 주로, 각 영상 프레임에 임베디드된(embedded) 절대적인 시간/위치/방향의 정보를 취급한다. 절대적인 시간/위치/방향을 수반하는 픽처(화상)에 의하면, 새로운 애플리케이션의 엄청난 변형(variations)을 이해 가능하게 되고, 시스템의 기술적 요구를 명확하게 한다. 이 사양은, 이하의 3개의 주된 사용 케이스의 애플리케이션에 적용된다.
[NICE 워쳐(watcher)]복수의 NICE 캡쳐 디바이스(100)에 의해 대상을 트래킹함
[NICE 체이서(chaser)]특정된 대상의 행동을 해석함으로써, 영상을 검색함
[NICE 3D월드]복수의 NICE 캡쳐 디바이스(100)에 의해 3D맵을 작성함.
이하에서는, 이들이 어떠한 애플리케이션인지, 어떻게 NICE 시스템(200)이 작동하는지에 대해 설명한다.
2.1. NICE 워쳐
NICE 워쳐는, 복수의 NICE 캡쳐 디바이스(100)에 의해 대상을 추적하는 애플리케이션이다. NICE 워쳐는, NICE 캡쳐 디바이스(100)가 존재하는 한, 움직이고 있는 대상을 추적한다. 복수의 NICE 캡쳐 디바이스(100)를 제어하는 단계를 이하에 나타낸다.
A) 사용자가, NICE 프레젠테이션 디바이스(300)에 의해 타겟이 되는 대상(10)을 특정한다. 도 20은, 사용자가 NICE 프레젠테이션 디바이스(300)의 화면을 조작하여 대상(10)을 특정하고 있는 모습을 나타내는 모식도이다. 예를 들면, NICE 프레젠테이션 디바이스(300)가 터치패널을 구비함으로써 사용자는 화면 상에 표시된 대상(10)을 터치패널 조작에 의해 특정할 수 있다.
B) NICE 시스템(200)이, 자신으로부터 대상(10)까지의 대강의 거리를 ToF 센서 등의 센서를 이용해서 측정한다. NICE 시스템(200)은 이미 자신의 위치와 촬영 방향을 알고 있고, 대상(10)까지의 거리가 판명된 시점에서 대상(10)의 위치와 높이를 계산한다.
C) NICE 시스템(200)은, 대상(10)의 위치를 결정하고, 확실한 거리의 범위에서 자유로운 NICE 캡쳐 디바이스(100)를 발견한다.
NICE 시스템(200)은 NICE 캡쳐 디바이스(100)로부터 위치 정보를 취득함으로써, 이미 모든 NICE 캡쳐 디바이스(100)의 위치를 알고 있다. 대상(10)을 발견한 NICE 캡쳐 디바이스(100)의 위치와 대상(10)까지의 확실한 거리를 인식함으로써, NICE 시스템(200)은 대상(10)을 추적 가능한 다른 NICE 캡쳐 디바이스(100)를 발견할 수 있다.
D) NICE 시스템(200)은, 모든 NICE 캡쳐 디바이스(100)를 동시에 제어하고, 프레임마다의 대상(10)의 움직임에 따라 대상(10)을 추적한다.
NICE 시스템(200)은, 대상(10)의 이동 방향과 속도를 계산하기 위해 복수의 NICE 캡쳐 디바이스(100)에 의해 다른 씬을 획득한다. NICE 시스템(200)은, 대상(10)을 캡쳐하는 모든 NICE 캡쳐 디바이스(100)를 순조롭게 제어하기 위해 대상(10)의 다음 위치를 추정한다.
E) NICE 시스템(200)은, 대상(10)의 움직임을 따라, NICE 캡쳐 디바이스(100)의 그룹을 관리한다.
NICE 시스템(200)은, NICE 캡쳐 디바이스(100)로서 고정된 디바이스와 드론과 같은 모바일 디바이스를 관리한다. 드론 카메라는 위치에 무관계한 대상을 추적하기 위해서, NICE 시스템(200)에 의해 제어된다.
NICE 워쳐는, 번거로운 사용자의 오퍼레이션을 제외하여, 효율적인 대상의 추적 방법을 제공한다.
이하에서는, 도 4~도 7에 기초하여, 실시간에서의 대상(10)의 추적에 대해 설명한다. 또한, 도 4~도 7에 있어서, 대상(10)은 지표로부터 소정의 높이에 존재하는 것이라고 하고, 대상(10)을 지표에 투영한 위치를 ×표시로 나타내고 있다. 도 4에 도시된 바와 같이, 먼저 사용자가 NICE 프레젠테이션 디바이스(300)를 이용해서 타겟이 되는 대상(10)을 특정한다. 그러면, NICE 시스템(200)이 임의의 NICE 캡쳐 디바이스(100)를 모니터하여, 대상(10)까지의 거리를 측정하도록 NICE 캡쳐 디바이스(100)에 지령을 내린다. NICE 캡쳐 디바이스(100)는, 자신이 구비하는 TOF 센서 등을 이용하여 대상(10)의 대략적인 장소(대상(10)까지의 거리)를 측정한다. NICE 캡쳐 디바이스(100)의 위치와 대상(10)까지의 거리가 NICE 시스템(200)에 보내짐으로써, NICE 시스템(200)의 인식 엔진이 대상(10)을 포착하고, 대상(10)의 대략 위치를 인식한다(1차 스캔).
다음으로, 도 5에 도시된 바와 같이, NICE 시스템(200)이, 대상(10)의 대략적인 위치를 중심으로 한 에리어(도 5 중 파선으로 도시함)에 존재하는 다른 NICE 캡쳐 디바이스(100)의 제어권을 취득한다.
다음으로, 도 6에 도시된 바와 같이, NICE 시스템(200)이, 각 NICE 캡쳐 디바이스(100)가 촬영한 영상에 기록된 각 프레임을 절대시간으로 시각 동기시켜, 각 프레임의 위도, 경도, 고도, 촬영 방향과 오브젝트 인식에 의한 대상(10)의 움직임을 프레임 사이에서 예측하고, 다음 위치를 추정한다. 추정한 결과는 사용자의 NICE 프레젠테이션 디바이스(300)에 송신되어, 사용자에게 피드백된다.
또한, 도 7에 도시된 바와 같이, NICE 시스템(200)은, NICE 캡쳐 디바이스(100)가 고정 카메라인 경우는, 대상(10)의 다음 위치를 예측한 후, 대상(10)의 다음 위치의 주변에 있는 NICE 캡쳐 디바이스(100)의 제어권을 취득하고, 같은 처리를 반복한다. 또한 NICE 캡쳐 디바이스(100)가 드론 등의 이동체인 경우는, 대상(10)을 추적하도록 제어를 행한다.
2.2. NICE 체이서
NICE 체이서는, NICE 캡쳐 디바이스(100)에 의해 촬영된 영상을 검색하기 위한 애플리케이션이다. NICE 체이서는, 사용자가 지정한 대상(10)이 자동적으로 촬영된 영상을 담는 기능을 제공한다. 영상을 검색하는 단계를 이하에 나타낸다.
A) 사용자가 NICE의 포맷의 영상으로부터 대상(10)을 판별한다.
B) NICE 시스템(200)이 영상으로부터 시각과 위치를 판별한다.
C) NICE 시스템(200)이 시각과 위치에 기초하여, 다른 NICE 캡쳐 디바이스(100)에 의해 촬영된 영상을 검색한다.
D) NICE 시스템(200)이, 모아진 영상으로부터 대상(10)의 정확한 위치와 그 움직임을 해석하고, 대상(10)의 방향을 판별한다.
E) 영상을 모음으로써, 대상(10)의 위치와 방향에 기초하여 대상(10)을 검색한 NICE 시스템(200)이 대상을 다시 해석한다.
이상과 같이 하여, NICE 체이서는, NICE 캡쳐 디바이스(100)에 의해 촬영된 추적 대상을 위한 효과적인 영상검색 방법을 제공한다.
이하에서는, 도 8~도 11에 기초하여, 기록된 영상으로부터의 대상의 추적을 설명한다. 도 8에 도시된 바와 같이, 사용자가 NICE 프레젠테이션 디바이스(300)를 이용하여, 기록된 영상으로부터 특정한 대상(10)을 지정한다. NICE 시스템(200)은, 물체 인식에 의해 대상(10)을 특정한다.
도 9에 도시된 바와 같이, NICE 캡쳐 디바이스(100)가 촬영한 영상(20) 내의 프레임에 기록된, 대상(10)의 위치, 시간, 촬영 방향에 기초하여, 근접한 카메라로 촬영된, 지정한 대상(10)을 촬영하고 있는 영상(20)을 픽업한다. 한편, 도 9에 있어서, 각 영상(20)이 나타난 위치는, 각 영상(20)을 촬영한 NICE 캡쳐 디바이스(100)의 위치를 나타내고 있다.
도 10에 도시된 바와 같이, 각각의 영상(20)을, 기록된 절대시간에 기초하여 시각 동기시킨다. 그리고, NICE 시스템(200)은 복수의 영상(20)에 기록된 대상(10)의 위치, 촬영 방향에 기초하여, 대상(10)의 위치, 높이를 추정하고, 화상 인식에 의해 특정한 대상(10)의 이동 방향을 계산하고, 대상(10)의 다음 장소를 추정한다.
도 11에 도시된 바와 같이, 대상(10)의 다음 추정 위치, 시각이 판명되면, 그 주변에서 대상(10)을 촬영하고 있는 영상(20)을 픽업하고, 같은 처리를 반복하여 대상(10)을 추적한다.
2.3. NICE 3D 월드
NICE 3D 월드는, NICE 캡쳐 디바이스(100)에 의해 자유시점 영상(3D월드)을 작성하기 위한 애플리케이션이다. 사용자가 대상(10)의 위치를 일단 특정하면, NICE 시스템(200)이 특정된 위치의 주변 NICE 캡쳐 디바이스(100)를 모은다. 그리고, NICE 프레젠테이션 디바이스(300)로 시인 가능하도록 자유시점 영상을 작성한다. 자유시점 영상을 작성하는 단계는 아래와 같다.
A) 사용자가, 예시를 위해, NICE 프레젠테이션 디바이스(300) 상에서 맵을 지정함으로써 위치와 시각을 결정한다.
B) NICE 시스템(200)이, 지정된 위치의 주변에 NICE 캡쳐 디바이스(100)를 모은다. 그리고, NICE 캡쳐 디바이스(100)가, 지정된 위치의 주변에서 촬영된 영상의 씬을 얻는다.
NICE 캡쳐 디바이스는, 3D맵을 효율적으로 작성하기 위해, 광각을 얻기 위한 특별한 모드로 씬을 획득한다. 한편, 각 NICE 캡쳐 디바이스(100)의 능력과 특성은 다르다. 각 화상을 맵으로 하여 3D월드로 하기 위해, NICE 시스템(200)은, FOV 또는 각 씬의 디스토션을 보정한다. 이 때문에, NICE 캡쳐 디바이스(100)는, 그 능력 또는 특성을 NICE 시스템(200)에 송신한다.
C) NICE 시스템(200)은, NICE 캡쳐 디바이스(100)에 의해 획득된 씬을 해석하고, 그 장소에 있어서의 자유시점 영상을 작성한다.
D) 사용자가 지정하는 위치를 변경하면, NICE 시스템(200)이, 지정된 위치에 따라, NICE 캡쳐 디바이스(100)를 다시 수집하여, 자유시점 영상을 다시 작성한다.
NIDE 3D월드는, 실시간으로 자유시점 영상을 제공한다. NIDE 3D월드는, 자유시점 영상을 통해, 사용자가 온 세계의 어디라도 가상적으로 이동하는 것을 가능하게 한다.
3. NICE 캡쳐 디바이스의 개요
NICE 캡쳐 디바이스(100)는, NICE월드를 인식시키기 위해, 자신에 장착된 센서로부터 모아진 정보를, 네트워크를 통해 다른 장치에 송신한다. 예를 들면, 송신되는 데이터는 RGB 컬러 화상, 자신의 위치 정보, 뎁스 맵, 서모그래프 맵, 음성, GPS에 의해 측정된 위치, 기압, 기온, 거동, 이동 속도, 가속도 등을 포함한다.
지능적인 NICE 캡쳐 디바이스(100)의 경우, 획득한 데이터를 보다 취급하기 쉬운 정보로 송신하기 위해 해석을 수행한다. 이 정보는, 범위, 대상의 타입, 좌표, 이동 속도, 이동 방향, 색, 인물의 얼굴 표정, 인물의 식별, 차의 넘버, 사람의 수, 등이다.
또한, 몇 가지의 NICE 캡쳐 디바이스(100)는, LED 라이트, PTZ 제어, 발음의 경고 등의 액티브한 기능을 갖추고 있다. NICE 캡쳐 디바이스(100)는, 기본적으로 취득한 정보를 NICE 시스템(100)에 송신하는 기능을 갖지만, 한편, NICE 캡쳐 디바이스(100)는, 쌍방향의 통신 기능을 갖추고 있어도 된다.
NICE 캡쳐 디바이스(100)는, 감시 카메라, 홈 방범 카메라, 홈 오토메이션의 핵심인 스마트 홈 에이전트, 웨어러블 카메라, 드론, 자동차의 대쉬보드 카메라 등이 다양한 타입의 시스템으로 구성된다.
여기에서는, NICE 시스템(200)에 송신하기 위한, NICE 캡쳐 디바이스(100)와, 그 데이터 포맷을 정의한다. 또한, 후술하는 장에서는, NICE 시스템(200)에 의해 추측되는 각 디바이스를 위한 시스템 프로파일을 정의한다.
NICE 캡쳐 디바이스(100)의 중심 기능은, 센서 퓨전과 카메라의 조합이다. 이는, NICE 캡쳐 디바이스(100)는, 네트워크 카메라와, 본 실시 형태에 따른 NICE 캡쳐 디바이스(100)의 양쪽으로서 작동하는 것을 의미한다. ONVIF(Open Network Video Interface Forum)에 기초하여, NICE 캡쳐 디바이스(100)가 기존의 네트워크에 접속하는 경우, 그것은 ONVIF카메라로서도 작동한다. 한편, NICE 캡쳐 디바이스(100)가 NICE 시스템(200)에 접속할 경우, 그것은 상술한 바와 같은 NICE 캡쳐 디바이스(100)로서 작동한다.
정확한 제어를 이해하기 위해, NICE 캡쳐 디바이스(100)의 참고 시스템은, 이들의 컴포넌트의 능력을 정의한다. 그리고, 그 데이터 포맷은, 현재의 네트워크 카메라의 기술과의 공동 이용성을 유지하기 위해, ONVIF에 기초하여 정의된다.
NICE 캡쳐 디바이스(100)는, 화상뿐만 아니라, 각 프레임의 절대적인 시각/위치/방향과 같은 화상에 관계되는 메타 데이터를 획득한다. 이들 데이터를 얻는 방법은 복수 존재하기 때문에, 시스템은 애플리케이션의 특성에 따라 다르다. 예를 들면, 감시 카메라의 경우, NICE 캡쳐 디바이스(100)의 위치는 고정되기 때문에, 고정된 위치의 정보를 보유지지함으로써, GPS 리시버 같은 위치 센서를 필요 없게 할 수도 있다.
3.1. NICE 캡쳐 디바이스의 구성예
도 12는, NICE 캡쳐 디바이스(100)의 구성을 나타내는 블록도이다. 도 12에 도시된 바와 같이, NICE 캡쳐 디바이스(100)는, 카메라 모듈(102), 측거 센서(104), IMU(Inertial Mmeasurement Uunit)(106), 제어부(120), GPS(108), 통신 모듈(110)을 가진 구성으로 되어 있다.
카메라 모듈(102)은, 기본적으로는, CMOS센서 등의 촬상 소자와 광학렌즈에 의해 구성되는, 카메라의 촬영 조건(팬, 틸트, 줌 위치, 포커스 위치)을 제어하는 모듈을 포함한다. 도 22는, 카메라 모듈(102)에 포함되는 광학렌즈를 나타내는 모식도이다. 광학렌즈의 제원과, 포커스 위치에 기초하여, 대상(10)까지의 거리를 취득할 수 있다. 또한, 광학렌즈의 제원과, 광축으로부터의 대상(10)의 어긋남량에 기초하여, 촬영 방향에 대한 대상(10)의 위치 어긋남량을 구할 수 있다. 측거 센서(104)는, ToF 센서 등의 센서이며, 대상(10)까지의 거리를 계측한다. 카메라 모듈(102)이 스테레오 카메라로 구성되는 경우는, 좌우 화상의 시차에 기초하여 대상(10)까지의 거리를 구할 수도 있다. 또한, 이렇게 하여 얻어지는, NICE 캡쳐 디바이스(100)에 대한 대상(10)의 위치와, NICE 캡쳐 디바이스(100)의 위치에 기초하여, 대상(10)을 구할 수 있다. 또한, 대상(10)까지의 거리정보에 기초하여, 뎁스 맵이 작성된다.
제어부(120)는, NICE 캡쳐 디바이스(100)의 전체를 제어하는 구성요소이며, 취득한 화상정보, 카메라의 촬영 조건, 센서 정보, 대상(10)까지의 거리 정보 등을, 통신 모듈(110)을 통해 NICE 시스템(100)에 무선으로 송신시키는 기능을 갖는다. 또한, 무선통신의 방식, 무선 네트워크의 종류에 대해서는, 특히 한정되는 것은 아니며, 기존의 다양한 것을 적용할 수 있다. 도 23은, NICE 캡쳐 디바이스(100)가 다른 구성예를 나타내는 모식도이다. 도 23에 도시된 바와 같이, NICE 캡쳐 디바이스(100)는, 자신을 이동하기 위한 구동력을 발생시키는 모터(121, 122), 음성을 취득하는 마이크로폰을 더 구비하고 있어도 된다. 또한 카메라 모듈(102)에는, 팬·틸트, 줌 위치, 포커스 위치를 조정하기 위한 액츄에이터(112)가 구비되어 있어도 된다. 이들 모터(121, 122), 액츄에이터(112)는, NICE 시스템(200)의 카메라 제어부(206)로부터 보내지는 제어 지령에 기초하여 제어된다. 제어 지령에 포함되는 대상(10)의 위치에 기초하여, NICE 캡쳐 디바이스(100)가 대상(10)을 촬영하도록, 팬, 틸트, 줌 위치, 포커스 위치가 조정되거나, 또는 NICE 캡쳐 디바이스(100)가 대상(10)을 추종하도록 제어가 행해진다.
도 13은, 영상기록 포맷의 예를 나타내는 모식도이다. 구체적으로, 도 13은, NICE 캡쳐 디바이스(100)가 기록한 영상기록 포맷의 영상 데이터 프레임과, 영상 데이터 프레임에 대응하여 기록된 촬영 절대 시각, NICE 캡쳐 디바이스(100)의 절대 위치, NICE 캡쳐 디바이스(100)의 촬영 방향의 정보를 나타내고 있다. 도 13에 도시된 바와 같이, 영상의 프레임마다, 각 프레임에 대응하는 촬영 절대 시각, 절대 위치, 촬영 방향이 기록된다. 도 13에 나타내는 영상기록 포맷은, NICE 캡쳐 디바이스(100)로부터 NICE 시스템(200)에 송신된다.
4. NICE 시스템(서버)의 구성예
도 14, 도 15, 도 16은, NICE 시스템(200) 측의 요소를 나타내는 모식도이다. 도 14는, NICE 시스템(200)을 구성하는 서버의 구성예를 나타내는 모식도이다. 도 16에 도시된 바와 같이, NICE 시스템(200)은, 비디오 동기부(202), 대상 인식부(204), 카메라 제어부(206), 대상 위치 추정부(208), 데이터베이스(210)를 가지고 구성되어 있다.
비디오 동기부(202)는, 도 6에 도시된 바와 같이, 각 NICE 캡쳐 디바이스(100)가 촬영한 영상에 기록된 각 프레임을 절대시간으로 시각 동기시키는 처리를 행한다. 대상 인식부(204)는, 각 NICE 캡쳐 디바이스(100)가 촬영한 영상에 기록된 각 프레임을 검색하고, 각 프레임 안에서 사용자가 지정한 대상(10)을 인식하는 처리를 한다. 대상 인식부(204)는, 예를 들면, 도 20에 도시된 바와 같이 사용자가 대상(10)을 특정한 경우에, 특정된 화상의 특징량을 인식하고, 영상의 각 프레임과 매칭을 행함으로써, 대상(10)을 인식하고, 대상(10)의 위치를 특정한다. 상술한 바와 같이, NICE 캡쳐 디바이스(100)와 대상(10)과의 상대적인 위치와, NICE 캡쳐 디바이스(100)의 위치에 기초하여, 대상(10)의 위치를 특정할 수 있다. 카메라 제어부(206)는, NICE 캡쳐 디바이스(100)에 제어 지령을 송신하고, NICE 캡쳐 디바이스(100)의 특히 카메라 모듈(102)을 제어한다. 구체적으로, 카메라 제어부(206)는, 대상(10)의 주위에 위치하는 NICE 캡쳐 디바이스(100)의 제어권을 획득하고, NICE 캡쳐 디바이스(100)가 대상(10)을 촬영하도록 제어한다. 또한, 카메라 제어부(206)는, NICE 캡쳐 디바이스(100)가 드론 등의 이동체인 경우는, 대상(10)의 움직임에 따라, NICE 캡쳐 디바이스(100)를 이동시킨다. 대상 위치 추정부(208)는, 절대시간이 시각 동기된 각 프레임의 위도, 경도, 고도, 촬영 방향에 기초하여, 대상(10)의 움직임을 프레임 사이에서 예측하고, 대상(10)의 다음 위치를 추정한다.
데이터베이스(210)에는, 각종 데이터가 저장되어 있다. 도 15는, 데이터베이스(210)에 저장된 정보 가운데, NICE 캡쳐 디바이스(100)에 관계되는 카메라 데이터베이스의 정보를 나타내는 모식도이다. 도 15에 도시된 바와 같이, 카메라 데이터베이스에는, 각 카메라(NICE 캡쳐 디바이스(100))의 현재 위치의 정보가 저장되어 있다. NICE 캡쳐 디바이스(100)가 드론 등의 이동체인 경우, 카메라 데이터베이스에 저장된 현재 위치의 정보는, NICE 캡쳐 디바이스(100)로부터 송신되는 위치 정보에 따라 순차적으로 갱신된다.
또한 도 16은, NICE 시스템(200)의 영상 데이터베이스의 정보를 나타내는 모식도이다. 도 16에 나타내는 정보는, NICE 캡쳐 디바이스(100)부터 도 13에 나타내는 정보를 수취함으로써 얻어진다. 도 16에 도시된 바와 같이, NICE 캡쳐 디바이스(100)가 촬영한 영상마다, 촬영 시각, 촬영 위치, 촬영 방향의 정보가 저장되어 있다. 보다 상세하게는, 도 13에 도시된 바와 같이, 각 프레임의 촬영 절대 시각, 절대 위치, 촬영 방향도 영상 데이터베이스에 기록되어 있다.
이하에서는, 대상 위치 추정부(208)에 의한 대상(10)의 위치 추정에 대해 상세하게 설명한다. 도 17~도 19는, 대상(10)의 위치를 추정하는 수법을 설명하기 위한 모식도이다. 도 17은, 3개의 NICE 캡쳐 디바이스(100)가 대상(10)을 촬영하고 있는 모습과, NICE 캡쳐 디바이스(100)가 촬영한 영상의 프레임을 나타내고 있다. 여기에서, 3개의 NICE 캡쳐 디바이스(100)를 CAM1, CAM2, CAM3로 한다. 도 17에서는, CAM1, CAM2, CAM3의 각각이 촬영한 프레임 N의 화상과, 프레임 N+1의 화상을 나타내고 있다.
도 17에 있어서, 대상(10)은 화살표 A1의 방향으로 이동하고 있다. 이 때문에, CAM1의 프레임 N의 화상(30)에서는, 대상(10)이 중앙에 위치하고, CAM1의 프레임 N+1의 화상(32)에서는, 대상(10)이 좌단에 위치하고 있다. 또한, CAM2의 프레임 N의 화상(34)에서는, 대상(10)이 중앙에 위치하고, CAM2의 프레임 N+1의 화상 (36)에서는, 대상(10)이 우단에 위치하고 있다. 또한, CAM3의 프레임 N의 화상(38)에서는, 대상(10)이 중앙에 위치하고, CAM3의 프레임 N+1의 화상(40)에서는, 대상(10)이 중앙 오른쪽으로 치우쳐 위치하고 있다.
도 18은, 도 17의 화상(30, 32, 34, 36, 38, 40)에 기초하여, 대상의 위치를 예측하고, NICE 캡쳐 디바이스(100)를 제어하는 모습을 나타내고 있다. 도 18에 도시된 바와 같이, 비디오 동기부(202)에 의해, CAM1, CAM2, CAM3의 각 프레임의 화상 동기가 행해진다. 구체적으로, 화상(30, 34, 38)이 동기되고, 화상(32, 36, 40)이 동기된다. 동기된 화상은 대상 인식부(204)에 입력되고, 대상(10)의 인식이 행해진다. 이에 의해, 화상(30, 32, 34, 36, 38, 40)에서 배경이 제외되고, 대상(10)만이 인식된다.
대상 인식부(204)에서 대상(10)이 인식된 화상(30, 32, 34, 36, 38, 40)은, 촬영 장소를 나타내는 위치 정보, 촬영 방향의 정보와 함께, 대상 위치 추정부(208)에 입력된다. 대상 위치 추정부(208)에서는, CAM1, CAM2, CAM3의 각각의 촬영 위치, 촬영 방향과, 화상(30, 32, 34, 36, 38, 40) 내의 대상(10)의 위치, CAM1, CAM2, CAM3의 제원(초점거리 등의 줌 정보, 대상(10)의 포커스 위치 등의 정보)에 기초하여, 대상(10)의 다음 위치를 추정한다. 카메라 제어부(206)는, 대상(10)의 다음 위치에 기초하여, CAM1, CAM2, CAM3에 제어 지령을 보내고, CAM1, CAM2, CAM3을 제어한다. 제어에는, CAM1, CAM2, CAM3의 촬영 방향의 제어, CAM1, CAM2, CAM3을 이동시키는 제어 등이 포함된다.
또한, 도 19는, 도 17과 마찬가지로 하여 얻어진 화상(30, 32, 34, 36, 38, 40)에 대해, 도 18과 마찬가지로 비디오 동기부(202), 대상 인식부(204), 대상 위치 추정부(208)에 의한 처리를 행하고, 얻어진 대상의 추정 위치를 데이터베이스(206)에 저장하는 예를 나타내는 모식도이다.
이상, 첨부 도면을 참조하면서 본 개시의 바람직한 실시 형태에 대해서 상세하게 설명했으나, 본 개시의 기술적 범위는 이러한 예에 한정되지 않는다. 본 개시의 기술 분야에 있어서의 통상의 지식을 가진 자라면, 특허청구의 범위에 기재된 기술적 사상의 범주 내에서, 각종 변경예 또는 수정예에 상도할 수 있음은 자명하며, 이들에 대해서도 당연히 본 개시의 기술적 범위에 속하는 것이라고 이해된다.
또한, 본 명세서에 기재된 효과는, 어디까지나 설명적 또는 예시적인 것이며 한정적이지 않다. 즉, 본 개시에 관한 기술은, 상기의 효과와 함께, 또는 상기의 효과에 대신하여, 본 명세서의 기재로부터 당업자에게는 자명한 다른 효과를 얻을 있다.
한편, 이하와 같은 구성도 본 개시의 기술적 범위에 속한다.
(1) 복수의 촬상 장치와, 복수의 상기 촬상 장치로부터 영상정보를 취득하는 서버를 구비하는 시스템으로서,
상기 서버는,
상기 영상정보로부터 특정의 대상을 인식하는 대상 인식부와,
상기 영상정보에 기초하여 얻어지는 상기 특정의 대상의 움직임을 추정하는 추정부를 갖는 정보처리시스템.
(2) 복수의 상기 촬상 장치로부터 취득한 복수의 상기 영상정보의 시각을 동기하는 동기부를 구비하고,
상기 대상 인식부는, 상기 동기부에 의해 시각이 동기된 복수의 상기 영상정보로부터 상기 특정의 대상을 인식하는, 상기 (1)에 기재된 정보처리시스템.
(3) 상기 영상 정보는, 소정의 포맷에 따라 상기 촬상 장치로부터 상기 서버로 송신되고,
상기 소정의 포맷은, 프레임마다의 영상과, 프레임마다의 촬영 시각과, 해당 영상을 촬영한 촬영 조건에 관한 정보를 포함하는, 상기 (1)또는 (2)에 기재된 정보처리시스템.
(4) 상기 촬영 조건은, 상기 촬상 장치의 촬영 위치, 촬영 방향, 줌 위치 정보, 또는 포커스 위치 정보를 포함하는, 상기 (3)에 기재된 정보처리시스템.
(5) 상기 대상 인식부는, 임의의 상기 촬상 장치로부터 얻어지는 상기 특정의 대상의 위치에 기초하여, 상기 특정의 대상의 주위에 위치하는 복수의 상기 촬상 장치를 특정하고, 특정한 상기 촬상 장치로부터 얻어지는 상기 영상 정보로부터 상기 특정의 대상을 인식하는, 상기 (1)~(4)중 어느 하나에 기재된 정보처리시스템.
(6) 상기 특정의 대상의 주위에 위치하는 상기 촬상 장치의 제어권을 획득하고, 해당 촬상 장치를 제어하는 제어부를 더 구비하는, 상기 (1)~(5) 중 어느 하나에 기재된 정보처리시스템.
(7) 상기 제어부는, 제어권을 획득한 상기 촬상 장치가 상기 특정의 대상을 촬영하도록 상기 촬상 장치를 제어하는, 상기 (6)에 기재된 정보처리시스템.
(8) 상기 제어부는, 상기 추정부가 추정한 상기 특정의 대상의 움직임에 기초하여, 복수의 상기 촬상 장치의 적어도 일부를 상기 특정의 대상 이동 경로에 이동시키는, 촬상 장치 제어부를 구비하는, 상기 (6)에 기재된 정보처리시스템.
(9) 상기 추정부는, 실시간으로 취득되는 상기 영상정보로부터 상기 대상의 움직임을 추정하는, 상기 (1)~(8)중 어느 하나에 기재된 정보처리시스템.
(10) 상기 서버는, 상기 영상 정보를 저장하는 데이터베이스를 구비하고,
상기 추정부는, 과거에 촬상되어 상기 데이터베이스에 저장된 상기 영상 정보로부터 상기 대상의 움직임을 추정하는, 상기 (1)~(8)중 어느 하나에 기재된 정보처리시스템.
100: NICE 캡쳐 디바이스
200: NICE 시스템
202: 비디오 동기부
204: 대상 인식부
206: 카메라 제어부
208: 대상위치 추정부
210: 데이터베이스

Claims (10)

  1. 복수의 촬상 장치와, 복수의 상기 촬상 장치로부터 영상정보를 취득하는 서버를 구비하는 시스템으로서,
    상기 서버는,
    상기 영상정보로부터 특정의 대상을 인식하는 대상 인식부와,
    상기 영상정보에 기초하여 얻어지는 상기 특정의 대상의 움직임을 추정하는 추정부를 갖는, 정보처리시스템.
  2. 제1항에 있어서,
    복수의 상기 촬상 장치로부터 취득한 복수의 상기 영상정보의 시각을 동기하는 동기부를 구비하고,
    상기 대상 인식부는, 상기 동기부에 의해 시각이 동기된 복수의 상기 영상정보로부터 상기 특정의 대상을 인식하는, 정보처리시스템.
  3. 제1항에 있어서,
    상기 영상정보는, 소정의 포맷에 따라 상기 촬상 장치로부터 상기 서버로 송신되고,
    상기 소정의 포맷은, 프레임마다의 영상과, 프레임마다의 촬영 시각과, 해당 영상을 촬영한 촬영 조건에 관한 정보를 포함하는, 정보처리시스템.
  4. 제3항에 있어서,
    상기 촬영 조건은, 상기 촬상 장치의 촬영 위치, 촬영 방향, 줌 위치 정보, 또는 포커스 위치 정보를 포함하는, 정보처리시스템.
  5. 제1항에 있어서,
    상기 대상 인식부는, 임의의 상기 촬상 장치로부터 얻어지는 상기 특정의 대상의 위치에 기초하여, 상기 특정의 대상의 주위에 위치하는 복수의 상기 촬상 장치를 특정하고, 특정한 상기 촬상 장치로부터 얻어지는 상기 영상정보로부터 상기 특정의 대상을 인식하는, 정보처리시스템.
  6. 제1항에 있어서,
    상기 특정의 대상의 주위에 위치하는 상기 촬상 장치의 제어권을 획득하고, 해당 촬상 장치를 제어하는 제어부를 더 구비하는, 정보처리시스템.
  7. 제6항에 있어서,
    상기 제어부는, 제어권을 획득한 상기 촬상 장치가 상기 특정의 대상을 촬영하도록 상기 촬상 장치를 제어하는, 정보처리시스템.
  8. 제6항에 있어서,
    상기 제어부는, 상기 추정부가 추정한 상기 특정의 대상의 움직임에 기초하여, 복수의 상기 촬상 장치의 적어도 일부를 상기 특정의 대상의 이동 경로에 이동시키는 촬상 장치 제어부를 구비하는, 정보처리시스템.
  9. 제1항에 있어서,
    상기 추정부는, 실시간으로 취득되는 상기 영상정보로부터 상기 대상의 움직임을 추정하는, 정보처리시스템.
  10. 제1항에 있어서,
    상기 서버는, 상기 영상정보를 저장하는 데이터베이스를 구비하고,
    상기 추정부는, 과거에 촬상되어 상기 데이터베이스에 저장된 상기 영상정보로부터 상기 대상의 움직임을 추정하는, 정보처리시스템.
KR1020207004259A 2017-09-26 2018-09-26 정보처리시스템 Ceased KR20200053474A (ko)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762563220P 2017-09-26 2017-09-26
US62/563,220 2017-09-26
PCT/JP2018/035737 WO2019065757A1 (ja) 2017-09-26 2018-09-26 情報処理システム

Publications (1)

Publication Number Publication Date
KR20200053474A true KR20200053474A (ko) 2020-05-18

Family

ID=65903066

Family Applications (1)

Application Number Title Priority Date Filing Date
KR1020207004259A Ceased KR20200053474A (ko) 2017-09-26 2018-09-26 정보처리시스템

Country Status (5)

Country Link
EP (1) EP3691247A4 (ko)
JP (1) JP7369623B2 (ko)
KR (1) KR20200053474A (ko)
CN (1) CN111034171B (ko)
WO (1) WO2019065757A1 (ko)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114531565A (zh) * 2020-11-04 2022-05-24 北京小米移动软件有限公司 预警方法及装置、电子设备、存储介质
WO2023008102A1 (ja) 2021-07-29 2023-02-02 富士フイルム株式会社 撮影制御装置、撮影システム、撮影制御方法、及び撮影制御プログラム
JP2024021143A (ja) * 2022-08-03 2024-02-16 株式会社Liberaware ３次元データ生成システム、及び３次元データ生成方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018121163A (ja) 2017-01-24 2018-08-02 三菱電機株式会社 監視カメラシステム

Family Cites Families (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
JP2004282535A (ja) * 2003-03-18 2004-10-07 Mitsubishi Electric Corp 画角調整装置
US20060078162A1 (en) * 2004-10-08 2006-04-13 Dynapel, Systems, Inc. System and method for stabilized single moving camera object tracking
JP4463792B2 (ja) * 2006-09-29 2010-05-19 富士フイルム株式会社 撮影装置
US20110096149A1 (en) * 2007-12-07 2011-04-28 Multi Base Limited Video surveillance system with object tracking and retrieval
JP2009182400A (ja) * 2008-01-29 2009-08-13 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4753193B2 (ja) * 2008-07-31 2011-08-24 九州日本電気ソフトウェア株式会社 動線管理システムおよびプログラム
CN101807111A (zh) * 2009-02-13 2010-08-18 夏普株式会社 信息设备及其控制方法和系统
CN101572804B (zh) * 2009-03-30 2012-03-21 浙江大学 多摄像机智能控制方法及装置
CN101616309B (zh) * 2009-07-16 2010-12-29 上海交通大学 无重叠视域多摄像机人体目标跟踪方法
GB2485969A (en) * 2010-11-12 2012-06-06 Sony Corp Video surveillance with anticipated arrival time of object in another camera view
KR20120054971A (ko) * 2010-11-22 2012-05-31 엘지이노텍 주식회사 네트워크 카메라 및 이를 이용한 대상 추적 방법
JP5821526B2 (ja) * 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US20140078304A1 (en) * 2012-09-20 2014-03-20 Cloudcar, Inc. Collection and use of captured vehicle data
JP6607433B2 (ja) * 2014-06-23 2019-11-20 パナソニックＩｐマネジメント株式会社 映像配信方法及びサーバ
EP3133819A4 (en) * 2014-04-14 2017-02-22 Panasonic Intellectual Property Management Co., Ltd. Image delivery method, image reception method, server, terminal apparatus, and image delivery system
WO2015178540A1 (ko) * 2014-05-20 2015-11-26 삼성에스디에스 주식회사 카메라간 핸드오버를 이용한 목표물 추적 장치 및 방법
CN105323540A (zh) * 2014-07-18 2016-02-10 南京专创知识产权服务有限公司 多摄像机智能控制四轴飞行器
JP2016045874A (ja) * 2014-08-26 2016-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN104639916A (zh) * 2015-03-04 2015-05-20 合肥巨清信息科技有限公司 一种大场景多目标跟踪拍摄视频监控系统及其监控方法
JP6631619B2 (ja) * 2015-03-27 2020-01-15 日本電気株式会社 映像監視システム及び映像監視方法
JP6621063B2 (ja) * 2015-04-29 2019-12-18 パナソニックＩｐマネジメント株式会社 カメラ選択方法及び映像配信システム
US10171794B2 (en) * 2015-04-29 2019-01-01 Panasonic Intellectual Property Management Co., Ltd. Method for selecting cameras and image distribution system capable of appropriately selecting cameras
JP6540330B2 (ja) * 2015-07-28 2019-07-10 日本電気株式会社 追跡システム、追跡方法および追跡プログラム
CN105100727B (zh) * 2015-08-14 2018-03-13 河海大学 一种固定位监控图像中指定物品实时跟踪方法
CN105407283B (zh) * 2015-11-20 2018-12-18 成都因纳伟盛科技股份有限公司 一种多目标主动识别跟踪监控方法
WO2017099037A1 (ja) * 2015-12-09 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN106503615B (zh) * 2016-09-20 2019-10-08 北京工业大学 基于多传感器的室内人体检测跟踪和身份识别系统

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2018121163A (ja) 2017-01-24 2018-08-02 三菱電機株式会社 監視カメラシステム

Also Published As

Publication number Publication date
CN111034171A (zh) 2020-04-17
WO2019065757A1 (ja) 2019-04-04
EP3691247A4 (en) 2020-08-12
JP7369623B2 (ja) 2023-10-26
EP3691247A1 (en) 2020-08-05
CN111034171B (zh) 2022-05-17
JPWO2019065757A1 (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
CN103686131B (zh) 使用图像的3d信息的监控设备和系统以及监控方法
KR101634966B1 (ko) Ｖｒ 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법
KR101582441B1 (ko) 영상 정보 수집 시스템 및 이동 객체에 대한 영상 정보를 수집하는 방법
KR101695249B1 (ko) 감시 영상 표시 방법 및 시스템
KR20140052357A (ko) 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법
CN115065816A (zh) 基于全景视频技术的真实地理空间场景实时构建方法
US20180103197A1 (en) Automatic Generation of Video Using Location-Based Metadata Generated from Wireless Beacons
RU2015116420A (ru) Устройство и способ отображения изображения, мобильное устройство, система отображения изображения и компьютерная программа
CN105117022A (zh) 一种控制无人机随脸转动的方法和装置
US10397474B2 (en) System and method for remote monitoring at least one observation area
CN107924040A (zh) 图像拾取装置、图像拾取控制方法和程序
KR20200096518A (ko) 정보 처리 장치, 이동체, 제어 시스템, 정보 처리 방법 및 프로그램
JP2016177640A (ja) 映像監視システム
JP2012216102A (ja) 画像蓄積システム
JP7369623B2 (ja) 情報処理システムおよび情報処理方法
KR20200067979A (ko) 입체적 멀티미디어 정보를 결정하기 위한 방법 및 장치
KR20150019230A (ko) 복수의 카메라를 이용한 객체 추적 방법 및 장치
JP6482855B2 (ja) 監視システム
JP7437930B2 (ja) 移動体及び撮像システム
KR101473984B1 (ko) 모바일 단말을 이용한 현장 정보 수집 시스템
KR20180099098A (ko) 촬영 대상의 움직임 추적 기능을 가진 융합형 영상 감시 시스템
KR101738514B1 (ko) 어안 열상 카메라를 채용한 감시 시스템 및 이를 이용한 감시 방법
CN117221731A (zh) 基于人工智能的云台相机影像处理系统及方法
JP2017011598A (ja) 監視システム
KR102046043B1 (ko) 영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법

Legal Events

Date Code Title Description
PA0105 International application

Patent event date: 20200213

Patent event code: PA01051R01D

Comment text: International Patent Application

PG1501 Laying open of application
A201 Request for examination
PA0201 Request for examination

Patent event code: PA02012R01D

Patent event date: 20210917

Comment text: Request for Examination of Application

E902 Notification of reason for refusal
PE0902 Notice of grounds for rejection

Comment text: Notification of reason for refusal

Patent event date: 20240422

Patent event code: PE09021S01D

E601 Decision to refuse application
PE0601 Decision on rejection of patent

Patent event date: 20241029

Comment text: Decision to Refuse Application

Patent event code: PE06012S01D