WO2019065757A1 - 情報処理システム - Google Patents

情報処理システム Download PDF

Info

Publication number
WO2019065757A1
WO2019065757A1 PCT/JP2018/035737 JP2018035737W WO2019065757A1 WO 2019065757 A1 WO2019065757 A1 WO 2019065757A1 JP 2018035737 W JP2018035737 W JP 2018035737W WO 2019065757 A1 WO2019065757 A1 WO 2019065757A1
Authority
WO
WIPO (PCT)
Prior art keywords
nice
information
capture device
processing system
information processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/035737
Other languages
English (en)
French (fr)
Inventor
義則 太田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Sony Semiconductor Solutions Corp
Original Assignee
Sony Semiconductor Solutions Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Sony Semiconductor Solutions Corp filed Critical Sony Semiconductor Solutions Corp
Priority to JP2019545574A priority Critical patent/JP7369623B2/ja
Priority to EP18862833.3A priority patent/EP3691247A4/en
Priority to CN201880052807.6A priority patent/CN111034171B/zh
Priority to KR1020207004259A priority patent/KR20200053474A/ko
Publication of WO2019065757A1 publication Critical patent/WO2019065757A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/13—Satellite images
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/10—Terrestrial scenes
    • G06V20/17—Terrestrial scenes taken from planes or by drones
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/62—Control of parameters via user interfaces
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/66—Remote control of cameras or camera parts, e.g. by remote control devices
    • H04N23/661—Transmitting camera control signals through networks, e.g. control via the Internet
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N5/00—Details of television systems
    • H04N5/04—Synchronising
    • H04N5/06—Generation of synchronising signals
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the present disclosure relates to an information processing system.
  • Patent Document 1 includes a plurality of monitoring cameras and a recorder for recording an image captured by the monitoring camera, and the recorder is configured to individually set each monitoring camera according to the image received from the monitoring camera.
  • a surveillance camera system is described which determines the
  • surveillance cameras have become widespread in urban areas and the like, and information on various objects can be acquired from images of the surveillance cameras. For example, since it becomes possible to identify a suspicious person, a suspicious vehicle, etc. from the image of the surveillance camera, the surveillance camera plays a part in the early solution of crime and the deterrence effect.
  • a system including a plurality of imaging devices and a server for acquiring video information from the plurality of imaging devices, wherein the server is a time of the video information acquired from the plurality of imaging devices.
  • An information processing system comprising: a synchronization unit that synchronizes; a target recognition unit that recognizes a specific target from the video information; and an estimation unit that estimates the movement of the specific target obtained based on the video information Provided.
  • the present disclosure it is possible to estimate the motion of an object included in a video from a plurality of videos.
  • the above-mentioned effects are not necessarily limited, and, along with or in place of the above-mentioned effects, any of the effects shown in the present specification, or other effects that can be grasped from the present specification May be played.
  • FIG. 1 is a schematic view showing the entire NICE system (server) and NICE capture device.
  • FIG. 2 is a schematic view showing a required specification for a NICE device.
  • FIG. 2 is a schematic view showing a NICE capture device.
  • It is a schematic diagram for demonstrating tracking of the object in real time. It is a schematic diagram for demonstrating tracking of the object in real time. It is a schematic diagram for demonstrating tracking of the object in real time. It is a schematic diagram for demonstrating tracking of the object in real time. It is a schematic diagram for demonstrating tracking of the object in real time. It is a schematic diagram for demonstrating the tracking of the object from the recorded image
  • FIG. 16 is a schematic diagram showing that the user specifies the target 10 by operating the screen of the NICE presentation device 300.
  • FIG. 5 is a schematic diagram showing how a NICE capture device and a NICE presentation device are connected to the NICE system. It is a schematic diagram which shows the optical lens contained in a camera module. It is a schematic diagram which shows another structural example of a NICE capture device. , NICE capture device, NICE presentation device, schematic diagram showing a specific configuration example of the NICE system.
  • the NICE system (Network of Intelligent Camera Ecosystem) according to the present embodiment is a system that provides services for tracking and analysis of an object (object) and search and analysis of a 3D map, an image or an image. To accomplish this, the system is connected with the camera system.
  • the camera system is referred to as a NICE capture device.
  • Possible NICE capture devices are surveillance cameras in cities, security cameras for smart homes, wearable cameras, drone and dashboard cameras.
  • FIG. 1 is a schematic view showing an entire configuration of an information processing system including a NICE system (server) 200 and a NICE capture device (imaging device) 100.
  • the NICE system 200 comprises a cloud server
  • the NICE system 200 and the NICE capture device 100 constitute an information processing system according to the present embodiment.
  • the NICE system 200 controls the NICE capture device 100 to analyze a scene to create a 3D map such as Simultaneous Localization and Mapping (SLAM) in order to capture an object.
  • SLAM Simultaneous Localization and Mapping
  • the NICE system 200 also uses the recorded video captured by the NICE capture device 100 to create metadata in the scene to search the video to create a 3D map to track objects.
  • Post processing can be performed. As shown in FIG. 1, synchronization processing is performed between the NICE capture devices 100 in order to obtain depth information. Also, each NICE capture device 100 acquires images of the same scene in different spectra at the same time to analyze events.
  • a Global Positioning System (GPS) provides absolute position and absolute time information, and a Low Power Wide Area (LPWA) system can obtain the position of each NICE capture device 100.
  • GPS Global Positioning System
  • LPWA Low Power Wide Area
  • FIG. 2 is a schematic diagram showing the required specifications for the NICE device.
  • the NICE system 200 uses the NICE capture device 100 to estimate the position, orientation, velocity, etc. of the object 10.
  • the NICE capture device 100 transmits video data, audio data, and sensor data to the NICE system 100 by wireless communication.
  • FIG. 3 is a schematic view showing the NICE capture device 100.
  • the NICE capture device 100 has a sensor that obtains absolute time and absolute position from GPS.
  • the NICE capture device 100 has a measurement system such as AHRS to obtain an imaging direction based on the world axis.
  • the NICE capture device 100 includes a sensor such as a ToF sensor that measures the distance to the subject. The detailed configuration of the NICE capture device 100 will be described later.
  • the NICE specification defines a system of the NICE capture device 100 to efficiently measure and capture an object. For example, the image sensor and lens capabilities, pan / tilt / zoom decisions, rational control decisions to obtain the correct imaging direction, IMU accuracy etc. are defined.
  • the NICE system 200 also defines a user interface to control the NICE capture device 100 and to handle the many stored images.
  • the NICE specification defines a display system that interacts with the NICE system.
  • the display system for the NICE system is referred to herein as the NICE presentation device 300.
  • the NICE presentation device 300 a computer such as a smartphone that can be held by one hand, a VR system, a head mounted display such as an AR system, and the like are assumed.
  • the specification of the NICE presentation device 300 defines the system of the device and the user interface.
  • FIG. 21 is a schematic diagram showing the NICE capture device 100 and the NICE presentation device 300 connected to the NICE system 200.
  • the NICE presentation device 300 may obtain the video stream directly from the NICE capture device 100 by peer-to-peer communication.
  • FIG. 24 is a schematic view showing a specific configuration example of the NICE capture device 100, the NICE presentation device 300, and the NICE system 200.
  • the NICE system 200 controls the NICE capture device 100 and the NICE presentation device 300.
  • the NICE presentation device 300 can directly control the NICE capture device 200.
  • the multiple NICE capture devices 200 can then communicate to properly adjust the relevant positions. When considering drone cameras, it is very important to create formation flights between multiple drone without delay.
  • the NICE system 200 mainly deals with absolute time / position / direction information embedded in each video frame. Pictures (pictures) with absolute time / position / orientation make it possible to understand tremendous variations of the new application and clarify the technical requirements of the system.
  • This specification falls into three main use case applications: [NICE watcher] Tracking objects by multiple NICE capture devices 100 [NICE Chaser] Searching images by analyzing the behavior of identified objects [NICE 3D world] 3D maps by multiple NICE capture devices 100 create. The following describes what these applications are and how the NICE system 200 works.
  • NICE Watcher is an application that tracks objects with multiple NICE capture devices 100.
  • the NICE watcher tracks moving objects as long as the NICE capture device 100 is present.
  • the steps for controlling multiple NICE capture devices 100 are shown below.
  • FIG. 20 is a schematic diagram showing how the user specifies the object 10 by operating the screen of the NICE presentation device 300.
  • the NICE presentation device 300 includes a touch panel
  • the user can specify the target 10 displayed on the screen by touch panel operation.
  • the NICE system 200 measures the approximate distance from itself to the object 10 using a sensor such as a ToF sensor.
  • the NICE system 200 already knows its position and shooting direction, and calculates the position and height of the object 10 when the distance to the object 10 is known.
  • C) The NICE system 200 determines the position of the object 10 and finds a free NICE capture device 100 in a certain distance range.
  • the NICE system 200 already knows the positions of all NICE capture devices 100 by acquiring position information from the NICE capture device 100. By recognizing the location of the NICE capture device 100 that found the object 10 and the certain distance to the object 10, the NICE system 200 can discover other NICE capture devices 100 that can track the object 10. D) The NICE system 200 controls all NICE capture devices 100 simultaneously, tracking the object 10 according to the movement of the object 10 frame by frame. The NICE system 200 captures different scenes with multiple NICE capture devices 100 to calculate the movement direction and velocity of the object 10. The NICE system 200 estimates the next position of the object 10 in order to control all NICE capture devices 100 capturing the object 10 smoothly. E) The NICE system 200 manages groups of NICE capture devices 100 according to the movement of the subject 10. The NICE system 200 manages devices fixed as the NICE capture device 100 and mobile devices such as drone. The drone camera is controlled by the NICE system 200 to track objects unrelated to position. NICE watchers provide efficient target tracking methods, excluding cumbersome user operations.
  • FIGS. 4 to 7 it is assumed that the object 10 exists at a predetermined height from the ground surface, and the position where the object 10 is projected onto the ground surface is indicated by a cross.
  • the user specifies a target 10 to be a target using the NICE presentation device 300.
  • the NICE system 200 then monitors any NICE capture device 100 and instructs the NICE capture device 100 to measure the distance to the subject 10.
  • the NICE capture device 100 measures the approximate location of the object 10 (the distance to the object 10) using a TOF sensor or the like that it comprises.
  • the position of the NICE capture device 100 and the distance to the object 10 are sent to the NICE system 200 so that the recognition engine of the NICE system 200 captures the object 10 and recognizes the approximate position of the object 10 (primary scan).
  • the NICE system 200 acquires control of another NICE capture device 100 present in an area (indicated by a broken line in FIG. 5) centered on the approximate position of the object 10. .
  • the NICE system 200 synchronizes each frame recorded in the video taken by each NICE capture device 100 in absolute time, and the latitude, longitude, altitude, shooting direction of each frame
  • the motion of the object 10 due to object recognition is predicted between frames, and the next position is estimated.
  • the estimated result is sent to the user's NICE presentation device 300 and fed back to the user.
  • the NICE system 200 predicts the next position of the target 10 and then the NICE capture device 100 around the next position of the target 10. Get control of and repeat the same process.
  • the NICE capture device 100 is a mobile such as a drone, control is performed to track the target 10.
  • NICE Chaser is an application for searching for images taken by the NICE capture device 100.
  • the NICE Chaser provides a function of picking up an image captured automatically by the target 10 specified by the user. The steps for searching the video are shown below.
  • the NICE Chaser provides an effective video retrieval method for the tracking object captured by the NICE capture device 100.
  • the user uses the NICE presentation device 300 to specify a particular object 10 from the recorded video.
  • the NICE system 200 identifies the object 10 by object recognition.
  • the position at which each image 20 is shown indicates the position of the NICE capture device 100 that has captured each image 20.
  • each video 20 is time synchronized based on the recorded absolute time. Then, the NICE system 200 estimates the position and height of the object 10 based on the position and imaging direction of the object 10 recorded in the plurality of images 20, and calculates the moving direction of the object 10 identified by image recognition. , Estimate the next location of the object 10.
  • the image 20 capturing the object 10 around it is picked up, the same processing is repeated, and the object 10 is tracked.
  • NICE 3D World is an application for creating a free viewpoint video (3D world) by the NICE capture device 100. Once the user locates the object 10, the NICE system 200 gathers NICE capture devices 100 around the identified location. Then, a free viewpoint video is created so as to be visible on the NICE presentation device 300. The steps of creating a free viewpoint video are as follows.
  • NICE system 200 gathers NICE capture devices 100 around specified locations. Then, the NICE capture device 100 obtains a scene of video captured around the specified position.
  • the NICE capture device captures scenes in a special mode to get wide angle to create 3D maps efficiently.
  • the capabilities and characteristics of each NICE capture device 100 are different.
  • the NICE system 200 corrects the FOV or distortion of each scene. To this end, the NICE capture device 100 transmits its capabilities or characteristics to the NICE system 200.
  • NICE system 200 analyzes the scene acquired by NICE capture device 100 and creates a free viewpoint video at that location. D) Upon changing the position specified by the user, the NICE system 200 reassembles the NICE capture device 100 according to the specified position and re-creates a free viewpoint video.
  • NIDE 3D World provides free viewpoint video in real time. NIDE 3D World allows users to virtually move anywhere in the world through free viewpoint video.
  • the NICE capture device 100 transmits information collected from sensors attached to it to other devices via a network.
  • data to be transmitted includes an RGB color image, position information of its own, a depth map, a thermograph map, voice, a position measured by GPS, air pressure, air temperature, behavior, moving speed, acceleration, and the like.
  • analysis is performed to transmit acquired data as more manageable information.
  • This information includes the range, type of object, coordinates, moving speed, moving direction, color, facial expression of a person, identification of a person, car number, number of people, and the like.
  • NICE capture devices 100 are equipped with active features such as LED lights, PTZ control, pronunciation alerts and the like.
  • the NICE capture device 100 basically has a function of transmitting acquired information to the NICE system 100, while the NICE capture device 100 may have a bi-directional communication function.
  • the NICE capture device 100 is configured as various types of systems such as a surveillance camera, a home security camera, a smart home agent which is a core of home automation, a wearable camera, a drone, a car dashboard camera and the like.
  • the NICE capture device 100 and its data format for transmission to the NICE system 200 are defined. Also, in the following chapters, a system profile for each device inferred by the NICE system 200 is defined.
  • the central function of the NICE capture device 100 is the combination of sensor fusion and camera. That means that the NICE capture device 100 acts as both a network camera and the NICE capture device 100 according to the present embodiment. If the NICE capture device 100 connects to an existing network based on the Open Network Video Interface Forum (ONVIF), it also acts as an ONVIF camera. On the other hand, when the NICE capture device 100 connects to the NICE system 200, it behaves as the NICE capture device 100 as described above.
  • ONVIF Open Network Video Interface Forum
  • the reference system of the NICE capture device 100 defines the capabilities of these components. And, the data format is defined based on ONVIF in order to maintain the interoperability with the current network camera technology.
  • the NICE capture device 100 acquires not only the images but also metadata related to the images such as the absolute time / position / orientation of each frame. Because there are multiple ways to obtain these data, the system varies with the characteristics of the application. For example, in the case of a surveillance camera, since the position of the NICE capture device 100 is fixed, holding information on the fixed position can also eliminate the need for a position sensor such as a GPS receiver.
  • FIG. 12 is a block diagram showing the configuration of the NICE capture device 100. As shown in FIG. As shown in FIG. 12, the NICE capture device 100 is configured to include a camera module 102, a distance measurement sensor 104, an IMU (Inertial Measurement unit) 106, a control unit 120, a GPS 108, and a communication module 110.
  • a camera module 102 As shown in FIG. 12, the NICE capture device 100 is configured to include a camera module 102, a distance measurement sensor 104, an IMU (Inertial Measurement unit) 106, a control unit 120, a GPS 108, and a communication module 110.
  • IMU Inertial Measurement unit
  • the camera module 102 basically includes a module configured to control an imaging condition (pan, tilt, zoom position, focus position) of the camera, which includes an imaging element such as a CMOS sensor and an optical lens.
  • FIG. 22 is a schematic view showing an optical lens included in the camera module 102. As shown in FIG. The distance to the object 10 can be obtained based on the specifications of the optical lens and the focus position. Further, based on the specifications of the optical lens and the amount of displacement of the object 10 from the optical axis, the amount of positional displacement of the object 10 with respect to the photographing direction can be obtained.
  • the distance measurement sensor 104 is a sensor such as a ToF sensor, and measures the distance to the object 10.
  • the distance to the object 10 can also be determined based on the parallax of the left and right images. Also, the target 10 can be determined based on the position of the target 10 with respect to the NICE capture device 100 and the position of the NICE capture device 100 obtained in this manner. Also, a depth map is created based on the distance information to the object 10.
  • the control unit 120 is a component that controls the entire NICE capture device 100, and acquires the acquired image information, camera imaging conditions, sensor information, distance information to the target 10, etc., through the communication module 110 to the NICE system 100. It has a function to transmit wirelessly.
  • the wireless communication method and the type of wireless network are not particularly limited, and various existing ones can be applied.
  • FIG. 23 is a schematic view showing another configuration example of the NICE capture device 100. As shown in FIG. 23, the NICE capture device 100 may further include motors 121 and 122 for generating a driving force for moving itself, and a microphone for acquiring sound.
  • the camera module 102 may be provided with an actuator 112 for adjusting the pan / tilt, the zoom position, and the focus position.
  • the motors 121 and 122 and the actuator 112 are controlled based on control commands sent from the camera control unit 206 of the NICE system 200.
  • the pan / tilt, zoom position, focus position are adjusted so that the NICE capture device 100 captures the target 10 based on the position of the target 10 included in the control command, or the NICE capture device 100 tracks the target 10 Control is performed.
  • FIG. 13 is a schematic view showing an example of a video recording format. Specifically, FIG. 13 shows the video data frame of the video recording format recorded by the NICE capture device 100, the shooting absolute time recorded corresponding to the video data frame, the absolute position of the NICE capture device 100, and the NICE capture device 100. It shows the information of the shooting direction. As shown in FIG. 13, the photographing absolute time, the absolute position, and the photographing direction corresponding to each frame are recorded for each frame of the video.
  • the video recording format shown in FIG. 13 is transmitted from the NICE capture device 100 to the NICE system 200.
  • FIGS. 14, 15, and 16 are schematic views showing elements on the NICE system 200 side.
  • FIG. 14 is a schematic view showing a configuration example of a server configuring the NICE system 200.
  • the NICE system 200 includes a video synchronization unit 202, an object recognition unit 204, a camera control unit 206, an object position estimation unit 208, and a database 210.
  • the video synchronization unit 202 performs processing to synchronize each frame recorded in the video captured by each NICE capture device 100 in absolute time.
  • the target recognition unit 204 searches each frame recorded in the video captured by each NICE capture device 100, and performs processing of recognizing a target 10 specified by the user from each frame. For example, when the user specifies the target 10 as shown in FIG. 20, the target recognition unit 204 recognizes the feature amount of the specified image and matches the target 10 with each frame of the video. Recognize and locate the object 10. As described above, the position of the object 10 can be identified based on the relative position of the NICE capture device 100 and the object 10 and the position of the NICE capture device 100.
  • the camera control unit 206 transmits a control command to the NICE capture device 100 and controls, in particular, the camera module 102 of the NICE capture device 100. Specifically, the camera control unit 206 acquires control of the NICE capture device 100 located around the object 10, and controls the NICE capture device 100 to capture the object 10. Further, when the NICE capture device 100 is a drone or the like, the camera control unit 206 moves the NICE capture device 100 according to the movement of the object 10.
  • the target position estimation unit 208 predicts the motion of the target 10 between frames based on the latitude, longitude, altitude, and shooting direction of each frame whose absolute time is synchronized, and estimates the next position of the target 10.
  • FIG. 15 is a schematic view showing information of the camera database related to the NICE capture device 100 among the information stored in the database 210.
  • the camera database stores information on the current position of each camera (NICE capture device 100).
  • NICE capture device 100 is a mobile such as a drone
  • the information on the current position stored in the camera database is sequentially updated according to the position information transmitted from the NICE capture device 100.
  • FIG. 16 is a schematic view showing information of a video database of the NICE system 200. As shown in FIG. The information shown in FIG. 16 is obtained by receiving the information shown in FIG. 13 from the NICE capture device 100. As shown in FIG. 16, information of shooting time, shooting position, and shooting direction is stored for each video shot by the NICE capture device 100. More specifically, as shown in FIG. 13, the photographing absolute time, absolute position, and photographing direction of each frame are also recorded in the image database.
  • FIGS. 17 to 19 are schematic diagrams for explaining a method of estimating the position of the object 10.
  • FIG. 17 shows a state in which three NICE capture devices 100 capture an object 10, and a frame of an image captured by the NICE capture device 100.
  • three NICE capture devices 100 be CAM1, CAM2 and CAM3.
  • FIG. 17 shows an image of frame N captured by each of CAM1, CAM2, and CAM3 and an image of frame N + 1.
  • the object 10 is moving in the direction of the arrow A1. Therefore, the object 10 is positioned at the center of the image 30 of the frame N of CAM 1 and the object 10 is positioned at the left end of the image 32 of the frame N + 1 of CAM 1. Further, in the image 34 of the frame N of CAM2, the object 10 is positioned at the center, and in the image 36 of the frame N + 1 of CAM2, the object 10 is positioned at the right end. Further, in the image 38 of the frame N of CAM 3, the object 10 is located at the center, and in the image 40 of the frame N + 1 of CAM 3, the object 10 is located to the right of the center.
  • FIG. 18 shows how to predict the position of an object and control the NICE capture device 100 based on the images 30, 32, 34, 36, 38 and 40 of FIG.
  • the video synchronization unit 202 synchronizes the images of the respective frames CAM1, CAM2 and CAM3. Specifically, the images 30, 34, 38 are synchronized and the images 32, 36, 40 are synchronized. The synchronized image is input to the object recognition unit 204, and the object 10 is recognized. This removes the background from the images 30, 32, 34, 36, 38, 40 and only the object 10 is recognized.
  • the images 30, 32, 34, 36, 38, 40 of which the target 10 is recognized by the target recognition unit 204 are input to the target position estimation unit 208 together with position information indicating a shooting location and information on a shooting direction.
  • the shooting positions and shooting directions of CAM1, CAM2 and CAM3 the position of the target 10 in the images 30, 32, 34, 36, 38 and 40, and the specifications of CAM1, CAM2 and CAM3
  • the next position of the object 10 is estimated based on the zoom information such as the focal length, the information such as the focus position of the object 10).
  • the camera control unit 206 sends control commands to CAM1, CAM2 and CAM3 based on the next position of the object 10 to control CAM1, CAM2 and CAM3.
  • the control includes control of the imaging direction of CAM1, CAM2 and CAM3, control to move CAM1, CAM2 and CAM3, and the like.
  • FIG. 19 shows images 30, 32, 34, 36, 38, 40 obtained in the same manner as in FIG. 17 by the video synchronization unit 202, the object recognition unit 204, and the object position estimation unit 208 as in FIG. It is a schematic diagram which shows an example which processes and stores the estimated position of the obtained object in the database 206.
  • FIG. 19 shows images 30, 32, 34, 36, 38, 40 obtained in the same manner as in FIG. 17 by the video synchronization unit 202, the object recognition unit 204, and the object position estimation unit 208 as in FIG.
  • It is a schematic diagram which shows an example which processes and stores the estimated position of the obtained object in the database 206.
  • a system comprising: a plurality of imaging devices; and a server for acquiring video information from the plurality of imaging devices,
  • the server is A target recognition unit that recognizes a specific target from the video information;
  • An estimation unit that estimates the motion of the specific object obtained based on the video information;
  • An information processing system having (2) A synchronization unit is provided which synchronizes times of the plurality of pieces of video information acquired from the plurality of imaging devices,
  • the information processing system according to (1), wherein the target recognition unit recognizes the specific target from a plurality of pieces of video information synchronized in time by the synchronization unit.
  • the video information is transmitted from the imaging device to the server according to a predetermined format.
  • the information processing system includes an image for each frame, an imaging time for each frame, and information on an imaging condition for imaging the image.
  • the shooting condition includes a shooting position, a shooting direction, zoom position information, or focus position information of the imaging device.
  • the imaging device specified the plurality of imaging devices located around the specific object based on the position of the specific object obtained from any of the imaging devices.
  • the information processing system according to any one of (1) to (4), wherein the specific target is recognized from the video information obtained from (6)
  • the information processing system according to (6) wherein the control unit controls the imaging device such that the imaging device that has acquired the control right captures the specific target.
  • the control unit is configured to move at least a portion of the plurality of imaging devices to the movement path of the specific target based on the movement of the specific target estimated by the estimation unit.
  • the information processing system according to (6) comprising.
  • the server includes a database for storing the video information, The information processing system according to any one of (1) to (8), wherein the estimation unit estimates the motion of the target from the video information captured in the past and stored in the database.
  • NICE capture device 100 NICE capture device 200 NICE system 202 video synchronization unit 204 object recognition unit 206 camera control unit 208 object position estimation unit 210 database

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Signal Processing (AREA)
  • Theoretical Computer Science (AREA)
  • Remote Sensing (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Astronomy & Astrophysics (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

【課題】複数の映像から、映像に含まれる対象の動きを推定する。 【解決手段】本開示によれば、複数の撮像装置と、複数の前記撮像装置から映像情報を取得するサーバと、を備えるシステムであって、　前記サーバは、　前記映像情報から特定の対象を認識する対象認識部と、　前記映像情報に基づいて得られる前記特定の対象の動きを推定する推定部と、　を有する、情報処理システムが提供される。

Description

情報処理システム
　本開示は、情報処理システムに関する。
　従来、例えば下記の特許文献１には、複数の監視カメラと、監視カメラが撮影した映像を記録するレコーダとを備え、レコーダは、監視カメラより受信した映像に応じて各監視カメラの個別設定値を決定する監視カメラシステムが記載されている。
特開２０１８－１２１１６３号公報
　近時においては、都市部などで監視カメラが普及しており、監視カメラの映像から、様々な対象に関する情報が取得可能となっている。例えば、監視カメラの画像から不審者や不審車両などの特定が可能となるため、監視カメラは、犯罪の早期解決と抑止効果の一役を担っている。
　しかし、動きのある対象（例えば不審者）を特定しようとした場合、１の監視カメラの映像から対象を特定できたとしても、その後の対象の移動を特定することには困難が伴う。
　そこで、複数の映像から、映像に含まれる対象の動きを推定することが求められていた。
　本開示によれば、複数の撮像装置と、複数の前記撮像装置から映像情報を取得するサーバと、を備えるシステムであって、前記サーバは、複数の前記撮像装置から取得した前記映像情報の時刻を同期する同期部と、前記映像情報から特定の対象を認識する対象認識部と、前記映像情報に基づいて得られる前記特定の対象の動きを推定する推定部と、を有する、情報処理システムが提供される。
　以上説明したように本開示によれば、複数の映像から、映像に含まれる対象の動きを推定することができる。
　なお、上記の効果は必ずしも限定的なものではなく、上記の効果とともに、または上記の効果に代えて、本明細書に示されたいずれかの効果、または本明細書から把握され得る他の効果が奏されてもよい。
ＮＩＣＥシステム（サーバ）とＮＩＣＥキャプチャーデバイスの全体を示す模式図である。 ＮＩＣＥデバイスに対する要求仕様を示す模式図である。 ＮＩＣＥキャプチャーデバイスを示す模式図である。 リアルタイムでの対象の追跡を説明するための模式図である。 リアルタイムでの対象の追跡を説明するための模式図である。 リアルタイムでの対象の追跡を説明するための模式図である。 リアルタイムでの対象の追跡を説明するための模式図である。 記録された映像からの対象の追跡を説明するための模式図である。 記録された映像からの対象の追跡を説明するための模式図である。 記録された映像からの対象の追跡を説明するための模式図である。 記録された映像からの対象の追跡を説明するための模式図である。 記録された映像からの対象の追跡を説明するための模式図である。 映像記録フォーマットの例を示す模式図である。 ＮＩＣＥシステムを構成するサーバの構成例を示す模式図である。 データベースに格納された情報のうち、ＮＩＣＥキャプチャーデバイスに関係するカメラデータベースの情報を示す模式図である。 ＮＩＣＥシステムの映像データベースの情報を示す模式図である。 対象の位置を推定する手法を説明するための模式図である。 対象の位置を推定する手法を説明するための模式図である。 対象の位置を推定する手法を説明するための模式図である。 ユーザが、ＮＩＣＥプレゼンテーションデバイス３００の画面を操作して対象１０を特定している様子を示す模式図である。 ＮＩＣＥキャプチャーデバイスとＮＩＣＥプレゼンテーションデバイスがＮＩＣＥシステムに接続された様子を示す模式図である。 カメラモジュールに含まれる光学レンズを示す模式図である。 ＮＩＣＥキャプチャーデバイスの別の構成例を示す模式図である。 、ＮＩＣＥキャプチャーデバイス、ＮＩＣＥプレゼンテーションデバイス、ＮＩＣＥシステムの具体的な構成例を示す模式図である。
　以下に添付図面を参照しながら、本開示の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
　なお、説明は以下の順序で行うものとする。
１．ＮＩＣＥシステムのコンセプト
２．ＮＩＣＥシステムの概要
２．１．ＮＩＣＥウォッチャー
２．２．ＮＩＣＥチェイサー
２．３．ＮＩＣＥ　３Ｄワールド
３．ＮＩＣＥキャプチャーデバイスの概要
３．１．ＮＩＣＥキャプチャーデバイスの構成例
４．ＮＩＣＥシステム（サーバ）の構成例
１．ＮＩＣＥシステムのコンセプト
　本実施形態に係るＮＩＣＥシステム（Ｎｅｔｗｏｒｋ　ｏｆ　Ｉｎｔｅｌｌｉｇｅｎｔ　Ｃａｍｅｒａ　Ｅｃｏｓｙｓｔｅｍ）は、対象（オブジェクト）のトラッキングと解析、３Ｄマップ、映像または画像の検索と解析、を行うサービスを提供するシステムである。これを実現するため、システムはカメラシステムと接続される。本実施形態では、カメラシステムをＮＩＣＥキャプチャーデバイスと称する。想定できるＮＩＣＥキャプチャーデバイスは、都市における監視カメラ、スマートホームの防犯カメラ、ウェアラブルカメラ、ドローン、及びダッシュボードカメラ等である。
　図１は、ＮＩＣＥシステム（サーバ）２００とＮＩＣＥキャプチャーデバイス（撮像装置）１００からなる情報処理システムの全体構成を示す模式図である。好適に、ＮＩＣＥシステム２００はクラウドサーバから構成され、ＮＩＣＥシステム２００とＮＩＣＥキャプチャーデバイス１００とから、本実施形態に係る情報処理システムが構成される。
　ＮＩＣＥシステム２００は、対象をキャプチャーするため、ＳＬＡＭ（Ｓｉｍｕｌｔａｎｅｏｕｓｌｙ　Ｌｏｃａｌｉｚａｔｉｏｎ　ａｎｄ　Ｍａｐｐｉｎｇ）のような３Ｄマップを作るため、シーンを解析するためにＮＩＣＥキャプチャーデバイス１００を制御する。また、ＮＩＣＥシステム２００は、対象を追跡するため、３Ｄマップを作成するため、映像を検索するためにシーンの中にメタデータを作るために、ＮＩＣＥキャプチャーデバイス１００で撮影された記録された映像の後処理を行うことができる。図１に示すように、各ＮＩＣＥキャプチャーデバイス１００間では、デプス情報を獲得するために同期処理が行われる。また、各ＮＩＣＥキャプチャーデバイス１００は、事象を解析するために、同じ時刻に異なるスペクトラムで同じシーンの映像を獲得する。ＧＰＳ（Ｇｌｏｂａｌ　Ｐｏｓｉｔｉｏｎｉｎｇ　Ｓｙｓｔｅｍ）が絶対位置と絶対時間の情報を提供し、ＬＰＷＡ（Ｌｏｗ　Ｐｏｗｅｒ　Ｗｉｄｅ　Ａｒｅａ）システムは各ＮＩＣＥキャプチャーデバイス１００の位置が取得可能とされている。
　図２は、ＮＩＣＥデバイスに対する要求仕様を示す模式図である。ＮＩＣＥシステム２００は、ＮＩＣＥキャプチャーデバイス１００を用いて、対象１０の位置、方向、速度などを推定する。ＮＩＣＥキャプチャーデバイス１００は、無線通信により、映像データ、音声データ、センサデータをＮＩＣＥシステム１００に送信する。
　図３は、ＮＩＣＥキャプチャーデバイス１００を示す模式図である。サービスを効率的にするため、ＮＩＣＥキャプチャーデバイス１００は、ＧＰＳから絶対時間と絶対位置を得るセンサー等を有している。また、ＮＩＣＥキャプチャーデバイス１００は、世界軸（ｗｏｒｌｄ　ａｘｉｓ）に基づく撮影方向を得るためＡＨＲＳのような計測システムを有している。更に、ＮＩＣＥキャプチャーデバイス１００は、ＴｏＦセンサなどの対象までの距離を測定するセンサを備えている。なお、ＮＩＣＥキャプチャーデバイス１００の詳細な構成は、後述する。
　ＮＩＣＥの仕様書では、効率的に対象を測定し、キャプチャーするために、ＮＩＣＥキャプチャーデバイス１００のシステムを定義する。例えば、イメージセンサとレンズの能力、パン／チルト／ズームの決定、正しい撮影方向を得るための合理的な制御の決定、ＩＭＵの正確性などを定義する。
　また、ＮＩＣＥシステム２００は、ＮＩＣＥキャプチャーデバイス１００を制御するため、そして、蓄えられた多くの映像を取り扱うためのユーザインタフェースを定義する。これは、ＮＩＣＥの仕様が、ＮＩＣＥシステムと相互に作用する表示システムを定義することを意味する。ＮＩＣＥシステムのための表示システムは、本明細書において、ＮＩＣＥプレゼンテーションデバイス３００と称される。ＮＩＣＥプレゼンテーションデバイス３００として、片手で持てるスマートフォンのようなコンピュータ、ＶＲシステム、ＡＲシステムのようなヘッドマウントディスプレイなどを想定する。ＮＩＣＥプレゼンテーションデバイス３００の仕様書は、そのデバイスとユーザインタフェースのシステムを定義する。図２１は、ＮＩＣＥキャプチャーデバイス１００とＮＩＣＥプレゼンテーションデバイス３００がＮＩＣＥシステム２００に接続された様子を示す模式図である。ＮＩＣＥプレゼンテーションデバイス３００は、ピア・トゥー・ピアの通信により、ＮＩＣＥキャプチャーデバイス１００から映像ストリームを直接取得しても良い。また、図２４は、ＮＩＣＥキャプチャーデバイス１００、ＮＩＣＥプレゼンテーションデバイス３００、ＮＩＣＥシステム２００の具体的な構成例を示す模式図である。
　ＮＩＣＥシステム２００は、ＮＩＣＥキャプチャーデバイス１００とＮＩＣＥプレゼンテーションデバイス３００を制御する。一方、待機時間が無いことが要求されるユースケースでは、ＮＩＣＥプレゼンテーションデバイス３００は、ＮＩＣＥキャプチャーデバイス２００を直接制御することができる。そして、複数のＮＩＣＥキャプチャーデバイス２００は、関係する位置を適切に調整するために、通信を行うことができる。ドローンカメラを考慮すると、遅延なく多数のドローンの間の編隊飛行を作成することがとても重要である。
２．ＮＩＣＥシステムの概要
　ＮＩＣＥシステム２００は、主として、各映像フレームに埋め込まれた絶対的な時間／位置／方向の情報を取り扱う。絶対的な時間／位置／方向を伴うピクチャ（画像）によれば、新しいアプリケーションの途方もないバリエーションを理解可能となり、システムの技術的な要求を明確にする。この仕様は、以下の３つの主なユースケースのアプリケーションに落とし込まれる。
［ＮＩＣＥウォッチャー］　複数のＮＩＣＥキャプチャーデバイス１００により対象をトラッキングする
［ＮＩＣＥチェイサー］　特定された対象の振る舞いを解析することにより、映像を検索する
［ＮＩＣＥ　３Ｄワールド］　複数のＮＩＣＥキャプチャーデバイス１００により３Ｄマップを作成する。
　以下では、これらがどの様なアプリケーションであるか、どのようにＮＩＣＥシステム２００が働くかについて説明する。
２．１．ＮＩＣＥウォッチャー
　ＮＩＣＥウォッチャーは、複数のＮＩＣＥキャプチャーデバイス１００により対象を追跡するアプリケーションである。ＮＩＣＥウォッチャーは、ＮＩＣＥキャプチャーデバイス１００が存在する限り、動いている対象を追跡する。複数のＮＩＣＥキャプチャーデバイス１００を制御するステップを以下に示す。
Ａ）ユーザが、ＮＩＣＥプレゼンテーションデバイス３００によりターゲットとなる対象１０を特定する。図２０は、ユーザが、ＮＩＣＥプレゼンテーションデバイス３００の画面を操作して対象１０を特定している様子を示す模式図である。例えば、ＮＩＣＥプレゼンテーションデバイス３００がタッチパネルを備えることにより、ユーザは画面上に表示された対象１０をタッチパネル操作により特定することができる。
Ｂ）ＮＩＣＥシステム２００が、自身から対象１０までの大体の距離をＴｏＦセンサなどのセンサを用いて測定する。ＮＩＣＥシステム２００は、既に自身の位置と撮影方向を知っており、対象１０までの距離が判明した時点で、対象１０の位置と高さを計算する。
Ｃ）ＮＩＣＥシステム２００は、対象１０の位置を決定し、確実な距離の範囲で自由なＮＩＣＥキャプチャーデバイス１００を発見する。
　ＮＩＣＥシステム２００は、ＮＩＣＥキャプチャーデバイス１００から位置情報を取得することで、既に全てのＮＩＣＥキャプチャーデバイス１００の位置を知っている。対象１０を発見したＮＩＣＥキャプチャーデバイス１００の位置と、対象１０までの確実な距離を認識することで、ＮＩＣＥシステム２００は、対象１０を追跡可能な他のＮＩＣＥキャプチャーデバイス１００を発見することができる。
Ｄ）ＮＩＣＥシステム２００は、全てのＮＩＣＥキャプチャーデバイス１００を同時に制御し、フレーム毎の対象１０の動きに従って対象１０を追跡する。
　ＮＩＣＥシステム２００は、対象１０の移動方向と速度を計算するため、複数のＮＩＣＥキャプチャーデバイス１００により異なるシーンを獲得する。ＮＩＣＥシステム２００は、対象１０を捉える全てのＮＩＣＥキャプチャーデバイス１００をスムーズに制御するために、対象１０の次の位置を推定する。
Ｅ）ＮＩＣＥシステム２００は、対象１０の動きに従って、ＮＩＣＥキャプチャーデバイス１００のグループを管理する。
　ＮＩＣＥシステム２００は、ＮＩＣＥキャプチャーデバイス１００として固定されたデバイスとドローンのようなモバイルデバイスを管理する。ドローンカメラは、位置に無関係の対象を追跡するために、ＮＩＣＥシステム２００により制御される。
　ＮＩＣＥウォッチャーは、面倒なユーザのオペレーションを除外して、効率的な対象の追跡方法を提供する。
　以下では、図４～図７に基づき、リアルタイムでの対象１０の追跡について説明する。なお、図４～図７において、対象１０は地表から所定の高さに存在するものとし、対象１０を地表に投影した位置を×印で示している。図４に示すように、先ずユーザが、ＮＩＣＥプレゼンテーションデバイス３００を用いてターゲットとなる対象１０を特定する。すると、ＮＩＣＥシステム２００が、任意のＮＩＣＥキャプチャーデバイス１００をモニターし、対象１０までの距離を測定するようＮＩＣＥキャプチャーデバイス１００に指令を出す。ＮＩＣＥキャプチャーデバイス１００は、自身が備えるＴＯＦセンサ等を用いて、対象１０のおおよその場所（対象１０までの距離）を測定する。ＮＩＣＥキャプチャーデバイス１００の位置と対象１０までの距離がＮＩＣＥシステム２００に送られることで、ＮＩＣＥシステム２００の認識エンジンが対象１０を捕捉し、対象１０のおおよその位置を認識する（一次スキャン）。
　次に、図５に示すように、ＮＩＣＥシステム２００が、対象１０のおおよその位置を中心にしたエリア（図５中に破線で示す）に存在する他のＮＩＣＥキャプチャーデバイス１００の制御権を取得する。
　次に、図６に示すように、ＮＩＣＥシステム２００が、各ＮＩＣＥキャプチャーデバイス１００が撮影した映像に記録された各フレームを、絶対時間で時刻同期させ、各フレームの緯度、経度、高度、撮影方向とオブジェクト認識による対象１０の動きをフレーム間で予測し、次の位置を推定する。推定した結果は、ユーザのＮＩＣＥプレゼンテーションデバイス３００に送信され、ユーザにフィードバックされる。
　また、図７に示すように、ＮＩＣＥシステム２００は、ＮＩＣＥキャプチャーデバイス１００が固定カメラの場合は、対象１０の次の位置を予測した後、対象１０の次の位置の周辺にあるＮＩＣＥキャプチャーデバイス１００の制御権を取得し、同じ処理を繰り返す。また、ＮＩＣＥキャプチャーデバイス１００がドローンなどの移動体の場合は、対象１０を追跡するように制御を行う。
２．２．ＮＩＣＥチェイサー
　ＮＩＣＥチェイサーは、ＮＩＣＥキャプチャーデバイス１００によって撮影された映像を検索するためのアプリケーションである。ＮＩＣＥチェイサーは、ユーザが指定した対象１０が自動的に撮影された映像を拾い上げる機能を提供する。映像を検索するステップを以下に示す。
Ａ）ユーザが、ＮＩＣＥのフォーマットの映像から対象１０を判別する。
Ｂ）ＮＩＣＥシステム２００が、映像から時刻と位置を判別する。
Ｃ）ＮＩＣＥシステム２００が、時刻と位置に基づいて、他のＮＩＣＥキャプチャーデバイス１００によって撮影された映像を検索する。
Ｄ）ＮＩＣＥシステム２００が、集められた映像から対象１０の正確な位置とその動きを解析し、対象１０の方向を判別する。
Ｅ）映像を集めることによって、対象１０の位置と方向に基づいて対象１０を検索したＮＩＣＥシステム２００が、対象を再び解析する。
　以上のようにして、ＮＩＣＥチェイサーは、ＮＩＣＥキャプチャーデバイス１００によって撮影された追跡対象のための効果的な映像検索方法を提供する。
　以下では、図８～図１１に基づき、記録された映像からの対象の追跡を説明する。図８に示すように、ユーザが、ＮＩＣＥプレゼンテーションデバイス３００を用いて、記録された映像から特定の対象１０を指定する。ＮＩＣＥシステム２００は、物体認識によって対象１０を特定する。
　図９に示すように、ＮＩＣＥキャプチャーデバイス１００が撮影した映像２０内のフレームに記録された、対象１０の位置、時間、撮影方向に基づいて、近接したカメラで撮影された、指定した対象１０を撮影している映像２０をピックアップする。なお、図９において、各映像２０が示された位置は、各映像２０を撮影したＮＩＣＥキャプチャーデバイス１００の位置を示している。
　図１０に示すように、それぞれの映像２０を、記録された絶対時間に基づいて時刻同期させる。そして、ＮＩＣＥシステム２００は、複数の映像２０に記録された対象１０の位置、撮影方向に基づいて、対象１０の位置、高さを推定し、画像認識によって特定した対象１０の移動方向を計算し、対象１０の次の場所を推定する。
　図１１に示すように、対象１０の次の推定位置、時刻が判明したら、その周辺で対象１０を撮影している映像２０をピックアップし、同じ処理を繰り返し、対象１０を追跡する。
２．３．ＮＩＣＥ　３Ｄワールド
　ＮＩＣＥ　３Ｄワールドは、ＮＩＣＥキャプチャーデバイス１００により自由視点映像（３Ｄワールド）を作成するためのアプリケーションである。ユーザが対象１０の位置を一旦特定すると、ＮＩＣＥシステム２００が、特定された位置の周辺のＮＩＣＥキャプチャーデバイス１００を集める。そして、ＮＩＣＥプレゼンテーションデバイス３００で視認できるように自由視点映像を作成する。自由視点映像を作成するステップは以下の通りである。
Ａ）ユーザが、例示のため、ＮＩＣＥプレゼンテーションデバイス３００上でマップを指定することにより位置と時刻を決定する。
Ｂ）ＮＩＣＥシステム２００が、指定された位置の周辺にＮＩＣＥキャプチャーデバイス１００を集める。そして、ＮＩＣＥキャプチャーデバイス１００が、指定された位置の周辺で撮影された映像のシーンを得る。
　ＮＩＣＥキャプチャーデバイスは、３Ｄマップを効率よく作成するため、広角を得るための特別なモードでシーンを獲得する。一方、各ＮＩＣＥキャプチャーデバイス１００の能力と特性は異なる。各画像をマップにして３Ｄワールドにするため、ＮＩＣＥシステム２００は、ＦＯＶ又は各シーンのディストーションを補正する。このため、ＮＩＣＥキャプチャーデバイス１００は、その能力又は特性をＮＩＣＥシステム２００に送信する。
Ｃ）ＮＩＣＥシステム２００は、ＮＩＣＥキャプチャーデバイス１００により獲得されたシーンを解析し、その場所における自由視点映像を作成する。
Ｄ）ユーザが指定する位置を変更すると、ＮＩＣＥシステム２００が、指定された位置に従って、ＮＩＣＥキャプチャーデバイス１００を再度集め、自由視点映像を再度作成する。
　ＮＩＤＥ　３Ｄワールドは、リアルタイムで自由視点映像を提供する。ＮＩＤＥ　３Ｄワールドは、自由視点映像を通して、ユーザが世界中のどこにでも仮想的に移動することを可能とする。
３．ＮＩＣＥキャプチャーデバイスの概要
　ＮＩＣＥキャプチャーデバイス１００は、ＮＩＣＥワールドを認識させるため、自身に取り付けられたセンサから集められた情報を、ネットワークを介して他の装置に送信する。例えば、送信されるデータは、ＲＧＢカラー画像、自身の位置情報、デプスマップ、サーモグラフマップ、音声、ＧＰＳによって測定された位置、気圧、気温、挙動、移動速度、加速度等を含む。
　インテリジェントなＮＩＣＥキャプチャーデバイス１００の場合、獲得したデータをより扱いやすい情報として送信するために解析を行う。この情報は、範囲、対象のタイプ、座標、移動速度、移動方向、色、人物の顔の表情、人物の識別、車のナンバー、人の数、などである。
　更に、いくつかのＮＩＣＥキャプチャーデバイス１００は、ＬＥＤライト、ＰＴＺ制御、発音の警告などのアクティブな機能を備えている。ＮＩＣＥキャプチャーデバイス１００は、基本的に取得した情報をＮＩＣＥシステム１００に送信する機能を有するが、一方、ＮＩＣＥキャプチャーデバイス１００は、双方向の通信機能を備えていても良い。
　ＮＩＣＥキャプチャーデバイス１００は、監視カメラ、ホーム防犯カメラ、ホームオートメーションの中核であるスマートホームエージェント、ウェアラブルカメラ、ドローン、車のダッシュボードカメラ等の様々なタイプのシステムとして構成される。
　ここでは、ＮＩＣＥシステム２００へ送信するための、ＮＩＣＥキャプチャーデバイス１００と、そのデータフォーマットを定義する。また、後述の章では、ＮＩＣＥシステム２００によって推測される各デバイスのためのシステムのプロファイルを定義する。
　ＮＩＣＥキャプチャーデバイス１００の中心の機能は、センサフュージョンとカメラの組み合わせである。それは、ＮＩＣＥキャプチャーデバイス１００は、ネットワークカメラと、本実施形態に係るＮＩＣＥキャプチャーデバイス１００の両方として振る舞うことを意味する。ＯＮＶＩＦ（Ｏｐｅｎ　Ｎｅｒｗｏｒｋ　Ｖｉｄｅｏ　Ｉｎｔｅｒｆａｃｅ　Ｆｏｒｕｍ）に基づき、ＮＩＣＥキャプチャーデバイス１００が既存のネットワークに接続する場合、それはＯＮＶＩＦカメラとしても振る舞う。一方、ＮＩＣＥキャプチャーデバイス１００がＮＩＣＥシステム２００に接続する場合、それは上述したようなＮＩＣＥキャプチャーデバイス１００として振る舞う。
　正確な制御を理解するため、ＮＩＣＥキャプチャーデバイス１００の参考システムは、これらのコンポーネントの能力を定義する。そして、そのデータフォーマットは、現在のネットワークカメラの技術との共同利用性を維持するために、ＯＮＶＩＦに基づき定義される。
　ＮＩＣＥキャプチャーデバイス１００は、画像のみならず、各フレームの絶対的な時刻／位置／方向のような画像に関係するメタデータを獲得する。これらのデータを得る方法は複数あるため、システムはアプリケーションの特性によって異なる。例えば、監視カメラの場合、ＮＩＣＥキャプチャーデバイス１００の位置は固定されるため、固定された位置の情報を保持することで、ＧＰＳレシーバのような位置センサを不要とすることもできる。
３．１．ＮＩＣＥキャプチャーデバイスの構成例
　図１２は、ＮＩＣＥキャプチャーデバイス１００の構成を示すブロック図である。図１２に示すように、ＮＩＣＥキャプチャーデバイス１００は、カメラモジュール１０２、測距センサ１０４、ＩＭＵ（Ｉｎｅｒｔｉａｌ　Ｍｍｅａｓｕｒｅｍｅｎｔ　Ｕｕｎｉｔ）１０６、制御部１２０、ＧＰＳ１０８、通信モジュール１１０を有して構成されている。
　カメラモジュール１０２は、基本的には、ＣＭＯＳセンサなどの撮像素子と光学レンズによって構成される、カメラの撮影条件（パン、チルト、ズーム位置、フォーカス位置）を制御するモジュールを含む。図２２は、カメラモジュール１０２に含まれる光学レンズを示す模式図である。光学レンズの諸元と、フォーカス位置に基づいて、対象１０までの距離を取得することができる。また、光学レンズの諸元と、光軸からの対象１０のズレ量に基づいて、撮影方向に対する対象１０の位置ズレ量を求めることができる。測距センサ１０４は、ＴｏＦセンサなどのセンサであって、対象１０までの距離を計測する。カメラモジュール１０２がステレオカメラから構成される場合は、左右画像の視差に基づいて対象１０までの距離を求めることもできる。また、このようにして得られる、ＮＩＣＥキャプチャーデバイス１００に対する対象１０の位置と、ＮＩＣＥキャプチャーデバイス１００の位置に基づいて、対象１０を求めることができる。また、対象１０までの距離情報に基づいて、デプスマップが作成される。
　制御部１２０は、ＮＩＣＥキャプチャーデバイス１００の全体を制御する構成要素であり、取得した画像情報、カメラの撮影条件、センサ情報、対象１０までの距離情報などを、通信モジュール１１０を介してＮＩＣＥシステム１００へ無線で送信させる機能を有する。なお、無線通信の方式、無線ネットワークの種類については、特に限定されるものではなく、既存の様々なものを適用することができる。図２３は、ＮＩＣＥキャプチャーデバイス１００の別の構成例を示す模式図である。図２３に示すように、ＮＩＣＥキャプチャーデバイス１００は、自身を移動するための駆動力を発生させるモータ１２１，１２２、音声を取得するマイクロフォンを更に備えていても良い。また、カメラモジュール１０２には、パン・チルト、ズーム位置、フォーカス位置を調整するためのアクチュエータ１１２が備えられていても良い。これらのモータ１２１，１２２、アクチュエータ１１２は、ＮＩＣＥシステム２００のカメラ制御部２０６から送られる制御指令に基づいて制御される。制御指令に含まれる対象１０の位置に基づいて、ＮＩＣＥキャプチャーデバイス１００が対象１０を撮影するように、パン・チルト、ズーム位置、フォーカス位置が調整され、あるいはＮＩＣＥキャプチャーデバイス１００が対象１０を追尾するように制御が行われる。
　図１３は、映像記録フォーマットの例を示す模式図である。具体的に、図１３は、ＮＩＣＥキャプチャーデバイス１００が記録した映像記録フォーマットの映像データフレームと、映像データフレームに対応して記録された撮影絶対時刻、ＮＩＣＥキャプチャーデバイス１００の絶対位置、ＮＩＣＥキャプチャーデバイス１００の撮影方向の情報を示している。図１３に示すように、映像のフレーム毎に、各フレームに対応する撮影絶対時刻、絶対位置、撮影方向が記録される。図１３に示す映像記録フォーマットは、ＮＩＣＥキャプチャーデバイス１００からＮＩＣＥシステム２００へ送信される。
４．ＮＩＣＥシステム（サーバ）の構成例
　図１４、図１５、図１６は、ＮＩＣＥシステム２００側の要素を示す模式図である。図１４は、ＮＩＣＥシステム２００を構成するサーバの構成例を示す模式図である。図１６に示すように、ＮＩＣＥシステム２００は、ビデオ同期部２０２、対象認識部２０４、カメラ制御部２０６、対象位置推定部２０８、データベース２１０を有して構成されている。
　ビデオ同期部２０２は、図６に示したように、各ＮＩＣＥキャプチャーデバイス１００が撮影した映像に記録された各フレームを、絶対時間で時刻同期させる処理を行う。対象認識部２０４は、各ＮＩＣＥキャプチャーデバイス１００が撮影した映像に記録された各フレームを検索し、各フレームの中からユーザが指定した対象１０を認識する処理を行う。対象認識部２０４は、例えば、図２０に示したようにユーザが対象１０を特定した場合に、特定された画像の特徴量を認識し、映像の各フレームとマッチングを行うことにより、対象１０を認識し、対象１０の位置を特定する。上述したように、ＮＩＣＥキャプチャーデバイス１００と対象１０との相対的な位置と、ＮＩＣＥキャプチャーデバイス１００の位置に基づいて、対象１０の位置を特定することができる。カメラ制御部２０６は、ＮＩＣＥキャプチャーデバイス１００に制御指令を送信し、ＮＩＣＥキャプチャーデバイス１００の特にカメラモジュール１０２を制御する。具体的に、カメラ制御部２０６は、対象１０の周囲に位置するＮＩＣＥキャプチャーデバイス１００の制御権を獲得し、ＮＩＣＥキャプチャーデバイス１００が対象１０を撮影するように制御する。また、カメラ制御部２０６は、ＮＩＣＥキャプチャーデバイス１００がドローンなどの移動体の場合は、対象１０の動きに応じて、ＮＩＣＥキャプチャーデバイス１００を移動させる。対象位置推定部２０８は、絶対時間が時刻同期された各フレームの緯度、経度、高度、撮影方向に基づいて、対象１０の動きをフレーム間で予測し、対象１０の次の位置を推定する。
　データベース２１０には、各種データが格納されている。図１５は、データベース２１０に格納された情報のうち、ＮＩＣＥキャプチャーデバイス１００に関係するカメラデータベースの情報を示す模式図である。図１５に示すように、カメラデータベースには、各カメラ（ＮＩＣＥキャプチャーデバイス１００）の現在位置の情報が格納されている。ＮＩＣＥキャプチャーデバイス１００がドローンなどの移動体の場合、カメラデータベースに格納された現在位置の情報は、ＮＩＣＥキャプチャーデバイス１００から送信される位置情報に応じて逐次更新される。
　また、図１６は、ＮＩＣＥシステム２００の映像データベースの情報を示す模式図である。図１６に示す情報は、ＮＩＣＥキャプチャーデバイス１００から図１３に示す情報を受け取ることで得られる。図１６に示すように、ＮＩＣＥキャプチャーデバイス１００が撮影した映像毎に、撮影時刻、撮影位置、撮影方向の情報が格納されている。より詳細には、図１３に示したように、各フレームの撮影絶対時刻、絶対位置、撮影方向も映像データベースに記録されている。
　以下では、対象位置推定部２０８による対象１０の位置の推定について詳細に説明する。図１７～図１９は、対象１０の位置を推定する手法を説明するための模式図である。図１７は、３つのＮＩＣＥキャプチャーデバイス１００が対象１０を撮影している様子と、ＮＩＣＥキャプチャーデバイス１００が撮影した映像のフレームを示している。ここで、３つのＮＩＣＥキャプチャーデバイス１００をＣＡＭ１、ＣＡＭ２、ＣＡＭ３とする。図１７では、ＣＡＭ１、ＣＡＭ２、ＣＡＭ３のそれぞれが撮影したフレームＮの画像と、フレームＮ＋１の画像を示している。
　図１７において、対象１０は矢印Ａ１の方向に移動している。このため、ＣＡＭ１のフレームＮの画像３０では、対象１０が中央に位置し、ＣＡＭ１のフレームＮ＋１の画像３２では、対象１０が左端に位置している。また、ＣＡＭ２のフレームＮの画像３４では、対象１０が中央に位置し、ＣＡＭ２のフレームＮ＋１の画像３６では、対象１０が右端に位置している。また、ＣＡＭ３のフレームＮの画像３８では、対象１０が中央に位置し、ＣＡＭ３のフレームＮ＋１の画像４０では、対象１０が中央の右寄りに位置している。
　図１８は、図１７の画像３０，３２，３４，３６，３８，４０に基づいて、対象の位置を予測し、ＮＩＣＥキャプチャーデバイス１００を制御する様子を示している。図１８に示すように、ビデオ同期部２０２により、ＣＡＭ１，ＣＡＭ２，ＣＡＭ３の各フレームの画像の同期が行われる。具体的に、画像３０，３４，３８が同期され、画像３２，３６，４０が同期される。同期された画像は対象認識部２０４に入力され、対象１０の認識が行われる。これにより、画像３０，３２，３４，３６，３８，４０から背景が除かれて、対象１０のみが認識される。
　対象認識部２０４で対象１０が認識された画像３０，３２，３４，３６，３８，４０は、撮影場所を示す位置情報、撮影方向の情報とともに、対象位置推定部２０８に入力される。対象位置推定部２０８では、ＣＡＭ１，ＣＡＭ２，ＣＡＭ３のそれぞれの撮影位置、撮影方向と、画像３０，３２，３４，３６，３８，４０内の対象１０の位置、ＣＡＭ１，ＣＡＭ２，ＣＡＭ３の諸元（焦点距離などのズーム情報、対象１０のフォーカス位置などの情報）に基づいて、対象１０の次の位置を推定する。カメラ制御部２０６は、対象１０の次の位置に基づいて、ＣＡＭ１，ＣＡＭ２，ＣＡＭ３に制御指令を送り、ＣＡＭ１，ＣＡＭ２，ＣＡＭ３を制御する。制御には、ＣＡＭ１，ＣＡＭ２，ＣＡＭ３の撮影方向の制御、ＣＡＭ１，ＣＡＭ２，ＣＡＭ３を移動させる制御等が含まれる。
　また、図１９は、図１７と同様にして得られた画像３０，３２，３４，３６，３８，４０について、図１８と同様にビデオ同期部２０２、対象認識部２０４、対象位置推定部２０８による処理を行い、得られた対象の推定位置をデータベース２０６に格納する例を示す模式図である。
　以上、添付図面を参照しながら本開示の好適な実施形態について詳細に説明したが、本開示の技術的範囲はかかる例に限定されない。本開示の技術分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本開示の技術的範囲に属するものと了解される。
　また、本明細書に記載された効果は、あくまで説明的または例示的なものであって限定的ではない。つまり、本開示に係る技術は、上記の効果とともに、または上記の効果に代えて、本明細書の記載から当業者には明らかな他の効果を奏しうる。
　なお、以下のような構成も本開示の技術的範囲に属する。
（１）　複数の撮像装置と、複数の前記撮像装置から映像情報を取得するサーバと、を備えるシステムであって、
　前記サーバは、
　前記映像情報から特定の対象を認識する対象認識部と、
　前記映像情報に基づいて得られる前記特定の対象の動きを推定する推定部と、
　を有する、情報処理システム。
（２）　複数の前記撮像装置から取得した複数の前記映像情報の時刻を同期する同期部を備え、
　前記対象認識部は、前記同期部により時刻が同期された複数の前記映像情報から前記特定の対象を認識する、前記（１）に記載の情報処理システム。
（３）　前記映像情報は、所定のフォーマットに従って前記撮像装置から前記サーバへ送信され、
　前記所定のフォーマットは、フレーム毎の映像と、フレーム毎の撮影時刻と、当該映像を撮影した撮影条件に関する情報を含む、前記（１）又は（２）に記載の情報処理システム。
（４）　前記撮影条件は、前記撮像装置の撮影位置、撮影方向、ズーム位置情報、又はフォーカス位置情報を含む、前記（３）に記載の情報処理システム。
（５）　前記対象認識部は、任意の前記撮像装置から得られる前記特定の対象の位置に基づいて、前記特定の対象を周囲に位置する複数の前記撮像装置を特定し、特定した前記撮像装置から得られる前記映像情報から前記特定の対象を認識する、前記（１）～（４）のいずれかに記載の情報処理システム。
（６）　前記特定の対象の周囲に位置する前記撮像装置の制御権を獲得し、当該撮像装置を制御する制御部を更に備える、前記（１）～（５）のいずれかに記載の情報処理システム。
（７）　前記制御部は、制御権を獲得した前記撮像装置が前記特定の対象を撮影するように前記撮像装置を制御する、前記（６）に記載の情報処理システム。
（８）　前記制御部は、前記推定部が推定した前記特定の対象の動きに基づいて、複数の前記撮像装置の少なくとも一部を前記特定の対象の移動経路に移動させる、撮像装置制御部を備える、前記（６）に記載の情報処理システム。
（９）　前記推定部は、リアルタイムで取得される前記映像情報から前記対象の動きを推定する、前記（１）～（８）のいずれかに記載の情報処理システム。
（１０）　前記サーバは、前記映像情報を格納するデータベースを備え、
　前記推定部は、過去に撮像されて前記データベースに格納された前記映像情報から前記対象の動きを推定する、前記（１）～（８）のいずれかに記載の情報処理システム。
　１００　　ＮＩＣＥキャプチャーデバイス
　２００　　ＮＩＣＥシステム
　２０２　　ビデオ同期部
　２０４　　対象認識部
　２０６　　カメラ制御部
　２０８　　対象位置推定部
　２１０　　データベース

Claims (10)

  1. 　複数の撮像装置と、複数の前記撮像装置から映像情報を取得するサーバと、を備えるシステムであって、
    　前記サーバは、
    　前記映像情報から特定の対象を認識する対象認識部と、
    　前記映像情報に基づいて得られる前記特定の対象の動きを推定する推定部と、
    　を有する、情報処理システム。
  2. 　複数の前記撮像装置から取得した複数の前記映像情報の時刻を同期する同期部を備え、
    　前記対象認識部は、前記同期部により時刻が同期された複数の前記映像情報から前記特定の対象を認識する、請求項１に記載の情報処理システム。
  3. 　前記映像情報は、所定のフォーマットに従って前記撮像装置から前記サーバへ送信され、
    　前記所定のフォーマットは、フレーム毎の映像と、フレーム毎の撮影時刻と、当該映像を撮影した撮影条件に関する情報を含む、請求項１に記載の情報処理システム。
  4. 　前記撮影条件は、前記撮像装置の撮影位置、撮影方向、ズーム位置情報、又はフォーカス位置情報を含む、請求項３に記載の情報処理システム。
  5. 　前記対象認識部は、任意の前記撮像装置から得られる前記特定の対象の位置に基づいて、前記特定の対象を周囲に位置する複数の前記撮像装置を特定し、特定した前記撮像装置から得られる前記映像情報から前記特定の対象を認識する、請求項１に記載の情報処理システム。
  6. 　前記特定の対象の周囲に位置する前記撮像装置の制御権を獲得し、当該撮像装置を制御する制御部を更に備える、請求項１に記載の情報処理システム。
  7. 　前記制御部は、制御権を獲得した前記撮像装置が前記特定の対象を撮影するように前記撮像装置を制御する、請求項６に記載の情報処理システム。
  8. 　前記制御部は、前記推定部が推定した前記特定の対象の動きに基づいて、複数の前記撮像装置の少なくとも一部を前記特定の対象の移動経路に移動させる、撮像装置制御部を備える、請求項６に記載の情報処理システム。
  9. 　前記推定部は、リアルタイムで取得される前記映像情報から前記対象の動きを推定する、請求項１に記載の情報処理システム。
  10. 　前記サーバは、前記映像情報を格納するデータベースを備え、
    　前記推定部は、過去に撮像されて前記データベースに格納された前記映像情報から前記対象の動きを推定する、請求項１に記載の情報処理システム。
PCT/JP2018/035737 2017-09-26 2018-09-26 情報処理システム Ceased WO2019065757A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
JP2019545574A JP7369623B2 (ja) 2017-09-26 2018-09-26 情報処理システムおよび情報処理方法
EP18862833.3A EP3691247A4 (en) 2017-09-26 2018-09-26 INFORMATION PROCESSING SYSTEM
CN201880052807.6A CN111034171B (zh) 2017-09-26 2018-09-26 信息处理系统
KR1020207004259A KR20200053474A (ko) 2017-09-26 2018-09-26 정보처리시스템

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201762563220P 2017-09-26 2017-09-26
US62/563,220 2017-09-26

Publications (1)

Publication Number Publication Date
WO2019065757A1 true WO2019065757A1 (ja) 2019-04-04

Family

ID=65903066

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/035737 Ceased WO2019065757A1 (ja) 2017-09-26 2018-09-26 情報処理システム

Country Status (5)

Country Link
EP (1) EP3691247A4 (ja)
JP (1) JP7369623B2 (ja)
KR (1) KR20200053474A (ja)
CN (1) CN111034171B (ja)
WO (1) WO2019065757A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024021143A (ja) * 2022-08-03 2024-02-16 株式会社Liberaware ３次元データ生成システム、及び３次元データ生成方法

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN114531565A (zh) * 2020-11-04 2022-05-24 北京小米移动软件有限公司 预警方法及装置、电子设备、存储介质
WO2023008102A1 (ja) 2021-07-29 2023-02-02 富士フイルム株式会社 撮影制御装置、撮影システム、撮影制御方法、及び撮影制御プログラム

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016010145A (ja) * 2014-06-23 2016-01-18 パナソニックＩｐマネジメント株式会社 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム
WO2016157327A1 (ja) * 2015-03-27 2016-10-06 日本電気株式会社 映像監視システム及び映像監視方法
JP2016213808A (ja) * 2015-04-29 2016-12-15 パナソニックＩｐマネジメント株式会社 カメラ選択方法及び映像配信システム
JP2018121163A (ja) 2017-01-24 2018-08-02 三菱電機株式会社 監視カメラシステム

Family Cites Families (26)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20030210329A1 (en) * 2001-11-08 2003-11-13 Aagaard Kenneth Joseph Video system and methods for operating a video system
US20040100563A1 (en) * 2002-11-27 2004-05-27 Sezai Sablak Video tracking system and method
JP2004282535A (ja) * 2003-03-18 2004-10-07 Mitsubishi Electric Corp 画角調整装置
US20060078162A1 (en) * 2004-10-08 2006-04-13 Dynapel, Systems, Inc. System and method for stabilized single moving camera object tracking
JP4463792B2 (ja) * 2006-09-29 2010-05-19 富士フイルム株式会社 撮影装置
US20110096149A1 (en) * 2007-12-07 2011-04-28 Multi Base Limited Video surveillance system with object tracking and retrieval
JP2009182400A (ja) * 2008-01-29 2009-08-13 Sony Corp 画像処理装置、画像処理方法、画像処理方法のプログラム及び画像処理方法のプログラムを記録した記録媒体
JP4753193B2 (ja) * 2008-07-31 2011-08-24 九州日本電気ソフトウェア株式会社 動線管理システムおよびプログラム
CN101807111A (zh) * 2009-02-13 2010-08-18 夏普株式会社 信息设备及其控制方法和系统
CN101572804B (zh) * 2009-03-30 2012-03-21 浙江大学 多摄像机智能控制方法及装置
CN101616309B (zh) * 2009-07-16 2010-12-29 上海交通大学 无重叠视域多摄像机人体目标跟踪方法
GB2485969A (en) * 2010-11-12 2012-06-06 Sony Corp Video surveillance with anticipated arrival time of object in another camera view
KR20120054971A (ko) * 2010-11-22 2012-05-31 엘지이노텍 주식회사 네트워크 카메라 및 이를 이용한 대상 추적 방법
JP5821526B2 (ja) * 2011-10-27 2015-11-24 ソニー株式会社 画像処理装置、画像処理方法及びプログラム
US20140078304A1 (en) * 2012-09-20 2014-03-20 Cloudcar, Inc. Collection and use of captured vehicle data
EP3133819A4 (en) * 2014-04-14 2017-02-22 Panasonic Intellectual Property Management Co., Ltd. Image delivery method, image reception method, server, terminal apparatus, and image delivery system
WO2015178540A1 (ko) * 2014-05-20 2015-11-26 삼성에스디에스 주식회사 카메라간 핸드오버를 이용한 목표물 추적 장치 및 방법
CN105323540A (zh) * 2014-07-18 2016-02-10 南京专创知识产权服务有限公司 多摄像机智能控制四轴飞行器
JP2016045874A (ja) * 2014-08-26 2016-04-04 ソニー株式会社 情報処理装置、情報処理方法、及びプログラム
CN104639916A (zh) * 2015-03-04 2015-05-20 合肥巨清信息科技有限公司 一种大场景多目标跟踪拍摄视频监控系统及其监控方法
US10171794B2 (en) * 2015-04-29 2019-01-01 Panasonic Intellectual Property Management Co., Ltd. Method for selecting cameras and image distribution system capable of appropriately selecting cameras
JP6540330B2 (ja) * 2015-07-28 2019-07-10 日本電気株式会社 追跡システム、追跡方法および追跡プログラム
CN105100727B (zh) * 2015-08-14 2018-03-13 河海大学 一种固定位监控图像中指定物品实时跟踪方法
CN105407283B (zh) * 2015-11-20 2018-12-18 成都因纳伟盛科技股份有限公司 一种多目标主动识别跟踪监控方法
WO2017099037A1 (ja) * 2015-12-09 2017-06-15 ソニー株式会社 情報処理装置、情報処理方法、およびプログラム
CN106503615B (zh) * 2016-09-20 2019-10-08 北京工业大学 基于多传感器的室内人体检测跟踪和身份识别系统

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2016010145A (ja) * 2014-06-23 2016-01-18 パナソニックＩｐマネジメント株式会社 映像配信方法、映像受信方法、サーバ、端末装置及び映像配信システム
WO2016157327A1 (ja) * 2015-03-27 2016-10-06 日本電気株式会社 映像監視システム及び映像監視方法
JP2016213808A (ja) * 2015-04-29 2016-12-15 パナソニックＩｐマネジメント株式会社 カメラ選択方法及び映像配信システム
JP2018121163A (ja) 2017-01-24 2018-08-02 三菱電機株式会社 監視カメラシステム

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2024021143A (ja) * 2022-08-03 2024-02-16 株式会社Liberaware ３次元データ生成システム、及び３次元データ生成方法

Also Published As

Publication number Publication date
KR20200053474A (ko) 2020-05-18
CN111034171A (zh) 2020-04-17
EP3691247A4 (en) 2020-08-12
JP7369623B2 (ja) 2023-10-26
EP3691247A1 (en) 2020-08-05
CN111034171B (zh) 2022-05-17
JPWO2019065757A1 (ja) 2020-11-19

Similar Documents

Publication Publication Date Title
US11972036B2 (en) Scene-based sensor networks
CN103686131B (zh) 使用图像的3d信息的监控设备和系统以及监控方法
US10084961B2 (en) Automatic generation of video from spherical content using audio/visual analysis
KR101634966B1 (ko) Ｖｒ 기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법
US10582162B2 (en) Image information collecting system and method for collecting image information on moving object
US20170195561A1 (en) Automated processing of panoramic video content using machine learning techniques
US20180103197A1 (en) Automatic Generation of Video Using Location-Based Metadata Generated from Wireless Beacons
KR101543542B1 (ko) 지능형 감시 시스템 및 이를 이용한 지능형 감시 방법
KR20140052357A (ko) 다중 카메라를 이용하여 객체의 이동을 추적하는 객체 추적 시스템 및 객체 추적 방법
JP2007158860A (ja) 撮影システム、撮影装置、画像切替装置、およびデータ保持装置
JP7369623B2 (ja) 情報処理システムおよび情報処理方法
KR20200067979A (ko) 입체적 멀티미디어 정보를 결정하기 위한 방법 및 장치
KR20150019230A (ko) 복수의 카메라를 이용한 객체 추적 방법 및 장치
KR101856548B1 (ko) 스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치
KR20180099098A (ko) 촬영 대상의 움직임 추적 기능을 가진 융합형 영상 감시 시스템
KR20120082201A (ko) 영상 감시 시스템 및 방법
CN113865483B (zh) 镀膜机中基片位置的监测方法、装置、系统及镀膜机
CN117221731A (zh) 基于人工智能的云台相机影像处理系统及方法
KR20230121951A (ko) Vr기반의 객체인식 정보를 이용한 영상 추적시스템, 그리고 영상 추적방법
KR20150021752A (ko) 영상의 3차원 정보를 이용한 감시 장치 및 시스템, 그리고 이를 이용한 방법
US20260112177A1 (en) Vehicle dashcam with dual front-facing cameras
JP2024154845A (ja) 車両撮影システム
TW201935921A (zh) 物件導向之監視系統以及方法
KR20190022283A (ko) 스트리트 뷰 서비스 방법 및 이러한 방법을 수행하는 장치

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18862833

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2019545574

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018862833

Country of ref document: EP

Effective date: 20200428