WO2017222413A1 - Способы и системы поиска объекта в видеопотоке - Google Patents

Способы и системы поиска объекта в видеопотоке Download PDF

Info

Publication number
WO2017222413A1
WO2017222413A1 PCT/RU2016/000934 RU2016000934W WO2017222413A1 WO 2017222413 A1 WO2017222413 A1 WO 2017222413A1 RU 2016000934 W RU2016000934 W RU 2016000934W WO 2017222413 A1 WO2017222413 A1 WO 2017222413A1
Authority
WO
WIPO (PCT)
Prior art keywords
objects
search
images
image
interest
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/RU2016/000934
Other languages
English (en)
French (fr)
Inventor
Артем Владимирович РАЗУМКОВ
Александр Владимирович КОРОБКОВ
Петр Владимирович ХАРЕБОВ
Алексей Георгиевич ЯСТРЕБОВ
Александр Анатольевич НЕВЕЛЬСКИЙ
Константин Алексеевич ГАВРИЛОВ
Андрей Викторович ДУРАКОВ
Алексей Юрьевич ГОРОДИЛОВ
Алексей Георгиевич КРАЕВ
Андрей Валерьевич ЗАЯКИН
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Satellit Innovatsia OOO
Original Assignee
Satellit Innovatsia OOO
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Satellit Innovatsia OOO filed Critical Satellit Innovatsia OOO
Priority to US16/311,928 priority Critical patent/US10957055B2/en
Priority to EP16906419.3A priority patent/EP3474188A4/en
Publication of WO2017222413A1 publication Critical patent/WO2017222413A1/ru
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/211—Selection of the most significant subset of features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/2163—Partitioning the feature space
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/23—Clustering techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/246—Analysis of motion using feature-based methods, e.g. the tracking of corners or segments
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G06T7/20—Analysis of motion
    • G06T7/292—Multi-camera tracking
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/40—Scenes; Scene-specific elements in video content
    • G06V20/46—Extracting features or characteristics from the video content, e.g. video fingerprints, representative shots or key frames
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast

Definitions

  • the claimed invention relates to the field of data processing, in particular, to methods and systems for analyzing and searching data for detecting an object in a video stream.
  • a known system for the automatic detection and tracking of a person’s face (RU 2370817, SAMSUNG ELECTRONICS Co., Ltd., 20.10.2009). This system allows for the identification of persons by analyzing the video data recorded in the archive of the video surveillance system, tracking a given person on several cameras.
  • the technical problem to which this invention is directed is to create an effective method for automatically searching for an object according to the indicated signs on images obtained from various cameras or from video surveillance system data previously recorded in the archive.
  • a method for searching an object in a video stream comprising the steps of:
  • a sequence of video frames is obtained from an information store or from one or more cameras in video surveillance mode.
  • the region of interest is manually set by the user or is created when there is movement in the frame.
  • a region of interest is created for each object in the frame that performs the movement.
  • the procedure for separating the image from the background includes dividing a portion of the image into groups of pixels belonging to the image of the processing object and the background.
  • features of topology elements are spatial-color features that are color clusters.
  • groups of pixels belonging to the background are not taken into account when building clusters.
  • clusters are defined for each part of the object structure.
  • each color cluster includes one or more attributes that are selected from the group: the position of the center relative to the object, the cluster size relative to the size of the entire object, the average color, the part of the object to which the cluster belongs, or their combination.
  • the fixation time of at least one image of the object in the frame and the identification number of the camera with which a particular frame is received are additionally determined.
  • the information contained in the search criteria includes: the color of the object or part of the object.
  • the image of the object as a sample as a search criterion is selected by selecting an area on the frame.
  • the image of the object, for use as a sample as a search criterion is selected from an external data warehouse.
  • the degree of similarity of the objects is calculated based on the characteristics of the objects contained in the data warehouse.
  • the degree of similarity is determined by comparing the color clusters of the subject of the search and the analyzed object in the frame.
  • the degree of color similarity of the clusters is determined by classifying the cluster color into one or more color classes.
  • images of objects that do not have a known class are counted as unknown objects.
  • a simplified topology is constructed for identified unknown objects.
  • a method for searching an object in a video stream comprising the steps of:
  • topology of the identified one or more images of objects in the mentioned area of interest, and the topology includes elements that characterize the structure of the object and features of such elements;
  • At least one more video camera is additionally determined on which the image of the tracking object is fixed.
  • the trajectory of the object is determined, which is displayed on a schematic floor plan.
  • the spatial arrangement of the cameras is taken into account.
  • the user can set the pattern as a tracking object by highlighting the object on the image frame received from the camera.
  • 20 cameras are automatically switched to display the search result.
  • a system for searching for an object in a video stream comprising at least one means for storing and processing video frames connected to at least one processor and at least 25 storage devices, said storage device the device contains machine-readable instructions that, when executed by at least one processor, implement the steps of the method in which:
  • topology of the identified one or more images of objects in the mentioned area of interest, and the topology includes elements that characterize the structure of the object and features of such elements;
  • At least one means for storing and processing video frames is connected to at least one surveillance camera.
  • the surveillance cameras are IP, static or ⁇ cameras.
  • a system for searching for an object in a video stream comprising a group of surveillance cameras associated with at least one means for storing and processing video frames connected to at least one processor and at least one memory a device, said storage device comprising computer-readable instructions that, when executed by at least one processor, implement the steps of the method in which:
  • the means for storing and processing video frames is a server.
  • the server is a cloud server.
  • security cameras are IP cameras.
  • cameras are associated with means for storing and processing video frames via a wired or wireless data channel.
  • At least one camera on which the image of the search object is fixed is additionally determined.
  • FIG. 1 shows a sequence of steps in implementing the method according to the first embodiment.
  • FIG. 2-3 shows an example of a region of interest.
  • FIG. 4 shows an example of selecting an object using a classifier on a frame.
  • FIG. 5 shows an example of a frame displaying the topology of an object and highlighting color clusters.
  • FIG. 6 shows an example of the result of a search query in a stored video stream of data for a given sample
  • FIG. 7 shows an example of a search query in a stored video stream of data according to predetermined signs.
  • FIG. Figure 8 shows an example of setting the search criteria for a sample using the editor.
  • FIG. 9 shows an example of using a color map.
  • FIG. 10 shows a sequence of steps in implementing the method according to the second embodiment.
  • FIG. 1 shows a method 100 for determining an object in a video stream according to a first embodiment of the claimed invention.
  • the data retrieval system receives a sequence of video frames of their data warehouse 150.
  • Data warehouse 150 can be made on the basis of widely used electronic computing devices, for example, a personal computer, supercomputer or mainframe, using standard information storage tools, for example, HDD, SSD , NAND Flash, etc.
  • Information entering the data warehouse 150 can be obtained from video capture sources of an image, for example, a camera (video camera) (surveillance camera, IP camera, static or PTZ type, and etc.), or transmitted from an external source of information, for example, another data warehouse or electronic device.
  • the information is a static frame captured using the mentioned means of video recording or a sequence of video frames recorded using the said means.
  • Each frame is a two-dimensional matrix of pixels. This matrix has a specific size called frame resolution.
  • Frames are represented by bitmap images in the form of a two-dimensional matrix of pixels or average colors of blocks of pixels having a size of W x H, where W is the image width and H is the height. Pixels or blocks of pixels in an image have a color whose value is stored as the values of the components of a particular color space, such as RGB.
  • the sequence of frames On the obtained sequence of video frames (hereinafter referred to as the sequence of frames), one or more areas of interest 120 are selected (Fig. 2, Fig. 3), where objects of certain types 1201, 1202 are detected. Highlighting areas of interest 120 allows to reduce computational processing costs input data.
  • the region of interest 120 may be a part of the frame and contain one or more images of the object 1200.
  • the region of interest 120 may also represent the whole frame as a whole, in this case all images of the objects falling into the frame will be further processed by the system.
  • the area of interest 120 can be set by the user of the video surveillance system or working with information stored in the data warehouse 150, or automatically determined by the presence of movement in the frame, or in another way, and the area of interest 120 can be created one for several images of objects 1200 (Fig. 2) contained in it, or for each image of the object 1200 separately (Fig. 3).
  • a sequence of frames is processed by a motion detector, which on each frame identifies areas 130, consisting of sets of connected pixels and related to objects 1200 moving in the frame. Each 5 such a plurality corresponds to a separate moving object 1200, and each moving object 1200 may contain many separate objects.
  • the area 130 including this set of pixels - the boundary of a moving object.
  • the belonging of pixels to the corresponding moving objects 1200 is stored inside the motion map.
  • areas of interest 120 are created in which objects of a certain type will be searched.
  • FIG. 4 shows the principle of classification of images of objects in a frame according to step 103 of the claimed method 100.
  • the 15 1200 in the image is performed by applying an algorithm called a classifier to each frame.
  • the classifier takes as input a part of the frame from the region of interest 120, and gives an answer whether this part of the frame contains an image of an object 1200 of a certain class.
  • a set of classes is predefined, for example: man, car, building, tree, pillar, dog
  • Classifier response areas are highlighted and remembered on the frame.
  • the classifier finds areas of the frame that contain an image of an object 1200 of a certain class, for example, an image of a person.
  • the classification is carried out by applying the classifier to 25 areas of interest 120 images.
  • Each of the classifiers defines a class of an object located in the processed area of the image.
  • the classifier returns the index of the class to which the object belongs, or a sign that the image cannot be classified, that is, assigned to any of the well-known classes of classes (rejection of classification).
  • the classifier can be applied to various image scales in order to ensure the classification of objects regardless of their size. Application is carried out, for example, by a sliding window method, moved with a given step.
  • the scope of the classifier can be further limited by the algorithm settings from below and / or above to speed up the work.
  • the result of applying the classifier of the type "man" is shown in FIG. 4.
  • the classifier as a rule, gives a lot of responses around each of the objects 1200, from which one response should be selected for each of the objects 1200, which is carried out by applying the algorithm for grouping the response frames, including the clustering method.
  • step 104 all detected images of objects 1200 are processed in one or more areas of interest 120.
  • the image inside the area 120 selected by the classifier is divided into two parts: a foreground containing the image of the object itself and a background.
  • an algorithm is applied that assigns each pixel of the selected area 120 to either the foreground (object) or the background using a priori knowledge about the type of objects 1200 of this class. This stage allows you to more accurately separate the desired images of objects from the background, which reduces the amount of noisy information and leads to an increase in the speed of data processing and increase the accuracy of determining the required image of the object.
  • a topology is created for each of the objects 1200 identified in areas of interest 120.
  • An important part of indexing objects 1200 is to highlight image parts that are related to the characteristic essential structural parts of the object. For example, a person has a head, arms, legs and torso. Accordingly, on the image of a person, as a rule, there will be areas related to these structural elements. They may also be absent, for example, due to overlapping with other objects, concealment of clothing, etc. Detection and storage of information about such areas allows you to create a more representative structure of the spatial-color features of the object 1200.
  • Knowledge of the general structure of an object of a certain class is a priori, while the specific boundaries of the areas 140 related to individual parts of the object 1200 are determined for each specific object 1200 separately.
  • the actual arrangement of elements is taken into account, which, on the basis of a priori knowledge, can be assigned to particular parts of object 1200.
  • an algorithm for fitting the boundary between parts of object 1200 can be used, which optimally separates areas of different colors.
  • FIG. 5 shows the boundaries of regions 140 containing a certain part of a person’s image, for example, a trunk and legs.
  • a feature set is created for one or more images of objects 1200 based on the created topology.
  • the image of the object 1200, separated from the background and divided into structural parts in accordance with a given topology is indexed.
  • the resulting feature sets for each object 1200 are stored in the data warehouse 150 with reference to the specific image of the object 1200 mentioned.
  • a description of the objects 1200 is created, which can be used to compare the objects with each other, using the degree of similarity. This degree works in such a way that if the objects are not similar, then the distance between these objects in the space of their description should be greater than between similar objects.
  • spatial-color features called color clusters can be selected as features.
  • Each color cluster 150 may include the following attributes: the position of the center relative to the object, the size relative to the size of the entire object 1200, the average color, the part of the object 1200 to which it refers.
  • a set of clusters 150 is determined for each of its parts. After that, the created preliminary set of clusters undergoes transformations, including the operations of combining similar clusters and discarding unnecessary (background, noise) clusters 150.
  • FIG. 5 shows the complete preliminary sets of clusters and the ones that were discarded 151 are highlighted.
  • the set of obtained color clusters of the object 150, its dimensions, position in the frame and the observation time form a set of features by which objects 1200 can be compared with each other.
  • This set of features is called the index of the object 1200, and the object 1200 to which the index is associated is called indexed.
  • the comparison result in general gives an answer to the following questions: 1) are we observing in this area of this frame the same object that we are looking for? 2) do we observe in this area of this frame an object similar to the one we are looking for? 3) whether we observe an object suitable for given signs in the event that only the description of signs is given, and not a sample of a specific object.
  • signs of other types can be selected, for example, a description of the features of the movement of the object (the trajectory of movement, the type of trajectory depending on the type of object, the type of object as such (person, car)).
  • a function is created that determines the similarity of 1200 objects.
  • a simplified topology is constructed that does not take into account 4, the structure of such objects, and color clusters for such objects are attached to such objects as the whole.
  • indexed objects 1200 are transferred to a data storage facility 150 in which they are stored in machine-readable form, for example, as a database.
  • indexed objects 1200 are attached to the frames on which they were detected with reference to the acquired characteristics for each specific image of the object 1200 to which they belong.
  • Data retrieval for indexed objects can be carried out at a given time and specified channels (cameras).
  • index objects can be compared with the selected sample in real time. Then writing to the repository is optional.
  • the system user generates a search query.
  • the search pattern can be selected from the recorded video archive stored in the data warehouse 150, drawn or set in another way, which allows extracting features from the object within the framework of method 100.
  • the user paints or selects the color of individual parts of the object of the selected type using drawing tools and color choices.
  • FIG. 6 shows an example of a search query when the search criteria is a sample image.
  • the user can select this sample by indicating the area of interest 120 on the frame selected from the data warehouse 150.
  • FIG. 7 shows an example in which the search criterion is to indicate whether the desired image of the object is taken, for example, a light top, a dark bottom, an indication of specific parts of the clothing with their color scheme, for example, a blue jacket, gray sweater, jeans, yellow skirt, etc.
  • FIG. 8 shows a detailed view of a search subject creation form.
  • a sample is added, which contains a set of functions that allow you to specify a specific type of object, a color palette of clothing items, and specify a sample to search by loading an image from a file.
  • Downloading a sample from a file can be done by entering data into the system from an external source of information storage, for example, from the Internet or an external data carrier.
  • step 109 features are extracted from the entered search criteria with the creation of a search subject.
  • the definition of signs describing the structure and / or color clusters belonging to the image selected as a search criterion is performed. If the user specified a specific class of an object, for example, a person, then the system immediately determines that the search for the video stream will be performed only on objects with a similar class. If only signs describing the attributes of the subject of the search were indicated, for example, the color of clothes, then the comparison will be based on parameters describing the structure and / or color clusters and / or other signs.
  • the software step directly initiates the search procedure itself, in which the search for frames containing objects similar to the sample representing the subject of the search at step 111 is performed.
  • the search for objects similar to this sample can be performed either in simple mode or in inter-camera tracking mode according to predefined signs.
  • searching in interchamber mode the spatial arrangement of the cameras is taken into account, which makes it possible to understand when and on which camera this object was recorded.
  • a comparison of the objects stored in the data warehouse database 150 with the selected sample (s) is used. Search is possible on all cameras connected to a system that implements the claimed method 100.
  • inter-chamber tracking mode refers to inter-chamber tracking, i.e. the mode of observation of an object of interest by obtaining a video stream from several cameras (see, for example, http://www.osp.ru/lan/2014/06/13041879/; http://macroscop.com/o-kompanii/novosti / 2013 / mezhkamemvii-trekin
  • the degree of similarity of objects 1200 is calculated based on the characteristics of objects contained in the data warehouse 150.
  • the degree of similarity is determined by comparing the color clusters of the subject of the search and the analyzed object in the frame. For each part of the object, pairs of the closest clusters of 150 samples and the object under test are searched. Proximity is calculated as the distance in the LAB color space. Next, for each part of the object, the degree of color mismatch and the difference in size of the closest clusters 150 are calculated. Next, for clusters 150 for which no pair was found, the mentioned degree of mismatch is determined, depending on their size. Next, for each part of the object is the maximum degree of discrepancy, which is the degree of similarity of objects.
  • the degree of color similarity of the clusters is also determined by classifying the cluster color into one or more color classes using the color map shown in FIG. 9.
  • a color map is a finite set of so-called primary colors; the color of the image cluster of an object is mapped to one or more colors of the map.
  • the color map is divided into 10x10x10 cells HSV color space. Each cell is associated with several (from 1 to 4) primary colors.
  • the criterion for object similarity when comparing with the sample is the presence of “similar” color clusters 150 in each part of object 1200. On the 5th template and on the image of the object being tested, only those color clusters are selected for comparison whose sizes are not less than a given fraction (-0.33) of the maximum the same part of the object.
  • Clusters are considered to have a high degree of similarity if a) among the primary colors that are matched by the color map, there are the same;
  • a special search index in the form of a graph can be used to accelerate the extraction of images from a relational database (data warehouse 150).
  • This search acceleration method is universal for any relational DBMS and any combination thereof.
  • Each indexed object 1200 is placed in a special structure (graph), either falling into an existing node or creating a new node depending on the proximity to objects already placed in the search graph.
  • Each node corresponds to an identifier that, together with the object
  • the system gives the result of the search, which gives the user a frame and / or set of frames containing the mentioned images of objects (step 1 13), corresponding to the subject of the search, or reports that the search did not return results (step 1 14).
  • the search result is presented as a set of individual frames on which the object was identified, or contains a set of frames, for example, a video recording from a surveillance camera.
  • Each detected frame or video may contain additional information, such as: the time of the creation of the frame (clip), the number of the camera with which the image was received, the coordinates of the camera.
  • a second embodiment of a method for detecting objects in a video stream 200 is to monitor a tracking object by obtaining information from multiple video surveillance cameras.
  • a sequence of frames is obtained from a group of cameras 250 containing several cameras 2501-2503 connected to the data warehouse 150.
  • Step 202 the user selects a region of interest that may contain a tracking object of interest.
  • Steps 203-207 are identical to steps 102-107 of method 100.
  • a specific image of an object on a frame acts as a search subject, for example, a person who is set as a tracking object at step 208.
  • an object is searched that is performed in the same manner as an object is searched in steps 1 to 10-111 of method 100.
  • the user is provided with a sequence of frames displayed by 5 one or more cameras on which the image of the tracking object is fixed.
  • the search can be performed in the "inter-chamber tracking" mode.
  • the inter-camera tracking function allows the user to track the movement of an object (for example, a person) between several cameras for a certain period of time.
  • the results of the function showing the movement of a person within the cameras on which he was detected, can be shown as a set of frames, a video or a trajectory on a schematic plan of the room, or
  • the selection of the tracking object at step 208 may be performed with
  • a schematic view of the cameras can be displayed on a plan with an indication of at least one camera with which the image is currently being received.
  • the system presented in the third embodiment is a computing device, in particular, a computer that contains one or more processors, a memory tool containing instructions executed by the processor, which, when executed, implement a method for searching for an object in video stream 100.
  • the system presented in the fourth embodiment is a computing device, in particular, a computer that contains 15 one or more processors, a memory tool containing instructions executed by the processor, which, when executed, implement a method for finding an object in the video stream 200.
  • Data storage 150 which is part of the systems according to the third and fourth embodiment, can be a cloud data storage 20 and communicate with surveillance cameras from which a set of video frames is obtained via wired or wireless communication (IP cameras with Wi-Fi transceivers).
  • IP cameras with Wi-Fi transceivers IP cameras with Wi-Fi transceivers

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Multimedia (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Image Analysis (AREA)
  • Closed-Circuit Television Systems (AREA)

Abstract

Изобретение относится к поиску объекта в видеопотоке. Техническим результатом является повышение точности определения искомого изображения объекта в видеопотоке. Способ содержит этапы, на которых: получают последовательность видеокадров; определяют область интереса на одном из видеокадров; определяют на области интереса одно или более изображений объектов и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным классом объекта; осуществляют обработку всех выявленных изображений объектов в области интереса, при которой отделяют выявленные изображения объектов от фона кадра; создают топологию выявленных изображений объектов в упомянутой области интереса; создают набор признаков для одного или более изображений объектов согласно созданной топологии и сохраняют их в хранилище данных; задают критерий поиска; получают признаки искомого объекта поиска; выполняют поиск объектов в видеопотоке; осуществляют сопоставление предмета поиска с признаками изображений объектов, выявленных в видеопотоке; определяют кадр или совокупность кадров, содержащие упомянутые изображения объектов, соответствующие предмету поиска, либо сообщают, что поиск не дал результатов; предоставляют результаты поиска.

Description

СПОСОБЫ И СИСТЕМЫ ПОИСКА ОБЪЕКТА В ВИДЕОПОТОКЕ
ОБЛАСТЬ ТЕХНИКИ
Заявленное изобретение относится к области обработки данных, в частности, к способам и системам анализа и поиска данных для обнаружения объекта в видеопотоке.
УРОВЕНЬ ТЕХНИКИ
Известна система автоматического выделения и отслеживания лица человека (RU 2370817, САМСУНГ ЭЛЕКТРОНИКС Ко., Лтд., 20.10.2009). Данная система позволяет проводить идентификацию личности путем анализа видеоданных, записанных в архив системы видеонаблюдения, отслеживать заданного человека на нескольких камерах.
Недостатком данного подхода является высокая требовательность к качеству изображения и условиям съемки для каждой камеры, для которой выполняется анализ, так как признаками объекта являются характеристики лица человека, которое таким образом всегда должно быть видно в определенном ракурсе и с достаточным разрешением. Такие требования существенно ограничивают возможности применения данного изобретения для поиска людей в видеоархивах систем видеонаблюдения.
Известен способ индексирования видеоданных при помощи карты, позволяющий ускорить поиск данных в видеоархиве путем задания координат зоны поиска объекта, или получить траекторию передвижения объекта в двумерном пространстве (RU 2531876, Общество с ограниченной ответственностью "Синезис", 27.10.2014). Данный способ основан на установлении взаимосвязи изображения движущегося объекта с местоположением и/или параметрами движения найденного объекта на карте, вычисляемыми путем сопоставления изображений объекта, полученных с двух разных камер. Недостатком данного способа является невозможность поиска объекта по цветовым признакам, объекты не разделяются на классы, поэтому- невозможно задать класс объекта в качестве параметра поиска, например, найти всех людей в видеопотоке указанной видеокамеры. Требование к наличию двух камер, снимающих одно и то же место с разных ракурсов, увеличивает сложность системы и требовательность к ресурсам.
Наиболее близким к заявленному изобретению является способ, описанный в патенте US 8891880 (Nec Corp., 18.11.2014). Данный способ позволяет отслеживать человека в видеопотоке, даже если он не обладает существенными отличительными признаками, например, архив содержит большое количество людей в похожей одежде. В качестве основных признаков способ использует приметы лица и приметы одежды человека. Похожесть изображений людей определяется по совокупности признаков, полученных при определении лица и анализе частей одежды. Это накладывает требования на качество изображения, к тому же наличие признаков у объекта зависит от ракурса съемки в текущий момент.
РАСКРЫТИЕ ИЗОБРЕТЕНИЯ
Техническая задача, на решение которой направлено данное изобретение, состоит в создании эффективного способа автоматического поиска объекта по указанным приметам на изображениях, получаемых с различных камер или из предварительно записанных в архив данных системы видеонаблюдения.
Техническим результатом является повышение точности определения искомого изображения объекта в видеопотоке, а также повышение скорости обнаружения искомого объекта, за счет осуществления классификации объектов и определении признаков объектов, выявленных на кадрах видеопотока. В первом предпочтительном варианте осуществления заявленного изобретения раскрывается способ поиска объекта в видеопотоке, содержащий этапы, на которых:
- получают последовательность видеокадров; - определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объектов и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;
- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра; - создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;
- создают набор признаков для каждого из упомянутых одного или более изображений объектов согласно созданной топологии и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;
- задают критерий поиска, содержащий информацию об одной или более приметах объекта поиска или графическое изображение образца для поиска; - получают признаки искомого объекта поиска из упомянутого критерия поиска и создают предмет поиска на основании упомянутых признаков;
- выполняют поиск объектов в видеопотоке на основании упомянутых признаков, полученных из критерия поиска, характеризующих предмет поиска;
- осуществляют сопоставление упомянутого предмета поиска с признаками изображений объектов, выявленных в видеопотоке;; определяют кадр и/или совокупность кадров, содержащие упомянутые изображения объектов, соответствующие предмету поиска, либо сообщают, что поиск не дал результатов;
- предоставляют результаты поиска.
В частном варианте последовательность видеокадров получают из хранилища информации или с одной или более камер в режиме видеонаблюдения.
В другом частном варианте область интереса задается вручную пользователем или создается при наличии движения в кадре.
В другом частном варианте при наличии движения в кадре область интереса создается для каждого объекта на кадре, осуществляющего движение.
В другом частном варианте процедура отделения изображения от фона включает в себя разделение участка изображения на группы пикселей, принадлежащие изображению объекта обработки и фону.
В другом частном варианте признаки элементов топологии представляют собой пространственно-цветовые признаки, являющиеся цветовыми кластерами. В другом частном варианте группы пикселей, принадлежащие фону, не учитываются при построении кластеров.
В другом частном варианте кластеры определяются для каждой части структуры объекта.
В другом частном варианте каждый цветовой кластер включает в себя один или более атрибут, которые выбираются из группы: положение центра относительно объекта, размер кластера по отношению к размеру всего объекта, средний цвет, часть объекта, к которой относится кластер или их совокупности.
В другом частном варианте дополнительно определяют время фиксации, по меньшей мере, одного изображения объекта в кадре и идентификационный номер камеры, с которой получен конкретный кадр.
В другом частном варианте информация, содержащаяся в критерии поиска, включает в себя: цвет объекта или части объекта.
В другом частном варианте выбор изображения объекта, как образца в качестве критерия поиска, осуществляется с помощью выделения области на кадре.
В другом частном варианте изображение объекта, для использования как образца в качестве критерия поиска выбирается из внешнего хранилища данных.
В другом частном варианте при поиске изображения объекта по введенным критериям поиска вычисляется степень схожести объектов, на основании признаков объектов, содержащихся в хранилище данных.
В другом частном варианте степень схожести определяется на основании сравнения цветовых кластеров предмета поиска и анализируемого объекта в кадре.
В другом частном варианте степень схожести цвета кластеров определяется с помощью классификации цвета кластера на один или несколько классов цветов. В другом частном варианте на этапе классификации, изображения объектов, которые не имеют известного класса, учитываются как неизвестные объекты.
В другом частном варианте для выявленных неизвестных объектов осуществляется построение упрощенной топологии.
Во втором предпочтительном варианте осуществления заявленного изобретения раскрывается способ поиска объекта в видеопотоке, содержащий этапы, на которых:
- получают последовательность видеокадров от двух и более видеокамер;
- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;
- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;
- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;
- создают набор признаков одного или более изображений объектов согласно созданной топологии для каждого объекта и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;
- выбирают изображение объекта в качестве объекта слежения; - выполняют поиск по упомянутой последовательности видеокадров на предмет определения кадров, содержащих упомянутое изображение объекта слежения, с помощью сравнения признаков упомянутого изображения объекта слежения с признаками изображений объектов, содержащихся в
5 упомянутом хранилище данных;
- определяют последовательность кадров, содержащих изображение упомянутого объекта слежения;
- отображают результат поиска.
В частном варианте дополнительно определяется, по меньшей мере, ю одна видеокамера, на которой зафиксировано изображение объекта слежения.
В другом частном варианте определяется траектория движения объекта, которая отображается на схематическом плане помещения.
В другом частном варианте при нахождении объекта слежения 15 учитывается пространственное расположение камер.
В другом частном варианте пользователь может задавать образец в качестве объекта слежения с помощью выделения объекта на кадре изображения, получаемого с камеры.
В другом частном варианте выполняется автоматическое переключение 20 камер для отображения результата поиска.
В третьем предпочтительном варианте осуществления заявленного изобретения раскрывается система поиска объекта в видеопотоке, содержащая, по меньшей мере, одно средство хранения и обработки видеокадров, соединенное с, по меньшей мере, одним процессором и, по 25 меньшей мере, одним запоминающим устройством, причем упомянутое запоминающее устройство содержит машиночитаемые команды, которые при их исполнении по меньшей мере одним процессором реализуют этапы способа, на которых:
- получают последовательность видеокадров от упомянутого средства зо хранения и обработки видеокадров; RU2016/000934
- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;
- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;
- создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;
- создают набор признаков для каждого из упомянутых одного или более изображений объектов согласно созданной топологии и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;
- задают критерий поиска, содержащий информацию об одной или более приметах объекта поиска или графическое изображение образца для поиска;
- получают признаки искомого объекта поиска из упомянутого критерия поиска и создают предмет поиска на основании упомянутых признаков;;
- выполняют поиск объектов в видеопотоке на основании упомянутых признаков, полученных из критерия поиска, характеризующих предмет поиска;
- осуществляют сопоставление упомянутого предмета поиска с признаками изображений объектов, выявленных в видеопотоке;; определяют кадр и/или совокупность кадров, содержащие упомянутые изображения объектов, соответствующие предмету поиска, либо сообщают, что поиск не дал результатов;
- предоставляют результаты поиска.
В частном варианте, по меньшей мере, одно средство хранения и обработки видеокадров соединено с, по меньшей мере, одной камерой наблюдения.
В другом частном варианте камеры наблюдения представляют собой IP, статичные или ΡΤΖ-камеры. В четвертом предпочтительном варианте осуществления заявленного изобретения раскрывается Система поиска объекта в видеопотоке, содержащая группу камер наблюдения, связанную с, по меньшей мере, одним средством хранения и обработки видеокадров, соединенным с, по меньшей мере, одним процессором и, по меньшей мере, одним запоминающим устройством, причем упомянутое запоминающее устройство содержит машиночитаемые команды, которые при их исполнении по меньшей мере одним процессором реализуют этапы способа, на которых:
- получают последовательность видеокадров от двух и более видеокамер;
- определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;
- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра; - создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;
- создают набор признаков одного или более изображений объектов согласно созданной топологии для каждого объекта и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению объекта;
- выбирают изображение объекта в качестве объекта слежения;
- выполняют поиск по упомянутой последовательности видеокадров на предмет определения кадров, содержащих упомянутое изображение объекта слежения, с помощью сравнения признаков упомянутого изображения объекта слежения с признаками изображений объектов, содержащихся в упомянутом хранилище данных;
- определяют последовательность кадров, содержащих упомянутое изображение объекта слежения;
- отображают результат поиска.
В частном варианте средство хранения и обработки видеокадров представляет собой сервер.
В другом частном варианте сервер является облачным сервером.
В другом частном варианте камеры слежения представляют собой IP- камеры.
В другом частном варианте камеры связаны со средством хранения и обработки видеокадров посредством проводного или беспроводного канала передачи данных.
В другом частном варианте дополнительно определяется, по меньшей мере, одна камера, на которой зафиксировано изображение объекта поиска.
КРАТКОЕ ОПИСАНИЯ ЧЕРТЕЖЕЙ На Фиг. 1 изображена последовательность шагов при осуществлении способа согласно первому варианту осуществления.
На Фиг. 2-3 изображен пример области интереса.
На Фиг. 4 изображен пример выделения на кадре объекта с помощью классификатора.
На Фиг. 5 изображен пример кадра с отображением топологии объекта и выделение цветовых кластеров.
На Фиг. 6 изображен пример результата поискового запроса в сохраненном видеопотоке данных по заданному образцу,
На Фиг. 7 изображен пример поискового запроса в сохраненном видеопотоке данных по заданным приметам.
На Фиг. 8 изображен пример задания критерия поиска по образцу с помощью редактора.
На Фиг. 9 изображен пример использования карты цветов.
На Фиг. 10 изображена последовательность шагов при осуществлении способа согласно второму варианту осуществления.
ОСУЩЕСТВЛЕНИЕ ИЗОБРЕТЕНИЯ На Фиг. 1 показан способ 100 определения объекта в видеопотоке согласно первому варианту осуществления заявленного изобретения.
На этапе 101 система поиска данных получает последовательность видеокадров их хранилища данных 150. Хранилище данных 150 может быть выполнено на базе широко используемых электронно-вычислительных устройств, например, персонального компьютера, суперкомпьютера или мейнфрейма, с использованием стандартных средств хранения информации, например, HDD, SSD, NAND Flash и т.п.
Информация, поступающая в хранилище данных 150, может быть получена от источников видеофиксации изображения, например, камеры (видеокамеры) (камеры наблюдения, IP камеры, статичного или PTZ типа, и т.п.), либо передаваться от внешнего источника информации, например, иного хранилища данных или электронного устройства. Информация представляет собой статичные кадры, зафиксированные с помощью упомянутых средств видеофиксации или последовательность видеокадров, записанную с помощью упомянутых средств. Каждый кадр представляет собой двумерную матрицу пикселей. Эта матрица имеет определенный размер, называемый разрешением кадра.
Кадры представляются растровыми изображениями в виде двумерной матрицы пикселей или средних цветов блоков пикселей, имеющей размер W х Н, где W - ширина изображения, а Н - высота. Пиксели или блоки пикселей изображения обладают цветом, значение которого сохраняется в виде значений компонент определенного цветового пространства, например RGB. На этапе 102 на полученной последовательности видеокадров (далее - последовательность кадров) выделяются одна или более областей интереса 120 (Фиг. 2, Фиг. 3), где производится детектирование объектов определенных типов 1201 , 1202. Выделение областей интереса 120 позволяет сократить вычислительные затраты на обработку входных данных.
Область интереса 120 может представлять собой часть кадра и содержать в себе одно или более изображений объекта 1200. Область интереса 120 может также представлять собой весь кадр целиком, в этом случае все изображения объектов, попавших в кадр, будут в дальнейшем обработаны системой.
Область интереса 120 может задаваться пользователем системы видеонаблюдения или осуществляющего работу с информацией, хранящейся в хранилище данных 150, либо автоматически определяться по наличию движения в кадре, либо другим способом, причем область интереса 120 может создаваться одна для нескольких изображений объектов 1200 (Фиг. 2), содержащихся в ней, либо для каждого изображения объекта 1200 отдельно (Фиг. 3). При создании областей интереса при движении объекта 1200 в кадре последовательность кадров обрабатывается детектором движения, который на каждом кадре выделяет области 130, состоящие из множеств связанных пикселей и относящиеся к объектам 1200, двигавшимся в кадре. Каждое 5 такое множество соответствует отдельному движущемуся объекту 1200, причем каждый движущийся объект 1200 может содержать множество отдельных объектов. Для него также запоминается область 130, включающая данное множество пикселей - граница движущегося объекта. Принадлежность пикселей соответствующим движущимся объектам 1200 ю запоминается внутри карты движения. Вокруг движущихся объектов 1200 создаются области интереса 120, в которых будет производиться поиск объектов определенного типа.
На Фиг. 4 показан принцип классификации изображений объектов в кадре согласно этапу 103 заявленного способа 100. Классификация объектов
15 1200 на изображении выполняется при помощи применения к каждому кадру алгоритма, называемого классификатором. Классификатор принимает на вход часть кадра из области интереса 120, и выдает ответ, содержит ли эта часть кадра изображение объекта 1200 определенного класса. Набор классов задан заранее, например: человек, автомобиль, здание, дерево, столб, собака
20 и т.п. На кадре выделяются и запоминаются области срабатывания классификатора. Классификатор находит области кадра, которые содержат изображение объекта 1200 определенного класса, например, изображение человека.
Классификация осуществляется путем применения классификатора к 25 областям интереса 120 изображения. Каждый из классификаторов определяет класс объекта, находящегося в обрабатываемой области изображения. Классификатор возвращает индекс класса, которому принадлежит объект, или признак того, что изображение не может быть классифицировано, то есть отнесено к какому-либо из известных классов зо (отказ от классификации). Классификатор может применяться к различным масштабам изображения для того, чтобы обеспечить классификацию объектов независимо от их размера. Применение осуществляется, например, методом скользящего окна, перемещаемого с заданным шагом. Масштабы применения классификатора могут быть дополнительно ограничены настройками алгоритма снизу и/или сверху для ускорения работы. Результат применения классификатора типа "человек" показан на Фиг. 4. Классификатор, как правило, дает вокруг каждого из объектов 1200 множество откликов, из которых надо выбрать по одному отклику для каждого из объектов 1200, что осуществляется посредством применения алгоритма группировки рамок откликов, включающего метод кластеризации.
Если на этапе классификации выявляются изображения объектов, которые не имеют известного класса, то они учитываются как неизвестные объекты.
Далее на этапе 104 осуществляется обработка всех выявленных изображений объектов 1200 в одной или более областях интереса 120. Согласно Фиг. 5 для последующего анализа цветовых характеристик объекта изображение внутри выделенной классификатором области 120 разделяется на две части: передний план, содержащий изображение самого объекта, и фон. На этапе отделения фона применяется алгоритм, который относит каждый пиксель выделенной области 120 либо к переднему плану (объекту), либо к фону, используя априорные знания о виде объектов 1200 данного класса. Данный этап позволяет более точно отделить искомые изображения объектов от фона, что снижает количество зашумляющей информации и приводит к повышению скорости обработки данных и повышению точности определения необходимого изображения объекта.
После отделение фона на этапе 105 выполняется создания топологии каждого из объектов 1200, выявленных в областях интереса 120. Важной частью индексирования объектов 1200 является выделение частей изображения, относящихся к характерным существенным структурным частям объекта. Например, человек имеет голову, руки, ноги и туловище. Соответственно, на изображении человека, как правило, будут присутствовать участки, относящиеся к этим структурным элементам. Они также могут отсутствовать, например, из-за перекрытия другими объектами, скрытия одеждой и т.д. Обнаружение и сохранение информации о таких участках позволяет создавать более репрезентативную структуру пространственно-цветовых признаков объекта 1200. Знание общей структуры объекта определенного класса являются априорными, в то время как конкретные границы областей 140, относящихся к отдельным частям объекта 1200, определяются для каждого конкретного объекта 1200 в отдельности. При создании топологии учитывается фактическое расположение элементов, которые на основе априорных знаний могут быть отнесены к тем или иным частям объекта 1200. Для этого может использоваться алгоритм подгонки границы между частями объекта 1200, оптимальным образом разделяющий области различного цвета. Результат создания топологии приведен на Фиг. 5, где показаны границы областей 140, вмещающие определенную часть изображения человека, например, туловище и ноги.
Согласно Фиг. 1 на этапе 106 создают набор признаков для одного или более изображений объектов 1200 на основании созданной топологии. Изображение объекта 1200, отделенное от фона и разделенное на структурные части в соответствии с заданной топологией подвергается индексированию. Полученные наборы признаков для каждого объекта 1200 сохраняют в хранилище данных 150 с привязкой к конкретному упомянутому изображению объекта 1200. На этом этапе создается описание объектов 1200, которое можно использовать для сравнения объектов друг с другом, используя степень схожести. Данная степень работает таким образом, что если объекты не похожи, то расстояние между данными объектами в пространстве их описания должно получаться больше, чем между похожими объектами. В предложенном способе в качестве признаков могут быть выбраны пространственно-цветовые признаки, называемые цветовыми кластерами. Они описывают пространственные области изображения с однородными цветовыми характеристиками, как правило, соответствующие характерным элементам объекта, например, отдельным предметам одежды у человека. Каждый цветовой кластер 150 может включать следующие атрибуты: положение центра относительно объекта, размер по отношению к размеру всего объекта 1200, средний цвет, часть объекта 1200, к которой он относится. На каждом объекте определяется набор кластеров 150 для каждой из его частей. После этого созданный предварительный набор кластеров подвергается преобразованиям, включающим операции объединение похожих кластеров и отбрасывание лишних (фоновых, шумовых) кластеров 150. На Фиг. 5 показаны полные предварительные наборы кластеров и выделены те, которые были отброшены 151. Совокупность полученных цветовых кластеров объекта 150, его размеры, положение в кадре и время наблюдения образуют набор признаков, по которым объекты 1200 можно сравнивать друг с другом. Данный набор признаков называется индексом объекта 1200, а объект 1200, которому сопоставлен индекс, называется проиндексированным.
Результат сравнения в общем виде дает ответ на следующие вопросы: 1) наблюдаем ли мы в данной области данного кадра, тот же объект, который ищем? 2) наблюдаем ли мы в данной области данного кадра объект, похожий на тот, который мы ищем? 3) наблюдаем ли мы объект, подходящий под заданные приметы в случае, если задано только описание примет, а не образец конкретного объекта. Для более точного описания объектов изображения могут выбираться и признаки других типов, например, описание особенностей движения объекта (траектория движения, тип траектории в зависимости от типа объекта, тип объекта как таковой (человек, автомобиль)). Для всех признаков создается функция, определяющая похожесть объектов 1200.
Для выявленных на этапе 103 классификации неизвестных объектов осуществляется построение упрощенной топологии, которая не учитывает 4 структуру таких объектов, и цветовые кластеры для таких объектов привязываются к таким объектам, как к целому.
На этапе 107 признаки объектов, полученные на этапе 106, сохраняются в хранилище данных 150 для их последующего использования в осуществлении поисковых сессий, т.е. проиндексированные объекты 1200 передаются в средство памяти хранилища данных 150, в котором они хранятся в машиночитаемом виде, например, в виде базы данных. При сохранении проиндексированные объекты 1200 привязываются к кадрам, на которых были обнаружены с привязкой полученных признаков для каждого конкретного изображения объекта 1200, которому они принадлежат. Извлечение данных по проиндексированным объектам может осуществляться по заданному времени и заданным каналам (камерам).
Также проиндексированные объекты могут сравниваться с выбранным образцом в режиме реального времени. Тогда запись в хранилище необязательна.
На этапе 108 пользователь системы выполняет генерирование поискового запроса. Образец для поиска может быть выбран из записанного видео архива, хранимого в хранилище данных 150, нарисован или задан другим способом, позволяющим извлечь из объекта признаки в рамках способа 100. При рисовании образца пользователь закрашивает или выбирает цвет отдельных частей объекта выбранного типа с помощью инструментов рисования и выбора цвета.
При выборе образца из архива могут быть предоставлены две возможности: выбрать уже проиндексированный образец или выбрать участок архивного кадра, на котором изображен объект, а затем выполнить его автоматическое индексирование.
На Фиг. 6 показан пример осуществления поискового запроса, когда критерием поиска является образец изображения. Данный образец пользователь может выбрать с помощью указания области интереса 120 на кадре, выбранном из хранилища данных 150. На Фиг. 7 показан пример, при котором критерием поиска является указание примет искомого изображения объекта, например, светлый верх, темный низ, указание конкретных частей одежды с их цветовой гаммой, например, синяя куртка, серый свитер, джинсы, желтая юбка и т.п.
На Фиг. 8 показан детализированный вид формы создания предмета поиска. С помощью данной автоматизированной формы происходит добавление образца, которая содержит набор функций, позволяющих задать конкретный тип объекта, цветовую палитру предметов одежды, задать образец для поиска с помощью загрузки изображения из файла.
Загрузка образца из файла может осуществляться с помощью ввода в систему данных из внешнего источника хранения информации, например, из сети Интернет или внешнего носителя данных.
На этапе 109 выполняется выделение признаков из введенных критериев поиска с созданием предмета поиска. На данном этапе выполняется определение признаков, описывающих структуру и/или цветовые кластеры, принадлежащие изображению, выбранного в качестве критерия поиска. Если пользователем был указан конкретный класс объекта, например, человек, то тогда система сразу определяет, что поиск по видеопотоку будет выполняться только по объектам со схожим классом. Если были указаны лишь признаки, описывающие приметы предмета поиска, например, цвет одежды, то сравнение будет происходить на основании параметров, описывающих структуру и/или цветовые кластеры и/или другие признаки.
Этап ПО инициирует непосредственно саму процедуру поиска, при котором осуществляется поиск кадров, содержащих объекты, сходные с образцом, представляющим собой предмет поиска на этапе 111. Поиск объектов, похожих на данный образец, может быть произведен либо в простом режиме, либо в режиме межкамерного слежения, по заранее заданным признакам. При поиске в межкамерном режиме учитывается пространственное расположение камер, что позволяет понять, когда и на какой камере был зафиксирован данный объект. В обоих случаях используется сопоставление объектов, хранящихся в базе данных хранилища данных 150 с выбранным образцом (образцами). Поиск возможен на всех камерах, подключенных к системе, реализующей заявленный способ 100.
Необходимо отметить, что приведенный выше термин «режим межкамерного слежения» относится к межкамерному трекингу, т.е. режиму наблюдения за интересующим объектом с помощью получения видеопотока от нескольких камер (см., например, http://www.osp.ru/lan/2014/06/13041879/ ; http://macroscop.com/o-kompanii/novosti/2013/mezhkamemvii-trekin
macroscop-postroenie-traektorii-obekta-po-neskolkim-ip-kameram-sistemyi.html).
При выполнении поиска изображения объекта по введенным критериям поиска вычисляется степень схожести объектов 1200, на основании признаков объектов, содержащихся в хранилище данных 150.
Степень схожести определяется на основании сравнения цветовых кластеров предмета поиска и анализируемого объекта в кадре. Для каждой части объекта производится поиск пар наиболее близких кластеров 150 образца и проверяемого объекта. Близость вычисляется как расстояние в цветовом пространстве LAB. Далее для каждой части объекта вычисляется степень несоответствия цвета и различие в размерах самых близких кластеров 150. Далее у кластеров 150, для которых не была найдена пара, устанавливается упомянутая степень несоответствия, зависящая от их размера. Далее для каждой части объекта находится максимальная степень несоответствия, которая является степенью схожести объектов.
Степень схожести цвета кластеров определяется также с помощью классификации цвета кластера на один или несколько классов цветов с помощью карты цветов, представленной на Фиг. 9. Карта цветов - это конечный набор, так называемых, основных цветов, цвет кластера изображения объекта ставится в соответствие одному или нескольким цветам карты. Карта цветов представляет собой разделённое на ячейки 10x10x10 цветовое пространство HSV. Каждой ячейке ставится в соответствие несколько (от 1 до 4) основных цветов.
Критерием схожести объекта при сравнении с образцом является наличие «похожих» цветовых кластеров 150 в каждой части объекта 1200. На 5 шаблоне и на изображении проверяемого объекта выбираются для сравнения только те цветовые кластеры, размеры которых не менее заданной доли (-0.33) от максимального в той же части объекта.
Кластеры считаются обладающими высокой степенью схожести, если a) среди основных цветов, сопоставленных им по цветовой ю карте, имеются одинаковые;
b) компоненты вектора в цветовом пространстве CIE Lab от среднего цвета образца до цвета данного кластера либо сонаправлены и не малы, либо обе малы.
Объект считается похожим, если все кластеры из шаблона были
15 найдены на изображении проверяемого объекта.
При осуществлении поиска может использоваться специальный поисковый индекс в виде графа для ускорения извлечения изображений из реляционной базы данных (хранилища данных 150). Этот способ ускорения поиска является универсальным для любых реляционных СУБД и любых
20 объектов, между которыми можно построить степень схожести. Каждый проиндексированный объект 1200 помещается в специальную структуру (граф), попадая либо в существующий узел, либо создавая новый узел в зависимости от близости к уже помещенным в поисковый граф объектам. Каждому узлу соответствует идентификатор, который вместе с объектом
25 записывается в базу данных. При поиске это позволяет быстро извлечь все объекты, похожие на заданный объект поиска, что реализуется за счет применения упомянутого графа, благодаря которому получается идентификатор соответствующего узла, на основании которого выполняется извлечение из базы данных всех объектов с таким же идентификатором, т.е. зо похожих на него. Поиск может производиться по заданному интервалу времени на выбранных камерах. Кроме интервала времени можно задать граничные размеры объекта, положение в кадре и цветовые признаки. Цветовые признаки задаются путем выбора одного или нескольких образцов. В процессе поиска из базы данных извлекаются все объекты, попадающие в указанный промежуток времени.
На этапе 1 12 система выдает результат проведенного поиска, который выдает пользователю кадр и/или совокупность кадров, содержащие упомянутые изображения объектов (этап 1 13), соответствующие предмету поиска, либо сообщают, что поиск не дал результатов (этап 1 14).
Результат поиска, как правило, представляется в виде совокупности отдельных кадров, на которых был выявлен объект, или содержит совокупность кадров, например, видеоролик с записью с камеры наблюдения. Каждый выявленный кадр или видеоролик может содержать дополнительную информацию, как например: время создания кадра (ролика), номер камеры, с которой получено изображение, координаты камеры.
Согласно Фиг. 10 второй вариант осуществления способа обнаружения объектов в видеопотоке 200 заключается в осуществлении наблюдения за объектом слежения с помощью получения информации с нескольких камер видеонаблюдения.
На этапе 201 последовательность кадров получается от группы камер 250, содержащей несколько связанных с хранилищем данных 150 камер 2501-2503.
На этапе 202 пользователь осуществляет выбор области интереса, которая может содержать интересующий объект слежения. Этапы 203-207 тождественны этапам 102-107 способа 100.
При выполнении способа 200 в качестве предмета поиска выступает конкретное изображение объекта на кадре, например, человек, который устанавливается в качестве объекта слежения на этапе 208. На этапе 209 выполняется поиск объекта, который осуществляется таким же образом, как и поиск объекта на этапах 1 10-111 способа 100.
Если объект найден в зоне видимости камер 2501-2503, то пользователю предоставляется последовательность кадров, отображаемая 5 одной или более камерой, на которых зафиксировано изображение объекта слежения.
В случае дополнительного задания сведений о пространственном расположении камер, поиск может производиться в режиме "межкамерное слежение". Функция межкамерного слежения позволяет пользователю ю отследить передвижение объекта (например, человека) между несколькими камерами в течение некоторого промежутка времени. Результаты работы функции, демонстрирующие перемещение человека в пределах камер, на которых он был обнаружен, могут быть показаны в виде набора кадров, видеоролика или траектории на схематичном плане помещения, или
15 территории. Для того чтобы отображение траекторий было возможным, камеры должны быть "привязаны" к планам, т.е. указано, какой точке определенного плана соответствует месторасположение данной камеры. Данный режим является полуавтоматическим. Для достижения нужного результата используется подход, в котором полученный результат уточняется
20 путем с помощью определения, какие из найденных объектов действительно соответствуют тому человеку, который был выбран в качестве образца, или наоборот, какие объекты ему не соответствуют. Уточненные результаты могут использоваться в следующей итерации поиска.
Выбор объекта слежения на этапе 208 может осуществляться с
25 помощью указания области интереса на кадре, полученного с камеры видеонаблюдения, которая содержит объект интереса. Объект выделяется с помощью графического интерфейса пользователя, реализуемого системой.
При получении результата отслеживания на этапе 212 при перемещении объекта из зоны видимости одной камеры и при попадании в зо зону видимости другой камеры происходит автоматическое переключение изображения, получаемого от камер, для исключения потери из зоны видимости объекта слежения.
При отображении информации о перемещении объекта слежения на схематичном плане, на нем также отображаются подключенные к системе 5 камеры видеонаблюдения. Дополнительно может отображаться схематическая зона видимости камер на плане с индикацией, по меньшей мере, одной камеры, с которой в данный момент получается изображение.
Система, представленная в третьем варианте, представляет собой вычислительное устройство, в частности, компьютер, который содержит ю один или более процессоров, средство памяти, содержащее исполняемые процессором инструкции, которые при их исполнении реализуют способ поиска объекта в видеопотоке 100.
Система, представленная в четвертом варианте, представляет собой вычислительное устройство, в частности, компьютер, который содержит 15 один или более процессоров, средство памяти, содержащее исполняемые процессором инструкции, которые при их исполнении реализуют способ поиска объекта в видеопотоке 200.
Хранилище данных 150, входящее в состав систем по третьему и четвертому варианту реализации, может представлять собой облачное 20 хранилище данных и связываться с камерами видеонаблюдения, с которых получается набор видеокадров, посредством проводной или беспроводной связи (IP-камеры с Wi-Fi приемопередатчиками).
25
зо

Claims

Формула
1. Способ поиска объекта в видеопотоке, содержащий этапы, на которых:
- получают последовательность видеокадров;
- определяют, по меньшей мере, одну область интереса на, по меньшей 5 мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объектов и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений ю объектов на кадре с заданным, по меньшей мере, одним классом объекта;
- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;
- создают топологию выявленных одного или более изображений 15 объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;
- создают набор признаков для каждого из упомянутых одного или более изображений объектов согласно созданной топологии и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению
20 объекта;
- задают критерий поиска, содержащий информацию об одной или более приметах объекта поиска или графическое изображение образца для поиска;
- получают признаки искомого объекта поиска из упомянутого 25 критерия поиска и создают предмет поиска на основании упомянутых признаков;
- выполняют поиск объектов в видеопотоке на основании упомянутых признаков, полученных из критерия поиска, характеризующих предмет поиска; - осуществляют сопоставление упомянутого предмета поиска с признаками изображений объектов, выявленных в видеопотоке;
определяют кадр и/или совокупность кадров, содержащие упомянутые изображения объектов, соответствующие предмету поиска, либо 5 сообщают, что поиск не дал результатов;
- предоставляют результаты поиска.
2. Способ по п.1, характеризующийся тем, что последовательность видеокадров получают из хранилища информации или с одной или более видеокамер в режиме видеонаблюдения,
ю 3. Способ по п.2, характеризующийся тем, что область интереса задается вручную пользователем или создается при наличии движения в кадре.
4. Способ по п.З, характеризующийся тем, что при наличии движения в кадре область интереса создается для каждого объекта на кадре,
15 осуществляющего движение.
5. Способ по п.1, характеризующийся тем, что процедура отделения изображения от фона включает в себя разделение участка изображения на группы пикселей, принадлежащие изображению объекта обработки и фону.
6. Способ по п.1, характеризующийся тем, что признаки элементов 20 топологии представляют собой пространственно-цветовые признаки, являющиеся цветовыми кластерами.
7. Способ по п.6, характеризующийся тем, что группы пикселей, принадлежащие фону, не учитываются при построении кластеров.
8. Способ по п.6, характеризующийся тем, что кластеры определяются 25 для каждой части структуры объекта.
9. Способ по п.6, характеризующийся тем, что каждый цветовой кластер включает в себя один или более атрибут, которые выбираются из группы: положение центра относительно объекта, размер кластера по отношению к размеру всего объекта, средний цвет, часть объекта, к которой зо относится кластер или их совокупности.
10. Способ по п.2, характеризующийся тем, что дополнительно определяют время фиксации, по меньшей мере, одного изображения объекта в кадре и идентификационный номер камеры, с которой получен конкретный кадр.
5 1 1. Способ по п.1, характеризующийся тем, что информация, содержащаяся в критерии поиска, включает в себя: цвет объекта или части объекта.
12. Способ по п.1, характеризующийся тем, что выбор изображения объекта, как образца в качестве критерия поиска, осуществляется с помощью ю выделения области на кадре.
13. Способ по п.1, характеризующийся тем, что изображение объекта, для использования как образца в качестве критерия поиска выбирается из внешнего хранилища данных.
14. Способ по п.1, характеризующийся тем, что при поиске 15 изображения объекта по введенным критериям поиска вычисляется степень схожести объектов, на основании признаков объектов, содержащихся в хранилище данных.
15. Способ по п.14, характеризующийся тем, что степень схожести определяется на основании сравнения цветовых кластеров предмета поиска и
20 анализируемого объекта в кадре.
16. Способ по п.15, характеризующийся тем, что степень схожести цвета кластеров определяется с помощью классификации цвета кластера на один или несколько классов цветов.
17. Способ по п.1 , характеризующийся тем, что на этапе 25 классификации, изображения объектов, которые не имеют известного класса, учитываются как неизвестные объекты.
18. Способ по п.17, характеризующийся тем, что для выявленных неизвестных объектов осуществляется построение упрощенной топологии.
19. Способ поиска объекта в видеопотоке, содержащий этапы, на которых:
- получают последовательность видеокадров от двух и более видеокамер;
5 - определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой ю выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;
- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;
15 - создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;
- создают набор признаков одного или более изображений объектов согласно созданной топологии для каждого объекта и сохраняют их в
20 хранилище данных с привязкой к конкретному упомянутому изображению объекта;
- выбирают изображение объекта в качестве объекта слежения;
- выполняют поиск по упомянутой последовательности видеокадров на предмет определения кадров, содержащих упомянутое изображение объекта
25 слежения, с помощью сравнения признаков упомянутого изображения объекта слежения с признаками изображений объектов, содержащихся в упомянутом хранилище данных;
- определяют последовательность кадров, содержащих изображение упомянутого объекта слежения; - отображают результат поиска.
20. Способ по п.19, характеризующийся тем, что дополнительно определяется по меньшей мере одна камера, на которой зафиксировано изображение объекта слежения.
5 21. Способ по п.19, характеризующийся тем, что определяется траектория движения объекта, которая отображается на схематическом плане помещения.
21. Способ по п.19, характеризующийся тем, что при нахождении объекта слежения учитывается пространственное расположение камер.
ю 22. Способ по п.19, характеризующийся тем, что пользователь может задавать образец в качестве объекта слежения с помощью выделения объекта в зоне видимости камеры.
23. Способ по п.19, характеризующийся тем, что выполняется автоматическое переключение камер для отображения изображения объекта
15 слежения.
24. Система поиска объекта в видеопотоке, содержащая, по меньшей мере, одно средство хранения и обработки видеокадров, соединенное с, по меньшей мере, одним процессором и, по меньшей мере, одним запоминающим устройством, причем упомянутое запоминающее устройство
20 содержит машиночитаемые команды, которые при их исполнении по меньшей мере одним процессором реализуют этапы способа, на которых:
- получают последовательность видеокадров от упомянутого средства хранения и обработки видеокадров;
- определяют, по меньшей мере, одну область интереса на, по меньшей 25 мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой выполняется сопоставление выявленных одного или более изображений зо объектов на кадре с заданным, по меньшей мере, одним классом объекта; - осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;
- создают топологию выявленных одного или более изображений 5 объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;
- создают набор признаков для каждого из упомянутых одного или более изображений объектов согласно созданной топологии и сохраняют их в хранилище данных с привязкой к конкретному упомянутому изображению ю объекта;
- задают критерий поиска, содержащий информацию об одной или более приметах объекта поиска или графическое изображение образца для поиска;
- получают признаки искомого объекта поиска из упомянутого 15 критерия поиска и создают предмет поиска на основании упомянутых признаков;
- выполняют поиск объектов в видеопотоке на основании упомянутых признаков, полученных из критерия поиска, характеризующих предмет поиска;
20 - осуществляют сопоставление упомянутого предмета поиска с признаками изображений объектов, выявленных в видеопотоке;;
определяют кадр и/или совокупность кадров, содержащие упомянутые изображения объектов, соответствующие предмету поиска, либо сообщают, что поиск не дал результатов;
25 - предоставляют результаты поиска.
25. Система по п.24, характеризующаяся тем, что, по меньшей мере, одно средство хранения и обработки видеокадров соединено с, по меньшей мере, одной видеокамерой наблюдения.
26. Система по п.25, характеризующаяся тем, что камеры наблюдения зо представляют собой IP-камеры, статичные и/или PTZ.
27. Система поиска объекта в видеопотоке, содержащая группу камер наблюдения, связанную с, по меньшей мере, одним средством хранения и обработки видеокадров, соединенным с, по меньшей мере, одним процессором и, по меньшей мере, одним запоминающим устройством, 5 причем упомянутое запоминающее устройство содержит машиночитаемые команды, которые при их исполнении по меньшей мере одним процессором реализуют этапы способа, на которых:
- получают последовательность видеокадров от двух и более видеокамер;
ю - определяют, по меньшей мере, одну область интереса на, по меньшей мере, одном из упомянутых видеокадров, причем упомянутая область интереса содержит, по меньшей мере, одно изображение объекта;
- определяют на упомянутой области интереса одно или более изображений объекта и осуществляют их классификацию, при которой
15 выполняется сопоставление выявленных одного или более изображений объектов на кадре с заданным, по меньшей мере, одним классом объекта;
- осуществляют обработку всех выявленных изображений объектов в упомянутой области интереса, при которой отделяют выявленные изображения объектов от фона кадра;
20 - создают топологию выявленных одного или более изображений объектов в упомянутой области интереса, причем топология включает в себя элементы, характеризующие структуру объекта и признаки таких элементов;
- создают набор признаков одного или более изображений объектов согласно созданной топологии для каждого объекта и сохраняют их в
25 хранилище данных с привязкой к конкретному упомянутому изображению объекта;
- выбирают изображение объекта в качестве объекта слежения;
- выполняют поиск по упомянутой последовательности видеокадров на предмет определения кадров, содержащих упомянутое изображение объекта
30 слежения, с помощью сравнения признаков упомянутого изображения объекта слежения с признаками изображений объектов, содержащихся в упомянутом хранилище данных;
- определяют последовательность кадров, содержащих упомянутое изображения объекта слежения;
- отображают результат поиска.
28. Система по п.27, характеризующаяся тем, что средство хранения и обработки видеокадров представляет собой сервер.
29. Система по п.28, характеризующаяся тем, что сервер является облачным сервером.
30. Система по п.27, характеризующаяся тем, что камеры слежения представляют собой IP-камеры.
31. Система по п.30, характеризующаяся тем, что камеры связаны со средством хранения и обработки видеокадров посредством проводного или беспроводного канала передачи данных.
32. Система по п.27, характеризующаяся тем, что дополнительно определяется по меньшей мере одна камера, на которой зафиксировано изображение объекта поиска.
PCT/RU2016/000934 2016-06-20 2016-12-27 Способы и системы поиска объекта в видеопотоке Ceased WO2017222413A1 (ru)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US16/311,928 US10957055B2 (en) 2016-06-20 2016-12-27 Methods and systems of searching for an object in a video stream
EP16906419.3A EP3474188A4 (en) 2016-06-20 2016-12-27 METHODS AND SYSTEMS FOR SEARCHING FOR OBJECT IN A VIDEO STREAM

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
RU2016124320A RU2634225C1 (ru) 2016-06-20 2016-06-20 Способы и системы поиска объекта в видеопотоке
RU2016124320 2016-06-20

Publications (1)

Publication Number Publication Date
WO2017222413A1 true WO2017222413A1 (ru) 2017-12-28

Family

ID=60153828

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/RU2016/000934 Ceased WO2017222413A1 (ru) 2016-06-20 2016-12-27 Способы и системы поиска объекта в видеопотоке

Country Status (4)

Country Link
US (1) US10957055B2 (ru)
EP (1) EP3474188A4 (ru)
RU (1) RU2634225C1 (ru)
WO (1) WO2017222413A1 (ru)

Families Citing this family (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2681364C1 (ru) * 2018-02-16 2019-03-06 ООО "Ай Ти Ви групп" Система и способ сокрытия объектов в видеоархиве по требованию пользователей
CN110324528A (zh) * 2018-03-28 2019-10-11 富泰华工业（深圳）有限公司 摄像装置、影像处理系统及方法
US20200065706A1 (en) * 2018-08-24 2020-02-27 Htc Corporation Method for verifying training data, training system, and computer program product
RU2696548C1 (ru) * 2018-08-29 2019-08-02 Александр Владимирович Абрамов Способ построения системы видеонаблюдения для поиска и отслеживания объектов
RU2693994C1 (ru) * 2018-11-06 2019-07-08 Сергей Юрьевич Подлесный Способ обработки видео для целей визуального поиска
US11210529B2 (en) * 2019-06-04 2021-12-28 Darvis, Inc. Automated surveillance system and method therefor
US11854266B2 (en) 2019-06-04 2023-12-26 Darvis, Inc. Automated surveillance system and method therefor
KR20230069982A (ko) * 2020-10-23 2023-05-19 캐논 가부시끼가이샤 비디오 프로세싱을 위한 그리고 비디오 시퀀스로부터 섬네일을 생성하기 위한 컴퓨터에 의해 구현되는 방법, 컴퓨터 프로그램 및 장치, 그리고 그러한 장치를 포함하는 비디오 감시 시스템
EP4244758A1 (en) * 2020-11-10 2023-09-20 Motorola Solutions, Inc. Method, system and computer program product for correlating objects of interest based on difference and similarities analysis
CN113537350B (zh) * 2021-07-16 2023-12-22 商汤集团有限公司 图像处理方法及装置、电子设备和存储介质
CN113269177B (zh) * 2021-07-21 2021-09-14 广州乐盈信息科技股份有限公司 一种基于监控设备的目标捕捉系统
CN115103155A (zh) * 2022-05-30 2022-09-23 广州工商学院 一种基于大数据的公共视频监控系统
CN116935323A (zh) * 2023-08-03 2023-10-24 三维信技测量技术(苏州)有限公司 一种Aruna Vision快速识别方法

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130166711A1 (en) * 2011-12-22 2013-06-27 Pelco, Inc. Cloud-Based Video Surveillance Management System
US20130201330A1 (en) * 2011-11-14 2013-08-08 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
US20150178552A1 (en) * 2013-12-19 2015-06-25 Microsoft Corporation Object Detection Techniques

Family Cites Families (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2370817C2 (ru) 2004-07-29 2009-10-20 Самсунг Электроникс Ко., Лтд. Система и способ отслеживания объекта
WO2007033352A2 (en) * 2005-09-12 2007-03-22 3Vr Security, Inc. Storage of video analysis data for real-time alerting and forensic analysis
US8295543B2 (en) * 2007-08-31 2012-10-23 Lockheed Martin Corporation Device and method for detecting targets in images based on user-defined classifiers
GB2454213A (en) * 2007-10-31 2009-05-06 Sony Corp Analyzing a Plurality of Stored Images to Allow Searching
US9584710B2 (en) * 2008-02-28 2017-02-28 Avigilon Analytics Corporation Intelligent high resolution video system
US8249301B2 (en) * 2008-08-28 2012-08-21 International Business Machines Corporation Video object classification
US9342594B2 (en) * 2008-10-29 2016-05-17 International Business Machines Corporation Indexing and searching according to attributes of a person
US8340435B2 (en) * 2009-06-11 2012-12-25 California Institute Of Technology Method and system for object recognition search
WO2011046128A1 (ja) 2009-10-16 2011-04-21 日本電気株式会社 人物服装特徴抽出装置、人物検索装置、及びその処理方法
JP5743142B2 (ja) * 2011-03-29 2015-07-01 ソニー株式会社 画像理装置および方法、並びにプログラム
RU2531876C2 (ru) * 2012-05-15 2014-10-27 Общество с ограниченной ответственностью "Синезис" Способ индексирования видеоданных при помощи карты
JP6128910B2 (ja) * 2013-03-21 2017-05-17 キヤノン株式会社 学習装置、学習方法及びプログラム
US10687022B2 (en) * 2014-12-05 2020-06-16 Avigilon Fortress Corporation Systems and methods for automated visual surveillance
US10339365B2 (en) * 2016-03-31 2019-07-02 Snap Inc. Automated avatar generation

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20130201330A1 (en) * 2011-11-14 2013-08-08 Massachusetts Institute Of Technology Assisted video surveillance of persons-of-interest
US20130166711A1 (en) * 2011-12-22 2013-06-27 Pelco, Inc. Cloud-Based Video Surveillance Management System
US20150178552A1 (en) * 2013-12-19 2015-06-25 Microsoft Corporation Object Detection Techniques

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP3474188A4 *

Also Published As

Publication number Publication date
EP3474188A4 (en) 2020-02-26
US20190180456A1 (en) 2019-06-13
US10957055B2 (en) 2021-03-23
RU2634225C1 (ru) 2017-10-24
EP3474188A1 (en) 2019-04-24

Similar Documents

Publication Publication Date Title
RU2634225C1 (ru) Способы и системы поиска объекта в видеопотоке
CN113935358A (zh) 一种行人追踪方法、设备和存储介质
KR102098259B1 (ko) 무인항공기를 이용한 산림병해충 의심목 선별 시스템
WO2018036454A1 (en) Method and apparatus for annotating a video stream comprising a sequence of frames
JP6254836B2 (ja) 画像検索装置、画像検索装置の制御方法およびプログラム
CN105701467B (zh) 一种基于人体形态特征的多人异常行为识别方法
US9633264B2 (en) Object retrieval using background image and query image
US7136524B1 (en) Robust perceptual color identification
US20090192990A1 (en) Method and apparatus for realtime or near realtime video image retrieval
WO2008106506A2 (en) Video data matching using clustering on covariance appearance
JPWO2008018398A1 (ja) オブジェクト領域抽出装置
CN112633297A (zh) 目标对象的识别方法、装置、存储介质以及电子装置
JP2014016968A (ja) 人物検索装置及びデータ収集装置
KR20160109761A (ko) 건설현장 맞춤형 이미지 분석기술을 활용한 중장비/근로자 인식 및 추적 방법 및 시스템
CN102017606A (zh) 图像处理设备、相机、图像处理方法和程序
Akanksha et al. A Feature Extraction Approach for Multi-Object Detection Using HoG and LTP.
CN104951440B (zh) 一种图像处理方法及电子设备
Maglietta et al. The promise of machine learning in the Risso’s dolphin Grampus griseus photo-identification
CN105404682B (zh) 一种基于数字图像内容的图书检索方法
CN111708907A (zh) 一种目标人员的查询方法、装置、设备及存储介质
KR101509593B1 (ko) 프리셋 투어 카메라를 위한 영상 분류 방법 및 그 장치
CN112906466B (zh) 图像关联方法、系统及设备以及图像搜索方法及系统
EP3807782B1 (en) Hash-based appearance search
JP2021145164A (ja) 映像解析システム、及び、映像解析方法
CN117132805A (zh) 一种基于着装识别行人的目标定位方法及装置

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 16906419

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2016906419

Country of ref document: EP

Effective date: 20190121