WO2014148395A1 - 映像監視システム、映像監視方法、および映像監視装置 - Google Patents

映像監視システム、映像監視方法、および映像監視装置 Download PDF

Info

Publication number
WO2014148395A1
WO2014148395A1 PCT/JP2014/056955 JP2014056955W WO2014148395A1 WO 2014148395 A1 WO2014148395 A1 WO 2014148395A1 JP 2014056955 W JP2014056955 W JP 2014056955W WO 2014148395 A1 WO2014148395 A1 WO 2014148395A1
Authority
WO
WIPO (PCT)
Prior art keywords
person
target
area
identification information
face image
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2014/056955
Other languages
English (en)
French (fr)
Inventor
聡史 丸田
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Kokusai Denki Electric Inc
Original Assignee
Hitachi Kokusai Electric Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hitachi Kokusai Electric Inc filed Critical Hitachi Kokusai Electric Inc
Priority to JP2015506746A priority Critical patent/JP5851651B2/ja
Priority to US14/770,539 priority patent/US9819912B2/en
Publication of WO2014148395A1 publication Critical patent/WO2014148395A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/188—Capturing isolated or intermittent images triggered by the occurrence of a predetermined event, e.g. an object reaching a predetermined position
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N7/00—Television systems
    • H04N7/18—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast
    • H04N7/181—Closed-circuit television [CCTV] systems, i.e. systems in which the video signal is not broadcast for receiving images from a plurality of remote sources

Definitions

  • the present invention relates to a video surveillance system for searching for a target person from surveillance video.
  • FIG. 7 shows a state where an unoccupied passenger is searched at an airport facility.
  • the passenger presents the medium (IC card, Osaifu-Keitai (registered trademark), 2D barcode, etc.) on which the passenger information is recorded to the boarding gate terminal, passes through the boarding gate, Board the desired flight.
  • the ground staff understands the unoccupied person (the person who has not passed through the boarding gate) from the information collected at the boarding gate terminal, and searches by calling around the airport facility or running around the radio with one hand at a specified time. To take action.
  • such correspondence is demanded to be improved because it involves physical fatigue caused by ground staff running around in the vast departure lobby.
  • the present invention has been made in view of the above-described conventional circumstances, and is a technique that is useful for finding out where in the area a person who has not reached the target position in the predetermined area by the scheduled time.
  • the purpose is to propose.
  • the following video surveillance system is proposed. That is, in the video surveillance system according to the present invention, the first acquisition means for acquiring the identification information of the target person from the recording medium possessed by the target person who enters the predetermined area, and the identification information is acquired by the first acquisition means.
  • the first photographing means for photographing the face image of the subject, the second photographing means for photographing each of the plurality of divided areas obtained by dividing the predetermined area, and the subject who has entered the predetermined area should arrive
  • the non-arrival person specifying means for specifying the target person who has not reached the target position
  • the target person specified by the non-arrival person specifying means The unarrived person identification is determined based on the feature amount of the face image photographed by the first photographing means and the feature amount of the face image of the person included in the video photographed in the plurality of divided areas by the second photographing means.
  • the second acquisition means includes the target person from the recording medium possessed by the target person at a target position that the target person who has entered the predetermined area should reach by a predetermined time.
  • the identification information of the target person is acquired based on the identification information of the target person acquired by the first acquisition means and the identification information of the target person acquired by the second acquisition means. The target person who has not reached the target position at the predetermined time is specified.
  • the first photographing means may photograph the face image of the subject person by performing photographing according to the fact that the identification information is obtained by the first obtaining means, and always photographing.
  • a face image taken at the timing when the identification information is acquired by the first acquisition unit may be specified and handled as the face image of the subject.
  • the second photographing means does not need to photograph the entire divided area, and it is sufficient if the person moving across the divided areas can be photographed.
  • the second photographing means for photographing one divided area and the other divided area are photographed in a line dividing the two divided areas.
  • the second photographing means is opposite to each other. With such an arrangement, the number of second photographing means can be reduced.
  • a search key is used as the search key for the feature amount of the face image of the subject specified by the non-arrival specifying means, and the search is performed from the video shot by the second shooting means.
  • a similar face image search is performed to search for a face image having a feature amount whose similarity to the feature amount of the key face image is equal to or greater than a threshold value.
  • a plurality of persons estimated to be unarrived subjects can be searched.
  • the similarity level or the shooting time is selected from the plurality of searched persons.
  • One person may be selected based on one or both of novelty, and the divided area may be specified, or the divided area may be specified for each of a plurality of searched persons.
  • a plurality of first photographing means are provided, and the face images of the unarrived subject are photographed from a plurality of directions by the first photographing means, and the feature amount of the face image in each direction is used as a search key.
  • a face image taken by the first photographing means for the target person specified by the non-arrival person specifying means a face image of a person estimated to be the target person, and It further includes display means for displaying a divided area where the person is photographed.
  • the emphasis level of the face image display of each person is changed according to the similarity to the unarrived target persons and the shooting time. Or the position of the display may be changed, which makes it easy to find out which person is the target person from the plurality of face images.
  • the non-arrival person position estimation means includes the feature amount and face of the face image taken by the first photographing means for the subject specified by the non-arrival person specifying means. Based on the feature amount of the image portion other than the image, the feature amount of the face image of the person included in the video imaged in the plurality of divided areas by the second imaging unit, and the feature amount of the image portion other than the face image, A divided area in which a person who is estimated to be a target person specified by the unarrived person specifying means is photographed is specified.
  • the video surveillance system can be applied to various scenes for searching for a person who has not reached the target position within a predetermined area by the scheduled time.
  • the first acquisition means acquires identification information of a person who enters the boarding lobby area at a security checkpoint of the airport facility, and
  • the first photographing unit photographs a person who enters the boarding lobby area, the second photographing unit photographs each of a plurality of divided areas that divide the boarding lobby area, and the second obtaining unit includes a boarding lobby area.
  • the identification information of the target person is acquired, and the unarrived person specifying means can identify the target person who has not reached the boarding gate after the scheduled time.
  • the non-arrival person position estimating means may specify a divided area in the boarding lobby area where the person estimated to be the target person specified by the non-arrival person specifying means is photographed.
  • a rough position (divided area) where a person who is estimated to be a target person can be estimated, and a target person who has not reached the target position by the scheduled time is searched from a predetermined area.
  • FIG. 1 It is a figure which shows the structural example of the non-passenger search system to which this invention is applied. It is a figure which shows a mode that a boarding lobby is divided and managed. It is a figure which shows the example which discriminate
  • FIG. 1 shows a configuration example of a non-passenger search system to which a video surveillance system according to the present invention is applied.
  • the non-passenger search system in this example is composed of blocks of a security checkpoint, an operation management center, a passenger lobby, and a boarding gate, and each block is connected to be communicable with each other.
  • the security check block has multiple passenger reception systems.
  • Each passenger reception system has a passenger management device 1, a passenger reception terminal 2, a surveillance camera 3, a facial feature quantity extraction / registration device 4, and a video recording device 5, which have a network switch 6. Via a communicable connection.
  • the network switch 6 of each passenger reception system is connected to an upper network switch 7.
  • the block of the operation management center has an occupant management device 9, a facial feature amount search device 10, a video display device 11, and an announcement sending device 12, which are connected via a network switch 8 so that they can communicate with each other. Yes.
  • the block in the passenger lobby has one or more surveillance cameras 14 and announcement playback devices 15, a facial feature quantity extraction / registration device 16, and a video recording device 17 provided for each divided area of the passenger lobby. These are connected via the network switch 13 so that they can communicate with each other.
  • the boarding gate block has a passenger management device 19, a boarding gate terminal 20, and a non-passenger position display device 21 for each of a plurality of boarding gates, which are communicably connected via a network switch 18.
  • each boarding gate system of the present example includes a face feature amount search device 22 and a video display device 23 as options, and these are also connected to be communicable via the network switch 18.
  • the number of passenger acceptance systems in the security inspection block, the number of divided areas in the passenger lobby block, and the number of boarding gates in the boarding gate block are N in common. Each number may be different.
  • the passenger is a passenger information recording medium (passport, e-ticket, IC card, Osaifu-Keitai (registered trademark), two-dimensional bar, etc.) that records passenger information such as the passenger's name and flight at the security checkpoint.
  • Code is presented to the passenger reception terminal 2 to read the passenger information, issue boarding guidance, obtain information such as boarding flight name / seat number / boarding gate, and enter the boarding lobby.
  • the passenger acceptance terminal 2 of the present example has various types of information such as an IC chip reader / writer and a two-dimensional barcode reader in order to cope with various types of passenger information recording media. It has a reading unit.
  • an operation of presenting the passenger information recording medium to the passenger reception terminal 2 and reading the passenger information as a trigger is used as a trigger by the surveillance camera 3 installed in the vicinity of the passenger reception terminal 2.
  • An image including a face is taken, and the image recording device 5 records the image.
  • the passenger management device 1 issues a passenger management number which is a “number for uniquely managing a passenger” such as an airline ticket number using the above operation as a trigger, and thereafter, this passenger management number is used.
  • the passenger management number identification information
  • face image of the passenger are acquired in the process of the passenger passing through the security checkpoint and entering the boarding lobby.
  • the facial feature quantity extraction / registration device 4 reads out the recorded video including the passenger's face from the video recording device 5, extracts the feature quantity of the passenger's face based on the video, and captures the video. Call the passenger management number issued when the ticket is issued at the passenger reception terminal 2 from the passenger management device 1, and connect the facial feature data and the passenger management number to the facial feature quantity. Register in the database.
  • the facial feature amount is quickly extracted and registered in the database. Extraction of the facial feature amount and registration in the database will be described later. It may be performed when the similar face image search is performed.
  • the extraction of the facial feature amount is performed as follows as an example. First, using a known face detection technique, the presence / absence of a face in the video is determined, and if the presence of a face is detected, the coordinates of the area are calculated, and the face image area in the video Is identified. Next, the face image area is analyzed and statistically determined from the shape and direction of the face outline, skin color, size / shape of the main face components (eyes, nose, mouth, etc.) Vector components, statistics, and the like that show a difference for each individual are detected, and these are recorded as face feature data in association with the passenger management number.
  • a known face detection technique the presence / absence of a face in the video is determined, and if the presence of a face is detected, the coordinates of the area are calculated, and the face image area in the video Is identified.
  • the face image area is analyzed and statistically determined from the shape and direction of the face outline, skin color, size / shape of the main face components (eyes, nose, mouth, etc
  • a feature amount of a passenger's clothing is extracted.
  • the outline of a person is extracted, and the color distribution within the outline and the frequency characteristics of the texture (frequency distribution when performing FFT, wavelet transform, etc.)
  • the presence of clothes (clothes) is detected, the coordinates of the area are calculated, and the clothes area in the video is specified.
  • the distribution of the clothing color and the frequency feature quantity are detected, and these are recorded as data of the clothing feature quantity in association with the passenger management number.
  • the boarding lobby of airport facilities generally has a vast area. For this reason, if an attempt is made to construct an environment for capturing an image including a passenger's face in this area, it is expected that a huge number of surveillance cameras must be installed. However, this increases the installation and operation costs and is not very realistic. Therefore, in the non-passenger search system of this example, the concept of area division is used to install the surveillance camera in such a way that the entire boarding lobby can be roughly divided into a plurality of areas.
  • Fig. 2 shows how the boarding lobby is divided into areas.
  • the entire boarding lobby is divided into N divided areas and managed.
  • an area division line serving as a division of each divided area is virtually set, and two divided areas divided by a certain area division line, and one or more surveillance cameras 14 that capture one of the divided areas;
  • One or more surveillance cameras 14 that photograph the other divided area are installed in opposite directions with an area division line interposed therebetween.
  • the surveillance camera 14 that captures the divided area (2) located on the left side of the area division line is installed facing left
  • the surveillance camera 14 for photographing the divided area (3) located on the right side is installed facing right.
  • the monitoring camera 14 that photographs the divided area.
  • a monitoring camera 14 having a number and performance sufficient to capture a portion serving as a movement route between the areas is installed.
  • the monitoring cameras 14 having the number and performance capable of photographing the entire divided area may be installed.
  • each monitoring camera 14 is managed in a form that associates the identification information with the identification information of the divided area to be photographed, and the divided area can be specified by specifying the monitoring camera 14.
  • the video shot by each monitoring camera 14 is recorded (recorded) by camera by the video recording device 17.
  • the face feature amount extraction / registration device 16 reads out a recorded video including the passenger's face from the video recording device 17, extracts the feature amount of the passenger's face based on the video, and stores the face feature amount data and the video. Is registered in the face feature database in a format that associates the identification information of the surveillance camera 14 that captured the image with the shooting time of the video. At this time, in addition to the extraction of the passenger's facial feature amount, another feature amount that contributes to the identification of the passenger (for example, the feature amount of clothing) may be extracted.
  • extraction of a passenger's face feature amount may be performed for all frames of a video, in this example, it is performed for each predetermined number of frames.
  • the passenger in the boarding lobby area heads to the boarding gate, which is the target position to be reached by the departure time, and presents the passenger information recording medium to the boarding gate terminal 20 for boarding.
  • Passenger information is read, board the target flight through the boarding gate.
  • the boarding gate terminal 20 of the present example reads various types of information such as an IC chip reader / writer and a two-dimensional barcode reader in order to cope with various types of passenger information recording media. Has a part.
  • the passenger management device 19 is a list of customers who have already boarded (hereinafter referred to as passenger list). ) And a list of customers who have not yet boarded (hereinafter referred to as a “no-passenger list”). Specifically, for example, every time the passenger information is read by the passenger reception terminal 2, the passenger management number issued at that time is added to the non-passenger list, and the passenger information is displayed at the boarding gate terminal 20. Each time is read, the passenger management number corresponding to the passenger information is deleted from the non-passenger list and added to the passenger list. In this case, the unoccupied passenger list is emptied when all passengers finish boarding.
  • the occupant management devices 1, 9, and 19 in each block are configured to synchronize the management information by notifying each other of the management information (or the contents of the change). Then, when the departure time of a certain flight is approaching, the passenger management device 9 of the operation management center checks the non-passenger list at every predetermined interval to check whether there is a non-passenger. As a result, if it is determined that there is an unoccupied passenger, the facial feature quantity search device 10 is given the passenger management number of the unoccupied person and instructs similar face image retrieval.
  • the facial feature quantity search device 10 Upon receiving an instruction to search for a similar face image, the facial feature quantity search device 10 receives the facial feature quantity data associated with the non-passenger passenger management number from the facial feature quantity extraction / registration device 4 of the security checkpoint. A similar face image search is performed on the face feature quantity extraction / registration device 16 in the boarding lobby using the face feature quantity of the non-passenger as a search key, and the result is output to the passenger management apparatus 9.
  • face feature amount data having a high degree of similarity with a face feature amount serving as a search key greater than or equal to a threshold value
  • identification information and photographing time of the monitoring camera 14 associated therewith are specified. To do. Thereby, it can be specified with which monitoring camera 14 when the person estimated to be a non-passenger was shot.
  • the similarity of the facial feature amount can be calculated by various methods.
  • W (w1, w2,..., Wn)
  • the distance Z between the two facial feature quantities can be calculated by the following (formula 1).
  • i is a variable indicating 0 ⁇ i ⁇ n.
  • Z ⁇ i (wi
  • another personal feature amount for example, the feature amount of clothing
  • the feature amount of clothing contributes to the identification of the passenger
  • a plurality of surveillance cameras 3 are installed in the vicinity of the passenger reception terminal 2, and images including the passenger's face are photographed from different directions, and the face image in each direction is used as a search key. An image search may be performed, which can further improve the accuracy of searching for a person who is estimated to be a non-passenger.
  • the occupant management device 9 When the person who is estimated to be an unoccupied person is photographed by a plurality of surveillance cameras 14, the occupant management device 9 has a plurality of facial feature quantities determined to be highly similar to the facial feature quantity of the unoccupied person.
  • the identification information of the monitoring camera 14 is rearranged (sorted) in the order of the shooting time based on the identification information of the monitoring camera 14 and the shooting time associated with the data of each facial feature amount. It is estimated with which monitoring camera 14 the person estimated to be a passenger was taken last, that is, in which divided area at the end. This makes it possible to roughly specify the position in the boarding lobby area where the unoccupied person would have been last.
  • FIG. 3 shows an example of determining a divided area in which it is estimated that a non-passenger was last.
  • the person estimated to be a non-passenger is the last by the surveillance camera 14 installed toward the divided area (2) side in the area dividing line that becomes the division between the divided area (2) and the divided area (3). It is determined that the image was taken. From this, it can be estimated that the person estimated to be a non-passenger remains in the divided area (2) or the divided area (3). More specifically, the person who is estimated to be a non-passenger is installed in the area division line of the divided area (2) and the divided area (3) toward the divided area (2) side in the divided area (2).
  • Range area near the divided area (3)
  • Information on the processing results by the occupant management device 9 and the facial feature quantity search device 10 is given from the occupant management device 9 to the video display device 11, the announcement sending device 12, and the non-passenger position display device 21, and these devices are Used when outputting various types of information.
  • the video display device 11 When the video display device 11 receives from the passenger management device 9 information such as the identification information of the surveillance camera 14 that captured a person who is estimated to be a non-passenger, the shooting time, and the like, based on such information, the video recording device 11 performs the corresponding recording.
  • the video is read from the video recording device 17 in the boarding lobby and reproduced.
  • the video display device 11 reproduces the video starting from the video frame in which the person estimated to be an unoccupied person was last taken, and the user can check the situation before and after the video operation.
  • the video display device 11 reads out the recorded video including the face of the unoccupied person from the video recording device 5 and displays it.
  • the user can visually determine whether the person (the person who is estimated to be a non-passenger) included in the reproduced boarding lobby video is the non-passenger himself or herself. Even if it is insufficient, this can be compensated.
  • the non-passenger position display device 22 includes, from the passenger management device 9, identification information and shooting time of the monitoring camera 14 that has shot a person estimated to be a non-passenger, a divided area where it is estimated that there is a non-passenger, and the like.
  • various information that contributes to the search for the non-passenger is displayed based on the information.
  • FIG. 4 shows a display example by the non-passenger position display device 22.
  • a map display area 31 for displaying a map of a boarding lobby
  • a non-passenger information display area 32 for displaying information on non-passengers
  • a plurality of non-passengers on the screen of the non-passenger position display device 22
  • an operation button 33 for receiving a user operation for switching a non-passenger to be displayed when there is a passenger.
  • the boarding lobby map displayed in the map display area 31 is divided into a plurality of sections according to the divided areas, and the divided areas where it is estimated that there are unoccupied passengers are highlighted.
  • the divided area (2) and the divided area (3) are highlighted, and it is estimated that there are no passengers in these divided areas. Further, as described with reference to FIG. 3, when it is possible to estimate the range within the divided area where the unoccupied person is present, a display that specifically identifies the range may be performed.
  • a representation image such as an icon representing a person who is estimated to be an unoccupied person may be displayed in the divided area. You may make it display the face image of the person estimated to be a passenger in a division area.
  • the face image (or the coordinates of the region) from which the face feature value is extracted in the face feature value extraction / registration device 16 in the boarding lobby. ) Is recorded, it is possible to easily display the face image of a person estimated to be a non-passenger.
  • non-passenger information display area 32 destination, boarding time, departure time limit, passenger management number, name, assumed area (and shooting time), and the like are displayed as non-passenger information.
  • the face image from which the face feature value is extracted is recorded in the face feature value extraction / registration device 4 at the security checkpoint, the face image of the unoccupied person can be easily displayed as shown in FIG. It can be added to the contents, and it helps the user (ground staff) to search for unoccupied persons in the corresponding divided area.
  • each divided area corresponding to the plurality of face feature amounts may be highlighted. That is, for a plurality of persons estimated to be non-passengers, the divided areas in which each is photographed may be highlighted.
  • the division area in which a person with a high degree of similarity with a non-passenger is photographed is displayed with a higher degree of emphasis, or the emphasis degree is increased in a divided area as the person who is estimated to be a non-passenger and the shooting time of the person is newer.
  • Searching for unoccupied passengers can be achieved by giving a higher display, weighting the divided areas in consideration of both the similarity with the non-passenger and the shooting time, and increasing the emphasis level for the higher weighted divided areas. It is easier to grasp the divided areas that should be focused on.
  • the degree of emphasis is changed according to the order of similarity with the non-passenger, the degree of emphasis is changed according to the order of the shooting time, and both the order of similarity with the non-passenger and the order of the shooting time are taken into consideration.
  • the degree of emphasis may be changed in order of weight. It should be noted that the degree of enhancement of the representation image and the face image can be expressed using various elements such as the size and shape of the image and the color and thickness of the frame line.
  • FIG. 5 shows an example in which three face images of candidates A, B, and C, who are estimated to be non-passengers, are displayed in the divided areas in which the images are taken. According to the figure, it can be grasped that the candidates A and C were in the divided area (2) and that the candidate B was in the divided area (1). Thus, even when a plurality of persons estimated to be non-boarders are searched by displaying the face images of each person estimated to be a non-boarder in the corresponding divided area, It is possible to identify an unoccupied person from among a plurality of persons estimated to be unoccupied persons, and to understand which divided area the person was in.
  • the similarity with the non-passenger and the shooting time may be expressed by the display position of the face image in the divided area.
  • the vertical axis on the two-dimensional plane of the map is used as a scale representing similarity
  • the horizontal axis is used as a scale representing imaging time.
  • the face image of a person who is estimated to be a non-passenger is displayed at the top of the divided area
  • the face image of a person with a new shooting time is displayed on the right side of the divided area.
  • the face image closer to the upper right of the is more important.
  • the user when there are a plurality of unoccupied passengers (when a plurality of passenger management numbers remain in the unoccupied passenger list), the user operates the operation button 33 to display the unoccupied objects.
  • a plurality of non-passengers may be collectively displayed.
  • a plurality of non-passenger information may be displayed in a list format or the like in the non-passenger information display area 32, or may be displayed in a switchable manner using an operation button or the like.
  • the boarding lobby map displayed in the map display area 31 may be divided for each non-passenger, and the divided area (or the representation image or the face image) estimated to have been a non-passenger may be used. You may display in the aspect (for example, color-coded for every unoccupied person etc.) distinguishable for every.
  • the announcement sending device 12 receives from the passenger management device 9 information such as the identification information of the monitoring camera 14 that captured a person who is estimated to be a non-passenger, the shooting time, and a divided area where it is estimated that there is a non-passenger. Based on these pieces of information, the voice information of the announcement that prompts the non-passenger to board is transmitted to the announcement reproduction device 15 in the divided area where it is estimated that there is a non-passenger.
  • the announcement reproduction device 15 that has received the audio information from the announcement transmission device 12 performs audio output based on the received audio information. For this reason, an announcement that prompts the non-passenger to board is output only in the divided area where it is estimated that there is a non-passenger.
  • FIG. 6 shows an example in which announcements are selectively made only in the divided areas where it is assumed that there are no passengers.
  • an announcement that prompts boarding is output from the announcement reproducing device 15 in the divided area (2) in which it is estimated that the unoccupied person was at the end.
  • This makes it possible to continue broadcasting without stopping conventional announcements such as music and advertisements in divided areas where it is assumed that there are no unoccupied passengers.
  • This takes into account that it is not desirable in terms of image for an airport facility to continue outputting a call announcement to the entire facility, and it is also embarrassing for the individual who is called.
  • the passenger management device 1 and the passenger reception terminal 2 acquire the passenger management number (identification information) of the target person who enters the boarding lobby, and the passenger reception terminal 2
  • a surveillance camera 3 installed in the vicinity photographs a target person entering the boarding lobby, and a surveillance camera 14 installed corresponding to a plurality of divided areas dividing the inside of the boarding lobby has each divided area in the boarding lobby.
  • the passenger management device 19 and the boarding gate terminal 20 obtain the passenger management number of the target person at the boarding gate that the target person who entered the boarding lobby should reach by the scheduled time, and the passenger management device 9 and 19 specify a target person who has not reached the boarding gate after the scheduled time, and the passenger management device 9 and the facial feature quantity search device 10 have taken a person who is estimated to be a non-arrival target person.
  • the It was configured to identify the divided area in the lobby multiplication.
  • the first acquisition unit according to the present invention is realized by the passenger management apparatus 1 and the passenger reception terminal 2, and the first imaging unit according to the present invention is realized by the surveillance camera 3,
  • the second imaging means according to the present invention is realized by the surveillance camera 14, the second acquisition means according to the present invention is realized by the passenger management device 19 and the boarding gate terminal 20, and the non-arrival person specifying means according to the present invention is realized.
  • the non-arrival position estimation means according to the present invention is realized by the occupant management device 9 and the facial feature quantity search device 10
  • the display means according to the present invention is displayed as the non-passenger position display. This is realized by the device 21.
  • the video surveillance system according to the present invention can be applied to various other situations.
  • the present invention can be applied to a scene where a person who has not reached the target position by the scheduled time is searched in another transportation facility such as a ship.
  • the present invention can be applied to a scene where a person who has not reached the target position on time is searched in another closed facility such as a hospital.
  • the configuration of the system or apparatus according to the present invention is not necessarily limited to the configuration described above, and various configurations may be used.
  • the present invention can also be provided as, for example, a method or method for executing processing according to the present invention, a program for realizing such a method or method, or a storage medium for storing the program. .
  • the video surveillance system according to the present invention can be applied to various scenes for searching for a person who has not reached the target position within a predetermined area by the scheduled time, and particularly when applied to searching for a non-passenger in an airport facility. Is preferred.

Landscapes

  • Engineering & Computer Science (AREA)
  • Multimedia (AREA)
  • Signal Processing (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Human Computer Interaction (AREA)
  • Closed-Circuit Television Systems (AREA)
  • Alarm Systems (AREA)
  • Image Analysis (AREA)

Abstract

課題：所定エリア内の目的位置に定刻までに到達していない人物が当該エリア内のどこにいるかを探し出すのに役立つ技術を提案する。解決手段：搭乗者管理装置１及び搭乗者受付端末２が、搭乗ロビーに入場する対象者の搭乗者管理番号を取得し、搭乗者受付端末２近傍に設置された監視カメラ３が、搭乗ロビーに入場する対象者を撮影し、搭乗ロビー内を区分した複数の分割エリアに対応して設置された監視カメラ１４が、各分割エリアをそれぞれ撮影し、搭乗者管理装置１９及び搭乗ゲート端末２０が、搭乗ロビーに入場した対象者が定刻までに到達すべき搭乗ゲートにおいて、対象者の搭乗者管理番号を取得し、搭乗者管理装置９，１９が、定刻後でありながら搭乗ゲートに到達していない対象者を特定し、搭乗者管理装置９及び顔特徴量検索装置１０が、未到着の対象者と推定される人物が撮影された分割エリアを特定する。

Description

映像監視システム、映像監視方法、および映像監視装置
　本発明は、監視映像の中から目的の人物を検索する映像監視システムに関する。
　従来から航空会社において定時運行率（定時到着率）が重要視されており、顧客が航空会社を選定する重要な要素の一つとなっている。各航空会社は定時運行率を上げるために色々な施策を行なっているが、それら施策の一つとして未搭乗者の捜索が挙げられる。具体的には、搭乗を予定している顧客（以下、搭乗者）でありながら、出発時間が迫ってきているにも関わらず未だ搭乗していない顧客（以下、未搭乗者）が存在する場合に、例えば、アナウンスによる呼び出しと共に地上職員が無線機を片手に走り回って探し、なんとか定刻に出発が行なえるように対応している。また、携帯電話メールを登録している搭乗者に対しては、搭乗時間が迫るとメール配信による注意喚起を行なっている。
特開２０１１－０２９７３７号公報
　図７には、空港施設において未搭乗者を捜索する様子を示してある。　搭乗者は、搭乗の開始時刻を過ぎると、搭乗者情報を記録した媒体（ＩＣカード、おサイフケータイ（登録商標）、２次元バーコード等）を搭乗ゲート端末に提示して搭乗ゲートを通過し、目的の便に搭乗する。地上職員は、搭乗ゲート端末で収集された情報から未搭乗者（搭乗ゲートの未通過者）を把握し、或る規定時間をもって、空港施設内アナウンスによる呼び出しや、無線機を片手に走り回って捜索することで対応をとっている。　しかしながら、このような対応は、地上職員が広大な出発ロビーを走り回って探すことによる身体的な疲労を伴うため、改善が求められている。その改善方法の一つとして、携帯端末を所持している搭乗者に対してメール配信による注意喚起を行うことで、未搭乗者の発生を未然に防ぐ対策が挙げられるが、全ての搭乗者がメール受信を行える携帯端末を所持しているとは限らず、この対策では不十分である。
　本発明は、上記のような従来の事情に鑑みて為されたものであり、所定エリア内の目的位置に定刻までに到達していない人物が当該エリア内のどこにいるかを探し出すのに役立つ技術を提案することを目的とする。
　本発明では、上記目的を達成するために、以下のような映像監視システムを提案する。　すなわち、本発明に係る映像監視システムでは、所定エリアに入場する対象者が所持する記録媒体から対象者の識別情報を取得する第１の取得手段と、前記第１の取得手段により識別情報が取得された対象者の顔画像を撮影する第１の撮影手段と、前記所定エリアを区分した複数の分割エリアをそれぞれ撮影する第２の撮影手段と、前記所定エリアに入場した対象者が到達すべき目的位置において、対象者が所持する記録媒体から対象者の識別情報を取得する第２の取得手段と、前記第１の取得手段により取得された対象者の識別情報と、前記第２の取得手段により取得された対象者の識別情報に基づいて、前記目的位置に到達していない対象者を特定する未到着者特定手段と、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像の特徴量と、前記第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する未到着者位置推測手段と、を備えることとする。　また、本発明に係る映像監視システムでは、前記第２の取得手段は、前記所定エリアに入場した対象者が所定の時刻までに到達すべき目的位置において、対象者が所持する記録媒体から対象者の識別情報を取得し、前記未到着者特定手段は、前記第１の取得手段により取得された対象者の識別情報と、前記第２の取得手段により取得された対象者の識別情報に基づいて、前記所定の時刻において前記目的位置に到達していない対象者を特定する。
　このような構成によれば、所定エリア内の目的位置に定刻までに到達していない対象者であると推定される人物がいる大まかな位置（分割エリア）を推測することができ、未到着の対象者を所定エリア内から探し出すのに有用である。
　ここで、第１の撮影手段は、前記第１の取得手段により識別情報が取得されたことに応じて撮影を行うことで、対象者の顔画像の撮影を行ってもよく、常時撮影を行っておき、前記第１の取得手段により識別情報が取得されたタイミングに撮影された顔画像を特定し、これを対象者の顔画像として扱うものであってもよい。
　また、第２の撮影手段は、分割エリア全体を撮影する必要は無く、分割エリア間を跨いで移動する人物を撮影できればよい。ここで、分割エリア間を跨いで移動する人物を撮影可能な配置としては、２つの分割エリアを区分するラインにおいて、一方の分割エリアを撮影する第２の撮影手段と他方の分割エリアを撮影する第２の撮影手段とを互いに逆向きにする配置が挙げられ、このような配置により、第２の撮影手段の設置数を少なくすることができる。
　また、未到着者特定手段では、一例として、未到着者特定手段により特定された対象者の顔画像の特徴量を検索キーにして、第２の撮影手段により撮影された映像の中から、検索キーとなる顔画像の特徴量との類似度が閾値以上となる特徴量を有する顔画像を検索する類似顔画像検索を行う。これにより、未到着の対象者に顔画像の特徴量が類似する人物（未到着の対象者と推定される人物）を効率よく検索することができ、この検索結果に基づいて、未到着の対象者であると推定される人物がいずれの分割エリアで撮影されたかを特定することができる。
　なお、類似顔画像検索では、未到着の対象者であると推定される人物が複数検索され得るが、その場合には、検索された複数の人物の中から類似度の高さ又は撮影時刻の新しさの一方又は両方を基準に一人選び出して分割エリアの特定を行ってもよく、検索された複数の人物それぞれについて分割エリアの特定を行ってもよい。　また、第１の撮影手段を複数設け、これら第１の撮影手段により未到着の対象者の顔画像を複数の方向から撮影し、各方向の顔画像の特徴量を検索キーに用いて類似顔画像検索を行なえば、未到着の対象者に類似する人物を検索する精度を高めることができる。
　また、本発明に係る映像監視システムでは、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像と、当該対象者と推定される人物の顔画像及び当該人物が撮影された分割エリアとを表示する表示手段を更に備えた。　これにより、未到着の対象者であると推定される人物が複数存在する場合でも、いずれの人物が目的の人物であるかをユーザが目視により判断することができ、その人物がどの分割エリアにいたのかを把握することができる。
　ここで、未到着の対象者であると推定される人物が複数存在する場合に、未到着の対象者との類似度や撮影時刻に応じて、各人物の顔画像の表示の強調度合いを変えたり、或いは表示の位置を変えたりしてもよく、これにより、複数の顔画像の中からいずれの人物が目的の人物であるかを見つけ出すのが容易となる。
　また、本発明に係る映像監視システムでは、前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像の特徴量及び顔画像以外の画像部分の特徴量と、前記第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量及び顔画像以外の画像部分の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する。　このように、顔画像の特徴量だけでなく、顔画像以外の画像部分の特徴量を加味して、第２の撮影手段により撮影された映像に含まれる人物が未到着の対象者であるかを推定することで、未到着の対象者に類似する人物を検索する精度を更に高めることができる。
　ここで、本発明に係る映像監視システムは、所定エリア内の目的位置に定刻までに到達していない人物を捜索する種々の場面に適用することができる。　例えば、空港施設における未搭乗者の捜索に適用する場合には、前記第１の取得手段は、空港施設の保安検査場において、搭乗ロビーエリアに入場する対象者の識別情報を取得し、前記第１の撮影手段は、搭乗ロビーエリアに入場する対象者を撮影し、前記第２の撮影手段は、搭乗ロビーエリアを区分した複数の分割エリアをそれぞれ撮影し、前記第２の取得手段は、搭乗ロビーエリアに入場した対象者が定刻までに到達すべき搭乗ゲートにおいて、対象者の識別情報を取得し、前記未到着者特定手段は、定刻後でありながら搭乗ゲートに到達していない対象者を特定し、前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者と推定される人物が撮影された搭乗ロビーエリア内の分割エリアを特定すればよい。
　本発明によれば、対象者であると推定される人物がいる大まかな位置（分割エリア）を推測することができ、目的位置に定刻までに到達していない対象者を所定エリア内から探し出すのに有用である。
本発明を適用した未搭乗者検索システムの構成例を示す図である。 搭乗ロビーをエリア区分して管理する様子を示す図である。 未搭乗者が最後にいたと推定される分割エリアを判別する例を示す図である。 未搭乗者位置表示装置による表示の例を示す図である。 未搭乗者位置表示装置による表示の他の例を示す図である。 未搭乗者がいると推測される分割エリアのみに選択的にアナウンスを行う例を示す図である。 空港施設において未搭乗者を捜索する様子を示す図である。
　本発明の一実施形態について図面を参照して説明する。　図１には、本発明に係る映像監視システムを適用した未搭乗者検索システムの構成例を示してある。　本例の未搭乗者検索システムは、保安検査場、運行管理センタ、搭乗者ロビー、搭乗ゲートのブロックで構成され、各ブロックは互いに通信可能に接続されている。
　保安検査場のブロックは、複数の搭乗者受付システムを有する。　各搭乗者受付システムは、搭乗者管理装置１と、搭乗者受付端末２と、監視カメラ３と、顔特徴量抽出／登録装置４と、映像記録装置５を有し、これらはネットワークスイッチ６を介して通信可能に接続されている。また、各搭乗者受付システムのネットワークスイッチ６は、上位のネットワークスイッチ７に接続されている。
　運行管理センタのブロックは、搭乗者管理装置９と、顔特徴量検索装置１０と、映像表示装置１１と、アナウンス送出装置１２を有し、これらはネットワークスイッチ８を介して通信可能に接続されている。
　搭乗者ロビーのブロックは、搭乗者ロビーを複数に分割したエリア毎に設けられた１以上の監視カメラ１４及びアナウンス再生装置１５と、顔特徴量抽出／登録装置１６と、映像記録装置１７を有し、これらはネットワークスイッチ１３を介して通信可能に接続されている。
　搭乗ゲートのブロックは、複数ある搭乗ゲート毎に、搭乗者管理装置１９と、搭乗ゲート端末２０と、未搭乗者位置表示装置２１を有し、これらはネットワークスイッチ１８を介して通信可能に接続されている。また、本例の各搭乗ゲートシステムは、オプションとして、顔特徴量検索装置２２と、映像表示装置２３を有し、これらもネットワークスイッチ１８を介して通信可能に接続してある。
　本例では、保安検査場のブロックにおける搭乗者受付システムの数、搭乗者ロビーのブロックにおける分割エリアの数、搭乗ゲートのブロックにおける搭乗ゲートの数を、それぞれ共通のＮ個としているが、これらの数はそれぞれ異なっていても構わない。
　本例の未搭乗者検索システムの動作を時間的な流れに沿って説明する。　搭乗者は、保安検査場、搭乗ロビー、搭乗ゲートの順に進み、目的の便に搭乗する。　まず、搭乗者は、保安検査場において、搭乗者の氏名や搭乗便等の搭乗者情報を記録した搭乗者情報記録媒体（パスポート、ｅチケット、ＩＣカード、おサイフケータイ（登録商標）、二次元バーコード等）を搭乗者受付端末２に提示して搭乗者情報を読み取らせ、搭乗案内を発券し、搭乗便名／座席番号／搭乗口等の情報を得た後に、搭乗ロビーへ入場する。ここで、本例の搭乗者受付端末２は、搭乗者情報記録媒体として種々の形式のものが存在することに対応すべく、ＩＣチップリーダ・ライタや二次元バーコードリーダといった種々の形式の情報読み取り部を有している。
　保安検査場では、搭乗者受付端末２に搭乗者情報記録媒体を提示して搭乗者情報を読み取らせる操作をトリガとして、搭乗者受付端末２の近傍に設置された監視カメラ３にて搭乗者の顔を含む映像を撮影し、映像記録装置５にて映像の記録（録画）を行う。また、搭乗者管理装置１は、上記操作をトリガとして、航空券番号などの“搭乗者を一意に管理する番号”である搭乗者管理番号を発行し、以降は、この搭乗者管理番号にて各搭乗者の管理を行う。　つまり、搭乗者が保安検査場を通過して搭乗ロビーへ入場する過程で、搭乗者の搭乗者管理番号（識別情報）や顔画像が取得される。
　その後、顔特徴量抽出／登録装置４は、映像記録装置５から搭乗者の顔を含む録画映像を読み出し、当該映像に基づいて搭乗者の顔の特徴量を抽出し、当該映像を撮影した際（搭乗者受付端末２にて発券をした際）に発行された搭乗者管理番号を搭乗者管理装置１から呼び出して、顔特徴量のデータと搭乗者管理番号とを紐付ける形式で顔特徴量データベースに登録する。本例では、監視カメラ３により撮影された映像を映像記録装置５に記録した後、速やかに顔特徴量を抽出してデータベースに登録するが、顔特徴量の抽出やデータベースへの登録は、後述の類似顔画像検索を実施する時点に行っても構わない。
　ここで、顔特徴量の抽出は、一例として、以下のようにして実施される。　まず、公知の顔検出技術を用いて、映像中の顔の存在の有無を判定し、顔が存在することを検出した場合には、その領域の座標を算出して、映像中の顔画像領域を特定する。次に、顔画像領域を解析して、顔の輪郭の形状や方向、皮膚の色、顔の主要構成要素（目、鼻、口など）の大きさ・形状や配置関係等々から、統計的に個人毎に差異が現れるベクトル成分や統計量等を検出し、これらを顔特徴量のデータとして搭乗者管理番号に紐付けて記録する。
　また、搭乗者の顔特徴量の抽出に加え、搭乗者の特定に資する他の人物的特徴量の抽出を行ってもよい。一例として、搭乗者の着衣の特徴量を抽出する場合について説明する。　まず、公知の動的プログラミング等の技術を用いて、人物の輪郭を抽出し、その輪郭内の色の分布やテクスチャの周波数的な特徴（ＦＦＴやウェーブレット変換等を行ったときの周波数分布等）から着衣（服）の存在を検出し、その領域の座標を算出して、映像中の着衣領域を特定する。次に、着衣領域について、着衣の色の分布や周波数的な特徴量を検出し、これらを着衣特徴量のデータとして搭乗者管理番号に紐付けて記録する。
　搭乗ロビーに進んだ搭乗者は、搭乗の開始時刻が到来するまで搭乗ロビーのエリア内で過ごすことになる。　ここで、空港施設の搭乗ロビーは一般的に広大なエリアを有している。このため、このエリア内で搭乗者の顔を含む映像を撮影する環境を構築することを試みると、膨大な数の監視カメラを設置しなければならないことが予想される。しかしながら、それでは導入及び運用コストが高額になり、あまり現実的ではない。そこで、本例の未搭乗者検索システムでは、エリア区分という概念で、搭乗ロビー全体を大まかに複数のエリアに区分できる形に監視カメラを設置することとしている。
　図２には、搭乗ロビーをエリア区分して管理する様子を示してある。　同図に示すように、本例では、搭乗ロビー全体をＮ個の分割エリアに区分して管理している。また、各分割エリアの区切りとなるエリア区分ラインを仮想的に設定してあり、或るエリア区分ラインで区分けされた２つの分割エリアについて、一方の分割エリアを撮影する１以上の監視カメラ１４と他方の分割エリアを撮影する１以上の監視カメラ１４とを互いにエリア区分ラインを挟んで逆向きに設置してある。例えば、分割エリア（２）と分割エリア（３）のエリア区分ラインに沿って、エリア区分ラインの左側に位置する分割エリア（２）を撮影する監視カメラ１４は左向きに設置され、エリア区分ラインの右側に位置する分割エリア（３）を撮影する監視カメラ１４は右向きに設置される。
　これにより、分割エリア間を跨いで移動する搭乗者は、一方の分割エリアから出る際に、当該分割エリアを撮影する監視カメラ１４によって撮影されることになる。　ここで、本発明においては分割エリア間を跨いで移動する搭乗者を撮影できればよいため、本例では、エリア間の移動経路となる部分を撮影できる程度の数及び性能の監視カメラ１４を設置しているが、分割エリアの全体を撮影できるような数及び性能の監視カメラ１４を設置してもよい。　また、各々の監視カメラ１４は、その識別情報と撮影対象となる分割エリアの識別情報とを対応付ける形式で管理されており、監視カメラ１４の特定により分割エリアを特定できるようにしてある。
　各々の監視カメラ１４により撮影された映像は、映像記録装置１７にてカメラ別に記録（録画）される。　顔特徴量抽出／登録装置１６は、映像記録装置１７から搭乗者の顔を含む録画映像を読み出し、当該映像に基づいて搭乗者の顔の特徴量を抽出し、顔特徴量のデータと当該映像を撮影した監視カメラ１４の識別情報及び当該映像の撮影時刻とを紐付ける形式で顔特徴量データベースに登録する。このとき、搭乗者の顔特徴量の抽出に加え、搭乗者の特定に資する他の特徴量（例えば、着衣の特徴量）の抽出を行ってもよい。　なお、搭乗者の顔特徴量（及び他の特徴量）の抽出は映像の全フレームについて行ってもよいが、本例では所定数のフレーム毎に行っている。
　搭乗ロビーのエリア内にいる搭乗者は、搭乗の開始時刻が到来すると、出発時刻までに到達すべき目的位置である搭乗ゲートに向かい、搭乗者情報記録媒体を搭乗ゲート端末２０に提示して搭乗者情報を読み取らせ、搭乗ゲートを通過して目的の便に搭乗する。ここで、本例の搭乗ゲート端末２０は、搭乗者情報記録媒体として種々の形式のものが存在することに対応すべく、ＩＣチップリーダ・ライタや二次元バーコードリーダといった種々の形式の情報読み取り部を有している。
　搭乗者管理装置１９は、搭乗者受付端末２で読み取られた搭乗者情報及び搭乗ゲート端末２０で読み取られた搭乗者情報を基にして、既に搭乗を終えた顧客のリスト（以下、搭乗者リスト）と、未だ搭乗を終えていない顧客のリスト（以下、未搭乗者リスト）を管理する。具体的には、例えば、搭乗者受付端末２で搭乗者情報が読み取られる毎に、その際に発行した搭乗者管理番号を未搭乗者リストに追加していき、搭乗ゲート端末２０で搭乗者情報が読み取られる毎に、当該搭乗者情報に対応する搭乗者管理番号を未搭乗者リストから削除する一方で搭乗者リストに追加していく。この場合には、全ての搭乗者が搭乗を終えると未搭乗者リストが空になることとなる。
　ここで、各ブロックの搭乗者管理装置１，９，１９は、各々の管理情報（又はその変更内容）を互いに通知し合うことで、管理情報を同期する仕組みとなっている。　そして、運行管理センタの搭乗者管理装置９は、或る便の出発時刻が迫ってくると、予め規定されたインターバル毎に未搭乗者リストを確認して未搭乗者の有無を調べる。その結果、未搭乗者が存在すると判定された場合には、顔特徴量検索装置１０に未搭乗者の搭乗者管理番号を与えて類似顔画像検索を指示する。
　顔特徴量検索装置１０は、類似顔画像検索の指示を受けると、未搭乗者の搭乗者管理番号に紐付けされた顔特徴量のデータを保安検査場の顔特徴量抽出／登録装置４から読み出し、この未搭乗者の顔特徴量を検索キーに用いて搭乗ロビーの顔特徴量抽出／登録装置１６に対して類似顔画像検索を行い、その結果を搭乗者管理装置９に出力する。　この類似顔画像検索では、検索キーとなる顔特徴量との類似度が高い（閾値以上）の顔特徴量のデータを検索し、これに紐付された監視カメラ１４の識別情報及び撮影時刻を特定する。これにより、未搭乗者と推定される人物が、どの監視カメラ１４で、いつ撮影されたかを特定できる。
　ここで、顔特徴量の類似度は、種々の手法により算出することができる。　例えば、ｎ個の要素から構成される２つの顔特徴量をＸ＝（ｘ１，ｘ２，・・・，ｘｎ）、Ｙ＝（ｙ１，ｙ２，・・・，ｙｎ）とし、各要素の重みを示す重み付け係数をＷ＝（ｗ１，ｗ２，・・・，ｗｎ）とすると、２つの顔特徴量の間の距離Ｚは、下記（式１）により算出することができる。ここで、ｉは、０≦ｉ≦ｎを示す変数である。　　Ｚ＝Σｉ（ｗｉ｜ｘｉ－ｙｉ｜）　・・・（式１）　この距離Ｚは、値が小さいほど２つの顔特徴量が似ていることを示す。このため、距離Ｚが所定の基準値未満である場合に、２つの顔特徴量の類似度が高いと判断することができる。
　また、顔特徴量の比較に加え、搭乗者の特定に資する他の人物的特徴量（例えば、着衣の特徴量）の比較を行うようにしてもよく、これにより、未搭乗者と推定される人物を検索する精度を更に高めることが可能となる。　また、搭乗者受付端末２の近傍に複数の監視カメラ３を設置しておき、それぞれ異なる方向から搭乗者の顔を含む映像の撮影を行い、各方向の顔画像を検索キーに用いて類似顔画像検索を行うようにしてもよく、これにより、未搭乗者と推定される人物を検索する精度を更に高めることが可能となる。
　搭乗者管理装置９は、未搭乗者と推定される人物が複数の監視カメラ１４で撮影された場合（未搭乗者の顔特徴量との類似性が高いと判定された顔特徴量が複数ある場合）には、各顔特徴量のデータに紐付された監視カメラ１４の識別情報及び撮影時刻に基づき、監視カメラ１４の識別情報を撮影時刻順に並べ替え（ソート）して整理することで、未搭乗者と推定される人物が最後にどの監視カメラ１４で撮影されたか、すなわち、最後にどの分割エリアにいたかを推測する。これにより、未搭乗者が最後にいたであろう搭乗ロビーのエリア内の位置を大まかに特定することが可能となる。
　図３には、未搭乗者が最後にいたと推測される分割エリアを判別する例を示してある。　同図では、分割エリア（２）と分割エリア（３）の区切りとなるエリア区分ラインに分割エリア（２）側に向けて設置された監視カメラ１４により、未搭乗者と推定される人物が最後に撮影されたと判別されている。このことから、未搭乗者と推定される人物は、分割エリア（２）又は分割エリア（３）に留まっていると推測できる。より具体的には、未搭乗者と推定される人物は、分割エリア（２）のうち、分割エリア（２）と分割エリア（３）のエリア区分ラインに分割エリア（２）側に向けて設置された監視カメラ１４で捉えられる範囲（分割エリア（３）の近傍の領域）か、若しくは、分割エリア（３）のうち、分割エリア（３）と分割エリア（４）のエリア区分ラインに分割エリア（３）側に向けて設置された監視カメラ１４で捉えられない範囲（分割エリア（４）の近傍を除く領域）に留まっていると推測できる。
　搭乗者管理装置９及び顔特徴量検索装置１０による処理結果の情報は、搭乗者管理装置９から映像表示装置１１、アナウンス送出装置１２、未搭乗者位置表示装置２１に与えられ、これらの装置が各種の情報を出力する際に利用される。
　映像表示装置１１は、搭乗者管理装置９から、未搭乗者と推定される人物を撮影した監視カメラ１４の識別情報や撮影時刻などの情報を受けると、これらの情報に基づいて、該当する録画映像を搭乗ロビーの映像記録装置１７から読み出して再生する。これにより、映像表示装置１１では、未搭乗者と推定される人物を最後に撮影した映像フレームを始点として映像の再生が行われ、ユーザは映像操作により前後の状況を確認できる。　また、映像表示装置１１は、未搭乗者本人の顔を含む録画映像を映像記録装置５から読み出して表示する。これにより、ユーザは、再生された搭乗ロビーの映像に含まれている人物（未搭乗者と推定される人物）が未搭乗者本人であるかを目視により判断できるため、類似顔画像検索の精度が不十分であっても、これを補うことができる。
　ここで、搭乗ロビーの顔特徴量抽出／登録装置１６において顔特徴量の抽出元となった顔画像の領域の座標も記録しておけば、搭乗ロビーの録画映像の再生時に、未搭乗者の顔特徴量との類似性が高いと判定された顔特徴量が抽出された領域（未搭乗者と推定される人物の顔の領域）を枠線等で囲み表示することができ、未搭乗者と推定される人物の顔がユーザの目につきやすくなる。
　未搭乗者位置表示装置２２は、搭乗者管理装置９から、未搭乗者と推定される人物を撮影した監視カメラ１４の識別情報や撮影時刻、未搭乗者がいると推測される分割エリアなどの情報を受けると、これらの情報に基づいて、未搭乗者の捜索に資する種々の情報の表示を行う。
　図４には、未搭乗者位置表示装置２２による表示例を示してある。　本例では、未搭乗者位置表示装置２２の画面に、搭乗ロビーのマップを表示するマップ表示領域３１と、未搭乗者の情報を表示する未搭乗者情報表示領域３２と、複数の未搭乗者がいる場合に表示対象となる未搭乗者を切り替えるユーザ操作を受け付ける操作ボタン３３を設けてある。
　マップ表示領域３１に表示する搭乗ロビーのマップは、分割エリアに合わせて複数に区切られており、未搭乗者がいると推測される分割エリアについては強調表示するようにしてある。同図では、分割エリア（２）と分割エリア（３）が強調表示されており、これらの分割エリアに未搭乗者がいると推定されている。　また、図３を参照して説明したように、未搭乗者がいる分割エリア内の範囲まで推定できた場合には、その範囲を具体的に特定した表示を行うようにしてもよい。
　なお、未搭乗者がいると推測される分割エリアの強調表示に代えて、未搭乗者と推定される人物を表象するアイコン等の表象画像を分割エリア内に表示するようにしてもよく、未搭乗者と推定される人物の顔画像を分割エリア内に表示するようにしてもよい。ここで、未搭乗者と推定される人物の顔画像を表示する場合には、搭乗ロビーの顔特徴量抽出／登録装置１６において顔特徴量の抽出元となった顔画像（又はその領域の座標）を記録しておけば、未搭乗者と推定される人物の顔画像の表示を容易に行える。
　未搭乗者情報表示領域３２には、未搭乗者の情報として、行先、搭乗時刻、出発時刻リミット、搭乗者管理番号、氏名、想定エリア（及び撮影時刻）等が表示される。また、保安検査場の顔特徴量抽出／登録装置４において顔特徴量の抽出元となった顔画像も記録しておけば、図４に示すように未搭乗者本人の顔画像も容易に表示内容に加えることができ、ユーザ（地上職員）が該当の分割エリアで未搭乗者を捜索する際の手助けとなる。
　ここで、上記の例では、未搭乗者の顔特徴量との類似性が高いと判定された顔特徴量が複数ある場合には、これらを撮影時刻順に整理し、未搭乗者と推定される人物が最後にどの分割エリアにいたかを推測して表示するが、これら複数の顔特徴量に対応する各々の分割エリアを強調表示するようにしてもよい。すなわち、未搭乗者と推定される複数の人物について、各々が撮影された分割エリアを強調表示するようにしてもよい。　この場合には、未搭乗者との類似度が高い人物が撮影された分割エリアほど強調度合いを高めた表示としたり、未搭乗者と推定され人物の撮影時刻が新しいほど分割エリアほど強調度合いを高めた表示としたり、未搭乗者との類似度及び撮影時刻の両方を考慮して分割エリアを重み付けし、重みが高い分割エリアほど強調度合いを高めた表示としたりすれば、未搭乗者の捜索を重点的に行ったほうがよい分割エリアを把握し易くなる。
　また、未搭乗者と推定される人物が複数検出された場合に、各人物が撮影された分割エリアを強調表示するのではなく、各人物の表象画像や顔画像を該当する分割エリア内に表示するようにしてもよい。　この場合には、未搭乗者との類似度順に従って強調度合いを変えたり、撮影時刻順に従って強調度合いを変えたり、未搭乗者との類似度順及び撮影時刻順の両方を考慮して求めた重み順に強調度合いを変えたりしてもよい。なお、表象画像や顔画像の強調度合いは、画像の大きさや形状、枠線の色や太さ等の種々の要素を用いて表現できる。
　図５には、未搭乗者と推定される人物である候補者Ａ，Ｂ，Ｃの３人の顔画像を、それぞれが撮影された分割エリア内に表示した例を示してある。同図によれば、候補者Ａ，Ｃが分割エリア（２）にいたこと、及び、候補者Ｂが分割エリア（１）にいたことを把握できる。　このように、未搭乗者と推定される各人物の顔画像を該当する分割エリア内に表示することで、未搭乗者と推定される人物が複数検索された場合であっても、ユーザは、未搭乗者と推定される複数の人物の中から未搭乗者本人を特定し、その人物がどの分割エリアにいたのかを把握することができる。
　また、分割エリア内での顔画像の表示位置によって、未搭乗者との類似度や撮影時刻（撮影の新しさ）を表現するようにしてもよい。具体的には、例えば、マップの二次元平面における上下方向の軸を、類似度を表す尺度として用い、左右方向の軸を、撮影時刻を表す尺度として用いる。つまり、未搭乗者と推定される確度が高い人物の顔画像ほど分割エリア内の上部に表示し、また、撮影時刻が新しい人物の顔画像ほど分割エリア内の右側に表示すれば、分割エリア内の右上に近い顔画像ほど重要度が高いことになる。　なお、これらの表現手法は一例にすぎず、種々の形式の表現手法により未搭乗者との類似度や撮影時刻を表現することができる。
　また、本例では、複数の未搭乗者がいる場合（未搭乗者リストに複数の搭乗者管理番号が残っている場合）には、ユーザが操作ボタン３３を操作することで表示対象となる未搭乗者を１名ずつ切り替えるようにしているが、複数の未搭乗者をまとめて表示対象とするようにしてもよい。　この場合には、例えば、未搭乗者情報表示領域３２に複数の未搭乗者の情報をリスト形式等で一覧表示してもよく、操作ボタン等により切り替え可能に表示してもよい。また、マップ表示領域３１に表示する搭乗ロビーのマップを未搭乗者毎に区切って使用してもよく、未搭乗者がいたと推測される分割エリア（或いは表象画像や顔画像）を未搭乗者毎に区別可能な態様（例えば、未搭乗者毎に色分けする等）で表示してもよい。
　アナウンス送出装置１２は、搭乗者管理装置９から、未搭乗者と推定される人物を撮影した監視カメラ１４の識別情報や撮影時刻、未搭乗者がいると推測される分割エリアなどの情報を受けると、これらの情報に基づいて、未搭乗者がいると推測される分割エリアのアナウンス再生装置１５に宛てて、当該未搭乗者に搭乗を促すアナウンスの音声情報を送信する。アナウンス送出装置１２から音声情報を受信したアナウンス再生装置１５は、受信した音声情報に基づく音声出力を行う。このため、未搭乗者がいると推測される分割エリアのみで、未搭乗者に搭乗を促すアナウンスが出力されることになる。
　図６には、未搭乗者がいると推測される分割エリアのみに選択的にアナウンスを行う例を示してある。同図の例では、未搭乗者が最後にいたと推測される分割エリア（２）のアナウンス再生装置１５から搭乗を促すアナウンスが出力されている。　これにより、未搭乗者がいないと推測される分割エリアでは、音楽や広告等の従来アナウンスを停止することなく放送し続けることが可能となる。これは、空港施設にとって呼び出しアナウンスを施設全体に出力し続けることはイメージ上好ましいことではなく、また、呼び出しをされた個人にとっても恥ずかしいことを配慮したものである。
　以上のように、未搭乗者検索システムでは、搭乗者管理装置１及び搭乗者受付端末２が、搭乗ロビーに入場する対象者の搭乗者管理番号（識別情報）を取得し、搭乗者受付端末２近傍に設置された監視カメラ３が、搭乗ロビーに入場する対象者を撮影し、搭乗ロビー内を区分した複数の分割エリアに対応して設置された監視カメラ１４が、搭乗ロビー内の各分割エリアをそれぞれ撮影し、搭乗者管理装置１９及び搭乗ゲート端末２０が、搭乗ロビーに入場した対象者が定刻までに到達すべき搭乗ゲートにおいて、対象者の搭乗者管理番号を取得し、搭乗者管理装置９，１９が、定刻後でありながら搭乗ゲートに到達していない対象者を特定し、搭乗者管理装置９及び顔特徴量検索装置１０が、未到着の対象者と推定される人物が撮影された搭乗ロビー内の分割エリアを特定するよう構成とした。
　このような構成により、出発時刻が迫っているにも関わらず搭乗していない未搭乗者の捜索を効率化することができ、地上職員の身体的な疲労を軽減した上で搭乗者管理を行えるようになり、航空機の出発を定刻に行う運用の実現性を高めることが可能となる。これらは、航空会社における定時運航率（定時到着率）の向上効果が期待され、航空会社としての地位向上はもとより、サラリーマン等の移動時間に正確性を期待する顧客への再利用遡及効果につながり、航空会社の利益向上の効果が期待できるものである。
　ここで、本例では、本発明に係る第１の取得手段を搭乗者管理装置１及び搭乗者受付端末２により実現し、本発明に係る第１の撮影手段を監視カメラ３により実現し、本発明に係る第２の撮影手段を監視カメラ１４により実現し、本発明に係る第２の取得手段を搭乗者管理装置１９及び搭乗ゲート端末２０により実現し、本発明に係る未到着者特定手段を搭乗者管理装置９，１９により実現し、本発明に係る未到着者位置推測手段を搭乗者管理装置９及び顔特徴量検索装置１０により実現し、本発明に係る表示手段を未搭乗者位置表示装置２１により実現している。
　なお、以上の説明では、空港施設において未搭乗者を捜索する場面を例に説明したが、本発明に係る映像監視システムは、これ以外の種々の場面に適用することができる。例えば、船舶等の他の交通機関の施設で目的位置に定刻までに到達していない人物を捜索する場面にも適用することができる。また、例えば、病院等の他の閉鎖的な施設内で目的位置に定刻までに到達していない人物を捜索する場面にも適用することができる。
　ここで、本発明に係るシステムや装置などの構成としては、必ずしも以上に示したものに限られず、種々な構成が用いられてもよい。また、本発明は、例えば、本発明に係る処理を実行する方法或いは方式や、このような方法や方式を実現するためのプログラムや当該プログラムを記憶する記憶媒体などとして提供することも可能である。
　本発明に係る映像監視システムは、所定エリア内の目的位置に定刻までに到達していない人物を捜索する種々の場面に適用することができ、特に、空港施設における未搭乗者の捜索に適用すると好適である。
　１，９，１９：搭乗者管理装置、　２：搭乗者受付端末、　３，１４：監視カメラ、　４，１６，２２：顔特徴量抽出／登録装置、　５，１７：映像記録装置、　６，７，８，１３，１８：ネットワークスイッチ、　１０：顔特徴量検索装置、　１１：映像表示装置、　１２：アナウンス送出装置、　１５：アナウンス再生装置、　２０：搭乗ゲート端末、　２１：未搭乗者位置表示装置、　２３：映像表示装置
 

Claims (15)

  1. 所定エリアに入場する対象者が所持する記録媒体から対象者の識別情報を取得する第１の取得手段と、　前記第１の取得手段により識別情報が取得された対象者の顔画像を撮影する第１の撮影手段と、　前記所定エリアを区分した複数の分割エリアをそれぞれ撮影する第２の撮影手段と、　前記所定エリアに入場した対象者が到達すべき目的位置において、対象者が所持する記録媒体から対象者の識別情報を取得する第２の取得手段と、　前記第１の取得手段により取得された対象者の識別情報と、前記第２の取得手段により取得された対象者の識別情報に基づいて、前記目的位置に到達していない対象者を特定する未到着者特定手段と、　前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像の特徴量と、前記第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する未到着者位置推測手段と、　を備えたことを特徴とする映像監視システム。
  2. 前記第２の取得手段は、前記所定エリアに入場した対象者が所定の時刻までに到達すべき目的位置において、対象者が所持する記録媒体から対象者の識別情報を取得し、前記未到着者特定手段は、前記第１の取得手段により取得された対象者の識別情報と、前記第２の取得手段により取得された対象者の識別情報に基づいて、前記所定の時刻において前記目的位置に到達していない対象者を特定する、ことを特徴とする請求項１に記載の映像監視システム。
  3. 前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像と、当該対象者と推定される人物の顔画像及び当該人物が撮影された分割エリアとを表示する表示手段を更に備えた、　ことを特徴とする請求項１または請求項２に記載の映像監視システム。
  4. 前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像の特徴量及び顔画像以外の画像部分の特徴量と、前記第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量及び顔画像以外の画像部分の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する、　ことを請求項１乃至請求項３のいずれか１項に記載の映像監視システム。
  5. 前記第１の取得手段は、空港施設の保安検査場において、搭乗ロビーエリアに入場する対象者の識別情報を取得し、　前記第１の撮影手段は、搭乗ロビーエリアに入場する対象者を撮影し、　前記第２の撮影手段は、搭乗ロビーエリアを区分した複数の分割エリアをそれぞれ撮影し、　前記第２の取得手段は、搭乗ロビーエリアに入場した対象者が定刻までに到達すべき搭乗ゲートにおいて、対象者の識別情報を取得し、　前記未到着者特定手段は、定刻後でありながら搭乗ゲートに到達していない対象者を特定し、　前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者と推定される人物が撮影された搭乗ロビーエリア内の分割エリアを特定する、　ことを請求項１乃至請求項４のいずれか１項に記載の映像監視システム。
  6. 第１の取得手段と、第２の取得手段と、第１の撮影手段と、第２の撮影手段と、未到着者特定手段と、未到着者位置推測手段とを備える映像監視システムにおいて、　前記第１の取得手段は、所定エリアに入場する対象者が所持する記録媒体から対象者の識別情報を取得し、　前記第１の撮影手段は、前記第１の取得手段により識別情報が取得された対象者の顔画像を撮影し、　前記第２の撮影手段は、前記所定エリアを区分した複数の分割エリアをそれぞれ撮影し、　前記第２の取得手段は、前記所定エリアに入場した対象者が到達すべき目的位置において、対象者が所持する記録媒体から対象者の識別情報を取得し、　前記未到着者特定手段は、前記第１の取得手段により取得された対象者の識別情報と、前記第２の取得手段により取得された対象者の識別情報に基づいて、前記目的位置に到達していない対象者を特定し、　前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像の特徴量と、前記第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する、ことを特徴とする映像監視方法。
  7. 前記第２の取得手段は、前記所定エリアに入場した対象者が所定の時刻までに到達すべき目的位置において、対象者が所持する記録媒体から対象者の識別情報を取得し、前記未到着者特定手段は、前記第１の取得手段により取得された対象者の識別情報と、前記第２の取得手段により取得された対象者の識別情報に基づいて、前記所定の時刻において前記目的位置に到達していない対象者を特定する、ことを特徴とする請求項６に記載の映像監視方法。
  8. 前記映像監視システムは、表示手段をさらに備え、　前記表示手段は、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像と、当該対象者と推定される人物の顔画像及び当該人物が撮影された分割エリアとを表示する、ことを特徴とする請求項６または請求項７に記載の映像監視方法。
  9. 前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像の特徴量及び顔画像以外の画像部分の特徴量と、前記第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量及び顔画像以外の画像部分の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する、　ことを請求項６乃至請求項８のいずれか１項に記載の映像監視方法。
  10. 前記第１の取得手段は、空港施設の保安検査場において、搭乗ロビーエリアに入場する対象者の識別情報を取得し、　前記第１の撮影手段は、搭乗ロビーエリアに入場する対象者を撮影し、　前記第２の撮影手段は、搭乗ロビーエリアを区分した複数の分割エリアをそれぞれ撮影し、　前記第２の取得手段は、搭乗ロビーエリアに入場した対象者が所定の時刻までに到達すべき搭乗ゲートにおいて、対象者の識別情報を取得し、　前記未到着者特定手段は、前記所定の時刻後でありながら搭乗ゲートに到達していない対象者を特定し、　前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者と推定される人物が撮影された搭乗ロビーエリア内の分割エリアを特定する、　ことを請求項６乃至請求項９のいずれか１項に記載の映像監視方法。
  11. 第１の取得手段により所定エリアに入場する対象者が所持する記録媒体から取得された対象者の識別情報と、第２の取得手段により前記所定エリアに入場した対象者が到達すべき目的位置において対象者が所持する記録媒体から取得された対象者の識別情報に基づいて、前記目的位置に到達していない対象者を特定する未到着者特定手段と、　前記未到着者特定手段により特定された対象者について、第１の撮影手段により撮影された前記第１の取得手段により識別情報が取得された対象者の顔画像の特徴量と、第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する未到着者位置推測手段と、　を備えたことを特徴とする映像監視装置。
  12. 前記未到着者特定手段は、前記第１の取得手段により取得された対象者の識別情報と、前記第２の取得手段により、前記所定エリアに入場した対象者が所定の時刻までに到達すべき目的位置において、対象者が所持する記録媒体から取得された対象者の識別情報に基づいて、前記所定の時刻において前記目的位置に到達していない対象者を特定する、ことを特徴とする請求項１１に記載の映像監視装置。
  13. 前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像と、当該対象者と推定される人物の顔画像及び当該人物が撮影された分割エリアとを、表示装置に表示させる、ことを特徴とする請求項１１または請求項１２に記載の映像監視装置。
  14. 前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者について前記第１の撮影手段により撮影された顔画像の特徴量及び顔画像以外の画像部分の特徴量と、前記第２の撮影手段により複数の分割エリアで撮影された映像に含まれる人物の顔画像の特徴量及び顔画像以外の画像部分の特徴量に基づいて、前記未到着者特定手段により特定された対象者と推定される人物が撮影された分割エリアを特定する、　ことを請求項１１乃至請求項１３のいずれか１項に記載の映像監視装置。
  15. 前記第１の取得手段より取得される識別情報は、空港施設の保安検査場において、搭乗ロビーエリアに入場する際に取得される対象者の識別情報であり、　前記第１の撮影手段により取得される顔画像は、搭乗ロビーエリアに入場する対象者を撮影したものであり、　前記第２の撮影手段により取得される顔画像は、搭乗ロビーエリアを区分した複数の分割エリアをそれぞれ撮影したものであり、　前記第２の取得手段により取得される識別情報は、搭乗ロビーエリアに入場した対象者が所定の時刻までに到達すべき搭乗ゲートにおいて取得される対象者の識別情報であり、　前記未到着者特定手段は、前記所定の時刻後でありながら搭乗ゲートに到達していない対象者を特定し、　前記未到着者位置推測手段は、前記未到着者特定手段により特定された対象者と推定される人物が撮影された搭乗ロビーエリア内の分割エリアを特定する、　ことを請求項１１乃至請求項１４のいずれか１項に記載の映像監視装置。
     
PCT/JP2014/056955 2013-03-21 2014-03-14 映像監視システム、映像監視方法、および映像監視装置 Ceased WO2014148395A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
JP2015506746A JP5851651B2 (ja) 2013-03-21 2014-03-14 映像監視システム、映像監視方法、および映像監視装置
US14/770,539 US9819912B2 (en) 2013-03-21 2014-03-14 Video monitoring system, video monitoring method, and video monitoring device

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2013-057858 2013-03-21
JP2013057858 2013-03-21

Publications (1)

Publication Number Publication Date
WO2014148395A1 true WO2014148395A1 (ja) 2014-09-25

Family

ID=51580079

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2014/056955 Ceased WO2014148395A1 (ja) 2013-03-21 2014-03-14 映像監視システム、映像監視方法、および映像監視装置

Country Status (3)

Country Link
US (1) US9819912B2 (ja)
JP (1) JP5851651B2 (ja)
WO (1) WO2014148395A1 (ja)

Cited By (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017078952A (ja) * 2015-10-20 2017-04-27 株式会社エクサ 空港内パッセンジャー追跡システム
WO2019181047A1 (ja) 2018-03-23 2019-09-26 日本電気株式会社 情報処理装置、人物検索システム、場所推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
WO2020026367A1 (ja) 2018-07-31 2020-02-06 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
WO2020067433A1 (ja) * 2018-09-28 2020-04-02 株式会社デンソーウェーブ 荷物管理システム、及び、このシステムで用いるサーバ
JP2020055691A (ja) * 2018-09-28 2020-04-09 株式会社デンソーウェーブ 航空手荷物管理システム
JP2020061666A (ja) * 2018-10-10 2020-04-16 キヤノン株式会社 情報処理装置、撮影装置、追跡システム、情報処理装置の制御方法、および、プログラム
CN112073689A (zh) * 2020-09-03 2020-12-11 国网北京市电力公司 一种有限空间作业人员进出管控装置
WO2020261508A1 (en) * 2019-06-27 2020-12-30 Nec Corporation Image processing device, person search system, image processing method, and non-transitory computer readable medium
JPWO2021029046A1 (ja) * 2019-08-14 2021-02-18
CN113505713A (zh) * 2021-07-16 2021-10-15 上海塞嘉电子科技有限公司 一种基于机场安全管理平台的视频智能分析方法及系统
US11281894B2 (en) 2016-12-22 2022-03-22 Nec Solution Innovators, Ltd. Non-boarded passenger search device, non-boarded passenger search method, and recording medium
US12614127B2 (en) 2023-12-21 2026-04-28 Nec Corporation Information processing apparatus, information processing method, and storage medium

Families Citing this family (23)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR102222318B1 (ko) * 2014-03-18 2021-03-03 삼성전자주식회사 사용자 인식 방법 및 장치
US10009536B2 (en) 2016-06-12 2018-06-26 Apple Inc. Applying a simulated optical effect based on data received from multiple camera sensors
DK180859B1 (en) 2017-06-04 2022-05-23 Apple Inc USER INTERFACE CAMERA EFFECTS
US11722764B2 (en) 2018-05-07 2023-08-08 Apple Inc. Creative camera
JP7176565B2 (ja) 2018-07-31 2022-11-22 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
DK201870623A1 (en) 2018-09-11 2020-04-15 Apple Inc. User interfaces for simulated depth effects
US11321857B2 (en) 2018-09-28 2022-05-03 Apple Inc. Displaying and editing images with depth information
US11128792B2 (en) 2018-09-28 2021-09-21 Apple Inc. Capturing and displaying images with multiple focal planes
JP7153205B2 (ja) 2018-10-11 2022-10-14 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
US20220058760A1 (en) * 2018-12-27 2022-02-24 Nec Corporation Information processing apparatus, information processing method, and storage medium
US11770601B2 (en) 2019-05-06 2023-09-26 Apple Inc. User interfaces for capturing and managing visual media
US11706521B2 (en) 2019-05-06 2023-07-18 Apple Inc. User interfaces for capturing and managing visual media
CN112084824B (zh) * 2019-06-14 2024-02-06 杭州海康威视数字技术股份有限公司 乘客提醒方法、装置、电子设备及存储介质
JP7310511B2 (ja) * 2019-09-30 2023-07-19 株式会社デンソーウェーブ 施設利用者管理システム
JP7740227B2 (ja) * 2020-03-13 2025-09-17 日本電気株式会社 処理装置、処理方法及びプログラム
US11054973B1 (en) 2020-06-01 2021-07-06 Apple Inc. User interfaces for managing media
US11212449B1 (en) 2020-09-25 2021-12-28 Apple Inc. User interfaces for media capture and management
US12301979B2 (en) 2021-01-31 2025-05-13 Apple Inc. User interfaces for wide angle video conference
US11778339B2 (en) 2021-04-30 2023-10-03 Apple Inc. User interfaces for altering visual media
US11539876B2 (en) 2021-04-30 2022-12-27 Apple Inc. User interfaces for altering visual media
US12112024B2 (en) 2021-06-01 2024-10-08 Apple Inc. User interfaces for managing media styles
CN116051344B (zh) * 2022-12-27 2025-06-27 北京城建设计发展集团股份有限公司 基于安防监控视频的机场出租车运力流的检测分析方法
US20240373121A1 (en) 2023-05-05 2024-11-07 Apple Inc. User interfaces for controlling media capture settings

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005055151A1 (ja) * 2003-12-03 2005-06-16 Hitachi, Ltd. 搭乗セキュリティチェックシステムおよび方法ならびにコンピュータプログラム
JP2007058763A (ja) * 2005-08-26 2007-03-08 Toshiba Corp 入場管理システムおよび入場管理方法
JP2007072781A (ja) * 2005-09-07 2007-03-22 Toshiba Corp 入場管理・監視システム

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7634662B2 (en) * 2002-11-21 2009-12-15 Monroe David A Method for incorporating facial recognition technology in a multimedia surveillance system
US20050256724A1 (en) * 2002-02-01 2005-11-17 Amnon Rasin Personalized boarding pass
US7257235B2 (en) * 2002-02-28 2007-08-14 Minolta Co., Ltd. Monitoring apparatus, monitoring method, monitoring program and monitoring program recorded recording medium readable by computer
IL156629A0 (en) * 2003-06-25 2004-01-04 A method and a system for control over unauthorized persons
JP4476744B2 (ja) * 2003-09-02 2010-06-09 富士フイルム株式会社 撮像システム、及びプログラム
MY140501A (en) * 2003-09-12 2009-12-31 Stratech Systems Ltd A method and system for monitoring the movement of people
US7787013B2 (en) * 2004-02-03 2010-08-31 Panasonic Corporation Monitor system and camera
JP2005242775A (ja) * 2004-02-27 2005-09-08 Omron Corp ゲートシステム
US7327262B2 (en) * 2005-10-12 2008-02-05 Mantic Point Solutions Limited System and method for electronic article surveillance
US7806604B2 (en) * 2005-10-20 2010-10-05 Honeywell International Inc. Face detection and tracking in a wide field of view
JP5733775B2 (ja) * 2008-06-06 2015-06-10 日本電気株式会社 対象物画像表示システム
JP5227911B2 (ja) 2009-07-22 2013-07-03 株式会社日立国際電気 監視映像検索装置及び監視システム

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2005055151A1 (ja) * 2003-12-03 2005-06-16 Hitachi, Ltd. 搭乗セキュリティチェックシステムおよび方法ならびにコンピュータプログラム
JP2007058763A (ja) * 2005-08-26 2007-03-08 Toshiba Corp 入場管理システムおよび入場管理方法
JP2007072781A (ja) * 2005-09-07 2007-03-22 Toshiba Corp 入場管理・監視システム

Cited By (29)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2017078952A (ja) * 2015-10-20 2017-04-27 株式会社エクサ 空港内パッセンジャー追跡システム
US11281894B2 (en) 2016-12-22 2022-03-22 Nec Solution Innovators, Ltd. Non-boarded passenger search device, non-boarded passenger search method, and recording medium
WO2019181047A1 (ja) 2018-03-23 2019-09-26 日本電気株式会社 情報処理装置、人物検索システム、場所推定方法及びプログラムが格納された非一時的なコンピュータ可読媒体
US11501568B2 (en) 2018-03-23 2022-11-15 Nec Corporation Information processing apparatus, person search system, place estimation method, and non-transitory computer readable medium storing program
US11854106B2 (en) 2018-07-31 2023-12-26 Nec Corporation Information processing apparatus, information processing method, and storage medium
WO2020026367A1 (ja) 2018-07-31 2020-02-06 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
US11200630B2 (en) 2018-07-31 2021-12-14 Nec Corporation Information processing apparatus, information processing method, and storage medium
US12361504B2 (en) 2018-07-31 2025-07-15 Nec Corporation Information processing apparatus, information processing method, and storage medium
US12354177B2 (en) 2018-07-31 2025-07-08 Nec Corporation Information processing apparatus, information processing method, and storage medium
WO2020067433A1 (ja) * 2018-09-28 2020-04-02 株式会社デンソーウェーブ 荷物管理システム、及び、このシステムで用いるサーバ
JP7486930B2 (ja) 2018-09-28 2024-05-20 株式会社デンソーウェーブ 航空手荷物管理システム
JP2020055691A (ja) * 2018-09-28 2020-04-09 株式会社デンソーウェーブ 航空手荷物管理システム
JP2020061666A (ja) * 2018-10-10 2020-04-16 キヤノン株式会社 情報処理装置、撮影装置、追跡システム、情報処理装置の制御方法、および、プログラム
JP7270359B2 (ja) 2018-10-10 2023-05-10 キヤノン株式会社 情報処理装置、撮影装置、追跡システム、情報処理装置の制御方法、および、プログラム
WO2020261508A1 (en) * 2019-06-27 2020-12-30 Nec Corporation Image processing device, person search system, image processing method, and non-transitory computer readable medium
JP7264283B2 (ja) 2019-06-27 2023-04-25 日本電気株式会社 画像処理装置、人検索システム、画像処理方法、及び画像処理プログラム
JP2022535540A (ja) * 2019-06-27 2022-08-09 日本電気株式会社 画像処理装置、人検索システム、画像処理方法、及び画像処理プログラム
JP2024159787A (ja) * 2019-08-14 2024-11-08 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
JP2023054187A (ja) * 2019-08-14 2023-04-13 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
JP7235123B2 (ja) 2019-08-14 2023-03-08 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
CN114175087A (zh) * 2019-08-14 2022-03-11 日本电气株式会社 信息处理装置、信息处理方法和记录介质
WO2021029046A1 (ja) * 2019-08-14 2021-02-18 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
JP7540521B2 (ja) 2019-08-14 2024-08-27 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
JPWO2021029046A1 (ja) * 2019-08-14 2021-02-18
JP7835252B2 (ja) 2019-08-14 2026-03-25 日本電気株式会社 情報処理装置、情報処理方法及びプログラム
CN112073689A (zh) * 2020-09-03 2020-12-11 国网北京市电力公司 一种有限空间作业人员进出管控装置
CN113505713A (zh) * 2021-07-16 2021-10-15 上海塞嘉电子科技有限公司 一种基于机场安全管理平台的视频智能分析方法及系统
CN113505713B (zh) * 2021-07-16 2022-09-23 上海塞嘉电子科技有限公司 一种基于机场安全管理平台的视频智能分析方法及系统
US12614127B2 (en) 2023-12-21 2026-04-28 Nec Corporation Information processing apparatus, information processing method, and storage medium

Also Published As

Publication number Publication date
US20160014382A1 (en) 2016-01-14
JP5851651B2 (ja) 2016-02-03
JPWO2014148395A1 (ja) 2017-02-16
US9819912B2 (en) 2017-11-14

Similar Documents

Publication Publication Date Title
JP5851651B2 (ja) 映像監視システム、映像監視方法、および映像監視装置
JP7622711B2 (ja) 情報処理装置、情報処理方法及び記録媒体
US10839227B2 (en) Queue group leader identification
US11138420B2 (en) People stream analysis method, people stream analysis apparatus, and people stream analysis system
JP6139364B2 (ja) 人物特定装置、人物特定方法及びプログラム
JP7405200B2 (ja) 人物検出システム
US20150088637A1 (en) Information processing system, information processing method, and non-transitory computer readable storage medium
JPWO2019181499A1 (ja) 店舗管理装置および店舗管理方法
CN109359625A (zh) 基于头肩检测和人脸识别技术判断顾客身份的方法和系统
JP7230173B2 (ja) 置去り物検知装置および置去り物検知方法
JP2003187352A (ja) 特定人物検出システム
US20190385173A1 (en) System and method for assessing customer service times
JP2008152810A (ja) 顧客情報収集管理システム
JP7533645B2 (ja) 情報処理装置、情報処理方法及び記録媒体
JP7521807B2 (ja) 動線判定装置、動線判定システム、動線判定方法及びプログラム
CN103310185A (zh) 监视装置以及可靠度计算方法
JP2012252613A (ja) 顧客行動追跡型映像配信システム
EP3905147A1 (en) Information processing device, information processing method, and recording medium
KR20170006356A (ko) 이차원 영상 기반 고객 분석 방법 및 장치
US20190122228A1 (en) Examination device
JP6982168B2 (ja) 顔照合システム
CN113570644B (zh) 一种机场旅客定位方法、装置、电子设备及介质
CN113127758A (zh) 物品存放点推送方法、装置、电子设备及存储介质
JP2019028559A (ja) 作業分析装置、作業分析方法及びプログラム
CN110852161A (zh) 实时识别运动中人员身份的方法、装置及系统

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 14768652

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2015506746

Country of ref document: JP

Kind code of ref document: A

WWE Wipo information: entry into national phase

Ref document number: 14770539

Country of ref document: US

NENP Non-entry into the national phase

Ref country code: DE

122 Ep: pct application non-entry in european phase

Ref document number: 14768652

Country of ref document: EP

Kind code of ref document: A1