WO2020115890A1 - 情報処理システム、情報処理装置、情報処理方法、およびプログラム - Google Patents

情報処理システム、情報処理装置、情報処理方法、およびプログラム Download PDF

Info

Publication number
WO2020115890A1
WO2020115890A1 PCT/JP2018/045054 JP2018045054W WO2020115890A1 WO 2020115890 A1 WO2020115890 A1 WO 2020115890A1 JP 2018045054 W JP2018045054 W JP 2018045054W WO 2020115890 A1 WO2020115890 A1 WO 2020115890A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
person
image
characteristic information
registered
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2018/045054
Other languages
English (en)
French (fr)
Inventor
伸明 川瀬
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
NEC Corp
Original Assignee
NEC Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Priority to US17/298,101 priority Critical patent/US11847848B2/en
Priority to EP18942078.9A priority patent/EP3893192B1/en
Priority to JP2020558776A priority patent/JP7196932B2/ja
Priority to PCT/JP2018/045054 priority patent/WO2020115890A1/ja
Application filed by NEC Corp filed Critical NEC Corp
Publication of WO2020115890A1 publication Critical patent/WO2020115890A1/ja
Anticipated expiration legal-status Critical
Priority to US18/225,513 priority patent/US12136289B2/en
Priority to US18/225,604 priority patent/US12112565B2/en
Priority to US18/225,613 priority patent/US12087075B2/en
Priority to US18/225,610 priority patent/US12223758B2/en
Priority to US18/225,616 priority patent/US12236702B2/en
Priority to US18/226,174 priority patent/US20230368564A1/en
Priority to US18/226,162 priority patent/US12087076B2/en
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing
    • G06V10/25—Determination of region of interest [ROI] or a volume of interest [VOI]
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G06V20/53—Recognition of crowd images, e.g. recognition of crowd congestion
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • G06V40/171—Local features and components; Facial parts ; Occluding parts, e.g. glasses; Geometrical relationships
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification

Definitions

  • the present invention relates to an information processing system, an information processing apparatus, an information processing method, and a program, and particularly to an information processing system, an information processing apparatus, an information processing method, and a program that perform image recognition processing.
  • Patent Document 1 describes an example of a walk-through type face image authentication device.
  • the face image recognition device described in Patent Document 1 specifies an authentication candidate person for a plurality of faces (characters) included in a plurality of face area images captured at different times, and makes the authentication candidate person and the face image similar to each other.
  • the threshold for authentication is determined using an index indicating the degree of accuracy.
  • the index used here is (first-rank hit ratio, which is the ratio of frames having the highest degree of similarity). The higher the first-rank hit rate, the lower the authentication threshold value. Then, even if there is a frame in which the degree of similarity with another person temporarily becomes high due to a change in facial expression, face orientation, etc., the authentication threshold value will not become low if the first-rank hit rate is low.
  • the person recognition device described in Patent Document 2 detects the face of a passerby from the first image captured by the first camera and the second image captured by the second camera.
  • the first camera is installed in a state in which it is easily recognized by a passerby
  • the second camera is installed in a state in which it is difficult for a passerby to recognize it. Then, the passerby is classified based on both detection results, the authentication threshold value used for the face matching process is adjusted based on the classification result, and the output process content based on the authentication result is determined.
  • Patent Document 3 detects a walking state of a person from a person image sequence obtained by a distant frame or a different camera, and include it in different image sequences based on the walking state. It is determined whether the persons to be displayed are the same. This makes it possible to track a person.
  • Patent Document 4 describes that the step length, height, weight, or walking state (step length, gait) of the person to be authenticated is detected and collated with the authentication information to perform personal authentication.
  • Patent Document 5 describes a gate management system that controls the unlocking and locking of the gate by performing authentication processing based on the gait (step, posture, arm swing, etc.) of a person passing through the gate.
  • an object of the present invention is to provide a new method for tracking a person using image processing.
  • the first aspect relates to an information processing device.
  • a first information processing apparatus is Collating means for collating the first characteristic information extracted from the person included in the first image with the first registered characteristic information stored in the storage means; If the first characteristic information cannot be extracted from the person, or if the collation result by the collating unit does not match, the second characteristic information extracted from the person is used as the second registered characteristic information.
  • a registration means for storing in the storage means The collation unit collates the second feature information extracted from the person included in the second image with the second registered feature information stored in the storage unit, and thereby the second image is obtained from the second image.
  • the person corresponding to the registered characteristic information of is specified.
  • the second information processing apparatus Collating means for collating the first characteristic information extracted from the person included in the first image with the first registered characteristic information stored in the storage means; Registration means for storing second characteristic information extracted from the person in the storage means as second registered characteristic information, The collation unit collates the second feature information extracted from the person included in the second image with the second registered feature information stored in the storage unit, thereby performing the second registration from the second image.
  • the collation unit when the first characteristic information cannot be extracted from the person included in the first image, or the first characteristic information extracted from the person included in the first image and the first characteristic information When the comparison result with the first registered characteristic information does not match, the first characteristic information extracted from the person identified from the second image, and the first registered characteristic information stored in the storage unit. And match.
  • the second aspect relates to an information processing method executed by at least one computer.
  • the first information processing method according to the second aspect is The information processing device
  • the first feature information extracted from the person included in the first image is compared with the first registered feature information stored in the storage device, If the first characteristic information cannot be extracted from the person or if the matching results do not match, the second characteristic information extracted from the person is stored in the storage device as second registered characteristic information.
  • the second image is converted into the second registered characteristic information. This includes identifying the corresponding person.
  • the second information processing method is The information processing device
  • the first feature information extracted from the person included in the first image is compared with the first registered feature information stored in the storage device, Storing second characteristic information extracted from the person in the storage device as second registered characteristic information, Corresponding to the second registered feature information from the second image by collating the second feature information extracted from the person included in the second image with the second registered feature information stored in the storage device. Identify the person, When the first characteristic information cannot be extracted from the person included in the first image, or the first characteristic information and the first registered characteristic extracted from the person included in the first image If the result of collation with the information does not match, the first characteristic information extracted from the person identified from the second image is collated with the first registered characteristic information stored in the storage device. Including that.
  • the present invention may be a program that causes at least one computer to execute the method of the second aspect, or a computer-readable recording medium that records such a program. May be.
  • the recording medium includes a non-transitory tangible medium.
  • the computer program includes a computer program code which, when executed by a computer, causes the computer to execute the information processing method on the information processing device.
  • the various constituent elements of the present invention do not necessarily have to exist independently, and a plurality of constituent elements are formed as one member, and one constituent element is formed by a plurality of members. May be present, a certain component may be a part of another component, a part of a certain component may overlap a part of another component, and the like.
  • the order of description does not limit the order of executing the plurality of procedures. Therefore, when executing the method and computer program of the present invention, the order of the plurality of procedures can be changed within a range that does not hinder the contents.
  • the plurality of procedures of the method and computer program of the present invention are not limited to being executed at different timings. For this reason, another procedure may occur during execution of a certain procedure, the execution timing of a certain procedure may partially or completely overlap the execution timing of another procedure, and the like.
  • FIG. 3 It is a functional block diagram which shows the logical structure of the information processing apparatus which concerns on the 1st Embodiment of this invention. It is a figure which shows an example of the data structure of the 2nd memory
  • FIG. 6 is a flowchart showing an example of a procedure after step S135 in FIG. 5 in the operation of the information processing apparatus according to the second embodiment of the present invention. It is a functional block diagram which shows logically the structure of the information processing apparatus which concerns on the 3rd Embodiment of this invention.
  • FIG. 9 is a diagram for explaining the timing of information output of the output unit of the information processing device of FIG. 7.
  • FIG. 8 is a diagram showing an example of a data structure of a second storage section of the storage device of FIG. 7. It is a flowchart which shows an example of operation
  • FIG. 1 is a functional block diagram showing a logical configuration of an information processing device 100 according to the embodiment of the present invention.
  • the information processing apparatus 100 tracks a person who is not authenticated by a captured image within a predetermined area.
  • the information processing device 100 includes a matching unit 102 and a registration unit 104.
  • the information processing device 100 further includes a storage device 110.
  • the storage device 110 includes a first storage unit 111 (for example, a face feature information database) and a second storage unit 112.
  • the storage device 110 may be realized by a plurality of physical storage media or a plurality of databases.
  • the first storage unit 111 and the second storage unit 112 may be included in physically the same device, or may be included in devices that are physically different from each other.
  • the first storage unit 111 and the second storage unit 112 may be integrated with the main body of the information processing device 100 or may be separate bodies.
  • the matching unit 102 matches the first characteristic information extracted from the person included in the first image 20 with the first registered characteristic information stored in the storage device 110.
  • the registration unit 104 cannot extract the first characteristic information from the person, or when the matching result by the matching unit 102 does not match, the second characteristic information extracted from the person is registered as the second registered characteristic.
  • the information is stored in the storage device 110 as information.
  • the registration unit 104 registers the second characteristic information of the person in the storage device 110.
  • the collation unit 102 collates the second feature information extracted from the person included in the second image 22 with the second registered feature information stored in the storage device 110, and thereby the second image 22 is extracted from the second image 22.
  • the person corresponding to the registered characteristic information of is specified.
  • the matching process using the first registered characteristic information is also referred to as “individual identification process”
  • the matching process using the second registered characteristic information is also referred to as “person identification process”.
  • the first feature information is feature information that can identify a person, and in the present embodiment, it is face feature information, and is also referred to as face feature information hereinafter.
  • the first registration feature information stored in the first storage unit 111 will also be referred to as face registration feature information hereinafter.
  • the first feature information may be other biometric information, such as an iris, an auricle, a vein, a fingerprint, a gait, or the like.
  • the first storage unit 111 may store a plurality of types of biometric information for each person. In this case, the matching unit 102 may perform matching processing by combining a plurality of types of biometric information.
  • the second characteristic information is the characteristic information of the person including the area other than the face, and is also referred to as “human area characteristic information” hereinafter. Further, the second registered characteristic information registered in the second storage unit 112 will also be referred to as registered person area characteristic information hereinafter.
  • the human area characteristic information is characteristic information indicating appearance characteristics, such as a back profile or clothes, of a person whose face cannot be recognized by the matching unit 102.
  • the human area characteristic information includes height, shoulder width, ratio of body parts, clothes (shape, color, material, etc.), hairstyle (including hair color), ornaments (hat, glasses, accessories, etc.), personal belongings (bag, umbrella) , Canes, etc.) and the like.
  • the human area feature information may include information such as the likelihood of the feature information.
  • the image pickup means is a camera including an image pickup element such as a lens and a CCD (Charge Coupled Device) image sensor, and is preferably a network camera such as an IP (Internet Protocol) camera.
  • the network camera has, for example, a wireless LAN (Local Area Network) communication function, and is connected to the information processing apparatus 100 via a communication network, that is, a relay device (not shown) such as a router. These cameras may be so-called surveillance cameras.
  • the image pickup means may include a mechanism that follows the movement of a specific person to control the orientation of the camera body or mens, zoom control, focus adjustment, and the like.
  • the camera and the information processing device 100 may be directly connected, or may be indirectly connected via a communication network or the like as described above.
  • the image data captured by the camera may be directly transmitted to the information processing device 100, and the information processing device 100 may sequentially receive the image data.
  • a storage device (not shown) that can be accessed by both the camera and the information processing device 100 may be provided.
  • the image data captured by the camera may be stored in the storage device, and the information processing apparatus 100 may read and acquire the image data from the storage device.
  • the image data here may be at least one of a still image and a moving image.
  • the data format, file format, file size, image size, image resolution, moving image frame rate, etc. are not particularly limited, and the specifications, standards, performance, etc. of the camera and the information processing apparatus 100, or the processing capability and accuracy of image analysis. Various types can be adopted according to the above. Then, at least one frame of this image data becomes at least one of the first image 20 and the second image 22.
  • acquisition means that the device itself acquires data or information stored in another device or a storage medium (active acquisition), and outputs to the device itself from another device. Inputting data or information (passive acquisition) to be performed. Examples of active acquisition include requesting or inquiring another device to receive the reply, and accessing and reading the other device or a storage medium. Examples of passive acquisition include receiving information to be distributed (or transmitted, push notification, etc.). Furthermore, “acquisition” may mean selecting and acquiring from the received data or information, or selecting and receiving the distributed data or information.
  • the image transmission timing from the camera to the information processing apparatus 100 may be real-time streaming distribution, for example, or images may be transmitted for a predetermined period at predetermined intervals.
  • the timing may be appropriately selected based on the memory capacity, the communication capacity, the image processing capacity of the camera or the information processing apparatus 100, the communication status between the camera and the information processing apparatus 100, or the timing may be changed according to the situation change. May be done.
  • the first image 20 is captured at the first timing
  • the second image 22 is captured after the first timing
  • the second image 22 captured “after the first timing” may be a plurality of images captured at different timings.
  • the individual identification processing and the person identification processing by the matching unit 102 are sequentially executed for each image. That is, the second image 22 after the person identifying process is subjected to the individual identifying process as the first image 20 at the next timing, and further the person identifying process is performed on the second image 22 captured at the subsequent timing. Good.
  • the first storage unit 111 of the information processing device 100 stores the facial feature information of the individual to be authenticated.
  • the first storage unit 111 stores the face feature information of the employee.
  • the person with that face may be a person who is not an employee. Can be estimated.
  • Various matching methods can be used in the matching process, and the matching method is not limited to a specific method.
  • the individual identification process in the collation unit 102 can be performed by any of the following procedures, but is not limited thereto.
  • A1 First, a human area is detected, and a face area in the detected human area is specified. Then, the specified face area is authenticated.
  • A2) First, a face area is detected, and the detected face area is authenticated. Then, the person area including the face area is specified. In this case, if the authentication is successful, the person area may be omitted.
  • A3 The human area and the face area are detected, and the detected face area is authenticated.
  • the registration unit 104 cannot identify the face region from the person included in the first image 20, and determines the person region that cannot be subjected to the matching process.
  • the human area feature information based on the information may be stored in the second storage unit 112. For example, even if the suspicious person has grasped the position of the surveillance camera and cannot obtain the facial feature information as a result of acting while avoiding the camera, the person area feature information is stored in the second storage unit 112. ..
  • the matching result by the matching unit 102 does not match the information indicating that the first feature information (face feature information) or the second feature information (human region feature information) matches the stored feature information. It includes at least one of the information indicating the fact (mismatch). Further, the information indicating the disagreement with the face feature information may include a case where the face feature information cannot be extracted from the person included in the first image 20 described above.
  • FIG. 2 is a diagram showing an example of the data structure of the second storage unit 112.
  • the second storage unit 112 stores the date and time information and the human area characteristic information in association with each other.
  • the date and time information is the time at which the first image 20 was captured, the time at which the first image 20 was acquired, the time at which face authentication processing was performed based on the first image 20, the time at which the result of the face authentication processing was acquired, and the human region feature information was saved It is at least one of the times.
  • the second storage unit 112 in FIG. 2 stores the human area feature information in association with the date/time information, but the date/time information is not always necessary and may not be included.
  • the second storage unit 112 stores the human-region characteristic information of the person for whom the face authentication could not be performed in the individual identification processing by the matching unit 102, and the human-region characteristic information of the person for whom the face authentication was possible. Is not remembered. Therefore, in the present embodiment, it is premised that the person composition included in the first image 20 does not change in the second image 22. A case where there is a change from the person composition detected by the camera 10 will be described in another embodiment.
  • FIG. 3 is a flowchart showing an example of the operation of the information processing device 100 of this embodiment.
  • the camera 10 transmits the first image obtained by capturing a predetermined area to the information processing apparatus 100 (step S101). For example, it is assumed that three persons A, B, and C are shown in the first image.
  • the matching unit 102 extracts the face characteristic information from the person included in the first image 20 received from the camera 10 (step S111). Here, three persons (person A, person B, person C) are detected, and the characteristic information of each face is extracted. Then, the matching unit 102 executes the matching process (personal identification process) with the extracted feature information of each face with the registered feature information of the face stored in the first storage unit 111 (step S113).
  • step S115 the registered characteristic information of the matching face is included in the first storage unit 111 (YES in step S115). Therefore, the person A has already been identified, and the process is terminated without performing the processes of step S117 and thereafter.
  • the process proceeds to step S117, and the person B and the person B are stored in the second storage unit 112.
  • the person area characteristic information and the date and time information corresponding to the person area C are stored. That is, the person B and the person C are the following tracking target persons.
  • the matching unit 102 receives the second image 22 from the camera 10, detects the human region from the received second image 22, and extracts the human region characteristic information (step S119).
  • the matching unit 102 performs a matching process (person identifying process) between the person area characteristic information extracted from the second image 22 and the registered person area characteristic information stored in the second storage unit 112 (step S121). ).
  • step S123 when the registered person area characteristic information that matches the extracted person area characteristic information is included in the second storage unit 112 (YES in step S123), it corresponds to the registered person area characteristic information in the second image 22.
  • the person B and the person C are specified (step S125). Then, this process ends. In this way, the person B and the person C can be tracked in the second image 22.
  • step S123 Regard the person (the person A in this case) whose registered person area characteristic information that matches the extracted person area characteristic information does not exist in the second storage unit 112 (NO in step S123), it is assumed that it is reflected in the second image 22. Does not become a tracking target, and the process ends by bypassing step S125.
  • step S119 and subsequent steps may be repeatedly executed each time the second image 22 is received. That is, in each of the second images 22, the person B and the person C corresponding to the person area characteristic information stored in the second storage unit 112 are continuously tracked.
  • the registration unit 104 sets the person area feature information as the undetermined person information for the person whose individual cannot be specified for the first image 20 by the matching unit 102. 2 It is stored in the storage unit 112. Then, the matching unit 102 matches the person area characteristic information extracted from the second image 22 with the registered person area characteristic information stored in the second storage unit 112, and specifies a matching person. According to this configuration, with respect to the undetermined person in the first image 20, the person can be specified based on the person area characteristic information in the second image 22 captured at the timing after the first image 20, and You can keep track of confirmed persons.
  • an unauthenticated person (that is, a person to be careful of) can be tracked in the predetermined area after the first timing, and the person area characteristic information of the person is undetermined. It can be stored in the second storage unit 112 as a person. For example, when a suspicious person or the like who cannot be authenticated has fallen into a predetermined area, the person can be continuously tracked.
  • the information processing apparatus 100 of the present embodiment is the same as that of the above-described embodiment of FIG. 1 except that after the person included in the second image 22 is specified, the matching process is performed using the face feature information extracted from the person. It is the same as the information processing device 100.
  • the information processing apparatus 100 of this embodiment has the same configuration as the information processing apparatus 100 of the above embodiment of FIG. 1, and therefore will be described below with reference to FIG.
  • the collation unit 102 collates the facial feature information extracted from the person identified from the second image 22 with the registered facial feature information stored in the first storage unit 111 of the storage device 110.
  • FIG. 4 is a diagram showing an example of the data structure of the second storage unit 112 of this embodiment.
  • the second storage unit 112 further includes a confirmation flag in addition to the date and time information and the human area characteristic information of the second storage unit 112 of FIG.
  • the confirmation flag is a flag indicating that the individual can be identified or not identified by the face authentication processing by the matching unit 102.
  • the confirmed flag can be “1” and the unconfirmed can be “0”. it can.
  • it may be “0” for the confirmed and “1” for the unconfirmed.
  • the flag may be set only for confirmed and null may be set for unconfirmed.
  • the flag may be set before the confirmation, that is, only the unconfirmed, and may be set to NULL after the confirmation.
  • the second storage unit 112 may store the execution date and time of the face authentication processing that specifies an individual in association with the person area feature information.
  • the registration unit 104 when a match is found in the collation processing of the face feature information extracted from the person specified in the second image 22, the registration unit 104 causes the person stored in the second storage unit 112.
  • the confirmation flag associated with the registered person region characteristic information corresponding to is set from 0 to 1.
  • the information processing apparatus 100 when the matching result of the face feature information extracted from the person identified from the second image 22 and the face feature information stored in the first storage unit 111 is a match, A deletion unit (not shown) that deletes the registered person region characteristic information of the person from the second storage unit 112 may be provided.
  • the data structure of the second storage unit 112 is assumed to be that of FIG. 2 of the above embodiment.
  • FIG. 5 is a flowchart showing an example of the operation of the information processing device 100 of this embodiment.
  • the flowchart of FIG. 5A includes steps S131 to S133 after step S125 of the flowchart of FIG.
  • the matching unit 102 extracts facial feature information from the person identified from the second image 22 in step S125 (step S131), and the extracted facial feature information is stored in the first storage unit 111 of the storage device 110.
  • a matching process personal identification process
  • a matching process with the registered feature information of the face to be performed is performed (step S133), and this process ends.
  • the matching unit 102 identifies the person corresponding to the second registered characteristic information (registered person area characteristic information) from the second image 22 (step S119 to FIG. 3).
  • Step S125 a process of collating the first characteristic information (face characteristic information) extracted from the identified person with the first registered characteristic information (face registered characteristic information) (FIG. 5(a)). 5) is repeated (YES in step S135 of FIG. 5B) (return to step S119 of FIG. 3).
  • the person C does not have a face in the first image 20 in the individual identification process in step S113 of FIG.
  • face recognition has failed.
  • the face identification succeeds in the individual identification processing in step S133 of FIG. 5A, and the individual can be identified.
  • the matching processing can be repeated by the matching unit 102 for the plurality of second images 22 that are repeatedly imaged within a predetermined time or until a predetermined time.
  • FIG. 6A the example in which the second storage unit 112 of FIG. 4 is used (FIG. 6A) as the processing for the person area characteristic information in which the face authentication is successful by the collation unit 102 and the individual is specified, and the information processing apparatus 100 is An example (FIG. 6B) having a deletion unit and using the second storage unit 112 of FIG. 2 will be described.
  • step S133 When the face feature information extracted from the person identified in step S133 matches any of the face feature information stored in the first storage unit 111 (YES in step S135), the registration unit 204 determines that In the second storage unit 112 of No. 4, 1 is set to the confirmation flag associated with the person area characteristic information corresponding to the person who has been face-recognized (step S137). Then, this process ends.
  • step S135 it is assumed that the individual can be identified for the person C (YES in step S135), and 1 is set to the confirmation flag associated with the person area characteristic information corresponding to the person C (step S137).
  • step S137 is bypassed. Then, this processing is finished. That is, the confirmation flag associated with the human area feature information in the second storage unit 112 in FIG. 4 remains 0.
  • step S137 is bypassed, and this processing ends. Therefore, the confirmation flag associated with the person area characteristic information of the person B remains 0.
  • the deletion unit deletes the human area characteristic information corresponding to the person who has been face-recognized from the second storage unit 112 in FIG.
  • step S135 the matching face characteristic information is included in the first storage unit 111 (YES in step S135), and the deletion unit corresponds to the person C from the second storage unit 112 in FIG.
  • the human area characteristic information is deleted (step S137).
  • step S133 when there is no match between the face feature information extracted from the person identified in step S133 and the face feature information stored in the first storage unit 111 (NO in step S135), the process skips step S139. Then, this processing is finished. That is, the human area characteristic information remains stored in the second storage unit 112.
  • step S139 is bypassed and the present process ends.
  • step S139 is bypassed and the present process ends.
  • the collation unit 102 extracts the face feature information extracted from the person identified from the second image 22, and the face registration feature information stored in the first storage unit 111.
  • face identification is successful in the second image 22 captured at a timing after the first image 20, and an individual can be identified.
  • information indicating whether or not face recognition has been successfully performed is stored in the second storage unit 112 in association with the person area feature information, or the person area feature information for which face recognition has been performed is stored in the second storage unit 112. Therefore, by referring to the second storage unit 112, it is possible to acquire the human-region characteristic information about the person who cannot be face-authenticated within the predetermined time or by the predetermined time.
  • FIG. 7 is a functional block diagram logically showing the configuration of the information processing apparatus 100 of this embodiment.
  • the information processing apparatus 100 according to the present embodiment is the same as the above-described embodiment except that it has an output unit 120 in addition to the configuration of the information processing apparatus 100 according to the above-described embodiment in FIG. 1.
  • the registration unit 104 causes the second storage unit 112 to store the human area feature information together with the time information. Then, the output unit 120 outputs the information regarding the registered person area characteristic information stored in the second storage unit 112 according to a predetermined condition.
  • the output unit 120 changes the face from the person identified by the comparison with the registered person region characteristic information from the second image 22 even if the reference time or more has elapsed from the time indicated by the time information. If the characteristic information cannot be extracted, or if the result of collation with the characteristic information of the face extracted from the person identified by the collation with the registered person region characteristic information from the second image 22 does not match, the registration is performed. Outputs information related to human area feature information.
  • the time information corresponds to the date and time information of the second storage unit 112 in FIG. 2 or FIG. 4, and the time when the human area characteristic information is stored in the second storage unit 112, and the image of the image to be collated (or (Memorization) time, the time when the image to be collated is received, the collation processing execution time, and the time when the collation result is stored in the second storage unit 112.
  • the output unit 120 outputs the information regarding the registered person region characteristic information stored in the second storage unit 112 at the reference timing.
  • the person corresponding to the registered person region characteristic information remaining in the second storage unit 112 at the reference timing could not identify the individual until that timing. Become an undetermined person. Therefore, the output unit 120 can cause the operator to recognize an undetermined person by displaying information related to the registered person area characteristic information, for example, an image of a person area corresponding to the registered person area characteristic information.
  • the reference timing is, for example, a predetermined time or a shooting timing with a camera at the last or a predetermined position.
  • the output unit 120 displays, for example, a captured image on the display and a mark indicating whether or not the person has been authenticated by being superimposed on each person. For example, a mark such as "OK” is displayed for the authenticated person, and a mark such as "NG” is displayed for the unauthenticated person. The "OK” mark may be displayed only for the authenticated person, or the "NG” mark may be displayed only for the unauthenticated person.
  • an image for example, enclosing the human area with a rectangular frame of different colors
  • the human area of an unauthenticated person may be highlighted.
  • the output form of the output unit 120 is not only screen display, but also outputs an alert sound from a speaker, sends a message to a predetermined destination or terminal, blinks or lights an LED (Light Emitting Diode) indicator, etc. Information may be printed out on a printer. Further, the output unit 120 may output a locking/unlocking control signal to a locking device of a door at a doorway of a predetermined area or an opening/closing control signal to a driving device such as a gate, an automatic door, or a shutter. That is, when the human area characteristic information of an unauthenticated person remains in the second storage unit 112 after the elapse of the reference time or at the reference timing, the person corresponding to the person area characteristic information cannot enter or leave the area. As described above, a control signal for locking the door or closing the gate may be output to each device.
  • the output unit 120 outputs to the camera a control signal for increasing the image quality and resolution of a captured image including the human area of an unauthenticated person, and a control signal for causing the human area to follow or zoom in. Good.
  • the information regarding the registered person area characteristic information may include an image of the person area corresponding to the registered person area characteristic information. Further, the registered person area characteristic information may include information indicating whether or not the user has been authenticated, the time when the image was captured, the time when the face authentication was performed, and the like. When there are a plurality of areas to be monitored, the area identification information may be included. When a plurality of cameras 10 are used, the identification information of the camera 10 that has captured the image including the human area of the registered person area characteristic information may be included.
  • FIG. 8 is a diagram for explaining the timing of information output of the output unit 120.
  • FIG. 8C will be described in an embodiment described later.
  • the output unit 120 alerts the human region characteristic information that has been continuously stored in the second storage unit 112 for a reference time or longer since the time of the first storage of the human region characteristic information. Is being output. In this example, it is possible to monitor whether or not face recognition has been performed for each person within the reference time.
  • the output unit 120 outputs the human-region characteristic information stored in the second storage unit 112, with respect to the human-region characteristic information remaining at a certain reference timing, for example, a predetermined time. Is outputting an alert.
  • the registration unit 104 stores the human-region characteristic information together with the time information in the second storage unit 112, and the output unit 120 passes the reference time or more from the time indicated by the time information. Also, information regarding the registered person area characteristic information of the person whose face is not authenticated is output. According to the present embodiment, the same effect as that of the above-described embodiment can be obtained, and further, information about a person who has not been authenticated within a certain area for a predetermined time or more or by a predetermined time can be notified.
  • the output unit 120 outputs the information regarding the registered person region characteristic information stored in the second storage unit 112 at the reference timing. According to this embodiment, it is possible to notify information about a person who has not been authenticated at every predetermined time.
  • the information processing apparatus 100 stores the human area characteristic information of all the persons extracted from the first image in the second storage unit 112, and can perform the face authentication processing while tracking with the registered person area characteristic information.
  • the information processing apparatus 100 is the same as the information processing apparatus 100 described in the above embodiment, except that the face authentication process is repeated.
  • the information processing apparatus 100 of this embodiment has the same configuration as the information processing apparatus 100 of the above embodiment of FIG. 1, and therefore will be described below with reference to FIG. It should be noted that this embodiment may have the same configuration as the information processing apparatus 100 according to the other embodiments, and can be combined within a consistent range.
  • the present embodiment differs from the above embodiments in the following points.
  • the registration unit 104 stores the human area characteristic information extracted from the person included in the first image 20 in the second storage unit 112 as the registered human area characteristic information.
  • the collation unit 102 collates the person area characteristic information extracted from the person included in the second image 22 with the registered person area characteristic information stored in the second storage unit 112, so that the registered person area is extracted from the second image 22.
  • the person corresponding to the characteristic information is specified.
  • the collation unit 102 is unable to extract the facial feature information from the person included in the first image 20, or the facial feature information and the first registered characteristic information extracted from the person included in the first image 20.
  • the comparison result with (face registration feature information) does not match, the face feature information extracted from the person identified from the second image 22 and the face registration feature information stored in the first storage unit 111 To match.
  • the registration unit 104 associates the information indicating the comparison result of the face feature information extracted from the person included in the first image 20 with the face feature information with the registered person region feature information, and stores the information in the second storage. It may be stored in the unit 112. Alternatively, the registration unit 104 may store the information indicating that the facial feature information could not be extracted from the person included in the first image 20 in the second storage unit 112 in association with the registered person region feature information. Good.
  • FIG. 9 is a diagram showing an example of the data structure of the second storage unit 112 of this embodiment.
  • the second storage unit 112 stores date and time information, human area feature information, and a matching result flag in association with each other.
  • the date and time information includes the time at which the first image 20 was captured, the time at which the first image 20 was acquired, the time at which the authentication process was performed based on the first image 20, the time at which the result of the authentication process was acquired, and the time at which the registered person region characteristic information was saved. At least one of the above.
  • the matching result flag is information indicating the matching result of the facial feature information by the matching unit 102.
  • the information indicating the matching result includes at least one of information indicating that the registered feature information of the face matches and information indicating that the registered feature information of the face does not match.
  • the matching result flag may be set only when there is a match, and when there is no matching face characteristic information, NULL may be set.
  • the matching result flag may be set to "0" when they match and to "1" when they do not match.
  • the collation result flag may be set in the case of disagreement, and NULL may be set in the case of coincidence.
  • the matching unit 102 is identified from the second image 22 when the information indicating the matching result indicates that the matching result with the facial feature information extracted from the person included in the first image 20 does not match.
  • the facial feature information extracted from the person is compared with the registered facial feature information stored in the first storage unit 111.
  • the collation unit 102 is identified from the second image 22 when the information associated with the registered person region characteristic information indicates that the face characteristic information could not be extracted from the person included in the first image 20.
  • the facial feature information extracted from the person is compared with the registered facial feature information stored in the first storage unit 111.
  • the information processing apparatus 100 according to the present embodiment may include the same output unit 120 as the information processing apparatus 100 according to the above embodiment in FIG. 7.
  • FIG. 10 is a flowchart showing an example of the operation of the information processing device 100 of this embodiment.
  • the same step numbers are assigned to the same processing procedures as those in the above embodiment.
  • the camera 10 transmits the first image 20 obtained by capturing a predetermined area to the information processing apparatus 100 (step S101).
  • the first image 20 includes three persons A, B, and C.
  • the matching unit 102 extracts the face characteristic information from the person included in the first image 20 received from the camera 10 (step S111). Here, three persons (person A, person B, person C) are detected, and the characteristic information of each face is extracted. Then, the matching unit 102 executes the matching process (personal identification process) with the extracted feature information of each face with the registered feature information of the face stored in the first storage unit 111 (step S113).
  • the registration unit 104 sets “1” as information indicating that the matching result flag of the person A matches, and associates the person area characteristic information with the date and time information.
  • the collation result flag is stored in the second storage unit 112 (step S201).
  • the registration unit 104 sets “0” as the information indicating the mismatch in the matching result flags of the person B and the person C, and associates the matching result flag with the person region characteristic information and the date/time information to set the matching result flag. (Step S201).
  • the matching unit 102 receives the second image 22 from the camera 10, detects the human region from the received second image 22, and extracts the human region characteristic information (step S119).
  • the matching unit 102 performs a matching process (person identifying process) between the person area characteristic information extracted from the second image 22 and the registered person area characteristic information stored in the second storage unit 112 (step S121). ). Then, when the registered person area characteristic information that matches the extracted person area characteristic information is included in the second storage unit 112 (YES in step S123), it corresponds to the registered person area characteristic information in the second image 22. A person is specified (step S125). In this example, the three persons A, B, and C stored in the second storage unit 112 are specified.
  • the collation unit 102 refers to the second storage unit 112, and when the collation result flag indicating that the collation result based on the feature information of the faces of the respective persons is not “1” (NO in step S203), the step is performed. It proceeds to S205. If the collation result is a match, that is, if the collation result flag is "1" (YES in step S203), steps S205 to S209 are bypassed and the present process is terminated.
  • the collation result flag of the person A is 1, the process ends for the person A. Since the matching result flag is 0 for the person B and the person C, the process proceeds to step S205.
  • the matching unit 102 extracts the face characteristic information from each of the specified persons (step S205).
  • the feature information of each face of the two persons (person B, person C) is extracted.
  • the matching unit 102 executes the matching process (personal identification process) with the registered feature information of the face stored in the first storage unit 111, with respect to the extracted feature information of each face (step S207).
  • the first storage unit 111 includes the matching face feature information. That is, since the person C has already been personally identified, the registration unit 104 sets “1” as information indicating that the matching result flag of the person C matches, and the person region characteristic information and the date and time corresponding to the person C are set. The collation result flag is stored in association with the information (step S209), and this processing ends.
  • the registration unit 104 sets “0” as the information indicating the mismatch in the matching result flag of the person B, and stores the person area feature information corresponding to the person B, the date and time information, and the matching result flag in association with each other (step S209). , This process ends.
  • both the human-region characteristic information stored in the second storage unit 112 and the human-region characteristic information already stored in the second storage unit 112 in step S201 may be stored in association with each other.
  • the human-region characteristic information in the second storage unit 112 may be overwritten with the human-region characteristic information specified in step S207, or the human-region characteristic information already stored in the second storage unit 112 in step S201. Only the remaining collation result flag may be updated.
  • step S119 is repeatedly executed each time the second image 22 is transmitted from the camera 10.
  • the second image 22 when a new person D that is not included in the first image 20 is detected in the second image 22, that is, the person area characteristic information that matches the person area characteristic information extracted from the second image 22 is detected. If not stored in the second storage unit 112 (NO in step S123), the second image 22 is set as the first image 20, the process returns to step S111, and the process is repeated as a new person D for the person area characteristic information. May be.
  • step S209 steps S131 to S133 in FIG. 5A, step S135 in FIG. 5B, and steps S135 to S137 in FIG. 6A, or You may perform step S135-step S139 of FIG.6(b).
  • the human area feature information extracted from the person included in the first image 20 by the registration unit 104 is associated with the information indicating the matching result of the face authentication by the matching unit 102. It is stored in the second storage unit 112. In the second image 22 captured at a timing after the first image 20, it is possible to track by identifying each person corresponding to the human area characteristic information stored in the second storage unit 112. Then, the collation unit 102 performs the face authentication process on the persons who are not identified by the face authentication among the persons identified in the second image 22.
  • the same effect as that of the above-described embodiment is obtained, and while the person included in the image is tracked by the human area feature information, the person who is not face-authenticated is subjected to the face authentication to identify the individual. You can do it.
  • the registration unit 104 stores the human area characteristic information in the second storage unit 112 in association with the matching result of face authentication for all the persons included in each image. According to this configuration, even when a person enters and leaves the predetermined area, the tracking of each person and the individual identification processing can be continuously performed. Furthermore, it is also possible to count and confirm the total number of persons existing in a predetermined area, and to confirm the person who entered or left the area together with time information.
  • the information processing apparatus 100 according to the present embodiment is different from the above-described embodiment in that an unauthenticated person is found between the start point and the end point of a predetermined route by using captured images of a plurality of cameras installed along the route.
  • the present embodiment is the same as any one of the above-described first to third embodiments except that the above-mentioned configuration is provided.
  • the information processing apparatus 100 according to this embodiment will be described with reference to FIG. 1, since the case where the information processing apparatus 100 has the same configuration as the information processing apparatus 100 in FIG. 1 will be described.
  • the information processing apparatus 100 processes images generated by each of the plurality of cameras 10 installed along the route.
  • a route is a route that includes at least two different points (for example, a start point and an end point), and a person passes between these two points.
  • a route may be, for example, a route that is taken from the entrance of a facility, building, or area to the exit of the facility, or from the entrance of a site to the entrance of the building. It may be an approach between the areas, a passage for moving from one area to another area, or from the entrance at the ticket gate of one station to the exit at the ticket gate of another station It may be a route. Further, the route that a person takes between the two points may be different for each person.
  • the plurality of cameras installed along the path includes at least two cameras, a first camera installed at a start point where a person enters the path and a second camera installed at an end point where a person exits the path.
  • the first image 20 is an image captured by the first camera.
  • the second image 22 is an image captured by a second camera located after the first camera in the direction along the route. Further, the second image 22 is captured at a timing after the first timing at which the first image 20 is captured. The direction along the route may be different for each person.
  • the matching unit 102 matches the face characteristic information extracted from the person included in the first image 20 with the registered face characteristic information stored in the first storage unit 111 of the storage device 110.
  • the registration unit 104 cannot extract the face characteristic information from the person, or when the matching result by the matching unit 102 does not match, the person area characteristic information extracted from the person is stored as the registered person area characteristic information. It is stored in the second storage unit 112 of the device 110.
  • the collation unit 102 collates the person area characteristic information extracted from the person included in the second image 22 with the registered person area characteristic information stored in the second storage unit 112, and thereby the registered person is extracted from the second image 22. A person corresponding to the area feature information is specified.
  • the plurality of second cameras are installed at a predetermined interval or a predetermined position between the start point and the end point of the route along the route.
  • the collation unit 102 performs the collation process on the second image 22 captured by the plurality of second cameras with the human region feature information stored in the second storage unit 112, thereby performing the human region feature information. Identify the person corresponding to.
  • the second storage unit 112 of this embodiment may have the data structure shown in FIG. 2 or 4.
  • the information processing device 100 of this embodiment may include the same output unit 120 as that of the third embodiment of FIG. 7.
  • the output unit 120 of the present embodiment and the output unit 120 of the third embodiment differ in output conditions in the following points.
  • the output unit 120 of the present embodiment may include a configuration in which the same conditions as those of the output unit 120 of the third embodiment are used in combination.
  • the output condition of the output unit 120 is specified by the matching unit 102 using an image generated by the second camera installed at the last (end point) or a predetermined position in the direction along the route among the plurality of second cameras.
  • the matching process performed by the matching unit 102 does not match the feature information of any face with respect to the selected person.
  • the output unit 120 for the plurality of second cameras, regarding the human region specified by the matching unit 102 from the image generated by the second camera installed at the last (end point) or a predetermined position in the direction along the route, When the comparison result with the face registration characteristic information is not matched, the information about the human area characteristic information extracted from the person is output.
  • the registration unit 104 stores the human-region characteristic information in the second storage unit 112 together with the time information
  • the output unit 120 stores the human area feature information in the second storage unit 112 even after the reference time has elapsed from the time indicated by the time information.
  • Information about the human area feature information that does not match the registered feature information of the face to be output may be output.
  • the matching result is not a match, it means that the facial feature information cannot be extracted from the person specified from the second image 22, or the face extracted from the person specified from the second image 22 is not detected. This includes a case where the matching result of the feature information and the registered feature information of the face does not match.
  • the output unit 120 of the present embodiment may also output an opening/closing control signal to, for example, a gate driving device provided at both ends or in the middle of the path. Good. That is, with respect to the person specified by the matching unit 102 using the image generated by the second camera installed at the predetermined location on the route, the matching unit 102 did not match any face characteristic information in the matching process.
  • a control signal for closing the gate provided on the way or at the entrance/exit of the person may be output to the gate drive device so that the person cannot pass the way.
  • the output unit 120 outputs information regarding the person area feature information that remains in the second storage unit 112 when a person who enters from the entrance exits from the exit.
  • FIG. 11 is a flowchart showing an example of the operation of the information processing device 100 of this embodiment.
  • the first image also referred to as the first camera 10a
  • the first image 20 installed at the entrance of the route transmits the first image 20 obtained by capturing a predetermined area to the information processing apparatus 100 (step S101).
  • the first image 20 includes three persons A, B, and C.
  • the matching unit 102 extracts the face characteristic information from the person included in the first image 20 received from the first camera 10a (step S111). Here, three persons (person A, person B, person C) are detected, and the characteristic information of each face is extracted. Then, the matching unit 102 executes the matching process (personal identification process) with the extracted feature information of each face with the registered feature information of the face stored in the first storage unit 111 (step S113).
  • step S115 the registered characteristic information of the matching face is included in the first storage unit 111 (YES in step S115). Therefore, the person A has already been identified, and the process is terminated without performing the processes of step S117 and thereafter.
  • the process proceeds to step S117, and the person B and the person B are stored in the second storage unit 112. The personal area characteristic information of C and the date and time information are stored respectively.
  • the second image 22 captured from the second camera (also referred to as the second camera 10b) located after the first camera 10a in the direction along the route is displayed. It is transmitted to the information processing device 100 (step S103).
  • the matching unit 102 receives the second image 22 from the second camera 10b, detects the human region from the received second image 22, and extracts the human region characteristic information (step S119).
  • the matching unit 102 performs matching processing (person identification processing) between the person area characteristic information extracted from the second image 22 and the registered person area characteristic information stored in the second storage unit 112 (step S121). ). Then, when the registered person area characteristic information that matches the extracted person area characteristic information is included in the second storage unit 112 (YES in step S123), it corresponds to the registered person area characteristic information in the second image 22. The person B and the person C are specified (step S125). Then, this process ends. In this way, the person B and the person C can be tracked in the second image 22.
  • matching processing person identification processing
  • step S123 With respect to the person (the person A in this case) whose registered person area characteristic information that matches the extracted person area characteristic information does not exist in the second storage unit 112 (NO in step S123), the person does not become the tracking target and the step S125 is performed. Bypasses and ends this processing.
  • step S119 and subsequent steps may be repeatedly executed each time the second image 22 is received. That is, in each of the second images 22, the person B and the person C corresponding to the person area characteristic information stored in the second storage unit 112 are continuously tracked.
  • the registration unit 104 causes the second storage unit 112 to store the human-region characteristic information of the human region for which the face authentication processing has not been performed as information about the undetermined person. Then, after the first timing, the person stored in the second storage unit 112 by the collation unit 102 with respect to the second image 22 captured by the second camera 10b located after the first camera 10a in the direction along the route. A person who matches the area feature information is specified.
  • the human area characteristic information of a person whose individual cannot be identified by face authentication is stored in the second storage unit 112 as an undetermined person between the time of entering the route and the time of leaving the route. be able to.
  • the face characteristic information is not stored in the first storage unit 111, or when a person or the like who is not originally allowed to pass through tries to pass through the passage, the person area characteristic information of the person is stored in the second storage unit 112. Can be stored and tracked.
  • the registration unit 104 stores the human-region characteristic information in the second storage unit 112 together with the time information of the timing of the first storage, and the output unit 120 continues the reference time or more and stores the second storage. Information regarding the human-region characteristic information that has been continuously stored in the unit 112 is output.
  • the output unit 120 causes the matching unit 102 to use the image generated by the second camera, which is the last one or a predetermined position in the direction along the route, of the plurality of second cameras.
  • the output unit 120 causes the matching unit 102 to use the image generated by the second camera, which is the last one or a predetermined position in the direction along the route, of the plurality of second cameras.
  • the first storage unit 111 stores registered feature information of the face of a person who is allowed to pass, and is stored in the first storage unit 111 at the exit of a passage for which passage is required. It becomes possible to notify a person whose matching result with the registered facial feature information does not match, that is, a person who is not permitted to pass.
  • the information processing apparatus 100 is extracted from the person included in the first image 20 captured by the first camera among the plurality of cameras installed along the route regardless of the face authentication matching result.
  • the stored human region characteristic information is stored in the second storage unit 112, and the second storage unit 112 stores the second image 22 captured by the second camera located after the first camera in the direction along the route.
  • a person is specified and tracked using the human area feature information.
  • the information processing apparatus 100 is located after the first image 20 captured by the first camera of the plurality of cameras installed along the route and the first camera in the direction along the route.
  • the configuration is the same as that of the information processing apparatus 100 of the above-described fourth embodiment except that the processing is performed using the second image 22 captured by the second camera.
  • the matching unit 102 is configured to store face feature information extracted from a person included in the first image 20 captured by the first camera of the plurality of cameras installed along the route and the first storage unit 111. The stored face feature information to be stored is collated.
  • the registration unit 104 stores the human area feature information extracted from the person in the second storage unit 112 (FIG. 9).
  • the matching unit 102 includes the human region characteristic information extracted from the person included in the second image 22 generated by each of the plurality of second cameras located after the first camera in the direction along the route, and the second storage unit. The person is tracked by identifying the person from the second image 22 by collating with the registered person area characteristic information stored in 112.
  • the collation unit 102 is unable to extract the face feature information from the person included in the first image 20, or the face feature information and the face registration feature extracted from the person included in the first image 20. If the comparison result with the information does not match, the face feature information extracted from the person identified from the second image 22 and the face registration feature information stored in the first storage unit 111 are compared.
  • FIG. 12 is a flowchart showing an example of the operation of the information processing device 100 of this embodiment.
  • the second storage unit 112 will be described as having the data structure of FIG. 9, but the collation result flag is not necessarily required, and the second storage unit 112 may include at least the human area feature information. ..
  • the first camera 10a installed at the entrance of the route transmits the first image 20 obtained by capturing a predetermined area to the information processing apparatus 100 (step S101).
  • the first image 20 includes three persons A, B, and C.
  • the matching unit 102 detects the first camera 10a3 persons (person A, person B, person C) among the plurality of cameras 10 and extracts the feature information of each face. Then, the matching unit 102 executes the matching process (personal identification process) with the extracted feature information of each face with the registered feature information of the face stored in the first storage unit 111 (step S113).
  • the registration unit 104 sets “1” as information indicating that the matching result flag of the person A matches, and associates the person area characteristic information with the date and time information.
  • the collation result flag is stored in the second storage unit 112 (step S201).
  • the registration unit 104 sets “0” as the information indicating the mismatch in the matching result flags of the person B and the person C, and associates the matching result flag with the person region characteristic information and the date/time information to set the matching result flag. (Step S201).
  • the matching unit 102 receives the second image 22 from the second camera 10b, detects the human region from the received second image 22, and extracts the human region characteristic information (step S119).
  • the matching unit 102 performs a matching process (person identifying process) between the person area characteristic information extracted from the second image 22 and the registered person area characteristic information stored in the second storage unit 112 (step S121). ). Then, when the registered person area characteristic information that matches the extracted person area characteristic information is included in the second storage unit 112 (YES in step S123), it corresponds to the registered person area characteristic information in the second image 22.
  • the person B and the person C are specified (step S125). In this example, the three persons A, B, and C stored in the second storage unit 112 are specified.
  • the collation unit 102 refers to the second storage unit 112, and when the collation result flag indicating that the collation result based on the feature information of the faces of the respective persons is not “1” (NO in step S203), the step is performed. It proceeds to S205. If the collation result is a match, that is, if the collation result flag is "1" (YES in step S203), steps S205 to S209 are bypassed and the present process is terminated.
  • the collation result flag of the person A is 1, the process ends for the person A. Since the matching result flag is 0 for the person B and the person C, the process proceeds to step S205.
  • the matching unit 102 extracts the face characteristic information from each of the specified persons (step S205).
  • the feature information of each face of the two persons (person B, person C) is extracted.
  • the matching unit 102 executes the matching process (personal identification process) with the registered feature information of the face stored in the first storage unit 111, with respect to the extracted feature information of each face (step S207).
  • the first storage unit 111 includes the matching face feature information. That is, since the person C has already been personally identified, the registration unit 104 sets “1” as information indicating that the matching result flag of the person C matches, and the person region characteristic information and the date and time corresponding to the person C are set. The collation result flag is stored in association with the information (step S209), and this processing ends.
  • the registration unit 104 sets “0” as the information indicating the mismatch in the matching result flag of the person B, and stores the person area feature information corresponding to the person B, the date and time information, and the matching result flag in association with each other (step S209). , This process ends.
  • both the human-region characteristic information stored in the second storage unit 112 and the human-region characteristic information already stored in the second storage unit 112 in step S201 may be stored in association with each other.
  • the human-region characteristic information in the second storage unit 112 may be overwritten with the human-region characteristic information specified in step S207, or the human-region characteristic information already stored in the second storage unit 112 in step S201. Only the remaining collation result flag may be updated.
  • step S119 is repeatedly executed each time the second image 22 is transmitted from the camera 10.
  • the second image 22 when a new person D that is not included in the first image 20 is detected in the second image 22, that is, the person area characteristic information that matches the person area characteristic information extracted from the second image 22 is detected. If not stored in the second storage unit 112 (NO in step S123), the second image 22 is set as the first image 20, the process returns to step S111, and the process is repeated as a new person D for the person area characteristic information. May be.
  • step S209 steps S131 to S133 in FIG. 5A, step S135 in FIG. 5B, and steps S135 to S137 in FIG. 6A, or You may perform step S135-step S139 of FIG.6(b).
  • the second image is captured in the second storage unit 112 using the second image 22 captured at the timing after the first image 20 is captured.
  • a person can be specified and tracked using the obtained human area feature information.
  • the output unit 120 described with reference to FIG. 7 may be provided. Specifically, in the output unit 120, the first storage unit 111 stores the person specified by the matching unit 102 in the image of the camera installed at the end of the route or at the predetermined position among the plurality of cameras. If it does not match the registered face feature information, the information about the person area feature information of the person is output.
  • FIG. 13 is a diagram showing an example of the configuration of a computer 80 that realizes the information processing apparatus of each of the above-described embodiments.
  • the computer 80 includes a CPU (Central Processing Unit) 82, a memory 84, a program 90 that implements the components of the information processing apparatuses of FIGS. 1 and 7 loaded in the memory 84, a storage 85 that stores the program 90, an I An I/O (Input/Output) 86 and a network connection interface (communication I/F 87) are provided.
  • a CPU Central Processing Unit
  • the CPU 82, the memory 84, the storage 85, the I/O 86, and the communication I/F 87 are connected to each other via the bus 89, and the CPU 82 controls the entire information processing apparatus.
  • the method of connecting the CPU 82 and the like to each other is not limited to bus connection.
  • the memory 84 is a memory such as a RAM (Random Access Memory) or a ROM (Read Only Memory).
  • the storage 85 is a storage device such as a hard disk, SSD (Solid State Drive), or memory card.
  • the storage 85 may be a memory such as RAM or ROM.
  • the storage 85 may be provided inside the computer 80, or may be provided outside the computer 80 and connected to the computer 80 by wire or wirelessly if the computer 80 is accessible. Alternatively, it may be detachably attached to the computer 80.
  • Each function of each unit of the information processing apparatus of each embodiment can be realized by the CPU 82 reading the program 90 stored in the storage 85 into the memory 84 and executing the program 90.
  • the I/O 86 controls input/output of data and control signals between the computer 80 and other input/output devices.
  • the other input/output device includes, for example, an input device (not shown) such as a keyboard, a touch panel, a mouse, and a microphone connected to the computer 80, an output device (not shown) such as a display, a printer, and a speaker. These input/output devices and the interface of the computer 80 are included. Further, the I/O 86 may control the input/output of data to/from a reading/writing device (not shown) of another recording medium.
  • the communication I/F 87 is a network connection interface for communicating between the computer 80 and an external device.
  • the communication I/F 87 may be a network interface for connecting to a wired line or a network interface for connecting to a wireless line.
  • the computer 80 that realizes the information processing apparatus is connected to at least one camera 10 via the network by the communication I/F 87.
  • Each component of the information processing apparatus of each embodiment is realized by an arbitrary combination of hardware and software of the computer 80 in this figure. It will be understood by those skilled in the art that there are various modified examples of the method and device for realizing the same.
  • the functional block diagram showing the information processing apparatus of each of the above-described embodiments does not show a configuration in hardware units but a block in logical functional units.
  • the information processing device may be composed of a plurality of computers 80 or may be realized by a virtual server.
  • the computer 80 may be installed in a location to be monitored (for example, in a facility) using the present system, or may be provided in the form of cloud computing. You may connect the camera in a facility to a network and transmit a picked-up image to the computer 80 which comprises the server on a cloud. Further, the computer 80 in the facility and the computer 80 on the cloud may be combined so that the respective functions of the respective units of the information processing apparatus are dispersed and executed by the both.
  • the computer 80 that performs image analysis processing may be selected from the computer 80 in the facility and the computer 80 on the cloud according to the situation. For example, if the computer 80 in the facility normally performs the authentication process and the highly accurate analysis process is desired, the computer 80 on the cloud may perform the authentication process.
  • the information processing apparatus further includes a specific person midway information database in which characteristic information of the specific person is stored, and a person who does not match in the matching process using the face characteristic information stored in the first storage unit 111.
  • the matching unit 102 may perform the matching process using the specific person feature information database.
  • the first storage unit 111 stores characteristic information of an employee's face
  • a specific person characteristic information database stores a VIP (Very Important Person), or a person with a criminal record or a black person as a caution person.
  • the characteristic information of the face of a specific person such as a person on the list that is particularly desired to be found may be stored.
  • the output unit 120 may output information regarding the specific person when the specific person is detected.
  • the matching unit 102 in the matching process with the first registration feature information (face registration feature information) or the second registration feature information (registered person region feature information), matches the match result a predetermined number of times or more. May be a match. The predetermined number of times may be set for each feature information.
  • the information processing apparatus 100 can display a menu screen for accepting a predetermined number of settings to accept an operation from an operator and set the operation.
  • Example 1 In the present embodiment, an example will be described in which an unauthenticated person is found in a predetermined area for a predetermined time or more, or by a predetermined time. This example is an example using the configuration of the information processing apparatus 100 of the first embodiment.
  • FIG. 14 is a diagram showing an example of a screen in which a video (not shown) of the computer 80 is displayed, which is an image of the camera 10 capturing an image of a predetermined area.
  • FIG. 15 is a diagram showing changes in the data stored in the second storage unit 112. Note that in FIG. 15, the data content is schematically shown. For example, the human area feature information corresponding to the human area of the person C is shown as “C” in the “person detection” item.
  • Fig. 14(a) is a video screen at the first time (9:10). It is assumed that the collation unit 102 has detected the human areas of the three persons A, B, and C. Then, the matching unit 102 performs matching processing with the face characteristic information stored in the first storage unit 111, and the matching face characteristic information is found for the person A and the person B, and the person has been authenticated. , Suppose that the characteristic information of the matching face is not found and the face is not authenticated.
  • the second storage unit 112 stores person area characteristic information of a person area for which face authentication has not been performed, and shooting date/time information of an image in which the person area characteristic information is extracted. ..
  • the human area characteristic information of the person C whose face has not been authenticated is stored.
  • FIG. 14B is a video screen at the second time (9:20) after the first time.
  • the collation unit 102 has already completed the collation process, and the authenticated person A and person B are superimposed and displayed with the “OK” mark by the output unit 120 in association with the person area on the screen. Further, regarding the persons C and D who could not be authenticated, the output unit 120 displays the “NG” mark in a superimposed manner in association with the person area on the screen.
  • the second storage unit 112 in FIG. 15B further stores person area characteristic information (D) of the newly detected person area of the person D.
  • FIG. 14(c) is a video screen at the third time (9:25) after the second time. Since the collation unit 102 has also succeeded in face recognition for the person D, the output unit 120 also superimposes and displays the “OK” mark on the person D on the screen. Since face authentication could not be performed for the person C, the output unit 120 superimposes and displays the “NG” mark in association with the person area on the screen. Then, since the face authentication has been performed on the person D, the record of the person area characteristic information corresponding to the person area of the person D is deleted from the second storage unit 112 by the deleting unit (not shown) as illustrated in FIG. 15C. Has been done.
  • FIG. 16 is a diagram showing an example of another data structure of the second storage unit 112.
  • the example of FIG. 16 shows an example using the configuration of the information processing apparatus 100 of the fourth embodiment.
  • the human area characteristic information, the shooting date/time information of the image in which the human area characteristic information is extracted, and the result of face authentication in the human area corresponding to the human area characteristic information (when authenticated) Is “completed”, “not yet” if the authentication cannot be performed, and date and time information when the matching process is performed when the face is authenticated.
  • the face authentication is schematically described as “completed” and “not yet”, but in reality, the flag may be set.
  • the face authentication result of the second storage unit 112 relates to the person area characteristic information (C) of the person C who is “not yet”.
  • Output information As illustrated in FIG. 14D, the output unit 120 displays an image in which the person C is closed up as an unidentified person on the display.
  • Example 2 In the present embodiment, an example will be described in which a plurality of cameras installed along a route are used to find a person who could not be authenticated at least between the entrance of the route and the exit of the route.
  • the present example is an example using the configuration of the information processing apparatus 100 according to the sixth embodiment.
  • FIG. 17 is a diagram schematically showing the situation of a place where four cameras (10-1 to 10-4) are installed along a passage.
  • a camera 10-1 and a camera 10-4 are installed at both ends of the path, and a camera 10-2 is installed above the camera 10-1 and a camera 10-3 is installed above the camera 10-4 in the middle of the path.
  • FIG. 17( a) shows a state in which time has passed, in order from FIG. 17( a ).
  • the person D has entered the passage from the entrance at the time of FIG. 17A, and has passed in front of the camera 10-2 at the time of FIG. 17B. Then, at the time point of FIG. 17C, it is passing in front of the camera 10-3. Face recognition of the person D is completed shortly after entering the passage.
  • the output unit 120 may combine the images captured by the cameras and may superimpose and display a mark indicating the result of face authentication on the display. Alternatively, a mark indicating the result of face recognition may be superimposed and displayed on the image of each camera.
  • FIG. 18 is a diagram showing changes in the data stored in the second storage unit 112.
  • the second storage unit 112 includes a plurality of tables.
  • Four tables T1 to T4 in which the human region characteristic information detected in the image captured by each camera and the detected date and time information are stored, and the information of the human region characteristic information detected by each camera are integrated.
  • the table T5 in which the face authentication result by the matching unit 102 and the authentication date and time are stored for each human area of the human area characteristic information is included.
  • 18(a) and 18(c) in order from FIG. 18(a), the state where time has elapsed is shown.
  • the person B has passed in front of the camera 10-3 at the time of FIG. 18A, the human area characteristic information is detected in the images of the cameras 10-4 and 10-3, and the table T4 is displayed. It is stored in the table T3. Then, it is stored in the table T5 that the face authentication by the collation unit 102 has not been performed.
  • the person B has passed in front of the camera 10-2 at the time of FIG. 18(b), and the human area characteristic information has been detected in the image of the camera 10-2 and stored in the table T2. .. Then, it is stored in the table T5 that the face authentication by the collation unit 102 cannot be performed.
  • the person B passes in front of the camera 10-1 at the time point of FIG. 18C, the human area characteristic information is detected from the image of the camera 10-1, and is stored in the table T1. Then, it is stored in the table T5 that face verification has not been performed by the matching unit 102. Therefore, the output unit 120 outputs an alert for the person B because the person B has not undergone face authentication even in the image captured by the last camera in the route.
  • Example 3 an image taken by a surveillance camera in the airport is used.
  • the registration unit 104 causes the second storage unit 112 to store the human area characteristic information of the person in the airport. Further, at the time of check-in, the passport information is acquired and the face is photographed by the camera, and the registration unit 104 associates the characteristic information of the face of the checked-in person with the passport information in the first storage unit 111 of the storage device 110. To remember. Then, the collation unit 102 performs face authentication processing on the video captured by each camera in the airport while tracking the person using the registered person region characteristic information. The output unit 120 raises an alert by identifying a person who has not succeeded in collation for a reference time or longer. Here, a person who has not succeeded in collation for a reference time or longer is a person who needs attention who has been unchecked in for a long time but is wandering around in the airport.
  • the checked-in persons whose face characteristic information is stored in the first storage unit 111 of the storage device 110 those who have passed the security inspection are excluded from the verification target. Specifically, the face data is deleted from the first storage unit 111. Alternatively, the feature information of the face in the first storage unit 111 is flagged and excluded from the collation targets.
  • Collating means for collating the first characteristic information extracted from the person included in the first image with the first registered characteristic information stored in the storage means; If the first characteristic information cannot be extracted from the person, or if the collation result by the collating unit does not match, the second characteristic information extracted from the person is used as the second registered characteristic information.
  • Registration means for storing in the storage means, The collation unit collates the second feature information extracted from the person included in the second image with the second registered feature information stored in the storage unit, and thereby the second image is obtained from the second image.
  • Information processing apparatus for identifying a person corresponding to the registered characteristic information of. 2.
  • the collating unit collates the first characteristic information extracted from the person identified from the second image with the first registered characteristic information stored in the storage unit.
  • Information processing device 3. Collating means for collating the first characteristic information extracted from the person included in the first image with the first registered characteristic information stored in the storage means; Registration means for storing the second characteristic information extracted from the person in the storage means as second registered characteristic information, The collation unit collates the second feature information extracted from the person included in the second image with the second registered feature information stored in the storage unit, thereby performing the second registration from the second image.
  • the collation unit when the first characteristic information cannot be extracted from the person included in the first image, or the first characteristic information extracted from the person included in the first image and the first characteristic information When the comparison result with the first registered characteristic information does not match, the first characteristic information extracted from the person identified from the second image, and the first registered characteristic information stored in the storage unit.
  • An information processing device that collates with. 4. 1. To 3. In the information processing device according to any one of The matching unit identifies the person corresponding to the second registered characteristic information from the second image, and the first characteristic information and the first registered characteristic extracted from the identified person. The process of collating the information is repeated until the collation results are in agreement, Information processing device. 5. 1. To 4.
  • the storage means is The information processing apparatus further comprising a deleting unit that deletes the second registered characteristic information of the person. 6. 1. To 5. In the information processing device according to any one of The information processing apparatus, wherein the second image is captured by a camera different from the first image. 7. 1. To 6. In the information processing device according to any one of The first image is captured by a first camera of a plurality of cameras installed along a path, and the second image is a second image located after the first camera in a direction along the path. Information processing device imaged by the camera of. 8. 7.
  • the first of the persons identified by the matching unit from the second image generated by the second camera installed at the last or a predetermined position in the direction along the path is the first
  • the information processing apparatus including an output unit that outputs information related to the second characteristic information extracted from the person when the result of collation with the registered characteristic information is not matched.
  • the first image is captured at a first timing and the second image is captured after the first timing.
  • the registration means associates information indicating the matching result of the first characteristic information extracted from the person included in the first image with the first registered characteristic information with the second registered characteristic information.
  • the collating means when the information indicating the collation result indicates that the collation results do not match, the first characteristic information extracted from the person identified from the second image, and the storage means.
  • An information processing device that collates the first registered characteristic information stored by the. 11. 1. To 10. In the information processing device according to any one of The registration unit stores information indicating that the first characteristic information could not be extracted from the person included in the first image in the storage unit in association with the second registered characteristic information. The matching unit is extracted from the person identified from the second image when the information indicates that the first feature information could not be extracted from the person included in the first image. An information processing device for collating the first characteristic information with the first registered characteristic information stored in the storage means. 12. 1. To 11.
  • the registration means stores the second characteristic information in the storage means together with time information, If the first characteristic information cannot be extracted from the person identified from the second image even after a reference time has elapsed from the time indicated by the time information, or if the first characteristic information is identified from the second image
  • the information processing apparatus further comprising an output unit that outputs information regarding the second characteristic information when the matching result with the first characteristic information extracted from the person does not match.
  • 13. 1. To 12.
  • the matching unit matches the matching result when a match occurs a predetermined number of times or more in the matching process with the first registered feature information or the second registered feature information. 14. 1. To 13.
  • the first feature information is face feature information
  • the second feature information is feature information including an area other than a face. 15. 1. To 14. In the information processing device according to any one of The information processing apparatus further comprising an output unit that outputs information about the second registered characteristic information stored in the storage unit at a reference timing.
  • Collating means for collating the first characteristic information extracted from the person included in the first image with the first registered characteristic information stored in the storage means; If the first characteristic information cannot be extracted from the person, or if the collation result by the collating unit does not match, the second characteristic information extracted from the person is used as the second registered characteristic information.
  • Registration means for storing in the storage means, The collation unit collates the second feature information extracted from the person included in the second image with the second registered feature information stored in the storage unit, and thereby the second image is obtained from the second image.
  • Information processing system for identifying a person corresponding to the registered characteristic information of. 17. 16. In the information processing system described in The collating unit collates the first characteristic information extracted from the person identified from the second image with the first registered characteristic information stored in the storage unit.
  • Collating means for collating the first characteristic information extracted from the person included in the first image with the first registered characteristic information stored in the storage means; Registration means for storing the second characteristic information extracted from the person in the storage means as second registered characteristic information, The collation unit collates the second feature information extracted from the person included in the second image with the second registered feature information stored in the storage unit, thereby performing the second registration from the second image.
  • the collation unit when the first characteristic information cannot be extracted from the person included in the first image, or the first characteristic information extracted from the person included in the first image and the first characteristic information When the comparison result with the first registered characteristic information does not match, the first characteristic information extracted from the person identified from the second image, and the first registered characteristic information stored in the storage unit.
  • An information processing system that matches with. 19. 16. To 18. In the information processing system described in any one of The matching unit identifies the person corresponding to the second registered characteristic information from the second image, and the first characteristic information and the first registered characteristic extracted from the identified person. The process of collating the information is repeated until the collation results are in agreement, Information processing system. 20. 16. To 19.
  • the storage means is The information processing system further comprising a deleting unit that deletes the second registered characteristic information of the person. 21. 16.
  • the second image is captured by a camera different from that of the first image. 22. 16.
  • the second image is a second image located after the first camera in a direction along the path. Information processing system imaged by the camera. 23. 22.
  • the first of the persons identified by the matching unit from the second image generated by the second camera installed at the last or a predetermined position in the direction along the path is the first
  • the information processing system including an output unit that outputs information regarding the second feature information extracted from the person when the result of collation with the registered feature information is not matched. 24. 16.
  • the first image is captured at a first timing and the second image is captured after the first timing. 25. 16.
  • the registration means associates information indicating the matching result of the first characteristic information extracted from the person included in the first image with the first registered characteristic information with the second registered characteristic information.
  • the collating means when the information indicating the collation result indicates that the collation results do not match, the first characteristic information extracted from the person identified from the second image, and the storage means.
  • the registration unit stores information indicating that the first characteristic information could not be extracted from the person included in the first image in the storage unit in association with the second registered characteristic information.
  • the matching unit is extracted from the person identified from the second image when the information indicates that the first feature information could not be extracted from the person included in the first image.
  • the registration means stores the second characteristic information in the storage means together with time information, If the first characteristic information cannot be extracted from the person identified from the second image even after a reference time has elapsed from the time indicated by the time information, or if the first characteristic information is identified from the second image
  • the information processing system further comprising an output unit that outputs information regarding the second characteristic information when the matching result with the first characteristic information extracted from the person does not match. 28. 16. To 27. In the information processing system described in any one of The information processing system, wherein the matching unit matches the matching result when matching is performed a predetermined number of times or more in the matching process with the first registered characteristic information or the second registered characteristic information. 29. 16. To 28.
  • the first feature information is face feature information
  • the second feature information is feature information including an area other than a face. 30. 16. To 29.
  • the information processing system described in any one of The information processing system further comprising an output unit that outputs information regarding the second registered characteristic information stored in the storage unit at a reference timing.
  • the information processing device The first feature information extracted from the person included in the first image is compared with the first registered feature information stored in the storage device, If the first characteristic information cannot be extracted from the person or if the matching results do not match, the second characteristic information extracted from the person is stored in the storage device as second registered characteristic information. Let By collating the second characteristic information extracted from the person included in the second image with the second registered characteristic information stored in the storage device, the second image is converted into the second registered characteristic information. An information processing method for identifying a corresponding person. 32. 31. In the information processing method described in The information processing device is The first characteristic information extracted from the person identified from the second image is compared with the first registered characteristic information stored in the storage device, Information processing method. 33.
  • the information processing device The first feature information extracted from the person included in the first image is compared with the first registered feature information stored in the storage device, Storing second characteristic information extracted from the person in the storage device as second registered characteristic information, Corresponding to the second registered feature information from the second image by collating the second feature information extracted from the person included in the second image with the second registered feature information stored in the storage device. Identify the person, When the first characteristic information cannot be extracted from the person included in the first image, or the first characteristic information and the first registered characteristic extracted from the person included in the first image If the result of collation with the information does not match, the first characteristic information extracted from the person identified from the second image is collated with the first registered characteristic information stored in the storage device. Information processing method. 34. 31. To 33.
  • the information processing method described in any one of The information processing device is A process of identifying a person corresponding to the second registered feature information from the second image, and collating the first feature information extracted from the identified person with the first registered feature information. The process is repeated until the matching result becomes a match, Information processing method. 35. 31. To 34.
  • the second image is captured by a camera different from that of the first image. 37. 31.
  • any one of The first image is captured by a first camera of a plurality of cameras installed along a path, and the second image is a second image located after the first camera in a direction along the path. Processing method imaged by the camera of. 38. 37.
  • the information processing device is Of the plurality of second cameras, the first registered characteristic information about the person identified from the second image generated by the second camera installed at the last or a predetermined position in the direction along the path. An information processing method of outputting information on the second characteristic information extracted from the person when the result of collation with is not matched. 39. 31. To 38.
  • the information processing method described in any one of An information processing method wherein the first image is captured at a first timing, and the second image is captured after the first timing. 40. 31. To 39.
  • the information processing method described in any one of The information processing device is The storage device that associates information indicating the comparison result of the first feature information and the first registered feature information extracted from the person included in the first image with the second registered feature information. To memorize When the information indicating the matching result indicates that the matching results do not match, the first characteristic information extracted from the person identified from the second image and the first feature information stored in the storage device. An information processing method of collating the registered characteristic information of No. 1. 41. 31. To 40.
  • the information processing device is Information indicating that the first characteristic information could not be extracted from the person included in the first image is stored in the storage device in association with the second registered characteristic information, First characteristic information extracted from the person identified from the second image when the information indicates that the first characteristic information could not be extracted from the person included in the first image And an information processing method in which the first registered characteristic information stored in the storage device is compared. 42. 31. To 41.
  • the second characteristic information is stored together with time information, If the first characteristic information cannot be extracted from the person identified from the second image even after a reference time has elapsed from the time indicated by the time information, or if the first characteristic information is identified from the second image An information processing method, which outputs information about the second feature information when the matching result with the first feature information extracted from a person does not match. 43. 31. To 42. In the information processing method described in any one of The information processing device is An information processing method, wherein, in a matching process with the first registered characteristic information or the second registered characteristic information, if the matching results match a predetermined number of times or more, the matching results are matched. 44. 31. To 43.
  • the first feature information is face feature information
  • the second feature information is feature information including an area other than a face. 45. 31. To 44.
  • a procedure for collating the first characteristic information extracted from the person included in the first image with the first registered characteristic information stored in the storage device When the first characteristic information cannot be extracted from the person, or when the collation result in the collation procedure does not match, the second characteristic information extracted from the person is used as the second registered characteristic information.
  • a procedure for storing in the storage device By collating the second characteristic information extracted from the person included in the second image with the second registered characteristic information stored in the storage device, the second image is converted into the second registered characteristic information.
  • a procedure for collating the first characteristic information extracted from the person included in the first image with the first registered characteristic information stored in the storage device A procedure of storing second characteristic information extracted from the person in the storage device as second registered characteristic information, Corresponding to the second registered feature information from the second image by collating the second feature information extracted from the person included in the second image with the second registered feature information stored in the storage device.
  • Procedure to identify a person When the first characteristic information cannot be extracted from the person included in the first image, or the first characteristic information and the first registered characteristic extracted from the person included in the first image A procedure for collating the first characteristic information extracted from the person identified from the second image with the first registered characteristic information stored in the storage device when the result of collation with the information is inconsistent. , A program to execute. 49. 46. To 48. In the program described in any one of, A process of identifying a person corresponding to the second registered feature information from the second image, and collating the first feature information extracted from the identified person with the first registered feature information. A program for executing a process of repeating the process until the collation results match. 50. 46. To 49.
  • the first image is captured by a first camera of a plurality of cameras installed along a path, and the second image is a second image located after the first camera in a direction along the path. The program that is captured by the camera. 53. 52.
  • a program for executing a procedure for outputting information regarding the second characteristic information extracted from the person when the result of collation with is not matched.
  • the storage device that associates information indicating the comparison result of the first feature information and the first registered feature information extracted from the person included in the first image with the second registered feature information.
  • An information processing device that processes an image generated by each of a plurality of cameras installed along a route, Collating means for collating the first characteristic information extracted from the person included in the first image captured by the first camera of the plurality of cameras with the first registered characteristic information stored in the storage means.
  • Collating means for collating the first characteristic information extracted from the person included in the first image captured by the first camera of the plurality of cameras with the first registered characteristic information stored in the storage means.
  • the second characteristic information extracted from the person is used as the second registered characteristic information.
  • Registration means for registering in the storage means The matching unit is configured to store the second characteristic information extracted from a person included in a second image captured by a second camera located after the first camera in the direction along the path and the storage unit.
  • An information processing apparatus for identifying a person corresponding to the second registered feature information from the second image by collating with the stored second registered feature information.
  • An information processing device that processes an image generated by each of a plurality of cameras installed along a route, Collating means for collating the first characteristic information extracted from the person included in the first image captured by the first camera of the plurality of cameras with the first registered characteristic information stored in the storage means.
  • Registration means for registering the second characteristic information extracted from the person in the storage means
  • the matching unit is configured to store the second characteristic information extracted from a person included in a second image captured by a second camera located after the first camera in the direction along the path and the storage unit.
  • the person is specified from the second image by collating with the stored second registered characteristic information, If the collation unit cannot extract the first characteristic information from the person included in the first image, or if the first characteristic information extracted from the person included in the first image When the collation results do not match, the first characteristic information extracted from the person identified from the second image is collated with the first registered characteristic information stored in the storage unit. apparatus.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)

Abstract

情報処理装置（１００）は、第１画像（２０）に含まれる人物から抽出される第１の特徴情報と、記憶装置（１１０）が記憶する第１の登録特徴情報とを照合する照合部（１０２）と、人物から第１の特徴情報を抽出できなかった場合、または、照合部（１０２）による照合結果が不一致だった場合、当該人物から抽出される第２の特徴情報を第２の登録特徴情報として記憶装置（１１０）に記憶させる登録部（１０４）と、を備え、照合部（１０２）は、第２画像（２２）に含まれる人物から抽出された第２の特徴情報と、記憶装置（１１０）が記憶する第２の登録特徴情報とを照合することで第２画像（２２）から第２の登録特徴情報に対応する人物を特定する。

Description

情報処理システム、情報処理装置、情報処理方法、およびプログラム
　本発明は、情報処理システム、情報処理装置、情報処理方法、およびプログラムに関し、特に、画像認識処理を行う情報処理システム、情報処理装置、情報処理方法、およびプログラムに関する。
　特許文献１には、ウォークスルー型の顔画像認証装置の一例が記載されている。特許文献１に記載の顔画像認識装置は、異なる時点で撮像された複数の顔領域画像に含まれる複数の顔（登場人物）について認証候補人物を特定し、認証候補人物と顔画像との類似度の高さを示す指標を用いて認証用の閾値を決定する。ここで用いられる指標は、（類似度が最高となったフレームの割合である１位ヒット率）である。そして、一位ヒット率が高い程、認証用閾値を低くする。そして、表情、顔の向きの変動等により一時的に他人との類似度が高くなったフレームがあったとしても１位ヒット率が低ければ認証用閾値は低くならない。
　また、特許文献２に記載された人物認識装置は、第１のカメラで撮像された第１画像と、第２のカメラで撮像された第２画像と、からそれぞれ通行者の顔を検出する。ここで、第１のカメラは通行者に認識されやすい状態で設置されており、第２のカメラは通行者に認識されにくい状態で設置されている。そして、両方の検出結果に基づいて通行者を分類し、分類結果に基づいて顔の照合処理に用いる認証用閾値を調整するとともに、認証結果に基づく出力処理内容を決定する。
　特許文献３に記載された人物判定装置および人物検索追跡装置は、離れたフレームや異なるカメラにより得られる人物画像シーケンスから、人物の歩行状態を検出し、歩行状態に基づいて、異なる画像シーケンスに含まれる人物が同一であるか否かを判定する。これにより、人物の追跡は可能になっている。また、特許文献４には、認証対象者の歩幅、身長、体重、または歩行状態（歩幅、歩調）を検出し、認証情報と照合し、個人認証を行うことが記載されている。特許文献５には、ゲートを通過する人の歩容（歩幅、姿勢、腕の振り方など）に基づいて認証処理を行い、ゲートの解錠施錠を制御するゲート管理システムが記載されている。
特開２０１３－１０１５５１号公報 特開２００８－１０８２４３号公報 国際公開第２００６／０１３７６５号 特開２００９－１０４５２６号公報 特開２０１８－７７５５２号公報
　本発明者は、画像処理を用いて人物を追跡するための新たな手法を検討した。すなわち本発明が目的とするところは、画像処理を用いて人物を追跡するための新たな手法を提供することにある。
　本発明の各側面では、上述した課題を解決するために、それぞれ以下の構成を採用する。
　第一の側面は、情報処理装置に関する。
　第一の側面に係る第１の情報処理装置は、
　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶手段が記憶する第１の登録特徴情報とを照合する照合手段と、
　前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記照合手段による照合結果が不一致だった場合、当該人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶手段に記憶させる登録手段と、を有し、
　前記照合手段は、第２画像に含まれる人物から抽出された前記第２の特徴情報と前記記憶手段が記憶する前記第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定する。
　第一の側面に係る第２の情報処理装置は、
　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶手段が記憶する第１の登録特徴情報とを照合する照合手段と、
　前記人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶手段に記憶させる登録手段と、を有し、
　前記照合手段は、第２画像に含まれる人物から抽出された第２の特徴情報と前記記憶手段が記憶する第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定し、
　前記照合手段は、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との照合結果が不一致だった場合、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する。
　第二の側面は、少なくとも１つのコンピュータにより実行される情報処理方法に関する。
　第二の側面に係る第１の情報処理方法は、
　情報処理装置が、
　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶装置が記憶する第１の登録特徴情報とを照合し、
　前記人物から前記第１の特徴情報を抽出できなかった場合、または、照合結果が不一致だった場合、当該人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶装置に記憶させ、
　第２画像に含まれる人物から抽出された前記第２の特徴情報と前記記憶装置が記憶する前記第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定する、ことを含む。
　第二の側面に係る第２の情報処理方法は、
　情報処理装置が、
　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶装置が記憶する第１の登録特徴情報とを照合し、
　前記人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶装置に記憶させ、
　第２画像に含まれる人物から抽出された第２の特徴情報と前記記憶装置が記憶する第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定し、
　前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との照合結果が不一致だった場合、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する、ことを含む。
　なお、本発明の他の側面としては、上記第二の側面の方法を少なくとも１つのコンピュータに実行させるプログラムであってもよいし、このようなプログラムを記録したコンピュータが読み取り可能な記録媒体であってもよい。この記録媒体は、非一時的な有形の媒体を含む。
　このコンピュータプログラムは、コンピュータにより実行されたとき、コンピュータに、情報処理装置上で、その情報処理方法を実施させるコンピュータプログラムコードを含む。
　なお、以上の構成要素の任意の組合せ、本発明の表現を方法、装置、システム、記録媒体、コンピュータプログラムなどの間で変換したものもまた、本発明の態様として有効である。
　また、本発明の各種の構成要素は、必ずしも個々に独立した存在である必要はなく、複数の構成要素が一個の部材として形成されていること、一つの構成要素が複数の部材で形成されていること、ある構成要素が他の構成要素の一部であること、ある構成要素の一部と他の構成要素の一部とが重複していること、等でもよい。
　また、本発明の方法およびコンピュータプログラムには複数の手順を順番に記載してあるが、その記載の順番は複数の手順を実行する順番を限定するものではない。このため、本発明の方法およびコンピュータプログラムを実施するときには、その複数の手順の順番は内容的に支障のない範囲で変更することができる。
　さらに、本発明の方法およびコンピュータプログラムの複数の手順は個々に相違するタイミングで実行されることに限定されない。このため、ある手順の実行中に他の手順が発生すること、ある手順の実行タイミングと他の手順の実行タイミングとの一部ないし全部が重複していること、等でもよい。
　上記各側面によれば、画像処理を用いて注意すべき人物を検出するための新たな手法を提供できる。
　上述した目的、およびその他の目的、特徴および利点は、以下に述べる好適な実施の形態、およびそれに付随する以下の図面によってさらに明らかになる。
本発明の第１の実施の形態に係る情報処理装置の論理的な構成を示す機能ブロック図である。 図１の記憶装置の第２記憶部のデータ構造の一例を示す図である。 図１の情報処理装置の動作の一例を示すフローチャートである。 本発明の第２の実施の形態の情報処理装置の記憶装置の第２記憶部のデータ構造の一例を示す図である。 本発明の第２の実施の形態の情報処理装置の動作において図３のステップＳ１２５以降の手順の一例を示すフローチャートである。 本発明の第２の実施の形態の情報処理装置の動作において図５のステップＳ１３５以降の手順の例を示すフローチャートである。 本発明の第３の実施の形態に係る情報処理装置の構成を論理的に示す機能ブロック図である。 図７の情報処理装置の出力部の情報出力のタイミングを説明するための図である。 図７の記憶装置の第２記憶部のデータ構造の一例を示す図である。 本発明の第４の実施の形態の情報処理装置の動作の一例を示すフローチャートである。 本発明の第５の実施の形態の情報処理装置の動作の一例を示すフローチャートである。 本発明の第６の実施の形態の情報処理装置の動作の一例を示すフローチャートである。 各実施形態の情報処理装置を実現するコンピュータの構成の一例を示す図である。 所定エリア内を撮像したカメラの映像の表示画面の例を示す図である。 実施例の記憶装置の第２記憶部に登録されたデータの変化を示す図である。 実施例の記憶装置の第２記憶部の他のデータ構造の例を示す図である。 ある通路に沿って４台のカメラが設置されている場所の状況を模式的に示した図である。 実施例の記憶装置の第２記憶部に登録されたデータの変化を示す図である。
　以下、本発明の実施の形態について、図面を用いて説明する。尚、すべての図面において、同様な構成要素には同様の符号を付し、適宜説明を省略する。
　また、本明細書の各図において、本発明の本質に関わらない部分の構成については省略してあり、図示されていない。
（第１の実施の形態）
　図１は、本発明の実施の形態に係る情報処理装置１００の論理的な構成を示す機能ブロック図である。情報処理装置１００は、所定のエリア内で撮像画像により認証されない人物を追跡するものである。
　情報処理装置１００は、照合部１０２と、登録部１０４と、を備える。本図に示す例において、情報処理装置１００は、さらに記憶装置１１０を含む。記憶装置１１０は、第１記憶部１１１（例えば顔特徴情報データベース）および第２記憶部１１２を含む。記憶装置１１０は、複数の物理的な記憶媒体や、複数のデータベースによって実現されてもよい。また、第１記憶部１１１および第２記憶部１１２は、物理的に同一の装置に含まれてもよいし、物理的に互いに異なる装置に含まれていてもよい。また、第１記憶部１１１および第２記憶部１１２は、情報処理装置１００の本体と一体であってもよいし、別体であってもよい。
　照合部１０２は、第１画像２０に含まれる人物から抽出される第１の特徴情報と、記憶装置１１０が記憶する第１の登録特徴情報とを照合する。
　登録部１０４は、人物から第１の特徴情報を抽出できなかった場合、または、照合部１０２による照合結果が不一致だった場合、当該人物から抽出される第２の特徴情報を第２の登録特徴情報として記憶装置１１０に記憶させる。言い換えると、登録部１０４は、当該人物の第２の特徴情報を記憶装置１１０に登録する。
　そして、照合部１０２は、第２画像２２に含まれる人物から抽出された第２の特徴情報と記憶装置１１０が記憶する第２の登録特徴情報とを照合することで第２画像２２から第２の登録特徴情報に対応する人物を特定する。以下、第１の登録特徴情報を用いた照合処理を「個人特定処理」とも呼び、第２の登録特徴情報を用いた照合処理を「人物特定処理」とも呼ぶ。
　第１の特徴情報は、人物を特定できる特徴情報であり、本実施形態では、顔の特徴情報とし、以後、顔の特徴情報とも呼ぶ。また、第１記憶部１１１が記憶する第１の登録特徴情報も、以後、顔の登録特徴情報とも呼ぶ。第１の特徴情報は、他の生体情報、例えば虹彩、耳介、静脈、指紋、歩容などであってもよい。また、第１記憶部１１１は、一人につき複数種類の生体情報を記憶していてもよい。この場合、照合部１０２は、複数種類の生体情報を組み合わせて、照合処理を行ってもよい。
　第２の特徴情報は、顔以外の領域を含む人物の特徴情報であり、以後、「人領域特徴情報」とも呼ぶ。また、第２記憶部１１２に登録される第２の登録特徴情報も、以後、登録人領域特徴情報とも呼ぶ。人領域特徴情報とは、照合部１０２により顔認証できなかった人物の背格好又は服装等の見た目の特徴を示す特徴情報である。人領域特徴情報は、背丈、肩幅、身体パーツの比率、衣服（形、色、素材等）、髪型（髪色も含む）、装飾品（帽子、眼鏡、アクセサリ等）、所持品（バッグ、傘、杖等）等の特徴を示す情報を含む。また、人領域特徴情報は、その特徴情報の尤度等の情報を含んでもよい。
　以下、情報処理装置１００について詳細に説明する。
　まず、情報処理装置１００が処理する画像について説明する。第１画像２０と第２画像２２は、同じ撮像手段により撮像されていてもよいし、異なる撮像手段により撮像されていてもよい。撮像手段は、レンズとＣＣＤ（Charge Coupled Device）イメージセンサといった撮像素子を備えるカメラであり、ＩＰ（Internet Protocol）カメラ等のネットワークカメラであるのが好ましい。ネットワークカメラは、たとえば、無線ＬＡＮ（Local Area Network）通信機能を有し、通信ネットワーク、すなわちルータなどの中継装置（不図示）を介して情報処理装置１００に接続される。これらのカメラは、所謂、監視カメラであってもよい。そして、撮像手段は、特定の人物の動きに合わせて追従してカメラ本体やメンズの向きの制御、ズーム制御、焦点合わせ等を行う機構を備えてもよい。
　カメラと情報処理装置１００は直接接続されてもよいし、上記したように通信ネットワークなどを介して間接的に接続されてもよい。たとえば、カメラで撮像された画像データが情報処理装置１００に直接送信され、情報処理装置１００がこの画像データを逐次受信してもよい。また、カメラ及び情報処理装置１００の双方がアクセス可能な記憶装置（不図示）を設けてもよい。この場合カメラにより撮像された画像データが、記憶装置に格納され、情報処理装置１００が記憶装置から画像データを読み出して取得してもよい。
　ここで画像データは、静止画および動画の少なくともいずれかであってよい。データ形式、ファイル形式、ファイルサイズ、画像サイズ、画像の解像度、動画のフレームレート等も特に限定されず、カメラおよび情報処理装置１００の仕様、規格、性能等、あるいは、画像解析の処理能力、精度等に応じて様々な形式のものを採用し得る。そしてこの画像データの少なくとも一つのフレームが、第１画像２０及び第２画像２２の少なくとも一方になる。
　また、実施形態において「取得」とは、自装置が他の装置や記憶媒体に格納されているデータまたは情報を取りに行くこと（能動的な取得）、および、自装置に他の装置から出力されるデータまたは情報を入力すること（受動的な取得）の少なくとも一方を含む。能動的な取得の例は、他の装置にリクエストまたは問い合わせしてその返信を受信すること、及び、他の装置や記憶媒体にアクセスして読み出すこと等がある。また、受動的な取得の例は、配信（または、送信、プッシュ通知等）される情報を受信すること等がある。さらに、「取得」とは、受信したデータまたは情報の中から選択して取得すること、または、配信されたデータまたは情報を選択して受信することであってもよい。
　また、カメラから情報処理装置１００への画像の送信のタイミングは、リアルタイムに例えば、ストリーミング配信であってもよいし、所定間隔で所定期間分の画像を送信してもよい。カメラや情報処理装置１００のメモリ容量、通信容量、画像処理能力または、カメラと情報処理装置１００間の通信状況等に基づいて、タイミングは適宜選択されてもよい、あるいは、状況変化に応じて変更されてもよい。
　本実施形態において、第１画像２０は第１のタイミングで撮像され、第２画像２２は、第１のタイミングより後に撮像される。
　「第１のタイミングの後」とは、第１のタイミングから所定時間経過後、および、第１のタイミングより後の所定時刻のいずれかである。また、この「第１のタイミングの後」で撮影された第２画像２２は、異なるタイミングで撮影された複数の画像あってもよい。この場合、照合部１０２による個人特定処理と人物特定処理は、各画像に対して順次実行される。つまり、人物特定処理後の第２画像２２を、次のタイミングで第１画像２０として個人特定処理し、さらにその後のタイミングで撮影された第２画像２２について人物特定処理を行うという処理を繰り返してもよい。
　上記したように、情報処理装置１００の第１記憶部１１１には、認証対象となる個人の顔の特徴情報が記憶されている。例えば、第１記憶部１１１には従業員の顔の特徴情報が記憶されているとする。この場合、撮像画像から検出された顔の特徴情報と一致する顔の特徴情報が第１記憶部１１１に記憶されていない場合は、その顔の人は、従業員でない人物の可能性があると推定できる。なお、照合処理におけるマッチング方法は様々な手法を用いることができ、特定の方法には限定されない。
　例えば照合部１０２における個人特定処理は、以下のいずれかの手順で行うことができるが、これらに限定されない。
（ａ１）はじめに人領域を検出し、検出した人領域内の顔の領域を特定する。そして、特定した顔領域の認証を行う。
（ａ２）はじめに顔の領域を検出し、検出した顔領域の認証を行う。そして、顔の領域を含む人領域を特定する。この場合、認証できた場合は、人領域の特定を省略してもよい。
（ａ３）人領域と顔の領域を検出し、検出した顔領域の認証を行う。
　さらに、登録部１０４は、個人特定処理で一致した顔の特徴情報がなかった場合以外に、第１画像２０に含まれる人物から顔の領域が特定できず、照合処理が行えなかった人領域に基づく人領域特徴情報を第２記憶部１１２に記憶させてもよい。例えば、不審者が監視カメラの位置を把握していて、カメラを避けて行動した結果、顔の特徴情報が取得できない場合であっても、その人領域特徴情報を第２記憶部１１２に記憶させる。
　照合部１０２による照合結果とは、第１の特徴情報（顔の特徴情報）または第２の特徴情報（人領域特徴情報）が記憶された特徴情報と一致したことを示す情報と、一致しなかったこと（不一致）を示す情報の少なくともいずれか１つを含む。また、顔の特徴情報との不一致を示す情報は、上記した第１画像２０に含まれる人物から顔の特徴情報が抽出できなかった場合を含んでもよい。
　図２は、第２記憶部１１２のデータ構造の例を示す図である。
　第２記憶部１１２は、日時情報と、人領域特徴情報とが対応付けて記憶されている。日時情報は、第１画像２０の撮像時刻、第１画像２０の取得時刻、第１画像２０に基づく顔認証処理の実行時刻、前記顔認証処理の結果の取得時刻、および人領域特徴情報の保存時刻の少なくともいずれか１つである。
　なお、図２の第２記憶部１１２には人領域特徴情報に日時情報が紐付けて記憶されているが、必ずしも日時情報は必要ではなく、含まなくてもよい。本実施形態の例では、第２記憶部１１２に、照合部１０２による個人特定処理において、顔認証できなかった人物の人領域特徴情報が記憶されていて、顔認証できた人物の人領域特徴情報は記憶されない。したがって、本実施形態では、第１画像２０に含まれる人物構成は、第２画像２２においても変わらないことを前提としている。なお、カメラ１０において検出された人物構成から変更がある場合については、他の実施形態で説明する。
　このように構成された情報処理装置１００の動作について以下説明する。図３は、本実施形態の情報処理装置１００の動作の一例を示すフローチャートである。
　まず、カメラ１０が所定のエリアを撮像した第１画像を情報処理装置１００に送信する（ステップＳ１０１）。例えば、第１画像には、３人の人物Ａ、人物Ｂ、人物Ｃが写っているものとする。
　情報処理装置１００において、照合部１０２は、カメラ１０から受信した第１画像２０に含まれる人物から顔の特徴情報を抽出する（ステップＳ１１１）。ここでは、３人の人物（人物Ａ、人物Ｂ、人物Ｃ）が検出され、各々の顔の特徴情報が抽出される。そして、照合部１０２は、抽出した各顔の特徴情報について、第１記憶部１１１に記憶されている顔の登録特徴情報との照合処理（個人特定処理）をそれぞれ実行する（ステップＳ１１３）。
　ここでは、人物Ａについては、第１記憶部１１１に一致する顔の登録特徴情報が含まれていたものとする（ステップＳ１１５のＹＥＳ）。そこで、人物Ａについては個人特定済みとなり、ステップＳ１１７以降の処理は行わずに本処理を終了する。一方、人物Ｂと人物Ｃについては、第１記憶部１１１に一致する顔の特徴情報が含まれていなかったため（ステップＳ１１５のＮＯ）、ステップＳ１１７に進み、第２記憶部１１２に人物Ｂと人物Ｃの人領域に対応する人領域特徴情報と日時情報をそれぞれ記憶させる。つまり、人物Ｂと人物Ｃが以降の追跡対象者となる。
　そして、第１画像２０を取得した第１のタイミングより後に、カメラ１０から撮像された第２画像２２が情報処理装置１００に送信される（ステップＳ１０３）。情報処理装置１００において、照合部１０２は、カメラ１０から第２画像２２を受信し、受信した第２画像２２から人領域を検出して人領域特徴情報を抽出する（ステップＳ１１９）。
　そして、照合部１０２は、第２画像２２から抽出された人領域特徴情報と、第２記憶部１１２に記憶されている登録人領域特徴情報との照合処理（人物特定処理）を行う（ステップＳ１２１）。
　そして、抽出された人領域特徴情報と一致する登録人領域特徴情報が第２記憶部１１２に含まれていた場合（ステップＳ１２３のＹＥＳ）、第２画像２２において、登録人領域特徴情報に対応する人物Ｂと人物Ｃが特定される（ステップＳ１２５）。そして、本処理を終了する。
　このようにして、第２画像２２内において、人物Ｂと人物Ｃを追跡できる。
　一方、抽出された人領域特徴情報と一致する登録人領域特徴情報が第２記憶部１１２にない人物（ここでは人物Ａ）については（ステップＳ１２３のＮＯ）、第２画像２２に写っていたとしても追跡対象とはならず、ステップＳ１２５はバイパスして本処理を終了する。
　本フローチャートの処理は、カメラ１０から画像が送信される度に繰り返し実行される。ステップＳ１１７で第２記憶部１１２に人領域特徴情報が記憶された人物Ｂと人物Ｃについては、第２画像２２を受信する毎にステップＳ１１９以降の処理が繰り返し実行されてよい。つまり、各第２画像２２において、第２記憶部１１２に記憶された人領域特徴情報に対応する人物Ｂと人物Ｃが追跡され続ける。
　以上説明したように、本実施形態の情報処理装置１００において、照合部１０２により第１画像２０について個人の特定ができなかった人物について人領域特徴情報を未確定人物の情報として登録部１０４が第２記憶部１１２に記憶させる。そして、照合部１０２により、第２画像２２から抽出された人領域特徴情報と第２記憶部１１２に記憶されている登録人領域特徴情報とが照合され、一致する人物が特定される。この構成によれば、第１画像２０で未確定となった人物について、第１画像２０より後のタイミングで撮像された第２画像２２において人領域特徴情報に基づいて人物を特定できるので、未確定人物の追跡を続けることができる。
　このように、本実施形態によれば、所定エリア内において、第１のタイミング以降、認証されない人物（すなわち、注意すべき人物）を追跡することができ、当該人物の人領域特徴情報を未確定人物として第２記憶部１１２に記憶させることができる。例えば、認証できない不審者等が所定エリアに紛れ込んでいた場合等に、その人物を追跡し続けることができる。
（第２の実施の形態）
　本実施形態の情報処理装置１００は、第２画像２２に含まれる人物を特定した後、当該人物から抽出される顔の特徴情報を用いた照合処理を行う点以外は図１の上記実施形態の情報処理装置１００と同じである。本実施形態の情報処理装置１００は、図１の上記実施形態の情報処理装置１００と同じ構成を有するので、以下、図１を用いて説明する。
　照合部１０２は、第２画像２２から特定された人物から抽出される顔の特徴情報と、記憶装置１１０の第１記憶部１１１が記憶する顔の登録特徴情報とを照合する。
　つまり、第２画像２２で追跡を続行している人物について、顔認証処理を行うことで未確定人物について個人の特定を行うことができる。第１のタイミングで撮像された第１画像２０では顔をカメラから背けていたために顔認証がうまくいかなかったとしても、第１のタイミングより後に撮像された第２画像２２では顔が写っていれば、再度顔認証に成功する可能性がある。
　図４は、本実施形態の第２記憶部１１２のデータ構造の一例を示す図である。
　第２記憶部１１２は、図２の第２記憶部１１２の日時情報と人領域特徴情報に加え、確定フラグをさらに含む。確定フラグは、照合部１０２による顔認証処理により個人が特定できたこと、又は特定できなかったことを示すフラグであり、例えば、確定済みは「１」、未確定は「０」とすることができる。あるいは、確定済みは「０」、未確定は「１」としてもよい。さらに、例えば、確定済みのみフラグをセットし、未確定はＮＵＬＬとしてもよい。または、確定する前、つまり未確定のみフラグをセットし、確定後はＮＵＬＬとしてもよい。あるいは、第２記憶部１１２に、個人を特定した顔認証処理の実行日時を人領域特徴情報に対応付けて記憶されてもよい。
　本実施形態において、第２画像２２において特定された人物から抽出された顔の特徴情報の照合処理で一致となった場合に、登録部１０４は、第２記憶部１１２に記憶されている当該人物に対応する登録人領域特徴情報に紐付けられている確定フラグを０から１にセットする。
　あるいは、情報処理装置１００は、第２画像２２から特定された人物から抽出された顔の特徴情報と第１記憶部１１１が記憶する顔の登録特徴情報との照合結果が一致となった場合、第２記憶部１１２から当該人物の登録人領域特徴情報を削除する削除部（不図示）を備えてもよい。削除部を有する構成では、第２記憶部１１２のデータ構造は上記実施形態の図２とする。
　図５は、本実施形態の情報処理装置１００の動作の例を示すフローチャートである。
　図５（ａ）のフローチャートは、図３のフローチャートのステップＳ１２５の後に、ステップＳ１３１～ステップＳ１３３を含む。
　照合部１０２は、ステップＳ１２５で第２画像２２から特定された人物から顔の特徴情報を抽出し（ステップＳ１３１）、抽出された顔の特徴情報と、記憶装置１１０の第１記憶部１１１が記憶する顔の登録特徴情報との照合処理（個人特定処理）を行い（ステップＳ１３３）、本処理を終了する。
　さらに、図５（ｂ）に示すように、照合部１０２は、第２画像２２から第２の登録特徴情報（登録人領域特徴情報）に対応する人物を特定する処理（図３のステップＳ１１９～ステップＳ１２５）、および、特定された当該人物から抽出された第１の特徴情報（顔の特徴情報）と第１の登録特徴情報（顔の登録特徴情報）とを照合する処理（図５（ａ）のステップＳ１３１～ステップＳ１３３）を、照合結果が一致となるまで（図５（ｂ）のステップＳ１３５のＹＥＳ）繰り返す（図３のステップＳ１１９に戻る）。
　例えば、上記実施形態で未確定人物として追跡されていた人物Ｂと人物Ｃのうち、人物Ｃについては、図３のステップＳ１１３の個人特定処理では、第１画像２０で顔が写っていなかったために顔認証に失敗していたとする。しかし、第１画像２０より後に撮影された第２画像２２では顔が写っていたとすると、図５（ａ）のステップＳ１３３の個人特定処理では顔認証に成功し、個人が特定できる。
　本実施形態では、所定時間内、又は所定時刻までの間、繰り返し撮像された複数の第２画像２２について照合部１０２により照合処理を繰り返すことができる。
　また、照合部１０２により顔認証に成功し、個人が特定された人領域特徴情報に対する処理として、図４の第２記憶部１１２を用いる例（図６（ａ））と、情報処理装置１００が削除部を有し、図２の第２記憶部１１２を用いる例（図６（ｂ））と２つについて説明する。
　まず、図６（ａ）の例について説明する。
　ステップＳ１３３で特定された人物から抽出された顔の特徴情報と、第１記憶部１１１が記憶する顔の登録特徴情報のいずれかが一致した場合（ステップＳ１３５のＹＥＳ）、登録部２０４は、図４の第２記憶部１１２において、顔認証できた人物に対応する人領域特徴情報に紐付けられている確定フラグに１をセットする（ステップＳ１３７）。そして、本処理を終了する。
　ここでは、人物Ｃについて個人の特定ができたものとし（ステップＳ１３５のＹＥＳ）、人物Ｃに対応する人領域特徴情報に紐付けられている確定フラグに１がセットされる（ステップＳ１３７）。
　一方、ステップＳ１３３で特定された人物から抽出された顔の特徴情報と、第１記憶部１１１が記憶する顔の登録特徴情報のいずれとも不一致だった場合（ステップＳ１３５のＮＯ）、ステップＳ１３７をバイパスして、本処理を終了する。つまり、図４の第２記憶部１１２の人領域特徴情報に紐付けられている確定フラグは０のままとなる。この例では、人物Ｂについて、顔認証に失敗したものとし（ステップＳ１３５のＮＯ）、ステップＳ１３７はバイパスして本処理は終了する。よって人物Ｂの人領域特徴情報に紐付けられている確定フラグは０のままとなる。
　図６（ｂ）の例では、ステップＳ１３３で特定された人物から抽出された顔の特徴情報と、第１記憶部１１１が記憶する顔の登録特徴情報のいずれかが一致した場合（ステップＳ１３５のＹＥＳ）、削除部は、顔認証できた人物に対応する人領域特徴情報を図２の第２記憶部１１２から削除する。
　ここでは、人物Ｃについて、第１記憶部１１１に一致する顔の特徴情報が含まれたものとし（ステップＳ１３５のＹＥＳ）、削除部は、図２の第２記憶部１１２から人物Ｃに対応する人領域特徴情報を削除する（ステップＳ１３７）。
　一方、ステップＳ１３３で特定された人物から抽出された顔の特徴情報と、第１記憶部１１１が記憶する顔の登録特徴情報のいずれとも不一致だった場合（ステップＳ１３５のＮＯ）、ステップＳ１３９をバイパスして、本処理を終了する。つまり、第２記憶部１１２に人領域特徴情報は保存されたままとなる。
　ここでは、人物Ｂについて、第１記憶部１１１に一致する顔の特徴情報が含まれていなかったものとし（ステップＳ１３５のＮＯ）、ステップＳ１３９はバイパスして本処理を終了する。このように、図２の第２記憶部１１２の場合は、人物Ｂの人領域特徴情報のみが第２記憶部１１２に記憶され続けることになる。
　以上説明したように、本実施形態によれば、照合部１０２により、第２画像２２から特定された人物から抽出される顔の特徴情報と第１記憶部１１１が記憶する顔の登録特徴情報との照合処理を行うことで、第１画像２０では顔認証できなかった人物についても、第１画像２０より後のタイミングで撮像された第２画像２２では顔認証に成功し、個人を特定できる。
　そして、第２記憶部１１２に顔認証できたか否かを示す情報（確定フラグ）を人領域特徴情報に紐付けて記憶するか、あるいは、顔認証できた人領域特徴情報は第２記憶部１１２から削除するので、第２記憶部１１２を参照することで、所定時間内、または、所定時刻までに顔認証できなかった人物について人領域特徴情報を取得できる。
（第３の実施の形態）
　図７は、本実施形態の情報処理装置１００の構成を論理的に示す機能ブロック図である。
　本実施形態の情報処理装置１００は、図１の上記実施形態の情報処理装置１００の構成に加え、さらに、出力部１２０を有している点以外は、上記実施形態と同じである。
　本実施形態において、登録部１０４は、第２記憶部１１２に、時刻情報とともに人領域特徴情報を記憶させる。そして、出力部１２０は、所定の条件に従い、第２記憶部１１２に記憶されている登録人領域特徴情報に関する情報を出力する。
　第一の所定の条件の例では、出力部１２０は、時刻情報が示す時刻から基準時間以上経過しても、第２画像２２から登録人領域特徴情報との照合により特定された人物から顔の特徴情報を抽出できなかった場合、又は、第２画像２２から登録人領域特徴情報との照合により特定された人物から抽出される顔の特徴情報との照合結果が不一致だった場合に、当該登録人領域特徴情報に関する情報を出力する。
　ここで、時刻情報とは、図２または図４の第２記憶部１１２の日時情報に相当し、第２記憶部１１２に人領域特徴情報が記憶された時刻、照合対象の画像の撮像（又は記憶）の時刻、照合対象の画像を受信した時刻、照合処理の実行時刻、および照合結果が第２記憶部１１２に記憶された時刻の少なくともいずれか１つである。
　また、第二の所定の条件の例では、出力部１２０は、基準のタイミングにおいて第２記憶部１１２に記憶されている登録人領域特徴情報に関する情報を出力する。上記実施形態で説明した図２の第２記憶部１１２の場合、基準のタイミングにおいて第２記憶部１１２に残っている登録人領域特徴情報に対応する人物が、当該タイミングまで個人が特定できなかった未確定人物となる。そこで、出力部１２０は、当該登録人領域特徴情報に関する情報、例えば、当該登録人領域特徴情報に対応する人領域の画像等を表示することで、オペレータに未確定人物を認識させることができる。
　基準のタイミングとは、所定時刻、あるいは、最後又は所定位置のカメラでの撮影タイミング等である。
　出力部１２０は、例えば、ディスプレイに撮像画像を表示するとともに、各人物に重畳して認証済みか否かを示すマークを表示する。例えば、認証済みの人物には「ＯＫ」、未認証の人物には「ＮＧ」等のマークを表示する。なお、認証済みの人物にのみ「ＯＫ」マークを表示してもよいし、未認証の人物にのみ「ＮＧ」マークを表示してもよい。また、登録人領域特徴情報を抽出した画像に、認証済みの人物と未認証の人物の人領域を識別可能にする画像（例えば、人領域を色違いの矩形の枠で囲む）を描画して重畳表示してもよい。または、未認証の人物の人領域を強調表示してもよい。
　出力部１２０の出力形態は、画面表示だけでなく、アラート音をスピーカから出力したり、所定の宛先または端末にメッセージを送信したり、ＬＥＤ（Light Emitting Diode）表示器等を点滅または点灯させたり、プリンタに情報を印字出力したりしてもよい。また、出力部１２０は、所定エリアの出入り口の扉の施錠装置に施錠解錠制御信号またはゲート、自動ドア、シャッター等の駆動装置に開閉制御信号を出力してもよい。すなわち、基準時間経過後、または、基準のタイミングにおいて認証されていない人物の人領域特徴情報が第２記憶部１１２に残っていた場合に、当該人領域特徴情報に対応する人物がエリアから出入りできないように、扉の施錠やゲートを閉じる制御信号を各装置に出力してもよい。
　さらに、出力部１２０は、カメラに対し、認証されてない人物の人領域を含む撮像画像の画質や解像度を上げる制御信号や、当該人領域に追従させたりズームインさせたりする制御信号を出力してもよい。
　また、登録人領域特徴情報に関する情報とは、登録人領域特徴情報に対応する人領域の画像を含んでもよい。また、その登録人領域特徴情報が、認証済みであるか、認証済みでないかを示す情報、画像の撮像時刻、顔認証を行った時刻等の情報を含んでもよい。また、監視対象エリアが複数ある場合は、エリアの識別情報を含んでもよい。また、複数のカメラ１０を用いている場合、当該登録人領域特徴情報の人領域を含む画像を撮影したカメラ１０の識別情報を含んでもよい。
　図８は、出力部１２０の情報出力のタイミングを説明するための図である。図８（ｃ）については、後述する実施形態で説明する。
　図８（ａ）の例では、人領域特徴情報の初回の記憶のタイミングの時刻から、基準時間以上継続して第２記憶部１１２に記憶され続けた人領域特徴情報について、出力部１２０はアラートを出力している。この例では、個々の人物について基準時間以内で顔認証できたか否かを監視することができる。
　図８（ｂ）の例では、第２記憶部１１２に記憶されている人領域特徴情報について、ある基準のタイミング、例えば、所定の時刻等において、残っている人領域特徴情報について、出力部１２０はアラートを出力している。
　以上説明したように、本実施形態において、登録部１０４により、時刻情報とともに人領域特徴情報が第２記憶部１１２に記憶され、出力部１２０により、時刻情報が示す時刻から基準時間以上経過しても、顔認証されない人物の登録人領域特徴情報に関する情報が出力される。本実施形態によれば、上記実施形態と同様な効果を奏するとともに、さらに、あるエリア内で、所定時間以上又は所定時刻までに認証できなかった人物に関する情報を報知することができる。
　また、本実施形態において、出力部１２０により、基準のタイミングにおいて第２記憶部１１２に記憶されている登録人領域特徴情報に関する情報が出力される。本実施形態によれば、所定の時刻毎に認証できていない人物に関す情報を報知することができる。
（第４の実施の形態）
　本実施形態の情報処理装置１００は、第１画像から抽出された全ての人物の人領域特徴情報を第２記憶部１１２に記憶させ、登録人領域特徴情報で追跡しながら、顔認証処理ができるまで顔認証処理を繰り返す構成を有する点以外は、上記実施形態に示した情報処理装置１００と同じである。本実施形態の情報処理装置１００は、図１の上記実施形態の情報処理装置１００と同じ構成を有するので、以下、図１を用いて説明する。なお、本実施形態はその他の実施形態の情報処理装置１００と同じ構成を有してもよく、矛盾のない範囲で組み合わせることができる。
　本実施形態では、以下の点で上記実施形態と異なる。
　登録部１０４は、第１画像２０に含まれる人物から抽出される人領域特徴情報を登録人領域特徴情報として第２記憶部１１２に記憶させる。
　照合部１０２は、第２画像２２に含まれる人物から抽出された人領域特徴情報と第２記憶部１１２が記憶する登録人領域特徴情報とを照合することで、第２画像２２から登録人領域特徴情報に対応する人物を特定する。照合部１０２は、第１画像２０に含まれる人物から顔の特徴情報を抽出できなかった場合、または、第１画像２０に含まれる人物から抽出される顔の特徴情報と第１の登録特徴情報（顔の登録特徴情報）との照合結果が不一致だった場合、第２画像２２から特定された人物から抽出される顔の特徴情報と、第１記憶部１１１が記憶する顔の登録特徴情報とを照合する。
　さらに、登録部１０４は、第１画像２０に含まれる人物から抽出される顔の特徴情報と顔の登録特徴情報との照合結果を示す情報を、登録人領域特徴情報に対応付けて第２記憶部１１２に記憶させてもよい。あるいは、登録部１０４は、第１画像２０に含まれる人物から顔の特徴情報を抽出できなかったことを示す情報を、登録人領域特徴情報に対応付けて第２記憶部１１２に記憶させてもよい。
　図９は、本実施形態の第２記憶部１１２のデータ構造の一例を示す図である。
　第２記憶部１１２は、日時情報と、人領域特徴情報と、照合結果フラグとが対応付けて記憶されている。日時情報は、第１画像２０の撮像時刻、第１画像２０の取得時刻、第１画像２０に基づく認証処理の実行時刻、前記認証処理の結果の取得時刻、および登録人領域特徴情報の保存時刻の少なくともいずれか１つである。
　照合結果フラグは、照合部１０２による顔の特徴情報の照合結果を示す情報である。照合結果を示す情報とは、顔の登録特徴情報と一致したことを示す情報、および顔の登録特徴情報と一致しなかったことを示す情報の少なくともいずれかを含む。
　照合処理で、第１記憶部１１１に一致する顔の登録特徴情報があった場合、つまり、個人が特定できた場合、例えば、照合結果フラグには、「１」がセットされ、一致した顔の登録特徴情報がなかった場合、例えば、照合結果フラグには、「０」がセットされる。さらに、例えば、一致した場合のみ照合結果フラグをセットし、一致した顔の特徴情報がなかった場合はＮＵＬＬとしてもよい。あるいは、照合結果フラグには、一致した場合に「０」がセットされ、不一致の場合に「１」がセットされてもよい。また、不一致の場合に照合結果フラグをセットし、一致の場合にＮＵＬＬとしてもよい。
　照合部１０２は、照合結果を示す情報が、第１画像２０に含まれる人物から抽出される顔の特徴情報との照合結果が不一致だったことを示す場合に、第２画像２２から特定された人物から抽出される顔の特徴情報と、第１記憶部１１１が記憶する顔の登録特徴情報とを照合する。
　照合部１０２は、登録人領域特徴情報に対応付けられている情報が、第１画像２０に含まれる人物から顔の特徴情報を抽出できなかったことを示す場合に、第２画像２２から特定された人物から抽出される顔の特徴情報と、第１記憶部１１１が記憶する顔の登録特徴情報とを照合する。
　また、本実施形態の情報処理装置１００は、図７の上記実施形態の情報処理装置１００と同様な出力部１２０を備えてもよい。
　図１０は、本実施形態の情報処理装置１００の動作の一例を示すフローチャートである。
　なお、本図において、上記実施形態と同じ処理手順については同じステップ番号を付してある。
　まず、カメラ１０が所定のエリアを撮像した第１画像２０を情報処理装置１００に送信する（ステップＳ１０１）。例えば、第１画像２０には、３人の人物Ａ、人物Ｂ、人物Ｃが写っているものとする。
　情報処理装置１００において、照合部１０２は、カメラ１０から受信した第１画像２０に含まれる人物から顔の特徴情報を抽出する（ステップＳ１１１）。ここでは、３人の人物（人物Ａ、人物Ｂ、人物Ｃ）が検出され、各々の顔の特徴情報が抽出される。そして、照合部１０２は、抽出した各顔の特徴情報について、第１記憶部１１１に記憶されている顔の登録特徴情報との照合処理（個人特定処理）をそれぞれ実行する（ステップＳ１１３）。
　ここでは、人物Ａについては、第１記憶部１１１に一致する顔の特徴情報が含まれていたものとする。つまり、人物Ａについては個人特定済みとなるので、登録部１０４は、人物Ａの照合結果フラグに一致したことを示す情報として「１」をセットし、人領域特徴情報と日時情報とに紐付けて照合結果フラグを第２記憶部１１２に記憶させる（ステップＳ２０１）。
　一方、人物Ｂと人物Ｃについては、第１記憶部１１１に一致する顔の特徴情報が含まれていなかったものとする。よって、登録部１０４は、人物Ｂと人物Ｃの照合結果フラグに不一致を示す情報として「０」をセットし、人領域特徴情報と日時情報とに紐付けて照合結果フラグを第２記憶部１１２に記憶させる（ステップＳ２０１）。
　そして、第１画像２０を取得した第１のタイミングより後に、カメラ１０から撮像された第２画像２２が情報処理装置１００に送信される（ステップＳ１０３）。情報処理装置１００において、照合部１０２は、カメラ１０から第２画像２２を受信し、受信した第２画像２２から人領域を検出して人領域特徴情報を抽出する（ステップＳ１１９）。
　そして、照合部１０２は、第２画像２２から抽出された人領域特徴情報と、第２記憶部１１２に記憶されている登録人領域特徴情報との照合処理（人物特定処理）を行う（ステップＳ１２１）。そして、抽出された人領域特徴情報と一致する登録人領域特徴情報が第２記憶部１１２に含まれていた場合（ステップＳ１２３のＹＥＳ）、第２画像２２において、登録人領域特徴情報に対応する人物が特定される（ステップＳ１２５）。この例では、第２記憶部１１２に記憶されている３人の人物Ａ、人物Ｂ、人物Ｃが特定される。
　そして、照合部１０２は、第２記憶部１１２を参照し、各人物の顔の特徴情報による照合結果が一致であることを示す照合結果フラグが「１」でない場合（ステップＳ２０３のＮＯ）、ステップＳ２０５に進む。照合結果が一致の場合、すなわち、照合結果フラグが「１」の場合（ステップＳ２０３のＹＥＳ）、ステップＳ２０５～ステップＳ２０９はバイパスして本処理を終了する。ここでは、人物Ａの照合結果フラグが１なので、人物Ａについては処理を終了する。人物Ｂと人物Ｃについて照合結果フラグが０なのでステップＳ２０５に進む。
　そして、照合部１０２は、特定された各人物から顔の特徴情報を抽出する（ステップＳ２０５）。ここでは、２人の人物（人物Ｂ、人物Ｃ）の各々の顔の特徴情報が抽出される。そして、照合部１０２は、抽出した各顔の特徴情報について、第１記憶部１１１に記憶されている顔の登録特徴情報との照合処理（個人特定処理）をそれぞれ実行する（ステップＳ２０７）。
　ここでは、人物Ｃについて、第１記憶部１１１に一致する顔の特徴情報が含まれていたものとする。つまり、人物Ｃについては個人特定済みとなるので、登録部１０４は、人物Ｃの照合結果フラグに一致したことを示す情報として「１」をセットし、人物Ｃに対応する人領域特徴情報と日時情報とに照合結果フラグを対応付けて記憶させ（ステップＳ２０９）、本処理を終了する。
　一方、人物Ｂについて、第１記憶部１１１に一致する顔の特徴情報が含まれていなかったものとする。登録部１０４は、人物Ｂの照合結果フラグに不一致を示す情報として「０」をセットし、人物Ｂに対応する人領域特徴情報と日時情報と照合結果フラグを対応付けて記憶させ（ステップＳ２０９）、本処理を終了する。
　このようにして、第２画像２２を用いて、各人物（人物Ａ、人物Ｂ、人物Ｃ）の追跡を継続しながら、顔認証ができていない人物について顔認証を再試行できる。最初にカメラに対して顔が向いていなかった人物が、後でカメラの方向に顔を向けた時に撮像された画像を用いて顔認証を実行して個人を特定することができる。
　ステップＳ２０９において、第２記憶部１１２に記憶される人領域特徴情報と、ステップＳ２０１で第２記憶部１１２に既に記憶されている人領域特徴情報との両方を、関連付けて記憶してもよい。あるいは、ステップＳ２０７で特定された人領域特徴情報で第２記憶部１１２の人領域特徴情報を上書きしてもよいし、ステップＳ２０１で第２記憶部１１２に既に記憶されている人領域特徴情報を残し照合結果フラグのみを更新してもよい。
　本フローチャートの処理は、カメラ１０から第２画像２２が送信される度にステップＳ１１９以降の処理が繰り返し実行される。
　また、第２画像２２において第１画像２０には含まれていなかった新たな人物Ｄが検出された場合、すなわち、第２画像２２から抽出された人領域特徴情報に一致する人領域特徴情報が第２記憶部１１２に記憶されていなかった場合（ステップＳ１２３のＮＯ）、当該第２画像２２を第１画像２０として、ステップＳ１１１に戻り、当該人領域特徴情報について新たな人物Ｄとして処理を繰り返してもよい。
　また、本実施形態において、ステップＳ２０９の後、図５（ａ）のステップＳ１３１～ステップＳ１３３、さらに、図５（ｂ）のステップＳ１３５、および、図６（ａ）のステップＳ１３５～ステップＳ１３７、又は図６（ｂ）のステップＳ１３５～ステップＳ１３９を実行してもよい。
　以上説明したように、本実施形態において、登録部１０４により第１画像２０に含まれる人物から抽出される人領域特徴情報が、照合部１０２による顔認証の照合結果を示す情報に紐付けられて第２記憶部１１２に記憶される。第１画像２０より後のタイミングで撮像された第２画像２２において、第２記憶部１１２が記憶している人領域特徴情報に対応する各人物を特定することで追跡することができる。そして、照合部１０２により、第２画像２２において特定された人物のうち、未だ顔認証により個人が特定されていない人物について、顔認証処理が行われる。
　本実施形態によれば、上記実施形態と同様な効果を奏するとともに、画像に含まれる人物を人領域特徴情報で追跡しながら、顔認証が済んでいない人物について顔認証を実行して個人を特定していくことができる。
　さらに、本実施形態では、登録部１０４により各画像に含まれる全ての人物について顔認証の照合結果に対応付けて人領域特徴情報が第２記憶部１１２に記憶される。この構成によれば、所定のエリア内で人の出入りがあった場合でも、各人物の追跡と個人の特定処理を継続して行うことができる。さらに、所定のエリア内に存在している人物の総数をカウントして確認したり、当該エリアに進入またはエリアから退出した人物を時刻情報とともに確認したりすることも可能となる。
（第５の実施の形態）
　本実施形態の情報処理装置１００は、上記実施形態とは、経路に沿って設置された複数のカメラの撮像画像を用いて所定の経路の始点から終点までの間に、認証されない人物を見つけるための構成を有する点以外は上記第１から第３のいずれかの実施形態と同じである。
　本実施形態の情報処理装置１００は、図１の情報処理装置１００と同じ構成である場合について説明するので、図１を用いて説明する。
　情報処理装置１００は、経路に沿って設置された複数のカメラ１０のそれぞれが生成した画像を処理する。
　経路とは、異なる２点（例えば、始点と終点）を少なくとも含み、この２点の間を人が通る道筋である。経路とは、例えば、ある施設、建物、またはエリアの入口から入場して出口から退場するまでに通る道順であってもよいし、ある敷地の入口から入場して、建物の出入口に入場するまでの間に通るアプローチであってもよいし、あるエリアから他のエリアへ移動するための通路であってもよいし、ある駅の改札口における入場から他の駅の改札口における退場までに通る経路であってもよい。また、２点間を人が通る道筋は、人毎に異なってよい。
　経路に沿って設置された複数のカメラは、人が経路に入る始点に設置された第１のカメラと、経路から出る終点に設置された第２のカメラの少なくとも２つのカメラを含む。
　本実施形態において、第１画像２０は、第１のカメラにより撮像され画像である。第２画像２２は、経路に沿う方向において第１のカメラより後に位置する第２のカメラにより撮像された画像である。また、第２画像２２は、第１画像２０が撮像される第１のタイミングより後のタイミングで撮像される。なお、経路に沿う方向は、人物毎に異なってもよい。
　具体的には、照合部１０２は、第１画像２０に含まれる人物から抽出される顔の特徴情報と、記憶装置１１０の第１記憶部１１１が記憶する顔の登録特徴情報とを照合する。
　登録部１０４は、人物から顔の特徴情報を抽出できなかった場合、または、照合部１０２による照合結果が不一致だった場合、当該人物から抽出される人領域特徴情報を登録人領域特徴情報として記憶装置１１０の第２記憶部１１２に記憶させる。
　そして、照合部１０２は、第２画像２２に含まれる人物から抽出された人領域特徴情報と第２記憶部１１２が記憶する登録人領域特徴情報とを照合することで第２画像２２から登録人領域特徴情報に対応する人物を特定する。
　さらに、経路に沿って設置される複数のカメラのうち、第２のカメラは、始点から経路に沿って経路の終点までの間に所定の間隔、または所定の位置に複数設置される。
　照合部１０２は、複数の第２のカメラによって撮像された第２の画像２２に対して、第２記憶部１１２が記憶している人領域特徴情報との照合処理を行うことで人領域特徴情報に対応する人物を特定する。これにより、本実施形態の情報処理装置１００では、第１のタイミングとは異なる時点又は異なる位置、または異なる複数の第２のカメラにより撮像された複数の画像間で、経路を通行している人領域（人物）をそれぞれ追跡することが可能になる。
　本実施形態の第２記憶部１１２は、図２または図４のいずれかのデータ構造を有してよい。
　また、本実施形態の情報処理装置１００は、図７の第３実施形態と同じ出力部１２０を備えてもよい。本実施形態の出力部１２０と第３実施形態の出力部１２０は、出力条件が以下の点で異なる。なお、本実施形態の出力部１２０は、第３実施形態の出力部１２０と同じ条件を組み合わせて用いる構成も含んでよい。
　出力部１２０の出力条件は、複数の第２のカメラのうち、経路に沿う方向において最後（終点）または所定の位置に設置された第２のカメラが生成した画像を用いて照合部１０２が特定した人物について、照合部１０２による照合処理でいずれの顔の特徴情報にも一致しないことである。
　出力部１２０は、複数の第２のカメラのうち、経路に沿う方向において最後（終点）または所定の位置に設置された第２のカメラが生成した画像から照合部１０２が特定した人領域について、顔の登録特徴情報との照合結果が不一致だった場合、当該人物から抽出された人領域特徴情報に関する情報を出力する。
　また、登録部１０４は、人領域特徴情報を時刻情報とともに第２記憶部１１２に記憶させ、出力部１２０は、時刻情報が示す時刻から基準時間以上経過しても、第２記憶部１１２が記憶する顔の登録特徴情報との照合結果が一致とならない人領域特徴情報に関する情報を出力してもよい。
　ここで、照合結果が一致とならないとは、第２画像２２から特定された人物から顔の特徴情報を抽出できなかった場合、または、第２画像２２から特定された人物から抽出される顔の特徴情報と顔の登録特徴情報との照合結果が不一致だった場合を含む。
　また、本実施形態の出力部１２０は、上記実施形態の出力部１２０の出力形態に加え、さらに、例えば、経路の両端または途中に設けられたゲートの駆動装置に開閉制御信号を出力してもよい。すなわち、経路の所定の場所に設置された第２のカメラが生成した画像を用いて照合部１０２が特定した人物について、照合部１０２により照合処理でいずれの顔の特徴情報にも一致しなかった場合、当該人物が経路を通過できないように、経路途中または出入り口に設けられたゲートを閉じる制御信号をゲート駆動装置に出力してもよい。
　図８（ｃ）に示すように、入口から入場した人物が、出口から退場した時点で第２記憶部１１２に残っている人領域特徴情報に関する情報を出力部１２０は出力する。
　図１１は、本実施形態の情報処理装置１００の動作の一例を示すフローチャートである。
　まず、経路の入り口に設置された第１のカメラ（第１カメラ１０ａとも呼ぶ）が所定のエリアを撮像した第１画像２０を情報処理装置１００に送信する（ステップＳ１０１）。例えば、第１画像２０には、３人の人物Ａ、人物Ｂ、人物Ｃが写っているものとする。
　情報処理装置１００において、照合部１０２は、第１カメラ１０ａから受信した第１画像２０に含まれる人物から顔の特徴情報を抽出する（ステップＳ１１１）。ここでは、３人の人物（人物Ａ、人物Ｂ、人物Ｃ）が検出され、各々の顔の特徴情報が抽出される。そして、照合部１０２は、抽出した各顔の特徴情報について、第１記憶部１１１に記憶されている顔の登録特徴情報との照合処理（個人特定処理）をそれぞれ実行する（ステップＳ１１３）。
　ここでは、人物Ａについては、第１記憶部１１１に一致する顔の登録特徴情報が含まれていたものとする（ステップＳ１１５のＹＥＳ）。そこで、人物Ａについては個人特定済みとなり、ステップＳ１１７以降の処理は行わずに本処理を終了する。一方、人物Ｂと人物Ｃについては、第１記憶部１１１に一致する顔の特徴情報が含まれていなかったため（ステップＳ１１５のＮＯ）、ステップＳ１１７に進み、第２記憶部１１２に人物Ｂと人物Ｃの人領域特徴情報と日時情報をそれぞれ記憶させる。
　そして、第１画像２０を取得した第１のタイミングより後に、経路に沿う方向において第１カメラ１０ａより後に位置する第２のカメラ（第２カメラ１０ｂとも呼ぶ）から撮像された第２画像２２が情報処理装置１００に送信される（ステップＳ１０３）。情報処理装置１００において、照合部１０２は、第２カメラ１０ｂから第２画像２２を受信し、受信した第２画像２２から人領域を検出して人領域特徴情報を抽出する（ステップＳ１１９）。
　そして、照合部１０２は、第２画像２２から抽出された人領域特徴情報と、第２記憶部１１２が記憶している登録人領域特徴情報との照合処理（人物特定処理）を行う（ステップＳ１２１）。そして、抽出された人領域特徴情報と一致する登録人領域特徴情報が第２記憶部１１２に含まれていた場合（ステップＳ１２３のＹＥＳ）、第２画像２２において、登録人領域特徴情報に対応する人物Ｂと人物Ｃが特定される（ステップＳ１２５）。そして、本処理を終了する。
　このようにして、第２画像２２内において、人物Ｂと人物Ｃを追跡できる。
　一方、抽出された人領域特徴情報と一致する登録人領域特徴情報が第２記憶部１１２にない人物（ここでは人物Ａ）については（ステップＳ１２３のＮＯ）、追跡対象とはならず、ステップＳ１２５はバイパスして本処理を終了する。
　本フローチャートの処理は、各カメラ１０から画像が送信される度に繰り返し実行される。ステップＳ１１７で第２記憶部１１２に人領域特徴情報が記憶された人物Ｂと人物Ｃについては、第２画像２２を受信する毎にステップＳ１１９以降の処理が繰り返し実行されてよい。つまり、各第２画像２２において、第２記憶部１１２が記憶している人領域特徴情報に対応する人物Ｂと人物Ｃが追跡され続ける。
　以上説明したように、本実施形態の情報処理装置１００において、経路に沿って設置された複数のカメラの撮像画像を用いて、第１のタイミングで第１カメラ１０ａにより撮像された第１画像２０について顔認証処理ができなかった人領域の人領域特徴情報を未確定人物の情報として登録部１０４が第２記憶部１１２に記憶させる。そして、第１のタイミングより後に、経路に沿う方向において第１カメラ１０ａより後に位置する第２カメラ１０ｂにより撮像された第２画像２２について照合部１０２により第２記憶部１１２が記憶している人領域特徴情報と一致する人物が特定される。
　このように、本実施形態によれば、経路に入ってから経路から出るまでの間に、顔認証により個人が特定できない人物の人領域特徴情報を未確定人物として第２記憶部１１２に記憶させることができる。第１記憶部１１１に顔の特徴情報が記憶されていない、本来、通行を許可されていない人物等が通路を通行しようとした場合等に、その人物の人領域特徴情報を第２記憶部１１２に記憶させて追跡することができる。
　また、本実施形態において、登録部１０４により、人領域特徴情報が初回の記憶のタイミングの時刻情報とともに第２記憶部１１２に記憶され、出力部１２０により、基準時間以上継続して、第２記憶部１１２に記憶され続けた人領域特徴情報に関する情報が出力される。
　あるいは、本実施形態において、出力部１２０により、複数の第２のカメラのうち、経路に沿う方向において最後または所定の位置に設置された第２のカメラが生成した画像を用いて照合部１０２が特定した人物について、顔の特徴情報による照合処理で不一致となった場合、当該人物の人領域特徴情報に関する情報が出力される。
　この構成によれば、経路を通行している人物のうち、顔認証により個人を特定できない人物の情報を、当該人物が経路の出口を出るところ、又は所定の位置で報知することができる。例えば、第１記憶部１１１には、通行が許可されている人物の顔の登録特徴情報が記憶されており、通行に許可が必要な通路の出口で、第１記憶部１１１に記憶されている顔の登録特徴情報との照合結果が不一致の人物、つまり、通行を許可されていない人物の通行を報知することが可能になる。
（第６の実施の形態）
　本実施形態の情報処理装置１００は、顔認証の照合結果に関わらず、経路に沿って設置された複数のカメラのうちの第１のカメラにより撮像された第１画像２０に含まれる人物から抽出された人領域特徴情報を第２記憶部１１２に記憶させ、経路に沿う方向において第１のカメラより後に位置する第２のカメラにより撮像された第２画像２２において第２記憶部１１２が記憶した人領域特徴情報を用いて人物を特定して追跡する。
　本実施形態の情報処理装置１００は、経路に沿って設置された複数のカメラのうちの第１のカメラにより撮像された第１画像２０と、経路に沿う方向において第１のカメラより後に位置する第２のカメラにより撮像された第２画像２２とを用いて処理する点以外は、上記第４実施形態の情報処理装置１００の構成と同じである。
　照合部１０２は、経路に沿って設置された複数のカメラのうちの第１のカメラにより撮像された第１画像２０に含まれる人物から抽出される顔の特徴情報と、第１記憶部１１１が記憶する顔の登録特徴情報とを照合する。登録部１０４は、人物から抽出される人領域特徴情報を第２記憶部１１２（図９）に記憶させる。照合部１０２は、経路に沿う方向において第１のカメラより後に位置する複数の第２のカメラのそれぞれが生成した第２画像２２に含まれる人物から抽出された人領域特徴情報と第２記憶部１１２が記憶する登録人領域特徴情報とを照合することで第２画像２２から人物を特定することで、当該人物を追跡する。
　そして、照合部１０２は、第１画像２０に含まれる人物から顔の特徴情報を抽出できなかった場合、または、第１画像２０に含まれる人物から抽出される顔の特徴情報と顔の登録特徴情報との照合結果が不一致だった場合、第２画像２２から特定された人物から抽出される顔の特徴情報と、第１記憶部１１１が記憶する顔の登録特徴情報とを照合する。
　このように構成された本実施形態の情報処理装置１００の動作について説明する。図１２は、本実施形態の情報処理装置１００の動作の一例を示すフローチャートである。以下の説明では、第２記憶部１１２は図９のデータ構造を有するものとして説明するが、必ずしも照合結果フラグは必要ではなく、第２記憶部１１２は少なくとも人領域特徴情報を含んでいればよい。
　まず、経路の入り口に設置された第１カメラ１０ａが所定のエリアを撮像した第１画像２０を情報処理装置１００に送信する（ステップＳ１０１）。例えば、第１画像２０には、３人の人物Ａ、人物Ｂ、人物Ｃが写っているものとする。
　情報処理装置１００において、照合部１０２は、複数のカメラ１０のうちの第１カメラ１０ａ３人の人物（人物Ａ、人物Ｂ、人物Ｃ）が検出され、各々の顔の特徴情報が抽出される。そして、照合部１０２は、抽出した各顔の特徴情報について、第１記憶部１１１に記憶されている顔の登録特徴情報との照合処理（個人特定処理）をそれぞれ実行する（ステップＳ１１３）。
　ここでは、人物Ａについては、第１記憶部１１１に一致する顔の登録特徴情報が含まれていたものとする。つまり、人物Ａについては個人特定済みとなるので、登録部１０４は、人物Ａの照合結果フラグに一致したことを示す情報として「１」をセットし、人領域特徴情報と日時情報とに紐付けて照合結果フラグを第２記憶部１１２に記憶させる（ステップＳ２０１）。
　一方、人物Ｂと人物Ｃについては、第１記憶部１１１に一致する顔の特徴情報が含まれていなかったものとする。よって、登録部１０４は、人物Ｂと人物Ｃの照合結果フラグに不一致を示す情報として「０」をセットし、人領域特徴情報と日時情報とに紐付けて照合結果フラグを第２記憶部１１２に記憶させる（ステップＳ２０１）。
　そして、第１画像２０を取得した第１のタイミングより後に、経路に沿う方向において第１カメラ１０ａより後に位置する第２カメラ１０ｂから撮像された第２画像２２が情報処理装置１００に送信される（ステップＳ１０３）。情報処理装置１００において、照合部１０２は、第２カメラ１０ｂから第２画像２２を受信し、受信した第２画像２２から人領域を検出して人領域特徴情報を抽出する（ステップＳ１１９）。
　そして、照合部１０２は、第２画像２２から抽出された人領域特徴情報と、第２記憶部１１２に記憶されている登録人領域特徴情報との照合処理（人物特定処理）を行う（ステップＳ１２１）。そして、抽出された人領域特徴情報と一致する登録人領域特徴情報が第２記憶部１１２に含まれていた場合（ステップＳ１２３のＹＥＳ）、第２画像２２において、登録人領域特徴情報に対応する人物Ｂと人物Ｃが特定される（ステップＳ１２５）。この例では、第２記憶部１１２に記憶されている３人の人物Ａ、人物Ｂ、人物Ｃが特定される。
　そして、照合部１０２は、第２記憶部１１２を参照し、各人物の顔の特徴情報による照合結果が一致であることを示す照合結果フラグが「１」でない場合（ステップＳ２０３のＮＯ）、ステップＳ２０５に進む。照合結果が一致の場合、すなわち、照合結果フラグが「１」の場合（ステップＳ２０３のＹＥＳ）、ステップＳ２０５～ステップＳ２０９はバイパスして本処理を終了する。ここでは、人物Ａの照合結果フラグが１なので、人物Ａについては処理を終了する。人物Ｂと人物Ｃについて照合結果フラグが０なのでステップＳ２０５に進む。
　そして、照合部１０２は、特定された各人物から顔の特徴情報を抽出する（ステップＳ２０５）。ここでは、２人の人物（人物Ｂ、人物Ｃ）の各々の顔の特徴情報が抽出される。そして、照合部１０２は、抽出した各顔の特徴情報について、第１記憶部１１１に記憶されている顔の登録特徴情報との照合処理（個人特定処理）をそれぞれ実行する（ステップＳ２０７）。
　ここでは、人物Ｃについて、第１記憶部１１１に一致する顔の特徴情報が含まれていたものとする。つまり、人物Ｃについては個人特定済みとなるので、登録部１０４は、人物Ｃの照合結果フラグに一致したことを示す情報として「１」をセットし、人物Ｃに対応する人領域特徴情報と日時情報とに照合結果フラグを対応付けて記憶させ（ステップＳ２０９）、本処理を終了する。
　一方、人物Ｂについて、第１記憶部１１１に一致する顔の特徴情報が含まれていなかったものとする。登録部１０４は、人物Ｂの照合結果フラグに不一致を示す情報として「０」をセットし、人物Ｂに対応する人領域特徴情報と日時情報と照合結果フラグを対応付けて記憶させ（ステップＳ２０９）、本処理を終了する。
　このようにして、経路において複数のカメラを用いて撮像された第２画像２２を用いて、各人物（人物Ａ、人物Ｂ、人物Ｃ）の追跡を継続しながら、顔認証ができていない人物について顔認証を再試行できる。経路を通行している間に複数のカメラで撮像された複数の画像を用いて顔認証処理を繰り返し行うことで、最初にカメラに対して顔が向いていなかった人物が、後でカメラの方向に顔を向けた時に撮像された画像を用いて顔認証を実行して個人を特定することができる。
　ステップＳ２０９において、第２記憶部１１２に記憶される人領域特徴情報と、ステップＳ２０１で第２記憶部１１２に既に記憶されている人領域特徴情報との両方を、関連付けて記憶してもよい。あるいは、ステップＳ２０７で特定された人領域特徴情報で第２記憶部１１２の人領域特徴情報を上書きしてもよいし、ステップＳ２０１で第２記憶部１１２に既に記憶されている人領域特徴情報を残し照合結果フラグのみを更新してもよい。
　本フローチャートの処理は、カメラ１０から第２画像２２が送信される度にステップＳ１１９以降の処理が繰り返し実行される。
　また、第２画像２２において第１画像２０には含まれていなかった新たな人物Ｄが検出された場合、すなわち、第２画像２２から抽出された人領域特徴情報に一致する人領域特徴情報が第２記憶部１１２に記憶されていなかった場合（ステップＳ１２３のＮＯ）、当該第２画像２２を第１画像２０として、ステップＳ１１１に戻り、当該人領域特徴情報について新たな人物Ｄとして処理を繰り返してもよい。
　また、本実施形態において、ステップＳ２０９の後、図５（ａ）のステップＳ１３１～ステップＳ１３３、さらに、図５（ｂ）のステップＳ１３５、および、図６（ａ）のステップＳ１３５～ステップＳ１３７、又は図６（ｂ）のステップＳ１３５～ステップＳ１３９を実行してもよい。
　この構成によれば、人物が経路内の途中で引き返した場合であっても、第１画像２０が撮像された後のタイミングで撮像された第２画像２２を用いて第２記憶部１１２に記憶された人領域特徴情報を用いて人物を特定して追跡することができる。
　また、この構成においても、図７を用いて説明した出力部１２０を備えてもよい。
　具体的には、出力部１２０は、複数のカメラのうち、経路の最後または所定の位置に設置されたカメラの画像において、照合部１０２により特定された人物について、第１記憶部１１１が記憶する顔の登録特徴情報と一致しなかった場合、当該人物の人領域特徴情報に関する情報を出力する。
　図１３は、上述した各実施形態の情報処理装置を実現するコンピュータ８０の構成の一例を示す図である。
　コンピュータ８０は、ＣＰＵ（Central Processing Unit）８２、メモリ８４、メモリ８４にロードされた図１および図７の各情報処理装置の構成要素を実現するプログラム９０、そのプログラム９０を格納するストレージ８５、Ｉ／Ｏ（Input/Output）８６、およびネットワーク接続用インタフェース（通信Ｉ／Ｆ８７）を備える。
　ＣＰＵ８２、メモリ８４、ストレージ８５、Ｉ／Ｏ８６、通信Ｉ／Ｆ８７は、バス８９を介して互いに接続され、ＣＰＵ８２により情報処理装置全体が制御される。ただし、ＣＰＵ８２などを互いに接続する方法は、バス接続に限定されない。
　メモリ８４は、ＲＡＭ（Random Access Memory）やＲＯＭ（Read Only Memory）などのメモリである。ストレージ８５は、ハードディスク、ＳＳＤ（Solid State Drive）、またはメモリカードなどの記憶装置である。
　ストレージ８５は、ＲＡＭやＲＯＭなどのメモリであってもよい。ストレージ８５は、コンピュータ８０の内部に設けられてもよいし、コンピュータ８０がアクセス可能であれば、コンピュータ８０の外部に設けられ、コンピュータ８０と有線または無線で接続されてもよい。あるいは、コンピュータ８０に着脱可能に設けられてもよい。
　ＣＰＵ８２が、ストレージ８５に記憶されるプログラム９０をメモリ８４に読み出して実行することにより、各実施形態の情報処理装置の各ユニットの各機能を実現することができる。
　Ｉ／Ｏ８６は、コンピュータ８０と他の入出力装置間のデータおよび制御信号の入出力制御を行う。他の入出力装置とは、たとえば、コンピュータ８０に接続されるキーボード、タッチパネル、マウス、およびマイクロフォン等の入力装置（不図示）と、ディスプレイ、プリンタ、およびスピーカ等の出力装置（不図示）と、これらの入出力装置とコンピュータ８０のインタフェースとを含む。さらに、Ｉ／Ｏ８６は、他の記録媒体の読み取りまたは書き込み装置（不図示）とのデータの入出力制御を行ってもよい。
　通信Ｉ／Ｆ８７は、コンピュータ８０と外部の装置との通信を行うためのネットワーク接続用インタフェースである。通信Ｉ／Ｆ８７は、有線回線と接続するためのネットワークインタフェースでもよいし、無線回線と接続するためのネットワークインタフェースでもよい。たとえば、情報処理装置を実現するコンピュータ８０は、通信Ｉ／Ｆ８７によりネットワークを介して少なくとも１台のカメラ１０と接続される。
　各実施形態の情報処理装置の各構成要素は、本図のコンピュータ８０のハードウェアとソフトウェアの任意の組合せによって実現される。そして、その実現方法、装置にはいろいろな変形例があることは、当業者には理解されるところである。上述した各実施形態の情報処理装置を示す機能ブロック図は、ハードウェア単位の構成ではなく、論理的な機能単位のブロックを示している。
　情報処理装置は、複数のコンピュータ８０により構成されてもよいし、仮想サーバにより実現されてもよい。コンピュータ８０は、本システムを利用する監視対象の場所（例えば、施設内）に設置されてもよいし、クラウドコンピューティングの形態で提供されてもよい。施設内のカメラをネットワークに接続し、クラウド上のサーバを構成するコンピュータ８０に撮像画像を送信してもよい。また、施設内のコンピュータ８０とクラウド上のコンピュータ８０を組み合わせ、情報処理装置の各ユニットの各機能を両者に分散させて実行させてもよい。
　また、状況に応じて、画像解析処理を行うコンピュータ８０を、施設内のコンピュータ８０とクラウド上のコンピュータ８０から選択してもよい。例えば、通常は施設内のコンピュータ８０で認証処理を行い、高精度な解析処理を行いたい場合には、クラウド上のコンピュータ８０で認証処理を行う構成としてもよい。
　以上、図面を参照して本発明の実施形態について述べたが、これらは本発明の例示であり、上記以外の様々な構成を採用することもできる。
　たとえば、情報処理装置は、さらに、特定人物の特徴情報が記憶されている特定人物途中情報データベースを含み、第１記憶部１１１が記憶する顔の特徴情報を用いた照合処理では一致しなかった人物に対し、照合部１０２は、特定人物特徴情報データベースを用いて照合処理を行ってもよい。
　例えば、第１記憶部１１１には従業員の顔の特徴情報が記憶されていて、特定人物特徴情報データベースには、ＶＩＰ（Very Important Person）、または、犯罪歴のある人物や要注意人物としてブラックリストに載っている人物等、特に見つけたい特定人物の顔の特徴情報が記憶されていてもよい。従業員を認証した後、認証されなかった人物に対して、特定人物の特徴情報との照合処理を行うことで、特定人物を検出できる可能性がある。出力部１２０は、特定人物が検出された場合、特定人物に関する情報を出力してもよい。
　また、照合部１０２は、第１の登録特徴情報（顔の登録特徴情報）又は第２の登録特徴情報（登録人領域特徴情報）との照合処理において、所定回数以上一致した場合に、照合結果を一致としてもよい。所定回数は、特徴情報別に設定できてよい。情報処理装置１００は、所定回数の設定を受け付けるメニュー画面を表示してオペレータからの操作を受け付け、設定することができる。
（実施例１）
　本実施例では、所定エリア内で、所定時間以上、又は所定時刻までに、認証されない人物を見つける例について説明する。本実施例は、第１実施形態の情報処理装置１００の構成を用いた例である。
　図１４は、所定エリア内を撮像したカメラ１０の映像をコンピュータ８０のディスプレイ（不図示）に表示した画面の例を示す図である。図１５は、第２記憶部１１２に記憶されたデータの変化を示す図である。なお、図１５では、模式的にデータ内容を示してあり、例えば、人物Ｃの人領域に対応する人領域特徴情報は、「人検出」の項目に「Ｃ」と示してある。
　図１４（ａ）は、第１時刻（９時１０分）の映像画面である。照合部１０２により３人の人物Ａ、人物Ｂ、人物Ｃの人領域が検出されたものとする。そして、照合部１０２による第１記憶部１１１が記憶する顔の特徴情報との照合処理により人物Ａと人物Ｂについては一致する顔の特徴情報が見つかり、認証済みとなったが、人物Ｃについては、一致する顔の特徴情報が見つからず、未認証となったとする。
　この時の第２記憶部１１２に記憶されている情報の例を図１５（ａ）に示す。図１５（ａ）の例では、第２記憶部１１２には、顔認証がされなかった人領域の人領域特徴情報と、人領域特徴情報を抽出した画像の撮影日時情報とが記憶されている。ここでは、顔認証されなかった人物Ｃの人領域特徴情報が記憶されている。
　次に、図１４（ｂ）は、第１時刻より後の第２時刻（９時２０分）の映像画面である。照合部１０２により既に照合処理が完了し、認証済みの人物Ａ、人物Ｂについて、出力部１２０により、画面上の人領域に対応付けて、「ＯＫ」マークが重畳表示されている。また、認証できなかった人物Ｃ、人物Ｄについて、出力部１２０により、画面上の人領域に対応付けて「ＮＧ」マークが重畳表示されている。
　図１５（ｂ）の第２記憶部１１２には、新たに検出された人物Ｄの人領域の人領域特徴情報（Ｄ）がさらに記憶されている。
　さらに、図１４（ｃ）は、第２時刻の後の第３時刻（９時２５分）の映像画面である。照合部１０２により人物Ｄについても顔認証できたので、人物Ｄについても、出力部１２０により画面上の人領域に対応付けて、「ＯＫ」マークが重畳表示されている。人物Ｃについては、顔認証ができなかったので、出力部１２０により、画面上の人領域に対応付けて「ＮＧ」マークが重畳表示されている。そして、人物Ｄについて顔認証されたので、図１５（ｃ）に示すように、削除部（不図示）により第２記憶部１１２から人物Ｄの人領域に対応する人領域特徴情報のレコードは削除されている。
　そして、所定時間が経過した第４時刻（１０時）において、第２記憶部１１２に人物Ｃの人領域特徴情報のみが残っているため、図１４（ｄ）に示すように、出力部１２０は、未確認人物として人物Ｃをクローズアップした画像をディスプレイに表示する。
　図１６は、第２記憶部１１２の他のデータ構造の例を示す図である。
　図１６の例は、第４の実施形態の情報処理装置１００の構成を用いた例を示している。
　図１６の第２記憶部１１２には、人領域特徴情報と、人領域特徴情報を抽出した画像の撮影日時情報と、人領域特徴情報に対応する人領域において顔認証の結果（認証された場合は「済」、認証できなかった場合は「未」）と、顔認証された場合に照合処理を実行した日時情報とが記憶されている。なお、図１６では、模式的に顔認証について「済」および「未」と記載しているが、実際には、フラグがセットされてよい。
　図１６の例では、所定時間が経過した第４時刻（１０時）において、第２記憶部１１２の顔認証の結果が、「未」となっている人物Ｃの人領域特徴情報（Ｃ）に関する情報を出力する。ここでは、図１４（ｄ）に示すように、出力部１２０は、未確認人物として人物Ｃをクローズアップした画像をディスプレイに表示する。
（実施例２）
　本実施例では、経路に沿って設置された複数のカメラを用いて、少なくとも経路の入口から入って出口から出るまでの間に認証できなかった人物を見つける例について説明する。本実施例は、第６の実施形態の情報処理装置１００の構成を用いた例である。
　図１７は、ある通路に沿って４台のカメラ（１０－１～１０－４）が設置されている場所の状況を模式的に示した図である。経路の両端にカメラ１０－１とカメラ１０－４が設置されていて、通路の途中にカメラ１０－１よりにカメラ１０－２、カメラ１０－４よりにカメラ１０－３が設置されている。
　複数の人物Ａ～Ｆが通路を歩いている。各人物に付してある矢印は人物の進行方向を示している。また、カメラ１０－１とカメラ１０－４の位置には、通路への入退場を行うゲート（不図示）が設置されているものとする。
　図１７（ａ）から順に、図１７（ｂ）、図１７（ｃ）と時間が経過した状態を示している。例えば、人物Ｄは、図１７（ａ）の時点で入口から通路に入場し、図１７（ｂ）の時点でカメラ１０－２の前を通過している。そして、図１７（ｃ）の時点では、カメラ１０－３の前を通過している。人物Ｄは、通路に入場後、まもなくして顔認証が完了している。
　図中、「ＯＫ」マークが付されている人物は、顔認証済みであり、「ＮＧ」マークが付されている人物は、顔認証ができてない人物を示している。図１７のように、出力部１２０は、各カメラで撮影された画像を合成してディスプレイに顔認証の結果を示すマークを重畳表示してもよい。あるいは、カメラ毎の映像に顔認証の結果を示すマークを重畳表示してもよい。
　図１８は、第２記憶部１１２に記憶されたデータの変化を示す図である。本実施形態では、第２記憶部１１２は、複数のテーブルを含む。各カメラで撮像された画像において検出された人領域特徴情報と、検出された日時情報とが記憶されている４つのテーブルＴ１～Ｔ４と、各カメラで検出された人領域特徴情報の情報を統合し、人領域特徴情報の人領域別に照合部１０２による顔認証結果と、認証日時とが記憶されているテーブルＴ５とを含む。
　図１８（ａ）から順に、図１８（ｂ）、図１８（ｃ）と時間が経過した状態を示している。
　例えば、人物Ｂは、図１８（ａ）の時点で、カメラ１０－３の前を通過していて、カメラ１０－４とカメラ１０－３の画像で人領域特徴情報が検出され、テーブルＴ４とテーブルＴ３に記憶されている。そして、照合部１０２による顔認証ができていないことがテーブルＴ５に記憶されている。
　そして、人物Ｂは、図１８（ｂ）の時点で、カメラ１０－２の前を通過していて、カメラ１０－２の画像でも人領域特徴情報が検出され、テーブルＴ２にも記憶されている。そして、照合部１０２による顔認証ができてないことがテーブルＴ５に記憶されている。
　さらに、人物Ｂは、図１８（ｃ）の時点で、カメラ１０－１の前を通過し、カメラ１０－１の画像で人領域特徴情報が検出され、テーブルＴ１に記憶されている。そして、照合部１０２により顔認証ができていないことがテーブルＴ５に記憶されている。よって、出力部１２０は、人物Ｂは経路の最後のカメラで撮像された画像においても顔認証されていないので、人物Ｂについてアラートを出力する。
（実施例３）
　本実施例では、空港内において、監視カメラを用いて撮影した画像を用いる。登録部１０４は、空港内の人物の人領域特徴情報を第２記憶部１１２に記憶させる。
　また、チェックイン時にパスポート情報の取得と顔の撮影をカメラにより行い、登録部１０４は、記憶装置１１０の第１記憶部１１１は、チェックイン済みの人の顔の特徴情報をパスポート情報と紐づけて記憶する。
　そして、空港内の各カメラにより撮影された映像について、照合部１０２が登録人領域特徴情報を用いて人物を追跡しながら、顔認証処理を実行する。基準時間以上照合に成功しない人物を特定し、出力部１２０はアラートを上げる。ここで、基準時間以上照合に成功しない人物とは、長時間、未チェックインなのに空港内をうろうろしている要注意人物である。
　また、記憶装置１１０の第１記憶部１１１に顔の特徴情報が記憶されたチェックイン済みの人のうち、保安検査を通過した人を照合の対象から外す。具体的には、第１記憶部１１１から顔データを削除する。または、第１記憶部１１１の顔の特徴情報にフラグ付けをして照合の対象から除外する。
　以上、実施形態および実施例を参照して本願発明を説明したが、本願発明は上記実施形態および実施例に限定されるものではない。本願発明の構成や詳細には、本願発明のスコープ内で当業者が理解し得る様々な変更をすることができる。
　なお、本発明において利用者に関する情報を取得、利用する場合は、これを適法に行うものとする。
　上記の実施形態の一部または全部は、以下の付記のようにも記載されうるが、以下に限られない。
１．　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶手段が記憶する第１の登録特徴情報とを照合する照合手段と、
　前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記照合手段による照合結果が不一致だった場合、当該人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶手段に記憶させる登録手段と、を備え、
　前記照合手段は、第２画像に含まれる人物から抽出された前記第２の特徴情報と前記記憶手段が記憶する前記第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定する、情報処理装置。
２．　１．に記載の情報処理装置において、
　前記照合手段は、前記第２画像から特定された前記人物から抽出される前記第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、
情報処理装置。
３．　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶手段が記憶する第１の登録特徴情報とを照合する照合手段と、
　前記人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶手段に記憶させる登録手段と、を備え、
　前記照合手段は、第２画像に含まれる人物から抽出された第２の特徴情報と前記記憶手段が記憶する第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定し、
　前記照合手段は、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との照合結果が不一致だった場合、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、情報処理装置。
４．　１．から３．のいずれか一つに記載の情報処理装置において、
　前記照合手段は、前記第２画像から前記第２の登録特徴情報に対応する人物を特定する処理、および、特定された当該人物から抽出された前記第１の特徴情報と前記第１の登録特徴情報とを照合する処理を、前記照合結果が一致となるまで繰り返す、
情報処理装置。
５．　１．から４．のいずれか一つに記載の情報処理装置において、
　前記第２画像から特定された前記人物から抽出された前記第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報との照合結果が一致となった場合、前記記憶手段から当該人物の前記第２の登録特徴情報を削除する削除手段をさらに備える情報処理装置。
６．　１．から５．のいずれか一つに記載の情報処理装置において、
　前記第２画像は前記第１画像とは異なるカメラで撮影される、情報処理装置。
７．　１．から６．のいずれか一つに記載の情報処理装置において、
　前記第１画像は、経路に沿って設置された複数のカメラのうちの第１のカメラにより撮像され、前記第２画像は、前記経路に沿う方向において前記第１のカメラより後に位置する第２のカメラにより撮像される、情報処理装置。
８．　７．に記載の情報処理装置において、
　複数の第２のカメラのうち、前記経路に沿う方向において最後または所定の位置に設置された前記第２のカメラが生成した前記第２画像から前記照合手段が特定した前記人物について、前記第１の登録特徴情報との照合結果が不一致だった場合、当該人物から抽出された第２の特徴情報に関する情報を出力する出力手段を備える情報処理装置。
９．　１．から８．のいずれか一つに記載の情報処理装置において、
　前記第１画像は第１のタイミングで撮像され、前記第２画像は、前記第１のタイミングより後に撮像される、情報処理装置。
１０．　１．から９．のいずれか一つに記載の情報処理装置において、
　前記登録手段は、前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との前記照合結果を示す情報を、前記第２の登録特徴情報に対応付けて前記記憶手段に記憶させ、
　前記照合手段は、前記照合結果を示す情報が、前記照合結果が不一致だったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、情報処理装置。
１１．　１．から１０．のいずれか一つに記載の情報処理装置において、
　前記登録手段は、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す情報を、前記第２の登録特徴情報に対応付けて前記記憶手段に記憶させ、
　前記照合手段は、前記情報が、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、情報処理装置。
１２．　１．から１１．のいずれか一つに記載の情報処理装置において、
　前記登録手段は、前記記憶手段に、時刻情報とともに前記第２の特徴情報を記憶させ、
　前記時刻情報が示す時刻から基準時間以上経過しても、前記第２画像から特定された前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第２画像から特定された前記人物から抽出される前記第１の特徴情報との前記照合結果が不一致だった場合、当該第２の特徴情報に関する情報を出力する出力手段をさらに備える情報処理装置。
１３．　１．から１２．のいずれか一つに記載の情報処理装置において、
　前記照合手段は、前記第１の登録特徴情報又は前記第２の登録特徴情報との照合処理において、所定回数以上一致した場合に、当該照合結果を一致とする、情報処理装置。
１４．　１．から１３．のいずれか一つに記載の情報処理装置において、
　前記第１の特徴情報は顔の特徴情報であり、前記第２の特徴情報は顔以外の領域を含む特徴情報である情報処理装置。
１５．　１．から１４．のいずれか一つに記載の情報処理装置において、
　基準のタイミングにおいて前記記憶手段に記憶されている前記第２の登録特徴情報に関する情報を出力する出力手段をさらに備える情報処理装置。
１６．　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶手段が記憶する第１の登録特徴情報とを照合する照合手段と、
　前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記照合手段による照合結果が不一致だった場合、当該人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶手段に記憶させる登録手段と、を備え、
　前記照合手段は、第２画像に含まれる人物から抽出された前記第２の特徴情報と前記記憶手段が記憶する前記第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定する、情報処理システム。
１７．　１６．に記載の情報処理システムにおいて、
　前記照合手段は、前記第２画像から特定された前記人物から抽出される前記第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、
情報処理システム。
１８．　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶手段が記憶する第１の登録特徴情報とを照合する照合手段と、
　前記人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶手段に記憶させる登録手段と、を備え、
　前記照合手段は、第２画像に含まれる人物から抽出された第２の特徴情報と前記記憶手段が記憶する第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定し、
　前記照合手段は、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との照合結果が不一致だった場合、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、情報処理システム。
１９．　１６．から１８．のいずれか一つに記載の情報処理システムにおいて、
　前記照合手段は、前記第２画像から前記第２の登録特徴情報に対応する人物を特定する処理、および、特定された当該人物から抽出された前記第１の特徴情報と前記第１の登録特徴情報とを照合する処理を、前記照合結果が一致となるまで繰り返す、
情報処理システム。
２０．　１６．から１９．のいずれか一つに記載の情報処理システムにおいて、
　前記第２画像から特定された前記人物から抽出された前記第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報との照合結果が一致となった場合、前記記憶手段から当該人物の前記第２の登録特徴情報を削除する削除手段をさらに備える情報処理システム。
２１．　１６．から２０．のいずれか一つに記載の情報処理システムにおいて、
　前記第２画像は前記第１画像とは異なるカメラで撮影される、情報処理システム。
２２．　１６．から２１．のいずれか一つに記載の情報処理システムにおいて、
　前記第１画像は、経路に沿って設置された複数のカメラのうちの第１のカメラにより撮像され、前記第２画像は、前記経路に沿う方向において前記第１のカメラより後に位置する第２のカメラにより撮像される、情報処理システム。
２３．　２２．に記載の情報処理システムにおいて、
　複数の第２のカメラのうち、前記経路に沿う方向において最後または所定の位置に設置された前記第２のカメラが生成した前記第２画像から前記照合手段が特定した前記人物について、前記第１の登録特徴情報との照合結果が不一致だった場合、当該人物から抽出された第２の特徴情報に関する情報を出力する出力手段を備える情報処理システム。
２４．　１６．から２３．のいずれか一つに記載の情報処理システムにおいて、
　前記第１画像は第１のタイミングで撮像され、前記第２画像は、前記第１のタイミングより後に撮像される、情報処理システム。
２５．　１６．から２４．のいずれか一つに記載の情報処理システムにおいて、
　前記登録手段は、前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との前記照合結果を示す情報を、前記第２の登録特徴情報に対応付けて前記記憶手段に記憶させ、
　前記照合手段は、前記照合結果を示す情報が、前記照合結果が不一致だったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、情報処理システム。
２６．　１６．から２５．のいずれか一つに記載の情報処理システムにおいて、
　前記登録手段は、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す情報を、前記第２の登録特徴情報に対応付けて前記記憶手段に記憶させ、
　前記照合手段は、前記情報が、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、情報処理システム。
２７．　１６．から２６．のいずれか一つに記載の情報処理システムにおいて、
　前記登録手段は、前記記憶手段に、時刻情報とともに前記第２の特徴情報を記憶させ、
　前記時刻情報が示す時刻から基準時間以上経過しても、前記第２画像から特定された前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第２画像から特定された前記人物から抽出される前記第１の特徴情報との前記照合結果が不一致だった場合、当該第２の特徴情報に関する情報を出力する出力手段をさらに備える情報処理システム。
２８．　１６．から２７．のいずれか一つに記載の情報処理システムにおいて、
　前記照合手段は、前記第１の登録特徴情報又は前記第２の登録特徴情報との照合処理において、所定回数以上一致した場合に、当該照合結果を一致とする、情報処理システム。
２９．　１６．から２８．のいずれか一つに記載の情報処理システムにおいて、
　前記第１の特徴情報は顔の特徴情報であり、前記第２の特徴情報は顔以外の領域を含む特徴情報である情報処理システム。
３０．　１６．から２９．のいずれか一つに記載の情報処理システムにおいて、
　基準のタイミングにおいて前記記憶手段に記憶されている前記第２の登録特徴情報に関する情報を出力する出力手段をさらに備える情報処理システム。
３１．　情報処理装置が、
　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶装置が記憶する第１の登録特徴情報とを照合し、
　前記人物から前記第１の特徴情報を抽出できなかった場合、または、照合結果が不一致だった場合、当該人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶装置に記憶させ、
　第２画像に含まれる人物から抽出された前記第２の特徴情報と前記記憶装置が記憶する前記第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定する、情報処理方法。
３２．　３１．に記載の情報処理方法において、
　前記情報処理装置が、
　前記第２画像から特定された前記人物から抽出される前記第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する、
情報処理方法。
３３．　情報処理装置が、
　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶装置が記憶する第１の登録特徴情報とを照合し、
　前記人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶装置に記憶させ、
　第２画像に含まれる人物から抽出された第２の特徴情報と前記記憶装置が記憶する第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定し、
　前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との照合結果が不一致だった場合、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する、情報処理方法。
３４．　３１．から３３．のいずれか一つに記載の情報処理方法において、
　前記情報処理装置が、
　前記第２画像から前記第２の登録特徴情報に対応する人物を特定する処理、および、特定された当該人物から抽出された前記第１の特徴情報と前記第１の登録特徴情報とを照合する処理を、前記照合結果が一致となるまで繰り返す、
情報処理方法。
３５．　３１．から３４．のいずれか一つに記載の情報処理方法において、
　前記情報処理装置が、さらに、
　前記第２画像から特定された前記人物から抽出された前記第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報との照合結果が一致となった場合、前記記憶装置から当該人物の前記第２の登録特徴情報を削除する、情報処理方法。
３６．　３１．から３５．のいずれか一つに記載の情報処理方法において、
　前記第２画像は前記第１画像とは異なるカメラで撮影される、情報処理方法。
３７．　３１．から３６．のいずれか一つに記載の情報処理方法において、
　前記第１画像は、経路に沿って設置された複数のカメラのうちの第１のカメラにより撮像され、前記第２画像は、前記経路に沿う方向において前記第１のカメラより後に位置する第２のカメラにより撮像される、情報処理方法。
３８．　３７．に記載の情報処理方法において、
　前記情報処理装置が、
　複数の第２のカメラのうち、前記経路に沿う方向において最後または所定の位置に設置された前記第２のカメラが生成した前記第２画像から特定した前記人物について、前記第１の登録特徴情報との照合結果が不一致だった場合、当該人物から抽出された第２の特徴情報に関する情報を出力する、情報処理方法。
３９．　３１．から３８．のいずれか一つに記載の情報処理方法において、
　前記第１画像は第１のタイミングで撮像され、前記第２画像は、前記第１のタイミングより後に撮像される、情報処理方法。
４０．　３１．から３９．のいずれか一つに記載の情報処理方法において、
　前記情報処理装置が、
　前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との前記照合結果を示す情報を、前記第２の登録特徴情報に対応付けて前記記憶装置に記憶させ、
　前記照合結果を示す情報が、前記照合結果が不一致だったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する、情報処理方法。
４１．　３１．から４０．のいずれか一つに記載の情報処理方法において、
　前記情報処理装置が、
　前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す情報を、前記第２の登録特徴情報に対応付けて前記記憶装置に記憶させ、
　前記情報が、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する、情報処理方法。
４２．　３１．から４１．のいずれか一つに記載の情報処理方法において、
　前記情報処理装置が、さらに、
　前記記憶装置に、時刻情報とともに前記第２の特徴情報を記憶させ、
　前記時刻情報が示す時刻から基準時間以上経過しても、前記第２画像から特定された前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第２画像から特定された前記人物から抽出される前記第１の特徴情報との前記照合結果が不一致だった場合、当該第２の特徴情報に関する情報を出力する、情報処理方法。
４３．　３１．から４２．のいずれか一つに記載の情報処理方法において、
　前記情報処理装置が、
　前記第１の登録特徴情報又は前記第２の登録特徴情報との照合処理において、所定回数以上一致した場合に、当該照合結果を一致とする、情報処理方法。
４４．　３１．から４３．のいずれか一つに記載の情報処理方法において、
　前記第１の特徴情報は顔の特徴情報であり、前記第２の特徴情報は顔以外の領域を含む特徴情報である情報処理方法。
４５．　３１．から４４．のいずれか一つに記載の情報処理方法において、
　前記情報処理装置が、さらに、
　基準のタイミングにおいて前記記憶装置に記憶されている前記第２の登録特徴情報に関する情報を出力する、情報処理方法。
４６．　コンピュータに、
　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶装置が記憶する第１の登録特徴情報とを照合する手順、
　前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記照合する手順における照合結果が不一致だった場合、当該人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶装置に記憶させる手順、
　第２画像に含まれる人物から抽出された前記第２の特徴情報と前記記憶装置が記憶する前記第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定する手順、を実行させるためのプログラム。
４７．　４６．に記載のプログラムにおいて、
　コンピュータに、
　前記第２画像から特定された前記人物から抽出される前記第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する手順、を実行させるためのプログラム。
４８．　コンピュータに、
　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶装置が記憶する第１の登録特徴情報とを照合する手順、
　前記人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶装置に記憶させる手順、
　第２画像に含まれる人物から抽出された第２の特徴情報と前記記憶装置が記憶する第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定する手順、
　前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との照合結果が不一致だった場合、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する手順、を実行させるためのプログラム。
４９．　４６．から４８．のいずれか一つに記載のプログラムにおいて、
　前記第２画像から前記第２の登録特徴情報に対応する人物を特定する処理、および、特定された当該人物から抽出された前記第１の特徴情報と前記第１の登録特徴情報とを照合する処理を、前記照合結果が一致となるまで繰り返す手順、を実行させるためのプログラム。
５０．　４６．から４９．のいずれか一つに記載のプログラムにおいて、
　コンピュータに、
　前記第２画像から特定された前記人物から抽出された前記第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報との照合結果が一致となった場合、前記記憶装置から当該人物の前記第２の登録特徴情報を削除する手順、をさらに実行させるためのプログラム。
５１．　４６．から５０．のいずれか一つに記載のプログラムにおいて、
　前記第２画像は前記第１画像とは異なるカメラで撮影される、プログラム。
５２．　４６．から５１．のいずれか一つに記載のプログラムにおいて、
　前記第１画像は、経路に沿って設置された複数のカメラのうちの第１のカメラにより撮像され、前記第２画像は、前記経路に沿う方向において前記第１のカメラより後に位置する第２のカメラにより撮像される、プログラム。
５３．　５２．に記載のプログラムにおいて、
　コンピュータに、
　複数の第２のカメラのうち、前記経路に沿う方向において最後または所定の位置に設置された前記第２のカメラが生成した前記第２画像から特定した前記人物について、前記第１の登録特徴情報との照合結果が不一致だった場合、当該人物から抽出された第２の特徴情報に関する情報を出力する手順、を実行させるためのプログラム。
５４．　４６．から５３．のいずれか一つに記載のプログラムにおいて、
　前記第１画像は第１のタイミングで撮像され、前記第２画像は、前記第１のタイミングより後に撮像される、プログラム。
５５．　４６．から５４．のいずれか一つに記載のプログラムにおいて、
　コンピュータに、
　前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との前記照合結果を示す情報を、前記第２の登録特徴情報に対応付けて前記記憶装置に記憶させる手順、
　前記照合結果を示す情報が、前記照合結果が不一致だったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する手順、を実行させるためのプログラム。
５６．　４６．から５５．のいずれか一つに記載のプログラムにおいて、
　コンピュータに、
　前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す情報を、前記第２の登録特徴情報に対応付けて前記記憶装置に記憶させる手順、
　前記情報が、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する手順、を実行させるためのプログラム。
５７．　４６．から５６．のいずれか一つに記載のプログラムにおいて、
　コンピュータに、
　前記記憶装置に、時刻情報とともに前記第２の特徴情報を記憶させる手順、
　前記時刻情報が示す時刻から基準時間以上経過しても、前記第２画像から特定された前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第２画像から特定された前記人物から抽出される前記第１の特徴情報との前記照合結果が不一致だった場合、当該第２の特徴情報に関する情報を出力する手順、をさらに実行させるためのプログラム。
５８．　４６．から５７．のいずれか一つに記載のプログラムにおいて、
　コンピュータに、
　前記第１の登録特徴情報又は前記第２の登録特徴情報との照合処理において、所定回数以上一致した場合に、当該照合結果を一致とする手順、を実行させるためのプログラム。
５９．　４６．から５８．のいずれか一つに記載のプログラムにおいて、
　前記第１の特徴情報は顔の特徴情報であり、前記第２の特徴情報は顔以外の領域を含む特徴情報であるプログラム。
６０．　４６．から５９．のいずれか一つに記載のプログラムにおいて、
　コンピュータに、
　基準のタイミングにおいて前記記憶装置に記憶されている前記第２の登録特徴情報に関する情報を出力する手順、をさらに実行させるためのプログラム。
６１．　経路に沿って設置された複数のカメラのそれぞれが生成した画像を処理する情報処理装置であって、
　前記複数のカメラのうちの第１のカメラにより撮像される第１画像に含まれる人物から抽出される第１の特徴情報と、記憶手段が記憶する第１の登録特徴情報とを照合する照合手段と、
　前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記照合手段による照合結果が不一致だった場合、当該人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶手段に登録する登録手段と、を備え、
　前記照合手段は、前記経路に沿う方向において前記第１のカメラより後に位置する第２のカメラにより撮像される第２画像に含まれる人物から抽出された前記第２の特徴情報と前記記憶手段が記憶する前記第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定する、情報処理装置。
６２．　経路に沿って設置された複数のカメラのそれぞれが生成した画像を処理する情報処理装置であって、
　前記複数のカメラのうちの第１のカメラにより撮像される第１画像に含まれる人物から抽出される第１の特徴情報と、記憶手段が記憶する第１の登録特徴情報とを照合する照合手段と、
　前記人物から抽出される第２の特徴情報を前記記憶手段に登録する登録手段と、を備え、
　前記照合手段は、前記経路に沿う方向において前記第１のカメラより後に位置する第２のカメラにより撮像される第２画像に含まれる人物から抽出された前記第２の特徴情報と前記記憶手段が記憶する第２の登録特徴情報とを照合することで前記第２画像から前記人物を特定し、
　前記照合手段は、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第１画像に含まれる人物から抽出される前記第１の特徴情報との照合結果が不一致だった場合、前記第２画像から特定された前記人物から抽出される前記第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、情報処理装置。

Claims (60)

  1. 　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶手段が記憶する第１の登録特徴情報とを照合する照合手段と、
    　前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記照合手段による照合結果が不一致だった場合、当該人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶手段に記憶させる登録手段と、を備え、
    　前記照合手段は、第２画像に含まれる人物から抽出された前記第２の特徴情報と前記記憶手段が記憶する前記第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定する、情報処理装置。
  2. 　請求項１に記載の情報処理装置において、
    　前記照合手段は、前記第２画像から特定された前記人物から抽出される前記第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、
    情報処理装置。
  3. 　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶手段が記憶する第１の登録特徴情報とを照合する照合手段と、
    　前記人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶手段に記憶させる登録手段と、を備え、
    　前記照合手段は、第２画像に含まれる人物から抽出された第２の特徴情報と前記記憶手段が記憶する第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定し、
    　前記照合手段は、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との照合結果が不一致だった場合、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、情報処理装置。
  4. 　請求項１から３のいずれか一項に記載の情報処理装置において、
    　前記照合手段は、前記第２画像から前記第２の登録特徴情報に対応する人物を特定する処理、および、特定された当該人物から抽出された前記第１の特徴情報と前記第１の登録特徴情報とを照合する処理を、前記照合結果が一致となるまで繰り返す、
    情報処理装置。
  5. 　請求項１から４のいずれか一項に記載の情報処理装置において、
    　前記第２画像から特定された前記人物から抽出された前記第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報との照合結果が一致となった場合、前記記憶手段から当該人物の前記第２の登録特徴情報を削除する削除手段をさらに備える情報処理装置。
  6. 　請求項１から５のいずれか一項に記載の情報処理装置において、
    　前記第２画像は前記第１画像とは異なるカメラで撮影される、情報処理装置。
  7. 　請求項１から６のいずれか一項に記載の情報処理装置において、
    　前記第１画像は、経路に沿って設置された複数のカメラのうちの第１のカメラにより撮像され、前記第２画像は、前記経路に沿う方向において前記第１のカメラより後に位置する第２のカメラにより撮像される、情報処理装置。
  8. 　請求項７に記載の情報処理装置において、
    　複数の第２のカメラのうち、前記経路に沿う方向において最後または所定の位置に設置された前記第２のカメラが生成した前記第２画像から前記照合手段が特定した前記人物について、前記第１の登録特徴情報との照合結果が不一致だった場合、当該人物から抽出された第２の特徴情報に関する情報を出力する出力手段を備える情報処理装置。
  9. 　請求項１から８のいずれか一項に記載の情報処理装置において、
    　前記第１画像は第１のタイミングで撮像され、前記第２画像は、前記第１のタイミングより後に撮像される、情報処理装置。
  10. 　請求項１から９のいずれか一項に記載の情報処理装置において、
    　前記登録手段は、前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との前記照合結果を示す情報を、前記第２の登録特徴情報に対応付けて前記記憶手段に記憶させ、
    　前記照合手段は、前記照合結果を示す情報が、前記照合結果が不一致だったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、情報処理装置。
  11. 　請求項１から１０のいずれか一項に記載の情報処理装置において、
    　前記登録手段は、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す情報を、前記第２の登録特徴情報に対応付けて前記記憶手段に記憶させ、
    　前記照合手段は、前記情報が、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、情報処理装置。
  12. 　請求項１から１１のいずれか一項に記載の情報処理装置において、
    　前記登録手段は、前記記憶手段に、時刻情報とともに前記第２の特徴情報を記憶させ、
    　前記時刻情報が示す時刻から基準時間以上経過しても、前記第２画像から特定された前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第２画像から特定された前記人物から抽出される前記第１の特徴情報との前記照合結果が不一致だった場合、当該第２の特徴情報に関する情報を出力する出力手段をさらに備える情報処理装置。
  13. 　請求項１から１２のいずれか一項に記載の情報処理装置において、
    　前記照合手段は、前記第１の登録特徴情報又は前記第２の登録特徴情報との照合処理において、所定回数以上一致した場合に、当該照合結果を一致とする、情報処理装置。
  14. 　請求項１から１３のいずれか一項に記載の情報処理装置において、
    　前記第１の特徴情報は顔の特徴情報であり、前記第２の特徴情報は顔以外の領域を含む特徴情報である情報処理装置。
  15. 　請求項１から１４のいずれか一項に記載の情報処理装置において、
    　基準のタイミングにおいて前記記憶手段に記憶されている前記第２の登録特徴情報に関する情報を出力する出力手段をさらに備える情報処理装置。
  16. 　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶手段が記憶する第１の登録特徴情報とを照合する照合手段と、
    　前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記照合手段による照合結果が不一致だった場合、当該人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶手段に記憶させる登録手段と、を備え、
    　前記照合手段は、第２画像に含まれる人物から抽出された前記第２の特徴情報と前記記憶手段が記憶する前記第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定する、情報処理システム。
  17. 　請求項１６に記載の情報処理システムにおいて、
    　前記照合手段は、前記第２画像から特定された前記人物から抽出される前記第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、
    情報処理システム。
  18. 　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶手段が記憶する第１の登録特徴情報とを照合する照合手段と、
    　前記人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶手段に記憶させる登録手段と、を備え、
    　前記照合手段は、第２画像に含まれる人物から抽出された第２の特徴情報と前記記憶手段が記憶する第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定し、
    　前記照合手段は、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との照合結果が不一致だった場合、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、情報処理システム。
  19. 　請求項１６から１８のいずれか一項に記載の情報処理システムにおいて、
    　前記照合手段は、前記第２画像から前記第２の登録特徴情報に対応する人物を特定する処理、および、特定された当該人物から抽出された前記第１の特徴情報と前記第１の登録特徴情報とを照合する処理を、前記照合結果が一致となるまで繰り返す、
    情報処理システム。
  20. 　請求項１６から１９のいずれか一項に記載の情報処理システムにおいて、
    　前記第２画像から特定された前記人物から抽出された前記第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報との照合結果が一致となった場合、前記記憶手段から当該人物の前記第２の登録特徴情報を削除する削除手段をさらに備える情報処理システム。
  21. 　請求項１６から２０のいずれか一項に記載の情報処理システムにおいて、
    　前記第２画像は前記第１画像とは異なるカメラで撮影される、情報処理システム。
  22. 　請求項１６から２１のいずれか一項に記載の情報処理システムにおいて、
    　前記第１画像は、経路に沿って設置された複数のカメラのうちの第１のカメラにより撮像され、前記第２画像は、前記経路に沿う方向において前記第１のカメラより後に位置する第２のカメラにより撮像される、情報処理システム。
  23. 　請求項２２に記載の情報処理システムにおいて、
    　複数の第２のカメラのうち、前記経路に沿う方向において最後または所定の位置に設置された前記第２のカメラが生成した前記第２画像から前記照合手段が特定した前記人物について、前記第１の登録特徴情報との照合結果が不一致だった場合、当該人物から抽出された第２の特徴情報に関する情報を出力する出力手段を備える情報処理システム。
  24. 　請求項１６から２３のいずれか一項に記載の情報処理システムにおいて、
    　前記第１画像は第１のタイミングで撮像され、前記第２画像は、前記第１のタイミングより後に撮像される、情報処理システム。
  25. 　請求項１６から２４のいずれか一項に記載の情報処理システムにおいて、
    　前記登録手段は、前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との前記照合結果を示す情報を、前記第２の登録特徴情報に対応付けて前記記憶手段に記憶させ、
    　前記照合手段は、前記照合結果を示す情報が、前記照合結果が不一致だったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、情報処理システム。
  26. 　請求項１６から２５のいずれか一項に記載の情報処理システムにおいて、
    　前記登録手段は、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す情報を、前記第２の登録特徴情報に対応付けて前記記憶手段に記憶させ、
    　前記照合手段は、前記情報が、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶手段が記憶する前記第１の登録特徴情報とを照合する、情報処理システム。
  27. 　請求項１６から２６のいずれか一項に記載の情報処理システムにおいて、
    　前記登録手段は、前記記憶手段に、時刻情報とともに前記第２の特徴情報を記憶させ、
    　前記時刻情報が示す時刻から基準時間以上経過しても、前記第２画像から特定された前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第２画像から特定された前記人物から抽出される前記第１の特徴情報との前記照合結果が不一致だった場合、当該第２の特徴情報に関する情報を出力する出力手段をさらに備える情報処理システム。
  28. 　請求項１６から２７のいずれか一項に記載の情報処理システムにおいて、
    　前記照合手段は、前記第１の登録特徴情報又は前記第２の登録特徴情報との照合処理において、所定回数以上一致した場合に、当該照合結果を一致とする、情報処理システム。
  29. 　請求項１６から２８のいずれか一項に記載の情報処理システムにおいて、
    　前記第１の特徴情報は顔の特徴情報であり、前記第２の特徴情報は顔以外の領域を含む特徴情報である情報処理システム。
  30. 　請求項１６から２９のいずれか一項に記載の情報処理システムにおいて、
    　基準のタイミングにおいて前記記憶手段に記憶されている前記第２の登録特徴情報に関する情報を出力する出力手段をさらに備える情報処理システム。
  31. 　情報処理装置が、
    　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶装置が記憶する第１の登録特徴情報とを照合し、
    　前記人物から前記第１の特徴情報を抽出できなかった場合、または、照合結果が不一致だった場合、当該人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶装置に記憶させ、
    　第２画像に含まれる人物から抽出された前記第２の特徴情報と前記記憶装置が記憶する前記第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定する、情報処理方法。
  32. 　請求項３１に記載の情報処理方法において、
    　前記情報処理装置が、
    　前記第２画像から特定された前記人物から抽出される前記第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する、
    情報処理方法。
  33. 　情報処理装置が、
    　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶装置が記憶する第１の登録特徴情報とを照合し、
    　前記人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶装置に記憶させ、
    　第２画像に含まれる人物から抽出された第２の特徴情報と前記記憶装置が記憶する第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定し、
    　前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との照合結果が不一致だった場合、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する、情報処理方法。
  34. 　請求項３１から３３のいずれか一項に記載の情報処理方法において、
    　前記情報処理装置が、
    　前記第２画像から前記第２の登録特徴情報に対応する人物を特定する処理、および、特定された当該人物から抽出された前記第１の特徴情報と前記第１の登録特徴情報とを照合する処理を、前記照合結果が一致となるまで繰り返す、
    情報処理方法。
  35. 　請求項３１から３４のいずれか一項に記載の情報処理方法において、
    　前記情報処理装置が、さらに、
    　前記第２画像から特定された前記人物から抽出された前記第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報との照合結果が一致となった場合、前記記憶装置から当該人物の前記第２の登録特徴情報を削除する、情報処理方法。
  36. 　請求項３１から３５のいずれか一項に記載の情報処理方法において、
    　前記第２画像は前記第１画像とは異なるカメラで撮影される、情報処理方法。
  37. 　請求項３１から３６のいずれか一項に記載の情報処理方法において、
    　前記第１画像は、経路に沿って設置された複数のカメラのうちの第１のカメラにより撮像され、前記第２画像は、前記経路に沿う方向において前記第１のカメラより後に位置する第２のカメラにより撮像される、情報処理方法。
  38. 　請求項３７に記載の情報処理方法において、
    　前記情報処理装置が、
    　複数の第２のカメラのうち、前記経路に沿う方向において最後または所定の位置に設置された前記第２のカメラが生成した前記第２画像から特定した前記人物について、前記第１の登録特徴情報との照合結果が不一致だった場合、当該人物から抽出された第２の特徴情報に関する情報を出力する、情報処理方法。
  39. 　請求項３１から３８のいずれか一項に記載の情報処理方法において、
    　前記第１画像は第１のタイミングで撮像され、前記第２画像は、前記第１のタイミングより後に撮像される、情報処理方法。
  40. 　請求項３１から３９のいずれか一項に記載の情報処理方法において、
    　前記情報処理装置が、
    　前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との前記照合結果を示す情報を、前記第２の登録特徴情報に対応付けて前記記憶装置に記憶させ、
    　前記照合結果を示す情報が、前記照合結果が不一致だったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する、情報処理方法。
  41. 　請求項３１から４０のいずれか一項に記載の情報処理方法において、
    　前記情報処理装置が、
    　前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す情報を、前記第２の登録特徴情報に対応付けて前記記憶装置に記憶させ、
    　前記情報が、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する、情報処理方法。
  42. 　請求項３１から４１のいずれか一項に記載の情報処理方法において、
    　前記情報処理装置が、さらに、
    　前記記憶装置に、時刻情報とともに前記第２の特徴情報を記憶させ、
    　前記時刻情報が示す時刻から基準時間以上経過しても、前記第２画像から特定された前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第２画像から特定された前記人物から抽出される前記第１の特徴情報との前記照合結果が不一致だった場合、当該第２の特徴情報に関する情報を出力する、情報処理方法。
  43. 　請求項３１から４２のいずれか一項に記載の情報処理方法において、
    　前記情報処理装置が、
    　前記第１の登録特徴情報又は前記第２の登録特徴情報との照合処理において、所定回数以上一致した場合に、当該照合結果を一致とする、情報処理方法。
  44. 　請求項３１から４３のいずれか一項に記載の情報処理方法において、
    　前記第１の特徴情報は顔の特徴情報であり、前記第２の特徴情報は顔以外の領域を含む特徴情報である情報処理方法。
  45. 　請求項３１から４４のいずれか一項に記載の情報処理方法において、
    　前記情報処理装置が、さらに、
    　基準のタイミングにおいて前記記憶装置に記憶されている前記第２の登録特徴情報に関する情報を出力する、情報処理方法。
  46. 　コンピュータに、
    　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶装置が記憶する第１の登録特徴情報とを照合する手順、
    　前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記照合する手順における照合結果が不一致だった場合、当該人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶装置に記憶させる手順、
    　第２画像に含まれる人物から抽出された前記第２の特徴情報と前記記憶装置が記憶する前記第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定する手順、を実行させるためのプログラム。
  47. 　請求項４６に記載のプログラムにおいて、
    　コンピュータに、
    　前記第２画像から特定された前記人物から抽出される前記第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する手順、を実行させるためのプログラム。
  48. 　コンピュータに、
    　第１画像に含まれる人物から抽出される第１の特徴情報と、記憶装置が記憶する第１の登録特徴情報とを照合する手順、
    　前記人物から抽出される第２の特徴情報を第２の登録特徴情報として前記記憶装置に記憶させる手順、
    　第２画像に含まれる人物から抽出された第２の特徴情報と前記記憶装置が記憶する第２の登録特徴情報とを照合することで前記第２画像から前記第２の登録特徴情報に対応する人物を特定する手順、
    　前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との照合結果が不一致だった場合、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する手順、を実行させるためのプログラム。
  49. 　請求項４６から４８のいずれか一項に記載のプログラムにおいて、
    　コンピュータに、
    　前記第２画像から前記第２の登録特徴情報に対応する人物を特定する処理、および、特定された当該人物から抽出された前記第１の特徴情報と前記第１の登録特徴情報とを照合する処理を、前記照合結果が一致となるまで繰り返す手順、を実行させるためのプログラム。
  50. 　請求項４６から４９のいずれか一項に記載のプログラムにおいて、
    　コンピュータに、さらに、
    　前記第２画像から特定された前記人物から抽出された前記第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報との照合結果が一致となった場合、前記記憶装置から当該人物の前記第２の登録特徴情報を削除する手順、を実行させるためのプログラム。
  51. 　請求項４６から５０のいずれか一項に記載のプログラムにおいて、
    　前記第２画像は前記第１画像とは異なるカメラで撮影される、プログラム。
  52. 　請求項４６から５１のいずれか一項に記載のプログラムにおいて、
    　前記第１画像は、経路に沿って設置された複数のカメラのうちの第１のカメラにより撮像され、前記第２画像は、前記経路に沿う方向において前記第１のカメラより後に位置する第２のカメラにより撮像される、プログラム。
  53. 　請求項５２に記載のプログラムにおいて、
    　コンピュータに、
    　複数の第２のカメラのうち、前記経路に沿う方向において最後または所定の位置に設置された前記第２のカメラが生成した前記第２画像から特定した前記人物について、前記第１の登録特徴情報との照合結果が不一致だった場合、当該人物から抽出された第２の特徴情報に関する情報を出力する手順、を実行させるためのプログラム。
  54. 　請求項４６から５３のいずれか一項に記載のプログラムにおいて、
    　前記第１画像は第１のタイミングで撮像され、前記第２画像は、前記第１のタイミングより後に撮像される、プログラム。
  55. 　請求項４６から５４のいずれか一項に記載のプログラムにおいて、
    　コンピュータに、
    　前記第１画像に含まれる人物から抽出される前記第１の特徴情報と前記第１の登録特徴情報との前記照合結果を示す情報を、前記第２の登録特徴情報に対応付けて前記記憶装置に記憶させる手順、
    　前記照合結果を示す情報が、前記照合結果が不一致だったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する手順、を実行させるためのプログラム。
  56. 　請求項４６から５５のいずれか一項に記載のプログラムにおいて、
    　コンピュータに、
    　前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す情報を、前記第２の登録特徴情報に対応付けて前記記憶装置に記憶させる手順、
    　前記情報が、前記第１画像に含まれる前記人物から前記第１の特徴情報を抽出できなかったことを示す場合に、前記第２画像から特定された前記人物から抽出される第１の特徴情報と、前記記憶装置が記憶する前記第１の登録特徴情報とを照合する手順、を実行させるためのプログラム。
  57. 　請求項４６から５６のいずれか一項に記載のプログラムにおいて、
    　コンピュータに、
    　前記記憶装置に、時刻情報とともに前記第２の特徴情報を記憶させる手順、
    　前記時刻情報が示す時刻から基準時間以上経過しても、前記第２画像から特定された前記人物から前記第１の特徴情報を抽出できなかった場合、または、前記第２画像から特定された前記人物から抽出される前記第１の特徴情報との前記照合結果が不一致だった場合、当該第２の特徴情報に関する情報を出力する手順、をさらに実行させるためのプログラム。
  58. 　請求項４６から５７のいずれか一項に記載のプログラムにおいて、
    　コンピュータに、
    　前記第１の登録特徴情報又は前記第２の登録特徴情報との照合処理において、所定回数以上一致した場合に、当該照合結果を一致とする手順、を実行させるためのプログラム。
  59. 　請求項４６から５８のいずれか一項に記載のプログラムにおいて、
    　前記第１の特徴情報は顔の特徴情報であり、前記第２の特徴情報は顔以外の領域を含む特徴情報であるプログラム。
  60. 　請求項４６から５９のいずれか一項に記載のプログラムにおいて、
    　コンピュータに、
    　基準のタイミングにおいて前記記憶装置に記憶されている前記第２の登録特徴情報に関する情報を出力する手順、を実行させるためのプログラム。
PCT/JP2018/045054 2018-12-07 2018-12-07 情報処理システム、情報処理装置、情報処理方法、およびプログラム Ceased WO2020115890A1 (ja)

Priority Applications (11)

Application Number Priority Date Filing Date Title
US17/298,101 US11847848B2 (en) 2018-12-07 2018-12-07 Information processing apparatus, information processing method, and program
EP18942078.9A EP3893192B1 (en) 2018-12-07 2018-12-07 Information processing system, information processing device, information processing method, and program
JP2020558776A JP7196932B2 (ja) 2018-12-07 2018-12-07 情報処理装置、情報処理方法、およびプログラム
PCT/JP2018/045054 WO2020115890A1 (ja) 2018-12-07 2018-12-07 情報処理システム、情報処理装置、情報処理方法、およびプログラム
US18/225,616 US12236702B2 (en) 2018-12-07 2023-07-24 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US18/225,513 US12136289B2 (en) 2018-12-07 2023-07-24 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US18/225,610 US12223758B2 (en) 2018-12-07 2023-07-24 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US18/225,604 US12112565B2 (en) 2018-12-07 2023-07-24 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US18/225,613 US12087075B2 (en) 2018-12-07 2023-07-24 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US18/226,174 US20230368564A1 (en) 2018-12-07 2023-07-25 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US18/226,162 US12087076B2 (en) 2018-12-07 2023-07-25 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2018/045054 WO2020115890A1 (ja) 2018-12-07 2018-12-07 情報処理システム、情報処理装置、情報処理方法、およびプログラム

Related Child Applications (8)

Application Number Title Priority Date Filing Date
US17/298,101 A-371-Of-International US11847848B2 (en) 2018-12-07 2018-12-07 Information processing apparatus, information processing method, and program
US18/225,513 Continuation US12136289B2 (en) 2018-12-07 2023-07-24 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US18/225,604 Continuation US12112565B2 (en) 2018-12-07 2023-07-24 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US18/225,613 Continuation US12087075B2 (en) 2018-12-07 2023-07-24 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US18/225,610 Continuation US12223758B2 (en) 2018-12-07 2023-07-24 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US18/225,616 Continuation US12236702B2 (en) 2018-12-07 2023-07-24 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US18/226,174 Continuation US20230368564A1 (en) 2018-12-07 2023-07-25 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US18/226,162 Continuation US12087076B2 (en) 2018-12-07 2023-07-25 Information processing apparatus, information processing method, and non-transitory computer-readable storage medium

Publications (1)

Publication Number Publication Date
WO2020115890A1 true WO2020115890A1 (ja) 2020-06-11

Family

ID=70974223

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2018/045054 Ceased WO2020115890A1 (ja) 2018-12-07 2018-12-07 情報処理システム、情報処理装置、情報処理方法、およびプログラム

Country Status (4)

Country Link
US (8) US11847848B2 (ja)
EP (1) EP3893192B1 (ja)
JP (1) JP7196932B2 (ja)
WO (1) WO2020115890A1 (ja)

Cited By (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2022173838A (ja) * 2021-05-10 2022-11-22 キヤノン株式会社 撮像制御装置および撮像制御方法
JP2023026630A (ja) * 2018-12-27 2023-02-24 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP7228822B1 (ja) 2022-07-13 2023-02-27 パナソニックＩｐマネジメント株式会社 認証システムおよび認証方法
WO2023152970A1 (ja) * 2022-02-14 2023-08-17 日本電気株式会社 認証装置、認証方法、及び、記録媒体
WO2023162041A1 (ja) * 2022-02-22 2023-08-31 日本電気株式会社 サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
JP2024012052A (ja) * 2022-07-13 2024-01-25 パナソニックＩｐマネジメント株式会社 認証システムおよび認証方法
WO2024241536A1 (ja) * 2023-05-24 2024-11-28 富士通株式会社 制御方法、制御プログラム、および情報処理装置
JP7672469B1 (ja) 2023-11-07 2025-05-07 ソフトバンク株式会社 システム、通信装置、プログラム、及び情報処理方法
US12395713B2 (en) 2022-07-13 2025-08-19 Panasonic Intellectual Property Management Co., Ltd. Authentication system and authentication method
WO2025197009A1 (ja) * 2024-03-21 2025-09-25 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及び記録媒体
WO2025253500A1 (ja) * 2024-06-04 2025-12-11 日本電気株式会社 情報処理装置、情報処理方法、及び記録媒体

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11393212B2 (en) * 2018-04-20 2022-07-19 Darvis, Inc. System for tracking and visualizing objects and a method therefor
JP2024091181A (ja) * 2022-12-23 2024-07-04 富士通株式会社 情報処理プログラム、情報処理方法および情報処理装置

Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175730A (ja) * 1997-12-05 1999-07-02 Omron Corp 人間検出追跡システム
WO2006013765A1 (ja) 2004-08-03 2006-02-09 Matsushita Electric Industrial Co., Ltd. 人物判定装置及び人物検索追跡装置
JP2008108243A (ja) 2006-09-28 2008-05-08 Toshiba Corp 人物認識装置および人物認識方法
JP2009104526A (ja) 2007-10-25 2009-05-14 Kenwood Corp 認証装置、認証方法及びプログラム
JP2010171550A (ja) * 2009-01-20 2010-08-05 Canon Inc 画像記録装置
JP2013065119A (ja) * 2011-09-15 2013-04-11 Toshiba Corp 顔認証装置及び顔認証方法
JP2013101551A (ja) 2011-11-09 2013-05-23 Secom Co Ltd 顔画像認証装置
JP2016046639A (ja) * 2014-08-21 2016-04-04 セコム株式会社 認証装置
JP2018077552A (ja) 2016-11-07 2018-05-17 アズビル株式会社 ゲート管理システムおよび方法

Family Cites Families (13)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6698653B1 (en) 1999-10-28 2004-03-02 Mel Diamond Identification method, especially for airport security and the like
TWI278782B (en) 2001-08-24 2007-04-11 Toshiba Corp Personal recognition apparatus
JP2009048347A (ja) 2007-08-17 2009-03-05 Seiko Epson Corp 画像処理装置、画像処理方法、および、画像処理プログラム
JP2010219607A (ja) 2009-03-13 2010-09-30 Panasonic Corp ターゲットフレーム抽出装置、撮像装置およびデジタルカメラ
US8705813B2 (en) * 2010-06-21 2014-04-22 Canon Kabushiki Kaisha Identification device, identification method, and storage medium
KR101381439B1 (ko) 2011-09-15 2014-04-04 가부시끼가이샤 도시바 얼굴 인식 장치 및 얼굴 인식 방법
WO2013100697A1 (en) * 2011-12-29 2013-07-04 Intel Corporation Method, apparatus, and computer-readable recording medium for authenticating a user
EP3118810A4 (en) 2014-03-14 2017-11-08 Kabushiki Kaisha Toshiba Information processing method and information processing system
JP6470503B2 (ja) * 2014-05-20 2019-02-13 キヤノン株式会社 画像照合装置、画像検索システム、画像照合方法、画像検索方法およびプログラム
JP6128468B2 (ja) 2015-01-08 2017-05-17 パナソニックＩｐマネジメント株式会社 人物追尾システム及び人物追尾方法
WO2018117704A1 (en) 2016-12-23 2018-06-28 Samsung Electronics Co., Ltd. Electronic apparatus and operation method thereof
TWI604332B (zh) * 2017-03-24 2017-11-01 緯創資通股份有限公司 遠距離的身份辨識方法及其系統與電腦可讀取記錄媒體
US11030291B2 (en) * 2018-09-14 2021-06-08 Comcast Cable Communications, Llc Methods and systems for user authentication

Patent Citations (9)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH11175730A (ja) * 1997-12-05 1999-07-02 Omron Corp 人間検出追跡システム
WO2006013765A1 (ja) 2004-08-03 2006-02-09 Matsushita Electric Industrial Co., Ltd. 人物判定装置及び人物検索追跡装置
JP2008108243A (ja) 2006-09-28 2008-05-08 Toshiba Corp 人物認識装置および人物認識方法
JP2009104526A (ja) 2007-10-25 2009-05-14 Kenwood Corp 認証装置、認証方法及びプログラム
JP2010171550A (ja) * 2009-01-20 2010-08-05 Canon Inc 画像記録装置
JP2013065119A (ja) * 2011-09-15 2013-04-11 Toshiba Corp 顔認証装置及び顔認証方法
JP2013101551A (ja) 2011-11-09 2013-05-23 Secom Co Ltd 顔画像認証装置
JP2016046639A (ja) * 2014-08-21 2016-04-04 セコム株式会社 認証装置
JP2018077552A (ja) 2016-11-07 2018-05-17 アズビル株式会社 ゲート管理システムおよび方法

Cited By (25)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7435837B2 (ja) 2018-12-27 2024-02-21 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP2023026630A (ja) * 2018-12-27 2023-02-24 日本電気株式会社 情報処理システム、情報処理装置、情報処理方法、およびプログラム
US12141232B2 (en) 2018-12-27 2024-11-12 Nec Corporation Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US11971952B2 (en) 2018-12-27 2024-04-30 Nec Corporation Information processing apparatus, information processing method, and program
US11934483B2 (en) 2018-12-27 2024-03-19 Nec Corporation Information processing apparatus, information processing method, and program
US11928181B2 (en) 2018-12-27 2024-03-12 Nec Corporation Information processing apparatus, information processing method, and program
US12141231B2 (en) 2018-12-27 2024-11-12 Nec Corporation Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US12189713B2 (en) 2018-12-27 2025-01-07 Nec Corporation Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
US12164596B2 (en) 2018-12-27 2024-12-10 Nec Corporation Information processing apparatus, information processing method, and non-transitory computer-readable storage medium
JP2022173838A (ja) * 2021-05-10 2022-11-22 キヤノン株式会社 撮像制御装置および撮像制御方法
JP7710887B2 (ja) 2021-05-10 2025-07-22 キヤノン株式会社 撮像制御装置および撮像制御方法
JPWO2023152970A1 (ja) * 2022-02-14 2023-08-17
WO2023152970A1 (ja) * 2022-02-14 2023-08-17 日本電気株式会社 認証装置、認証方法、及び、記録媒体
JP7758065B2 (ja) 2022-02-14 2025-10-22 日本電気株式会社 認証装置、認証方法、及び、コンピュータプログラム
JPWO2023162041A1 (ja) * 2022-02-22 2023-08-31
WO2023162041A1 (ja) * 2022-02-22 2023-08-31 日本電気株式会社 サーバ装置、システム、サーバ装置の制御方法及び記憶媒体
JP2024010872A (ja) * 2022-07-13 2024-01-25 パナソニックＩｐマネジメント株式会社 認証システムおよび認証方法
JP2024012052A (ja) * 2022-07-13 2024-01-25 パナソニックＩｐマネジメント株式会社 認証システムおよび認証方法
US12395713B2 (en) 2022-07-13 2025-08-19 Panasonic Intellectual Property Management Co., Ltd. Authentication system and authentication method
JP7228822B1 (ja) 2022-07-13 2023-02-27 パナソニックＩｐマネジメント株式会社 認証システムおよび認証方法
WO2024241536A1 (ja) * 2023-05-24 2024-11-28 富士通株式会社 制御方法、制御プログラム、および情報処理装置
JP7672469B1 (ja) 2023-11-07 2025-05-07 ソフトバンク株式会社 システム、通信装置、プログラム、及び情報処理方法
JP2025077896A (ja) * 2023-11-07 2025-05-19 ソフトバンク株式会社 システム、通信装置、プログラム、及び情報処理方法
WO2025197009A1 (ja) * 2024-03-21 2025-09-25 日本電気株式会社 情報処理装置、情報処理システム、情報処理方法及び記録媒体
WO2025253500A1 (ja) * 2024-06-04 2025-12-11 日本電気株式会社 情報処理装置、情報処理方法、及び記録媒体

Also Published As

Publication number Publication date
US12112565B2 (en) 2024-10-08
US12087076B2 (en) 2024-09-10
US20220019769A1 (en) 2022-01-20
US11847848B2 (en) 2023-12-19
JPWO2020115890A1 (ja) 2021-10-28
EP3893192A1 (en) 2021-10-13
US20230368563A1 (en) 2023-11-16
US20240021006A1 (en) 2024-01-18
EP3893192A4 (en) 2021-12-15
US12087075B2 (en) 2024-09-10
US20230368559A1 (en) 2023-11-16
US12236702B2 (en) 2025-02-25
US20230368562A1 (en) 2023-11-16
JP7196932B2 (ja) 2022-12-27
US20230368564A1 (en) 2023-11-16
US12136289B2 (en) 2024-11-05
EP3893192B1 (en) 2025-09-17
US20230368560A1 (en) 2023-11-16
US12223758B2 (en) 2025-02-11
US20230368561A1 (en) 2023-11-16

Similar Documents

Publication Publication Date Title
JP7196932B2 (ja) 情報処理装置、情報処理方法、およびプログラム
US12230080B2 (en) Information processing apparatus, information processing system, and information processing method
US9875392B2 (en) System and method for face capture and matching
KR102350507B1 (ko) 출입 제어 방법, 출입 제어 장치, 시스템 및 저장매체
JP7020567B2 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP7251874B2 (ja) 顔認証装置、顔認証方法、プログラム、および記録媒体
JP4521086B2 (ja) 顔画像認識装置及び顔画像認識方法
JP7435837B2 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
JP2014142838A (ja) 入室管理システムおよび入室管理装置
JP7298729B2 (ja) 情報処理システム、情報処理装置、情報処理方法、およびプログラム
US12530440B2 (en) Information processing device, permission determination method, and program
Aparna et al. Machine Learning based Iris Recognition Modern Voting System
JP2007122493A (ja) 認証装置および認証方法
JP7371806B2 (ja) 情報処理装置、情報処理方法、およびプログラム
JP2025027334A (ja) 情報処理装置
JP2019159372A (ja) 認証装置、認証システム、認証方法、コンピュータプログラム、及び記憶媒体
WO2025182522A1 (ja) 情報処理装置、情報処理方法、及びプログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 18942078

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2020558776

Country of ref document: JP

Kind code of ref document: A

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2018942078

Country of ref document: EP

Effective date: 20210707

WWG Wipo information: grant in national office

Ref document number: 2018942078

Country of ref document: EP