WO2021240903A1 - 情報処理装置、情報処理方法及びプログラム - Google Patents

情報処理装置、情報処理方法及びプログラム Download PDF

Info

Publication number
WO2021240903A1
WO2021240903A1 PCT/JP2021/004731 JP2021004731W WO2021240903A1 WO 2021240903 A1 WO2021240903 A1 WO 2021240903A1 JP 2021004731 W JP2021004731 W JP 2021004731W WO 2021240903 A1 WO2021240903 A1 WO 2021240903A1
Authority
WO
WIPO (PCT)
Prior art keywords
authentication
person
information processing
information
processing apparatus
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2021/004731
Other languages
English (en)
French (fr)
Inventor
智之 加賀屋
佑輔 原
洋佑 野末
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Panasonic Intellectual Property Management Co Ltd
Original Assignee
Panasonic Intellectual Property Management Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Panasonic Intellectual Property Management Co Ltd filed Critical Panasonic Intellectual Property Management Co Ltd
Priority to US17/927,291 priority Critical patent/US12307816B2/en
Priority to EP21814051.5A priority patent/EP4160527A4/en
Publication of WO2021240903A1 publication Critical patent/WO2021240903A1/ja
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/74—Image or video pattern matching; Proximity measures in feature spaces
    • G06V10/761—Proximity, similarity or dissimilarity measures
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/172—Classification, e.g. identification
    • G06V40/173—Classification, e.g. identification face re-identification, e.g. recognising unknown faces across different face tracks
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/25—Fusion techniques
    • G06F18/253—Fusion techniques of extracted features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V20/00—Scenes; Scene-specific elements
    • G06V20/50—Context or environment of the image
    • G06V20/52—Surveillance or monitoring of activities, e.g. for recognising suspicious objects
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1365—Matching; Classification
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G06V40/166—Detection; Localisation; Normalisation using acquisition arrangements
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/168—Feature extraction; Face representation
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04N—PICTORIAL COMMUNICATION, e.g. TELEVISION
    • H04N23/00—Cameras or camera modules comprising electronic image sensors; Control thereof
    • H04N23/60—Control of cameras or camera modules
    • H04N23/61—Control of cameras or camera modules based on recognised objects
    • H04N23/611—Control of cameras or camera modules based on recognised objects where the recognised objects include parts of the human body

Definitions

  • This disclosure relates to information processing devices, information processing methods and programs.
  • Patent Document 1 An authentication system that performs face recognition for an unspecified number of people is being studied (see, for example, Patent Document 1).
  • Patent Document 1 is a system that authenticates the face of a stationary person such as a seated person at a table, and there is room for consideration as to how to improve the efficiency of authentication in an environment where the person moves.
  • the non-limiting examples of the present disclosure contribute to the provision of information processing devices, information processing methods, and programs that improve the efficiency of authentication in an environment in which a person moves.
  • the information processing apparatus is based on an authentication circuit that authenticates the person based on the face image of the person in the captured image data and information on attributes related to the time change of the face image.
  • a control circuit for controlling the order of re-authentication for a plurality of persons who have failed in the authentication is provided.
  • the efficiency of authentication can be improved in an environment where a person moves.
  • Flow chart showing an operation example of the authentication system Flowchart showing an example of the process of determining the priority of re-authentication Diagram showing an example of re-authentication priority Figure showing an example of weighting of authentication score Diagram showing an example of computer hardware configuration
  • an authentication system that identifies a person by performing face recognition in an area where a large number of people move (or pass), such as outdoors, offices, commercial facilities, or public facilities, is being studied.
  • Examples of such an authentication system include use in a system for identifying a person, such as an entry / exit management system and a crime prevention system.
  • the cause of the failure of face recognition is temporary concealment or change of the face, the cause may be solved by performing re-authentication at a timing different from the time of failure.
  • authentication area the area for which the person to be re-authenticated performs face authentication. May move out of). In this case, the authentication system cannot re-authenticate the person who has moved out of the authentication area, and the authentication efficiency may decrease.
  • a method of improving the authentication efficiency in the authentication system in an environment in which a person moves will be described.
  • the order in which re-authentication is performed for example, "priority"
  • I will explain how to determine (called).
  • FIG. 1 is a diagram showing a configuration example of the authentication system 1 according to the present embodiment.
  • the authentication system 1 shown in FIG. 1 includes, for example, an information processing device 10 and a camera 20.
  • the information processing device 10 and the camera 20 may be connected via a communication network such as a wireless network or a wired network.
  • the information processing device 10 may perform face recognition processing based on, for example, image data acquired from the camera 20. Further, the information processing apparatus 10 may perform re-authentication on, for example, a face image of a person who has failed in face authentication (for example, a person who has failed in face authentication). For example, the information processing apparatus 10 may determine an order (for example, priority) for re-authentication for a face image of a person whose face authentication has failed, and perform re-authentication according to the determined priority.
  • a face image of a person who has failed in face authentication for example, a person who has failed in face authentication
  • the information processing apparatus 10 may determine an order (for example, priority) for re-authentication for a face image of a person whose face authentication has failed, and perform re-authentication according to the determined priority.
  • the camera 20 may transmit, for example, image data captured in the authentication area to the information processing device 10.
  • the camera 20 may be installed so as to include, for example, an authentication area in a shooting area (or a shooting range).
  • the camera 20 may determine a shooting area (in other words, a shooting direction) so as to shoot a plurality of areas in which the authentication area is divided in order.
  • the camera 20 may be composed of a plurality of cameras, and the authentication area may be covered by the shooting areas of the plurality of cameras.
  • the information processing device 10 shown in FIG. 1 may include, for example, a storage unit 101, an authentication unit 102, and a control unit 103.
  • the storage unit 101 may store, for example, information about a person (for example, person information).
  • the storage unit 101 may include a database containing personal information.
  • the person information may include, for example, information for identifying a person such as an ID or a person's name, and registered image data (for example, called face image data) of a person registered in advance.
  • the person information may be, for example, customer information in a customer management system, employee information in an employee management system, information on a criminal or suspicious person in a crime prevention system, or information on another type of person.
  • the storage unit 101 may store, for example, an identification model (also referred to as a learned model) used for authentication in the authentication unit 102.
  • the storage unit 101 has, for example, information regarding the ease of authentication in the authentication unit 102 (in other words, the ease of authentication, or the direction / unsuitability of authentication) (for example, "quality score” or "priority regarding re-authentication”.
  • the discriminative model may be stored for each attribute (or type) of (referred to as).
  • the quality score attribute may be, for example, an attribute related to the time change of the facial image.
  • the quality score may be based on changes in features of the facial image over time.
  • the quality score attribute may include an attribute having a characteristic that does not easily change with the passage of time.
  • Features that are less likely to change over time include, for example, masks, sunglasses, hats, beards, makeup (including, for example, face paint) that continuously conceal or change at least part of a person's face. ..
  • the attribute of the quality score may include, for example, an attribute having a characteristic that easily changes with the passage of time.
  • Features that change over time include, for example, facial expressions, face orientation, eye closure, image blur, lighting (eg, low light or backlight), or at least part of a person's face that is messy.
  • lighting eg, low light or backlight
  • features that can be concealed or changed include, for example, facial expressions, face orientation, eye closure, image blur, lighting (eg, low light or backlight), or at least part of a person's face that is messy.
  • the storage unit 101 may store, for example, an identification model for identifying at least one quality score attribute in the authentication unit 102 (for example, an identification model in which a face wearing sunglasses is learned).
  • the authentication unit 102 may perform face authentication of a person based on, for example, the captured image data captured by the camera 20 and the person information stored in the storage unit 101.
  • the authentication unit 102 may output, for example, information indicating an authentication result (for example, personal information of an authenticated person or information regarding the success or failure of authentication) to the control unit 103.
  • the authentication unit 102 may perform face recognition of a person based on the degree of similarity between the face image data of the person registered in advance in the storage unit 101 and the face image in the image data captured by the camera 20. ..
  • the higher the similarity with the registered face image data the higher the information regarding the similarity (hereinafter referred to as “authentication score”) may be set.
  • the authentication unit 102 may determine that a person included in the face image data having an authentication score equal to or higher than the threshold value is a person corresponding to the registered face image data. Further, for example, the authentication unit 102 may re-authenticate the face image of a person who has failed in face authentication (person who has failed in face authentication) according to an instruction from the control unit 103.
  • the control unit 103 may control the authentication process in the authentication unit 102, for example. For example, the control unit 103 identifies a face authentication failure person (or a face image) based on the information input from the authentication unit 102. When there are a plurality of face recognition failure persons, the control unit 103 may control re-authentication for the plurality of face recognition failure persons based on, for example, the quality score and the authentication score regarding the similarity in face recognition. For example, the control unit 103 may determine the order (for example, called priority) for re-authentication for the face recognition failure person. The control unit 103 may output a re-authentication instruction to the authentication unit 102, for example, based on the determined re-authentication priority.
  • control unit 103 may control the operation of the camera 20. For example, the control unit 103 may determine the shooting area of the camera 20 in the authentication area based on the control result (for example, priority) of re-authentication for the face authentication failure person, and instruct the camera 20. Further, the control unit 103 may control, for example, the tracking (or tracking or tracking) processing of the camera 20 for the face image corresponding to the person whose face authentication has failed.
  • FIG. 2 is a diagram showing an example of installing the camera 20 in the authentication area.
  • the camera 20 may include, for example, a camera 20-1 having a certain shooting area and a camera 20-2 having a shooting area narrower than the shooting area of the camera 20-1.
  • the camera 20-1 may be, for example, a wide area camera.
  • the camera 20-2 may be, for example, a PTZ (Pan-Tilt-Zoom) camera.
  • the camera 20-1 may transmit, for example, image data obtained by capturing at least a part of the authentication area to the information processing apparatus 10.
  • the shooting by the camera 20-1 is referred to as “whole shooting”
  • the shooting area by the camera 20-1 is referred to as “whole shooting area”.
  • the camera 20-2 may transmit, for example, image data captured in a range narrower than the shooting area (or the entire shooting area) of the camera 20-1 to the information processing apparatus 10.
  • the shooting by the camera 20-2 is referred to as “individual shooting”, and the shooting area by the camera 20-2 is referred to as “individual shooting area”.
  • the camera 20 determines a shooting mode such as a shooting direction or a magnification according to an instruction from the information processing device 10 (for example, a control unit 103 described later). It's okay.
  • the information processing apparatus 10 identifies a face portion (for example, a face image) of a person in the authentication area and a person (face image) in the authentication area based on the image data obtained by the whole shooting. Tracking processing may be performed. Further, for example, the information processing apparatus 10 may perform face recognition processing on a person's face image based on the image data obtained by individual shooting.
  • identification, tracking and face recognition of a person are not limited to the case of being based on the image data obtained by different cameras, and these processes may be performed based on the image data obtained from a single camera.
  • the configuration of the camera 20 is not limited to the configuration example shown in FIG.
  • the camera 20 may include a PTZ camera and may not include a wide area camera.
  • the camera 20 is not limited to the PTZ camera, and may be a camera having a fixed shooting area. That is, the type and number of cameras 20 are not limited as long as the entire shooting area and the individual shooting area can be shot.
  • the data acquired by the camera 20 may be either still image data or moving image data.
  • FIG. 3 is a diagram showing an example of control of a shooting area of the camera 20 by the information processing device 10, for example.
  • FIG. 3 shows, as an example, a control example of a photographing area in the installation example of the camera 20 shown in FIG.
  • the information processing apparatus 10 may switch the entire shooting area by the camera 20 from the area of the whole shooting (1) to the area of the whole shooting (2) in the authentication area.
  • the information processing apparatus 10 may control, for example, the identification of a person and the tracking of a person in the authentication area.
  • the method of switching the entire shooting area (for example, the switching order, the switching direction, or the area size) is not limited to the example shown in FIG.
  • the entire shooting area may be the same size as the authentication area.
  • the information processing apparatus 10 sets the individual shooting area by the camera 20 in the order of individual shooting (1), individual shooting (2), and individual shooting (3). You may switch. For example, when the information processing apparatus 10 does not succeed in face recognition within a specified number of frames (or a specified time) in a certain individual shooting area, the information processing device 10 may switch to the individual shooting area of the next person to be authenticated. For example, if the face printed on a poster in the background happens to meet the high priority property of reshooting, the individual including the poster is unlikely to succeed in face recognition. The shooting area continues to be prioritized over other individual shooting areas.
  • the information processing apparatus 10 may record, for example, the individual shooting area in which the face recognition is not successful within the specified number of frames as exempt from the subsequent re-authentication. This is because posters and the like do not move and may be subject to recertification again.
  • the switching of the photographing area in the authentication area is not limited to the example shown in FIG.
  • the information processing device 10 may track, for example, a face image of a person who has failed in face authentication (for example, person 1, person 2 and person 3 in FIG. 3) in the authentication area.
  • FIG. 4 is a flowchart showing an operation example of the authentication system 1.
  • the information processing apparatus 10 performs face recognition of a person based on the face image of the person in the captured image data acquired from the camera 20 (S101).
  • the information processing device 10 determines, for example, whether or not there is a person who has failed in face authentication (for example, a person who has failed in face authentication) as a result of face authentication (S102).
  • the information processing device 10 may count, for example, the number of people who have failed face recognition.
  • the information processing apparatus 10 may end the process shown in FIG. 2, or return to the process of S101, for example.
  • the information processing apparatus 10 may determine, for example, a priority for re-authentication for the face recognition failure person (S103). An example of determining the priority of recertification will be described later.
  • the information processing apparatus 10 may control the camera 20 based on the determined priority, for example (S104). For example, the information processing apparatus 10 identifies a person (or a face image) to be re-authenticated in order according to a priority, and shoots the camera 20 so that the person to be re-authenticated is at the center of the shooting area of the camera 20. Operations such as direction and magnification (eg, zoom) may be controlled.
  • S104 the information processing apparatus 10 may control the camera 20 based on the determined priority, for example (S104). For example, the information processing apparatus 10 identifies a person (or a face image) to be re-authenticated in order according to a priority, and shoots the camera 20 so that the person to be re-authenticated is at the center of the shooting area of the camera 20. Operations such as direction and magnification (eg, zoom) may be controlled.
  • direction and magnification eg, zoom
  • the information processing device 10 may perform face recognition (in other words, re-authentication) based on image data obtained by capturing a person to be re-authenticated by the camera 20, for example (S105).
  • the information processing apparatus 10 may repeat, for example, the camera control in S104 and the face authentication process in S105 for the number of people who failed in face authentication.
  • FIG. 5 is a flowchart showing an example of a process of determining the priority of re-authentication in the information processing apparatus 10.
  • the information processing apparatus 10 may classify the face recognition failure person into a plurality of groups based on the quality score (in other words, the priority regarding re-authentication) for each face image of the face recognition failure person (in other words, the priority regarding re-authentication). S131).
  • the “quality score” may be, for example, information on attributes related to changes in the face image over time. Further, for example, the quality score may be information on the ease of face recognition (or the ease of face recognition) for a face image. For example, the higher the probability of successful face recognition, the higher the quality score (in other words, the weight related to the attributes of the face image) may be set.
  • the quality score may be determined based on the change in characteristics of the facial image over time.
  • the quality score may be determined based on facial facial features such as facial expression, facial orientation, eye closure, image blur, lighting, and in facial images such as masks, sunglasses, hats, beards, and makeup. It may be determined based on the presence or absence of features.
  • facial facial expression features such as facial expression, face orientation, eye closure, image blurring, and lighting conditions can be said to be features that easily change (or temporarily appear) over time. For example, at one point when a person passes through the authentication area, it may be a laughing face, and at another time, it may be expressionless.
  • the face image of a person who has failed face recognition includes the above-mentioned variable features, it has the features that make it easy to succeed in face recognition at different timings (in other words, it does not have the variable features). there is a possibility.
  • facial image features such as masks, sunglasses, hats, beards, or makeup can be said to be features that are unlikely to change over time (or features that appear continuously). For example, at a certain timing when a person passes through the authentication area, the person wearing the mask is likely to wear the mask at different timings. For example, when the face image of a person who has failed face recognition includes the above-mentioned features that are difficult to change, it is highly possible that the face image has features that are likely to fail face recognition even at different timings.
  • the information processing apparatus 10 sets, for example, a quality score (in other words, a weight) for a face image including features that easily change with the passage of time higher than a quality score for a face image including features that do not easily change with the passage of time. It's okay.
  • a quality score in other words, a weight
  • a face image having neither a feature that easily changes with the passage of time nor a feature that does not easily change is assumed to be in the same state as the face image registered in advance in the storage unit 101, for example, and face recognition is performed. Can be said to be in a state where it is easy to succeed (in other words, high quality). Therefore, when face recognition fails for a face image in a state where face recognition is likely to succeed, there is a high possibility that the person information is not registered in the storage unit 101, for example. Therefore, for example, even if the information processing apparatus 10 re-authenticates a face image having neither a changeable feature nor a hard-to-change feature, there is a high possibility that the authentication fails again.
  • the information processing apparatus 10 sets the quality score for a face image having neither the characteristic that is easily changed with the passage of time and the feature that is not easily changed as described above higher than the quality score for the face image having the characteristic that is easily changed. You can lower it.
  • the face image does not have both easily changeable features and hard-to-change features, at least from the viewpoint that the face image can be taken correctly, a part of the face is hidden or partially hidden by the hard-to-change features. It is considered that the face recognition is more likely to be successful than the changing face image.
  • the information processing apparatus 10 sets the quality score for a face image having neither the characteristic that is easily changed or the feature that is difficult to change with the passage of time as described above, than the quality score for the face image that has the feature that is hard to change. You may set it high.
  • the quality score (or priority) of a facial image having a variable feature is expressed as "high”.
  • the quality score (or priority) of a facial image having features that are difficult to change is expressed as "low”.
  • the quality score of the facial image having neither the changeable feature nor the hard-to-change feature is expressed as "medium”. In this example, for example, the quality score may be higher in the order of "high”, “medium”, and "low”.
  • the information processing apparatus 10 may classify each face recognition failure person into three groups corresponding to each quality score (“high”, “medium”, and “low”) of the face image.
  • the information processing apparatus 10 determines the quality score regardless of the presence or absence of the feature that is easily changed. It may be set to "Low”. Further, the information processing apparatus 10 sets the quality score to "high” and changes, for example, when a feature that is difficult to change is not detected and a feature that is easy to change is detected in the face image of a person whose face authentication has failed. If both difficult and variable features are not detected, the quality score may be set to "medium".
  • the information processing apparatus 10 may sort the face recognition failure persons in each group based on, for example, the authentication score (S132). For example, the information processing apparatus 10 may sort the face recognition failure persons in descending order of the authentication score.
  • the face recognition failure person may be sorted based on the maximum authentication score among the authentication scores with the data.
  • the information processing apparatus 10 may determine, for example, the order (for example, priority) of re-authentication for a person whose face authentication has failed (S133).
  • the information processing apparatus 10 may determine the priority of re-authentication, for example, in descending order of quality score and in descending order of authentication score within the same group of quality scores.
  • FIG. 6 is a diagram showing an example of determining the priority.
  • the number of people who have failed in face recognition is not limited to six, and may be other people.
  • the information processing device 10 determines, for example, a quality score (either "high”, “medium”, or "low") for each of the six face recognition failure persons. Further, the information processing apparatus 10 determines, for example, an authentication score for each of the six face recognition failure persons. The authentication score may be calculated, for example, in the process of face recognition processing.
  • the information processing apparatus 10 may determine the priority of re-authentication, for example, in descending order of quality score and in descending order of authentication score within the same group of quality scores.
  • the information processing apparatus 10 has an order (priority) of re-authentication for a plurality of persons who have failed in face authentication based on the quality score and the authentication score for the face image of the person in the captured image data acquired from the camera 20. To control.
  • the information processing apparatus 10 can perform re-authentication in order from, for example, a person who has a high possibility of succeeding in authentication among face recognition failure persons.
  • the information processing apparatus 10 can, for example, re-authenticate a person who has a high possibility of succeeding in re-authentication among a plurality of face recognition-failed persons in an earlier order. Therefore, the information processing apparatus 10 can perform re-authentication, for example, while a person who is likely to succeed in re-authentication exists in the authentication area (in other words, before passing through the authentication area). become.
  • the information processing apparatus 10 slows down the order of re-authentication of a person who is unlikely to succeed in authentication among a plurality of persons who have failed face authentication. As a result, for example, in the information processing apparatus 10, it is possible to prevent the re-authentication process for another person who has failed in face authentication from being delayed due to the re-authentication process for a person who is unlikely to succeed in authentication.
  • the information processing apparatus 10 can preferentially re-authenticate a person who has a high possibility of succeeding in re-authentication by grouping by a quality score and then sorting by an authentication score. That is, a person with a high quality score is a person who is likely to have failed in authentication due to a temporary cause, and therefore is a person who is likely to be eliminated by re-authentication. By placing such a person at the top of the sort, it is possible to lower the priority of re-authentication for a person who has failed authentication due to a difficult cause, and re-authentication succeeds. You can increase the possibility.
  • the number of people who can succeed in face recognition by the authentication system 1 can be increased, so that the authentication efficiency in the authentication system 1 can be improved.
  • the information processing apparatus 10 may group the face recognition failure person into any of a plurality of groups based on the authentication score, and sort the face recognition failure person in the order of the quality score in the group (hereinafter,). It is called “priority determination method 2").
  • the person whose quality score is "medium” and whose authentication score is lower may be, for example, an unregistered person, and there is a high possibility that the authentication will fail again in the re-authentication.
  • the priority determination method 1 since the quality score for such a person is "medium”, in the priority determination method 1, the priority of re-authentication is likely to be set near the center of the entire face recognition failure person.
  • the priority determination method 2 since grouping is performed based on the authentication score, a person with an extremely low authentication score is set in a group with a low priority for re-authentication.
  • the information processing apparatus 10 can set the priority of re-authentication lower, for example, if the person has a low authentication score even if the quality score is "medium". Similarly, even if the quality score is "high", the priority of recertification for a person with a low certification score can be lowered. That is, with this setting, regardless of the quality score, the lower the authentication score, the slower the order of re-authentication tends to be. Therefore, the information processing apparatus 10 can prioritize the re-authentication of another person whose face authentication has failed. Therefore, the authentication efficiency can be improved.
  • the priority order determination method 1 and determination method 2 may be dynamically switched. For example, in the determination method 1, when the authentication process for a person having a quality score of "medium" and a low authentication score continues in chronological order (for example, when the authentication process continues for a specified time or a specified number of times), the information processing apparatus 10 determines. The method 1 may be switched to the determination method 2.
  • the priority determination method 2 is authenticated in an environment (or area) where more people (for example, unregistered people) different from the person registered in the person information of the storage unit 101 visit, such as an event venue. It may be applied when performing processing. In such an environment, there may be more people with a quality score of "medium" and a low certification score. Therefore, for example, the information processing apparatus 10 sets a high priority for re-authentication for a person registered in the storage unit 101 (in other words, a person whose authentication score tends to be high) based on the determination method 2, and the storage unit 10. It is possible to set a low priority for authentication for a person who is not registered in 101 (in other words, a person whose authentication score tends to be low). By this setting, the re-authentication process for the person registered in the storage unit 101 is preferentially performed, so that the authentication efficiency can be improved.
  • the priority order determination method 1 and the determination method 2 may be switched by the user's selection.
  • the determination method can be set according to the environment in which each determination method is advantageous, so that the authentication efficiency can be improved.
  • the information processing apparatus 10 has described, for example, a case where the quality score and the authentication score are individually referred to to determine the priority of re-authentication, but the present invention is not limited thereto.
  • the information processing apparatus 10 may determine the priority of re-authentication based on, for example, a score that refers to both a quality score and an authentication score (for example, referred to as an overall score or an overall evaluation).
  • the information processing apparatus 10 may weight the authentication score for each of a plurality of face recognition failure persons for each attribute of the quality score (for example, facial expression, face orientation, mask, sunglasses, etc.). Then, for example, the information processing apparatus 10 may set the authentication score after weighting as the priority of re-authentication, and determine the priority of re-authentication in descending order of priority.
  • a plurality of face recognition failure persons for example, facial expression, face orientation, mask, sunglasses, etc.
  • the weighting for variable attributes such as facial expressions and face orientation may be higher than the weighting for hard-to-change attributes such as sunglasses or masks.
  • the information processing apparatus 10 may set a weighting value for a face image having a feature that easily changes with the passage of time to a positive value.
  • the authentication score (or priority) after weighting for the face recognition failure person (for example, the person who is easily authenticated) having a variable characteristic increases, so that the priority of re-authentication can be increased.
  • different values may be set for each of the plurality of features that are likely to change with the passage of time. For example, since the possibility of keeping the same facial expression for a long time is lower than the possibility of keeping the face facing different from the front for a long time, the weighting value corresponding to the facial expression attribute is set to +50, and the face different from the front is set.
  • the weighting value corresponding to the orientation attribute of may be set to +30.
  • the information processing apparatus 10 may set a weighting value for a face image having a feature that does not easily change with the passage of time to a negative value.
  • a weighting value for a face image having a feature that does not easily change with the passage of time may be set to a negative value.
  • the authentication score (or priority) after weighting for a face recognition failure person for example, a person who is difficult to be authenticated
  • a characteristic that is difficult to change is reduced, so that the priority of re-authentication can be lowered.
  • different values may be set for each of the plurality of features that are unlikely to change with the passage of time. This value may be set to a lower value, for example, as the feature is less likely to change.
  • the weighting value corresponding to the attribute of removable sunglasses may be set to -50, and the weighting value corresponding to the attribute of a beard that is difficult to remove may be set to -100.
  • the weighted values described above are examples and are not limited thereto.
  • FIG. 7 is a diagram showing an example of weighting of the authentication score by the quality score.
  • the authentication score is simply represented by two values, a high value (represented as “high”) and a low value (represented as “low”).
  • the authentication score is "high", and the face image has a feature of having a facial expression.
  • the priority of the face authentication failure person 3 may be set higher by weighting a positive value to the authentication score of the face authentication failure person 3.
  • the authentication score is "low" for each of the face images of the face recognition failure person 1 and the face recognition failure person 2.
  • the authentication score of the face authentication failure person 1 having the characteristics of sunglasses is weighted with a negative value, and the authentication score of the face authentication failure person 2 having the facial recognition characteristics is weighted. And positive weighting is done. Therefore, the priority of the face authentication failure person 2 is set higher than the priority of the face authentication failure person 1.
  • the information processing apparatus 10 performs face authentication for the face authentication failed person as compared with the above-described embodiment. Ease of can be determined in more detail.
  • the quality score is "medium” (in the case of a person who does not have both variable features and hard-to-change features)
  • the priority of re-authentication is low and easy to set.
  • the information processing apparatus 10 sets a high priority of authentication for a person registered in the storage unit 101 (in other words, a person whose authentication score tends to be high), and a person not registered in the storage unit 101 (in other words, a person who is not registered in the storage unit 101). Then, the priority of authentication for a person whose authentication score tends to be low) can be set low, and the authentication efficiency in the authentication system 1 can be improved.
  • the information processing apparatus 10 may decide not to re-authenticate a person having a low priority of re-authentication (for example, a person having a priority lower than a threshold value). Alternatively, the information processing apparatus 10 may determine, for example, not to re-authenticate a person whose quality score is equal to or less than a threshold value (for example, when it is "low"). Since there is a high possibility that re-authentication for such a person will fail, the information processing apparatus 10 can improve the authentication efficiency by reducing the number of people subject to re-authentication and increasing the chances of re-authentication for another person. ..
  • the information processing apparatus 10 may calculate a quality score based on the image data acquired by the wide area camera of the camera 20, and calculate the authentication score based on the image data acquired by the PTZ camera. For example, since the image quality of the PTZ camera is better than that of the wide area camera, the accuracy of face recognition can be improved. On the other hand, even when the image quality of the wide area camera is poor as compared with the PTZ camera, the information processing apparatus 10 has, for example, the characteristics of the person (for example, the attribute of the quality score) based on the image data acquired by the wide area camera. Can be determined.
  • the camera 20 is not limited to the wide area camera and the PTZ camera, but may be a camera that can be controlled by the information processing device 10.
  • the camera 20 may be a camera mounted on a drone or a robot.
  • the quality score is not limited to 3 types (high, medium, and low), but may be 2 types or 4 or more types.
  • the features relating to removable objects such as masks, sunglasses, and hats relate to features that are difficult to remove such as whiskers and makeup. A higher quality score than the feature may be associated.
  • the classification of a feature that does not easily change with the passage of time and a feature that easily changes with the passage of time is not limited to the embodiment of the above-described embodiment.
  • it may be different depending on the environment in which face recognition is performed. Specifically, when performing face recognition indoors, it is rare to keep wearing sunglasses or a hat, so these may also be classified into features that are likely to change over time. Similarly, since it is unlikely that the hairstyle will change significantly indoors where the influence of wind or the like is small, the hair or the like may be classified into features that are unlikely to change over time.
  • the information processing apparatus 10 may automatically perform classification based on information on the environment in which face recognition is performed (for example, geographical position, time, brightness, wind strength, etc.).
  • the quality score is calculated using the discriminative model trained for each attribute, but the quality score is not limited to this.
  • the information processing apparatus 10 calculates the authentication score of the face image for each part of the face (eyes, nose, mouth, etc.), estimates which feature the face image has from the result, and calculates the quality score. You may. For example, if the eye authentication score is extremely low compared to other parts, it can be estimated that sunglasses or the like are worn. If the authentication score of the mouth is extremely low compared to other parts, it can be estimated that a mask or the like is worn.
  • the quality score may be, for example, a value (for example, 0 or 1) indicating the presence or absence of the corresponding feature (for example, facial expression, mask, sunglasses, etc.), and the corresponding feature (for example, face orientation, lighting, etc.). It may be a value indicating the degree. As an example, in the face orientation feature, the closer the person's face orientation is to the front, the higher the quality score may be set.
  • the information processing apparatus 10 may determine the quality score based on the comparison result between the degree of the feature and the threshold value. Alternatively, the information processing apparatus 10 may weight the authentication score based on the degree of the feature in the variation 2, for example.
  • the characteristics of the quality score are not limited to the above-mentioned examples (for example, mask, sunglasses, facial expression, or face orientation), and may be other characteristics related to the ease of face recognition.
  • the information processing apparatus 10 determines the priority of re-authentication based on the quality score and the authentication score has been described, but the present invention is not limited to this.
  • the information processing apparatus 10 may determine the priority of re-authentication based on, for example, the quality score (not based on the authentication score).
  • a person with a high quality score is likely to have failed authentication due to a temporary cause, so re-authentication may eliminate the cause regardless of the current authentication score. A tall person. Therefore, by evaluating the quality score, it is possible to raise the priority of recertification for a person who is likely to succeed in recertification without considering the current certification score.
  • the information processing apparatus 10 may determine the priority of re-authentication based on, for example, the authentication score (not based on the quality score).
  • FIG. 8 is a diagram showing a hardware configuration of a computer that realizes the functions of each device by a program.
  • the computer 1100 includes an input device 1101 such as a keyboard or mouse and a touch pad, an output device 1102 such as a display or a speaker, a CPU (Central Processing Unit) 1103, a GPU (Graphics Processing Unit) 1104, and a ROM (Read Only Memory) 1105.
  • Read information from a recording medium such as RAM (RandomAccessMemory) 1106, hard disk device or storage device 1107 such as SSD (SolidStateDrive), DVD-ROM (DigitalVersatileDiskReadOnlyMemory) or USB (UniversalSerialBus) memory.
  • It includes a reading device 1108 and a transmitting / receiving device 1109 that communicates via a network, and each unit is connected by a bus 1110.
  • the reading device 1108 reads the program from the recording medium on which the program for realizing the function of each of the above devices is recorded, and stores the program in the storage device 1107.
  • the transmission / reception device 1109 communicates with the server device connected to the network, and stores the program downloaded from the server device for realizing the function of each device in the storage device 1107.
  • the CPU 1103 copies the program stored in the storage device 1107 to the RAM 1106, and sequentially reads and executes the instructions included in the program from the RAM 1106, whereby the functions of the above devices are realized.
  • LSI is an integrated circuit. These may be individually integrated into one chip, or may be integrated into one chip so as to include a part or all of them. Although it is referred to as LSI here, it may be referred to as IC, system LSI, super LSI, or ultra LSI depending on the degree of integration.
  • the method of making an integrated circuit is not limited to LSI, and may be realized by a dedicated circuit or a general-purpose processor.
  • An FPGA Field Programmable Gate Array
  • a reconfigurable processor that can reconfigure the connection and settings of the circuit cells inside the LSI may be used.
  • CPS Chip Physical Systems
  • an edge server arranged in a physical space and a cloud server arranged in a cyber space are connected via a network, and processing is performed by a processor mounted on both servers. It is possible to process in a distributed manner.
  • each processing data generated in the edge server or the cloud server is preferably generated on a standardized platform, and by using such a standardized platform, various sensor groups and IoT application software can be used. It is possible to improve the efficiency when constructing the including system.
  • the edge server is arranged at the installation location of the camera 20 to perform a part of the authentication process, and the cloud server uses, for example, the data received from the edge server via the network. Then, the rest of the authentication process may be performed. Further, in the above embodiment, for example, the edge server may perform processing on image data acquired from the camera 20, and the cloud server may perform authentication processing.
  • the information processing apparatus is based on an authentication circuit that authenticates the person based on the face image of the person in the captured image data and information on attributes related to the time change of the face image.
  • a control circuit for controlling the order of re-authentication for a plurality of persons who have failed in the authentication is provided.
  • the information regarding the attributes is based on changes in the characteristics of the facial image over time.
  • the authentication circuit performs the authentication based on the degree of similarity between the captured image data and the registered image data of a person registered in advance, and the control circuit is an information regarding the attribute. , And the order is determined based on the information regarding the similarity.
  • control circuit classifies the plurality of persons into a plurality of groups based on one of the information regarding the attribute and the information regarding the similarity, and the information regarding the attribute and the similarity.
  • the order is determined by sorting the people in the plurality of groups based on the other side of the information.
  • control circuit weights the information about the similarity based on the information about the attribute of the plurality of persons, and based on the weighted information about the similarity, the control circuit weights the information about the similarity. The order is determined.
  • control circuit includes a second feature that does not easily change the weight of information about the attribute with respect to the first face image including the first feature that is likely to change with the passage of time. It is set higher than the information regarding the attribute for the second face image.
  • control circuit weights the information about the attribute for a face image that does not have both the first feature and the second feature from the information about the attribute for the second face image. Is also set high, and is set lower than the information regarding the attribute for the first face image.
  • control circuit determines whether or not re-authentication is performed for a person whose index based on a change in characteristics of the facial image according to the passage of time is equal to or less than a threshold value among the plurality of persons.
  • control circuit controls the operation of the camera that captures the captured image data based on the control result of the re-authentication.
  • the information processing apparatus authenticates the person based on the face image of the person in the captured image data, and is based on the information regarding the attribute related to the time change of the face image. Therefore, the order of re-authentication for a plurality of persons who have failed in the authentication is controlled.
  • the program according to the embodiment of the present disclosure is based on a process of authenticating the person based on the face image of the person in the captured image data and information on attributes related to the time change of the face image in the information processing apparatus. Then, the process of controlling the order of re-authentication for the plurality of persons who failed in the authentication is executed.
  • One embodiment of the present disclosure is useful for an authentication system.

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • General Health & Medical Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • General Engineering & Computer Science (AREA)
  • Medical Informatics (AREA)
  • Software Systems (AREA)
  • Databases & Information Systems (AREA)
  • Computing Systems (AREA)
  • Signal Processing (AREA)
  • Collating Specific Patterns (AREA)
  • Studio Devices (AREA)
  • Image Analysis (AREA)

Abstract

情報処理装置は、撮像画像データにおける人物の顔画像に基づいて人物の認証を行う認証回路と、顔画像の時間変化に関連した属性に関する情報に基づいて、認証に失敗した複数の人物に対する再認証の順序を制御する制御回路と、を具備する。

Description

情報処理装置、情報処理方法及びプログラム
　本開示は、情報処理装置、情報処理方法及びプログラムに関する。
　例えば、不特定多数の人物に対して顔認証を行う認証システムが検討されている（例えば、特許文献１を参照）。
国際公開２０１９／１８１４７９号
　しかしながら、特許文献１の認証システムはテーブルの着席者等の静止している人物の顔認証をするシステムであり、人物が移動する環境において認証の効率化を図る方法については検討の余地がある。
　本開示の非限定的な実施例は、人物が移動する環境において認証の効率を向上する情報処理装置、情報処理方法及びプログラムの提供に資する。
　本開示の一実施例に係る情報処理装置は、撮像画像データにおける人物の顔画像に基づいて前記人物の認証を行う認証回路と、前記顔画像の時間変化に関連した属性に関する情報に基づいて、前記認証に失敗した複数の人物に対する再認証の順序を制御する制御回路と、を具備する。
　なお、これらの包括的または具体的な態様は、システム、装置、方法、集積回路、コンピュータプログラム、または、記録媒体で実現されてもよく、システム、装置、方法、集積回路、コンピュータプログラムおよび記録媒体の任意な組み合わせで実現されてもよい。
　本開示の一実施例によれば、人物が移動する環境において認証の効率を向上できる。
　本開示の一実施例における更なる利点および効果は、明細書および図面から明らかにされる。かかる利点および／または効果は、いくつかの実施形態並びに明細書および図面に記載された特徴によってそれぞれ提供されるが、１つまたはそれ以上の同一の特徴を得るために必ずしも全てが提供される必要はない。
認証システムの構成例を示すブロック図 カメラの設置例を示す図 認証エリア内のカメラの撮影領域の一例を示す図 認証システムの動作例を示すフローチャート 再認証の優先順位を決定する処理の一例を示すフローチャート 再認証の優先順位の一例を示す図 認証スコアの重み付けの一例を示す図 コンピュータのハードウェア構成例を示す図
　以下、本開示の各実施の形態について図面を参照して詳細に説明する。
　例えば、屋外、オフィス、商業施設、又は、公共施設といった多数の人物が移動（又は、通過）するエリアにおいて顔認証を行い、人物を特定する認証システムが検討されている。このような認証システムについて、例えば、入退出管理システム、防犯システムといった人物を特定するシステムでの利用が挙げられる。
　また、例えば、認証システムにおいて、或る人物の顔認証に失敗した場合、当該人物に対して、再度、顔認証（又は、再認証とも呼ぶ）を行うことにより、認証を成功する人物の人数又は割合が増加し、認証効率を向上することが期待される。例えば、顔認証に失敗した原因が、顔の一時的な隠蔽又は変化である場合、失敗した時と異なるタイミングで再認証を行えば原因が解消されている可能性がある。
　しかしながら、上述したように人物が移動する環境では、認証システムが、顔認証に失敗した人物に対する再認証を行う時点で、再認証対象の人物が、顔認証を行うエリア（以下、「認証エリア」と呼ぶ）の外に移動する可能性がある。この場合、認証システムは、認証エリア外に移動した人物に対する再認証を行えず、認証効率が低下し得る。
　そこで、本開示の一実施例では、人物が移動する環境において、認証システムにおける認証効率を向上する方法について説明する。本開示の一実施例では、例えば、認証システムにおいて、再認証を行う対象の人物（換言すると、認証に失敗した人物）が複数存在する場合に、再認証を行う順序（例えば、「優先順位」と呼ぶ）を決定する方法について説明する。
　［情報処理システムの構成］
　図１は、本実施の形態に係る認証システム１の構成例を示す図である。
　図１に示す認証システム１は、例えば、情報処理装置１０、及び、カメラ２０を含む。情報処理装置１０とカメラ２０とは、例えば、無線ネットワーク又は有線ネットワークといった通信ネットワークを介して接続されてよい。
　情報処理装置１０は、例えば、カメラ２０から取得した画像データに基づいて、顔認証処理を行ってよい。また、情報処理装置１０は、例えば、顔認証に失敗した人物（例えば、顔認証失敗人物と呼ぶこともある）の顔画像に対して再認証を行ってよい。情報処理装置１０は、例えば、顔認証失敗人物の顔画像に対して、再認証を行う順序（例えば、優先順位）を決定し、決定した優先順位に従って再認証を行ってよい。
　カメラ２０は、例えば、認証エリア内において撮像した画像データを情報処理装置１０へ送信してよい。
　カメラ２０は、例えば、認証エリアを撮影領域（又は、撮影範囲と呼ぶ）に含むように設置されてよい。または、カメラ２０は、認証エリアを分割した複数の領域を順に撮影するように撮影領域（換言すると、撮影方向）を決定してもよい。または、カメラ２０は、複数のカメラから構成され、複数のカメラそれぞれの撮影領域によって認証エリアをカバーしてもよい。
　［情報処理装置の構成例］
　図１に示す情報処理装置１０は、例えば、記憶部１０１、認証部１０２、及び、制御部１０３を備えてよい。
　記憶部１０１は、例えば、人物に関する情報（例えば、人物情報）を記憶してよい。換言すると、記憶部１０１は、人物情報を含むデータベースを備えてよい。
　人物情報には、例えば、ＩＤ又は人物名といった人物を識別する情報、及び、事前に登録された人物の登録画像データ（例えば、顔画像データと呼ぶ）が含まれてよい。人物情報は、例えば、顧客管理システムにおける顧客情報、社員管理システムにおける社員情報、又は、防犯システムにおける犯罪者又は不審者の情報でもよく、他の種別の人物に関する情報でもよい。
　また、記憶部１０１は、例えば、認証部１０２における認証に利用される識別モデル（又は、学習済モデルとも呼ぶ）を記憶してよい。記憶部１０１は、例えば、認証部１０２における認証の容易性（換言すると、認証のしやすさ、又は、認証の向き・不向き）に関する情報（例えば、「品質スコア」又は「再認証に関する優先度」と呼ぶ）の属性（又は、種別）毎に識別モデルを記憶してよい。品質スコアの属性は、例えば、顔画像の時間変化に関連した属性でよい。
　例えば、品質スコアは、顔画像の時間経過に応じた特徴の変化に基づいてよい。
　例えば、品質スコアの属性には、時間の経過によって変化しにくい特徴を有する属性が含まれてよい。時間の経過によって変化しにくい特徴としては、例えば、マスク、サングラス、帽子、髭、化粧（例えば、フェイスペイントを含む）といった人物の顔の少なくとも一部を継続的に隠蔽又は変化させる特徴が挙げられる。
　また、品質スコアの属性には、例えば、時間の経過によって変化しやすい特徴を有する属性が含まれてよい。時間の経過によって変化しやすい特徴としては、例えば、表情、顔の向き、閉眼、画像のボケ、照明（例えば、低照度又は逆光）、又は、髪の乱れといった人物の顔の少なくとも一部を一時的に隠蔽又は変化させる特徴が挙げられる。
　記憶部１０１は、例えば、少なくとも一つの品質スコアの属性を認証部１０２において識別するための識別モデル（例えば、サングラスを装着した顔を学習させた識別モデル）を記憶してよい。
　認証部１０２は、例えば、カメラ２０によって撮像された撮像画像データと、記憶部１０１に記憶された人物情報とに基づいて、人物の顔認証を行ってよい。認証部１０２は、例えば、認証結果を示す情報（例えば、認証した人物の人物情報、又は、認証の成否に関する情報）を制御部１０３へ出力してよい。
　例えば、認証部１０２は、記憶部１０１に事前に登録された人物の顔画像データと、カメラ２０によって撮像された画像データ内の顔画像との類似度に基づいて人物の顔認証を行ってよい。例えば、登録された顔画像データとの類似度が高い顔画像ほど、類似度に関する情報（以下、「認証スコア」と呼ぶ）が高く設定されてよい。認証部１０２は、例えば、認証スコアが閾値以上の顔画像データに含まれる人物について、登録された顔画像データに対応する人物であると判断してよい。また、例えば、認証部１０２は、制御部１０３からの指示に従って、顔認証に失敗した人物（顔認証失敗人物）の顔画像に対して再認証を行ってよい。
　制御部１０３は、例えば、認証部１０２における認証処理を制御してよい。例えば、制御部１０３は、認証部１０２から入力される情報に基づいて、顔認証失敗人物（又は、顔画像）を特定する。制御部１０３は、顔認証失敗人物が複数存在する場合、例えば、品質スコア、及び、顔認証における類似度に関する認証スコアに基づいて、複数の顔認証失敗人物に対する再認証を制御してよい。例えば、制御部１０３は、顔認証失敗人物に対して再認証を行う順序（例えば、優先順位と呼ぶ）を決定してよい。制御部１０３は、例えば、決定した再認証の優先順位に基づいて、再認証の指示を認証部１０２へ出力してよい。
　また、制御部１０３は、カメラ２０の動作を制御してよい。例えば、制御部１０３は、顔認証失敗人物に対する再認証の制御結果（例えば、優先順位）に基づいて、認証エリア内におけるカメラ２０の撮影領域を決定し、カメラ２０へ指示してよい。また、制御部１０３は、例えば、顔認証失敗した人物に対応する顔画像に対するカメラ２０のトラッキング（又は、追尾あるいは追跡）処理を制御してよい。
　［カメラの構成例］
　図２は、認証エリアに対するカメラ２０の設置例を示す図である。
　図２に示す例では、カメラ２０は、例えば、或る撮影領域を有するカメラ２０―１と、カメラ２０－１の撮影領域よりも狭い撮影領域を有するカメラ２０―２と、を備えてよい。カメラ２０―１は、例えば、広域カメラでもよい。また、カメラ２０―２は、例えば、ＰＴＺ（Pan-Tilt-Zoom）カメラでもよい。
　カメラ２０―１は、例えば、認証エリアの少なくとも一部の範囲を撮像した画像データを情報処理装置１０へ送信してよい。以下では、一例として、カメラ２０―１による撮影を「全体撮影」と呼び、カメラ２０―１による撮影領域を「全体撮影エリア」と呼ぶ。
　カメラ２０―２は、例えば、カメラ２０―１の撮影領域（又は、全体撮影エリア）よりも狭い範囲を撮像した画像データを情報処理装置１０へ送信してよい。以下では、一例として、カメラ２０―２による撮影を「個別撮影」と呼び、カメラ２０―２による撮影領域を「個別撮影エリア」と呼ぶ。
　カメラ２０（例えば、カメラ２０―１及びカメラ２０―２）は、例えば、情報処理装置１０（例えば、後述する制御部１０３）からの指示に従って、撮影方向、又は、拡大倍率といった撮影態様を決定してよい。
　例えば、図２において、情報処理装置１０は、全体撮影によって得られる画像データに基づいて、認証エリアにおける人物の顔部分（例えば、顔画像）の識別、及び、認証エリアにおける人物（顔画像）のトラッキング処理を行ってよい。また、例えば、情報処理装置１０は、個別撮影によって得られる画像データに基づいて、人物の顔画像について顔認証処理を行ってよい。
　なお、人物の識別、トラッキング及び顔認証について、異なるカメラによって得られる画像データに基づく場合に限らず、単一のカメラから得られる画像データに基づいてこれらの処理が行われてもよい。
　また、カメラ２０の構成は、図２に示す構成例に限定されない。例えば、カメラ２０は、ＰＴＺカメラを備え、広域カメラを備えなくてもよい。また、カメラ２０は、ＰＴＺカメラに限らず、撮影領域が固定のカメラでもよい。すなわち、全体撮影エリアと個別撮影エリアとを撮影できるのであれば、カメラ２０の種類や数は問わない。
　また、カメラ２０が取得するデータは、静止画像データ又は動画像データの何れでもよい。
　図３は、例えば、情報処理装置１０によるカメラ２０の撮影領域の制御例を示す図である。図３は、一例として、図２に示すカメラ２０の設置例における撮影領域の制御例を示す。
　例えば、図３に示すように、情報処理装置１０は、認証エリアにおいて、カメラ２０による全体撮影エリアを、全体撮影（１）のエリアから、全体撮影（２）のエリアへ切り替えてよい。この処理により、情報処理装置１０は、例えば、認証エリアにおける人物の識別及び人物のトラッキングを制御してよい。なお、全体撮影エリアの切り替え方法（例えば、切替順序、切替方向、又は、領域サイズ）は、図３に示す例に限定されない。例えば、全体撮影エリアは、認証エリアと同様のサイズでもよい。
　また、例えば、図３に示すように、情報処理装置１０は、認証エリアにおいて、カメラ２０による個別撮影エリアを、個別撮影（１）、個別撮影（２）、個別撮影（３）のエリアの順に切り替えてよい。例えば、情報処理装置１０は、或る個別撮影エリアにおいて規定数のフレーム（又は、規定時間）内に顔認証に成功しない場合に、次の認証対象の人物の個別撮影エリアに切り替えてよい。例えば、背景に貼られたポスターに印刷された顔が、偶然、再撮影の優先順位が高い性質を満たしている場合、顔認証が成功する可能性は極めて低いにもかかわらず、ポスターを含む個別撮影エリアが他の個別撮影エリアよりも優先され続けてしまう。規定数のフレーム内に顔認証に成功しない場合は他の個別撮影エリアに切り替えることで、このような事態が発生した場合でも影響を押さえることができる。また、この場合、情報処理装置１０は、例えば、規定数のフレーム内に顔認証に成功しなかった個別撮影エリアは、以後の再認証の対象外として記録してもよい。ポスター等は移動しないため、再び再認証の対象となり得るためである。なお、認証エリアにおいて撮影領域の切り替えは、図３に示す例に限定されない。
　情報処理装置１０は、例えば、顔認証に失敗した人物（例えば、図３では、人物１、人物２及び人物３）の顔画像を、認証エリア内においてトラッキングしてよい。
　［認証システムの動作例］
　次に、上述した認証システム１における動作の一例について説明する。
　図４は、認証システム１の動作例を示すフローチャートである。
　情報処理装置１０は、例えば、上述したように、カメラ２０から取得した撮像画像データにおける人物の顔画像に基づいて、人物の顔認証を行う（Ｓ１０１）。
　情報処理装置１０は、例えば、顔認証の結果、顔認証に失敗した人物（例えば、顔認証失敗人物）が存在するか否かを判断する（Ｓ１０２）。情報処理装置１０は、例えば、顔認証失敗人物の人数をカウントしてよい。
　顔認証失敗人物が存在しない場合（Ｓ１０２：Ｎｏ）、情報処理装置１０は、例えば、図２に示す処理を終了、又は、Ｓ１０１の処理に戻ってよい。
　その一方で、顔認証失敗人物が存在する場合（Ｓ１０２：Ｙｅｓ）、情報処理装置１０は、例えば、顔認証失敗人物に対して再認証を行う優先順位を決定してよい（Ｓ１０３）。なお、再認証の優先順位の決定例については後述する。
　情報処理装置１０は、例えば、決定した優先順位に基づいて、カメラ２０を制御してよい（Ｓ１０４）。例えば、情報処理装置１０は、優先順位に従って、再認証対象の人物（又は、顔画像）を順に特定し、再認証対象の人物をカメラ２０の撮影領域の中心になるように、カメラ２０の撮影方向、及び、拡大倍率（例えば、ズーム）といった動作を制御してよい。
　情報処理装置１０は、例えば、カメラ２０によって再認証対象の人物を撮像した画像データに基づいて、顔認証（換言すると、再認証）を行ってよい（Ｓ１０５）。
　情報処理装置１０は、例えば、Ｓ１０４におけるカメラ制御、及び、Ｓ１０５における顔認証の処理を、顔認証に失敗した人数の分繰り返してよい。
　［再認証の優先順位の決定方法］
　次に、認証失敗人物に対する再認証の優先順位の決定例（例えば、図４のＳ１０３の処理）について説明する。
　図５は、情報処理装置１０における再認証の優先順位を決定する処理の一例を示すフローチャートである。
　情報処理装置１０は、例えば、顔認証失敗人物の顔画像それぞれに対して、品質スコア（換言すると、再認証に関する優先度）に基づいて、顔認証失敗人物を複数のグループに分類してよい（Ｓ１３１）。
　「品質スコア」は、例えば、顔画像の時間変化に関連した属性に関する情報でよい。また、例えば、品質スコアは、顔画像に対する顔認証の容易性（又は、顔認証のしやすさ）に関する情報でよい。例えば、顔認証を成功する確率が高い顔画像ほど、品質スコア（換言すると、顔画像の属性に関する重み）が高く設定されてよい。
　例えば、品質スコアは、顔画像の時間経過に応じた特徴の変化に基づいて決定されてよい。例えば、品質スコアは、顔の表情、顔の向き、閉眼、画像のボケ、照明のあたり具合といった顔画像の特徴に基づいて決定されてよく、マスク、サングラス、帽子、髭、化粧といった顔画像における特徴の有無に基づいて決定されてよい。
　例えば、顔の表情、顔の向き、閉眼、画像のボケ、照明のあたり具合といった顔画像の特徴は、時間の経過によって変化しやすい特徴（又は、一時的に表れる特徴）と云える。例えば、認証エリアを人物が通過する或るタイミングでは、笑い顔であり、異なるタイミングでは無表情である可能性がある。例えば、顔認証失敗人物の顔画像において、上述したような変化しやすい特徴が含まれる場合、異なるタイミングでは、顔認証に成功しやすい特徴を有する（換言すると、変化しやすい特徴を有さない）可能性がある。
　その一方で、例えば、マスク、サングラス、帽子、髭、又は、化粧といった顔画像の特徴は、時間の経過によって変化しにくい特徴（又は、継続的に表れる特徴）と云える。例えば、認証エリアを人物が通過する或るタイミングでは、マスクを装着した人物は、異なるタイミングでもマスクを装着する可能性が高い。例えば、顔認証失敗人物の顔画像において、上述したような変化しにくい特徴が含まれる場合、異なるタイミングでも、顔認証に失敗しやすい特徴を有する可能性が高い。
　そこで、情報処理装置１０は、例えば、時間経過によって変化しやすい特徴を含む顔画像に対する品質スコア（換言すると、重み）を、時間経過によって変化しにくい特徴を含む顔画像に対する品質スコアより高く設定してよい。
　また、時間経過によって変化しやすい特徴及び変化しにくい特徴の双方を有さない顔画像は、例えば、記憶部１０１に事前に登録される顔画像と同様の状態であることが想定され、顔認証を成功しやすい状態（換言すると、高品質）であると云える。よって、顔認証を成功しやすい状態の顔画像について顔認証に失敗した場合には、例えば、記憶部１０１に人物情報が未登録の人物である可能性が高い。よって、例えば、情報処理装置１０は、変化しやすい特徴及び変化しにくい特徴の何れも有さない顔画像に対して再認証しても、再び認証に失敗する可能性が高い。
　そこで、情報処理装置１０は、例えば、上述した時間経過によって変化しやすい特徴及び変化しにくい特徴の双方を有さない顔画像に対する品質スコアを、変化しやすい特徴を有する顔画像に対する品質スコアよりも低くしてよい。
　また、変化しやすい特徴及び変化しにくい特徴の双方を有さない顔画像であっても、少なくとも顔画像は正しく撮影できているという観点からは、変化しにくい特徴によって顔の一部が隠蔽又は変化している顔画像よりは顔認証に成功する可能性は高いと考えられる。
　そこで、情報処理装置１０は、例えば、上述した時間経過によって変化しやすい特徴及び変化しにくい特徴の双方を有さない顔画像に対する品質スコアを、変化しにくい特徴を有する顔画像に対する品質スコアよりも高く設定してよい。
　以下では、一例として、変化しやすい特徴を有する顔画像の品質スコア（又は、優先度）を「高」と表す。また、変化しにくい特徴を有する顔画像の品質スコア（又は、優先度）を「低」と表す。また、変化しやすい特徴及び変化しにくい特徴の双方を有さない顔画像の品質スコアを「中」と表す。この例では、例えば、品質スコアは、「高」、「中」、「低」の順に高くてよい。
　例えば、情報処理装置１０は、顔認証失敗人物それぞれを、顔画像の各品質スコア（「高」、「中」及び「低」）に対応するの３つのグループに分類してよい。
　例えば、顔認証失敗人物の顔画像において、少なくとも、変化しにくい特徴（例えば、マスクまたはサングラス等）が検出された場合、情報処理装置１０は、変化しやすい特徴の有無に依らずに品質スコアを「低」に設定してよい。また、情報処理装置１０は、例えば、顔認証失敗人物の顔画像において、変化しにくい特徴が検出されず、変化しやすい特徴が検出される場合、品質スコアを「高」に設定し、変化しにくい特徴及び変化しやすい特徴の双方が検出されない場合、品質スコアを「中」に設定してよい。
　図５において、情報処理装置１０は、例えば、認証スコアに基づいて、各グループ内の顔認証失敗人物をソートしてよい（Ｓ１３２）。例えば、情報処理装置１０は、認証スコアの高い順に、顔認証失敗人物をソートしてよい。
　なお、情報処理装置１０は、例えば、記憶部１０１に人物情報が登録された人物が複数存在する場合、カメラ２０から取得した画像データ内の顔画像と、登録された複数の人物それぞれの顔画像データとの認証スコアのうち、最大の認証スコアに基づいて、顔認証失敗人物のソートを行ってもよい。
　図５において、情報処理装置１０は、例えば、顔認証失敗人物に対して、再認証を行う順序（例えば、優先順位）を決定してよい（Ｓ１３３）。情報処理装置１０は、例えば、品質スコアの高い順、かつ、品質スコアが同じグループ内における認証スコアの高い順に、再認証の優先順位を決定してよい。
　図６は、優先順位の決定の一例を示す図である。
　図６では、一例として、顔認証失敗人物が６人（例えば、顔認証失敗人物ID＝1～6）である場合について説明する。なお、顔認証に失敗した人物の人数は６人に限定されず、他の人数でもよい。
　情報処理装置１０は、例えば、６人の顔認証失敗人物それぞれに対する品質スコア（「高」、「中」及び「低」の何れか）を決定する。また、情報処理装置１０は、例えば、６人の顔認証失敗人物それぞれに対する認証スコアを決定する。なお、認証スコアは、例えば、顔認証処理の過程において算出されてもよい。
　情報処理装置１０は、例えば６人の顔認証失敗人物それぞれに対する品質スコアに基づいて、「高」、「中」及び「低」の３つのグループに分類してよい。例えば、図６では、顔認証失敗人物ID=4及び6が品質スコア「高」のグループに分類され、顔認証失敗人物ID=2及び3が品質スコア「中」のグループに分類され、顔認証失敗人物ID=1及び5が品質スコア「低」のグループに分類される。
　また、情報処理装置１０は、図６に示す３つのグループそれぞれにおいて、認証スコアの高い順に、顔認証失敗人物をソートしてよい。例えば、図６では、品質スコア「高」のグループにおいて、顔認証失敗人物ID=6（認証スコア：４００）、顔認証失敗人物ID=4（認証スコア：１５０）の順にソートされる。同様に、例えば、図６では、品質スコア「中」のグループにおいて、顔認証失敗人物ID=2（認証スコア：３００）、顔認証失敗人物ID=3（認証スコア：１００）の順にソートされる。同様に、例えば、図６では、品質スコア「低」のグループにおいて、顔認証失敗人物ID=1（認証スコア：３００）、顔認証失敗人物ID=5（認証スコア：５０）の順にソートされる。
　そして、情報処理装置１０は、例えば、品質スコアの高い順、かつ、品質スコアが同じグループ内における認証スコアの高い順に、再認証の優先順位を決定してよい。図６では、例えば、顔認証失敗人物ID=6、4、2、3、1、5の順に、再認証の優先順位が決定されてよい。
　例えば、情報処理装置１０は、決定した再認証の優先順位に基づいて、再認証を行ってよい。また、図６の例では、例えば、情報処理装置１０は、顔認証失敗人物ID=6、4、2、3、1、5の順に撮影領域を切り替えるように、カメラ２０を制御してよい。
　このように、情報処理装置１０は、カメラ２０から取得した撮像画像データにおける人物の顔画像に対する品質スコア及び認証スコアに基づいて、顔認証に失敗した複数の人物に対する再認証の順序（優先順位）を制御する。
　例えば、上述した再認証の順序の制御により、情報処理装置１０は、例えば、顔認証失敗人物のうち、認証に成功する可能性の高い人物から順に、再認証を行うことが可能となる。これにより、情報処理装置１０は、例えば、複数の顔認証失敗人物のうち、再認証において認証に成功する可能性の高い人物に対して、より早い順序で再認証を行うことが可能になる。よって、情報処理装置１０は、例えば、再認証において認証に成功する可能性の高い人物が認証エリア内に存在するうち（換言すると、認証エリアを通過する前）に、再認証を行うことが可能になる。
　また、情報処理装置１０は、例えば、複数の顔認証失敗人物のうち、認証に成功する可能性の低い人物の再認証の順序をより遅くする。これにより、例えば、情報処理装置１０では、認証に成功する可能性が低い人物に対する再認証処理によって、他の顔認証失敗人物に対する再認証処理が遅延することを抑制できる。
　また、情報処理装置１０は、品質スコアでグループ分けした後、認証スコアでソートすることで、再認証に成功する可能性の高い人物を優先的に再認証することが可能となる。すなわち、品質スコアが高い人物は、一時的な原因で認証に失敗している可能性が高い人物であるため、再認証を行うことによってその原因が解消される可能性が高い人物である。このような人物がソートで上位になるようにすることで、解消困難な原因によって認証に失敗ししている人物に対して再認証が行われる優先順位を下げることができ、再認証が成功する可能性を高めることができる。
　以上より、例えば、人物が移動する環境において、認証システム１による顔認証を成功できる人数を増加できるので、認証システム１における認証効率を向上できる。
　（バリエーション１）
　上述した実施の形態では、品質スコアによるグループ分けの後、グループ内の認証スコアの順に顔認証失敗人物をソートする場合（以下、「優先順位の決定方法１」と呼ぶ）について説明したが、優先順位の決定方法はこれに限定されない。
　例えば、情報処理装置１０は、認証スコアに基づいて、顔認証失敗人物を複数のグループの何れかにグループ分けし、グループ内において品質スコアの順に顔認証失敗人物をソートしてもよい（以下、「優先順位の決定方法２」と呼ぶ）。
　ここで、品質スコアが「中」、かつ、認証スコアがより低い人物ほど、例えば、未登録の人物の可能性があり、再認証において認証に再度失敗する可能性が高い。例えば、このような人物に対する品質スコアが「中」であるので、優先順位の決定方法１では、再認証の優先順位は、顔認証失敗人物の全体のうち中央付近に設定されやすい。その一方で、優先順位の決定方法２では、認証スコアに基づいてグループ分けが行われるため、認証スコアが極端に低い人物は再認証の優先順位が低いグループに設定される。そのため、優先順位の決定方法２では、情報処理装置１０は、例えば、品質スコアが「中」であっても、認証スコアが低い人物であれば、再認証の優先順位をより低く設定できる。同様に、品質スコアが「高」であっても、認証スコアが低い人物に対する再認証の優先順位を低くすることもできる。すなわち、この設定により、品質スコアにかかわらず、認証スコアがより低い人物ほど、再認証の順序が遅くなりやすいので、情報処理装置１０は、他の顔認証失敗人物の再認証を優先して行えるので、認証効率を向上できる。
　なお、優先順位の決定方法１及び決定方法２は、動的に切り替えられてもよい。例えば、決定方法１において、品質スコアが「中」、かつ、認証スコアが低い人物に対する認証処理が時系列的に続く場合（例えば、規定時間又は規定回数続く場合）、情報処理装置１０は、決定方法１から決定方法２へ切り替えてよい。
　また、優先順位の決定方法２は、例えば、イベント会場といった、記憶部１０１の人物情報に登録された人物と異なる人物（例えば、未登録の人物）がより多く訪れる環境（又は、エリア）において認証処理を行う場合に適用されてもよい。このような環境では、品質スコアが「中」であり、認証スコアが低い人物がより多く存在し得る。よって、情報処理装置１０は、例えば、決定方法２に基づいて、記憶部１０１に登録された人物（換言すると、認証スコアが高くなりやすい人物）に対する再認証の優先順位を高く設定し、記憶部１０１に未登録の人物（換言すると、認証スコアが低くなりやすい人物）に対する認証の優先順位を低く設定することが可能になる。この設定により、記憶部１０１に登録された人物に対する再認証処理が優先的に行われるので、認証効率を向上できる。
　また、優先順位の決定方法１及び決定方法２は、ユーザの選択により切り替えられてもよい。これにより、各決定方法が有利な環境に合わせて決定方法を設定できるので、認証効率を向上できる。
　（バリエーション２）
　上述した実施の形態では、情報処理装置１０は、例えば、品質スコア及び認証スコアのそれぞれを個別に参照して、再認証の優先順位を決定する場合について説明したが、これに限定されない。
　情報処理装置１０は、例えば、品質スコア及び認証スコアの双方を参照したスコア（例えば、総合スコア又は総合評価と呼ぶ）に基づいて、再認証の優先順位を決定してもよい。
　例えば、情報処理装置１０は、複数の顔認証失敗人物について、品質スコアの属性（例えば、表情、顔の向き、マスク、サングラス等）毎に、認証スコアに対する重みづけを行ってもよい。そして、情報処理装置１０は、例えば、重みづけ後の認証スコアを再認証の優先度に設定し、優先度の高い順に、再認証の優先順位を決定してよい。
　例えば、表情、顔の向きといった変化しやすい属性に対する重みづけを、サングラス又はマスクといった変化しにくい属性に対する重みづけよりも高くしてもよい。
　例えば、情報処理装置１０は、時間経過によって変化しやすい特徴を有する顔画像に対する重みづけ値を、正の値に設定してよい。これにより、変化しやすい特徴を有する顔認証失敗人物（例えば、認証されやすい人物）に対する重みづけ後の認証スコア（または、優先度）が増加するので、再認証の優先順位を高くできる。また、時間経過によって変化しやすい複数の特徴それぞれに対して、異なる値が設定されてもよい。例えば、長時間同じ表情をし続ける可能性は、長時間正面と異なる顔の向きをし続ける可能性よりも低いため、表情の属性に対応する重みづけ値は＋５０に設定され、正面と異なる顔の向きの属性に対応する重みづけ値は＋３０に設定されてもよい。なお、上述した重みづけ値は一例であり、これらに限定されない。
　その一方で、例えば、情報処理装置１０は、時間経過によって変化しにくい特徴を有する顔画像に対する重みづけ値を、負の値に設定してよい。これにより、変化しにくい特徴を有する顔認証失敗人物（例えば、認証されにくい人物）に対する重みづけ後の認証スコア（または、優先度）が減少するので、再認証の優先順位を低くできる。また、時間経過によって変化しにくい複数の特徴それぞれに対して、異なる値が設定されてもよい。この値は、例えば、変化しにくい特徴ほど低い値が設定されてもよい。これにより、変化しにくい特徴を有する人物ほど、重み付け後の認証スコアが低くなるため、再認証の優先順位を下げられる。例えば、取り外しが可能なサングラスの属性に対応する重みづけ値は－５０に設定され、取り外しが困難な髭の属性に対応する重みづけ値は－１００に設定されてもよい。なお、上述した重みづけ値は一例であり、これらに限定されない。
　図７は、品質スコアによる認証スコアの重みづけの一例を示す図である。図７では、例えば、認証スコアを、単に、高い値（「高」と表す）及び低い値（「低」と表す）の２値で表す。
　図７において、例えば、顔認証失敗人物３の顔画像について、認証スコアが「高」であり、表情有りの特徴を有する。この場合、例えば、顔認証失敗人物３の認証スコアに対する正の値の重みづけにより、顔認証失敗人物３の優先順位は、より高く設定され得る。
　また、図７において、例えば、顔認証失敗人物１及び顔認証失敗人物２の顔画像それぞれについて、認証スコアが「低」である。また、図７では、例えば、サングラスの特徴を有する顔認証失敗人物１の認証スコアに対して負の値の重みづけが行われ、顔向きの特徴を有する顔認証失敗人物２の認証スコアに対して正の値の重みづけが行われる。このため、顔認証失敗人物２の優先順位は、顔認証失敗人物１の優先順位よりも高く設定される。
　このように、品質スコアに対応する複数の属性（特徴）毎に重みづけ値が設定されることで、情報処理装置１０は、上述した実施の形態と比較して、顔認証失敗人物に対する顔認証の容易性をより細かく判定できる。
　また、バリエーション２では、例えば、品質スコアが「中」の場合（変化しやすい特徴及び変化しにくい特徴の双方を有さない人物の場合）、認証スコアに対する重みづけがされにくい。このため、例えば、品質スコアが「中」、かつ、認証スコアが低い人物（例えば、記憶部１０１の人物情報に未登録の人物）には、品質スコアが「高」の人物と比較して、再認証の優先順位が低く設定されやすい。よって、情報処理装置１０は、例えば、記憶部１０１に登録された人物（換言すると、認証スコアが高くなりやすい人物）に対する認証の優先順位を高く設定し、記憶部１０１に未登録の人物（換言すると、認証スコアが低くなりやすい人物）に対する認証の優先順位を低く設定可能になり、認証システム１における認証効率を向上できる。
　（バリエーション３）
　情報処理装置１０は、例えば、再認証の優先順位が低い人物（例えば、優先順位が閾値より低い人物）の再認証の不実施を決定してもよい。または、情報処理装置１０は、例えば、品質スコアが閾値以下（例えば、「低」の場合）の人物に対する再認証の不実施を決定してもよい。このような人物に対する再認証は失敗する可能性が高いので、情報処理装置１０は、再認証の対象人数を削減し、他の人物に対する再認証の機会を増加することにより、認証効率を向上できる。
　（バリエーション４）
　情報処理装置１０は、例えば、カメラ２０のうち広域カメラによって取得した画像データに基づいて品質スコアを算出し、ＰＴＺカメラによって取得した画像データに基づいて認証スコアを算出してもよい。例えば、広域カメラと比較して、ＰＴＺカメラの画質が良いので、顔認証の精度を向上できる。その一方で、ＰＴＺカメラと比較して、広域カメラの画質が悪い場合でも、情報処理装置１０は、例えば、広域カメラによって取得した画像データに基づいて、人物の特徴（例えば、品質スコアの属性）を判断可能である。
　以上、バリエーションについて説明した。
　なお、カメラ２０は、広域カメラ及びＰＴＺカメラに限らず、情報処理装置１０によって制御可能なカメラでもよい。例えば、カメラ２０は、ドローン又はロボットに搭載されたカメラでもよい。
　また、品質スコアは、３種類（高、中、及び、低）に限らず、２種類又は４種類以上でもよい。例えば、上述した実施の形態において、時間の経過によって変化しにくい特徴のうち、マスク、サングラス、帽子などの取り外しが可能な物に係る特徴には、髭、化粧などの取り外しが困難な物に係る特徴よりも、高い品質スコアを対応付けてもよい。
　また、時間の経過によって変化しにくい特徴と、時間の経過によって変化しやすい特徴との分類は、上述した実施の形態の態様に限られるものではない。例えば、顔認証を行う環境等に応じて異ならせてもよい。具体的には、屋内で顔認証を行う場合、サングラスや帽子を装着し続けることは稀であるため、これらも時間の経過によって変化しやすい特徴に分類してもよい。同様に、風等の影響の少ない屋内で髪型が大きく変わる可能性は低いため、髪等を時間の経過によって変化し難い特徴に分類してもよい。分類を柔軟に行うため、どの特徴を時間の経過によって変化しにくい特徴とし、どの特徴を時間の経過によって変化しやすい特徴とするかは、情報処理装置１０のユーザによって任意に指定されてもよい。また、顔認証が行われる環境の情報（例えば、地理的な位置、時間、明るさ、風の強さなど）に基づいて、情報処理装置１０が自動的に分類を行ってもよい。
　また、上述した実施の形態では、品質スコアは属性ごとに学習させた識別モデルを用いて算出していたが、これに限るものではない。例えば、情報処理装置１０は、顔画像の認証スコアを顔のパーツ（目、鼻、口など）ごとに算出し、その結果からどの特徴を有する顔画像であるかを推定して品質スコアを算出してもよい。例えば、目の認証スコアが他のパーツと比べて極端に低い場合は、サングラス等を装着していることが推定できる。また、口の認証スコアが他のパーツと比べて極端に低い場合は、マスク等を装着していることが推定できる。
　また、品質スコアは、例えば、対応する特徴（例えば、表情、マスク、サングラス等）の有無を示す値（例えば、０又は１）でもよく、対応する特徴（例えば、顔の向き、照明等）の度合いを示す値でもよい。一例として、顔向きの特徴において、人物の顔の向きがより正面に近いほど、品質スコアが高く設定されてもよい。例えば、品質スコアが特徴の度合いを示す場合、情報処理装置１０は、特徴の度合いと閾値との比較結果に基づいて、品質スコアを決定してもよい。または、情報処理装置１０は、例えば、バリエーション２において、特徴の度合いに基づいて、認証スコアの重みづけを行ってもよい。
　また、品質スコアの特徴は、上述した例（例えば、マスク、サングラス、表情、または、顔の向き）に限定されず、顔認証の容易性に関する他の特徴でもよい。
　また、上述した実施の形態では、情報処理装置１０は、品質スコア及び認証スコアに基づいて再認証の優先順位を決定する場合について説明したが、これに限定されない。情報処理装置１０は、例えば、品質スコアに基づいて（認証スコアに基づかずに）、再認証の優先順位を決定してもよい。品質スコアが高い人物は、一時的な原因で認証に失敗している可能性が高い人物であるため、現在の認証スコアにかかわらず、再認証を行うことによってその原因が解消される可能性が高い人物である。そのため、品質スコアを評価すれば、現在の認証スコアを考慮せずとも、再認証が成功する可能性の高い人物に対する再認証の優先順位を高めることができる。
　また、情報処理装置１０は、例えば、認証スコアに基づいて（品質スコアに基づかずに）再認証の優先順位を決定してもよい。
　以上、本開示に係る実施の形態について図面を参照して詳述してきたが、上述した情報処理システム１の機能は、コンピュータプログラムにより実現され得る。
　図８は、各装置の機能をプログラムにより実現するコンピュータのハードウェア構成を示す図である。このコンピュータ１１００は、キーボード又はマウス、タッチパッド等の入力装置１１０１、ディスプレイ又はスピーカー等の出力装置１１０２、ＣＰＵ（Central Processing Unit）１１０３、ＧＰＵ（Graphics Processing Unit）１１０４、ＲＯＭ（Read Only Memory）１１０５、ＲＡＭ（Random Access Memory）１１０６、ハードディスク装置又はＳＳＤ（Solid State Drive）等の記憶装置１１０７、ＤＶＤ－ＲＯＭ（Digital Versatile Disk Read Only Memory）又はＵＳＢ（Universal Serial Bus）メモリ等の記録媒体から情報を読み取る読取装置１１０８、ネットワークを介して通信を行う送受信装置１１０９を備え、各部はバス１１１０により接続される。
　そして、読取装置１１０８は、上記各装置の機能を実現するためのプログラムを記録した記録媒体からそのプログラムを読み取り、記憶装置１１０７に記憶させる。あるいは、送受信装置１１０９が、ネットワークに接続されたサーバ装置と通信を行い、サーバ装置からダウンロードした上記各装置の機能を実現するためのプログラムを記憶装置１１０７に記憶させる。
　そして、ＣＰＵ１１０３が、記憶装置１１０７に記憶されたプログラムをＲＡＭ１１０６にコピーし、そのプログラムに含まれる命令をＲＡＭ１１０６から順次読み出して実行することにより、上記各装置の機能が実現される。
　上記の実施の形態の説明に用いた各機能ブロックは、典型的には集積回路であるＬＳＩとして実現される。これらは個別に１チップ化されてもよいし、一部又は全てを含むように１チップ化されてもよい。ここでは、ＬＳＩとしたが、集積度の違いにより、ＩＣ、システムＬＳＩ、スーパーＬＳＩ、ウルトラＬＳＩと呼称されることもある。
　また、集積回路化の手法はＬＳＩに限るものではなく、専用回路又は汎用プロセッサで実現してもよい。ＬＳＩ製造後に、プログラムすることが可能なＦＰＧＡ（Field Programmable Gate Array）、又は、ＬＳＩ内部の回路セルの接続や設定を再構成可能なリコンフィギュラブル・プロセッサを利用してもよい。
　さらには、半導体技術の進歩又は派生する別技術によりＬＳＩに置き換わる集積回路化の技術が登場すれば、当然、その技術を用いて機能ブロックの集積化を行ってもよい。バイオ技術の適用等が可能性としてありえる。
　また、近年、ＩｏＴ（Ｉｎｔｅｒｎｅｔ　ｏｆ　Ｔｈｉｎｇｓ）技術において、フィジカル空間とサイバー空間の情報連携により新たな付加価値を作りだすという新しいコンセプトであるＣＰＳ（Ｃｙｂｅｒ　Ｐｈｙｓｉｃａｌ　Ｓｙｓｔｅｍｓ）が注目されている。上記の実施の形態においても、このＣＰＳコンセプトを採用することができる。
　すなわち、ＣＰＳの基本構成として、例えば、フィジカル空間に配置されるエッジサーバと、サイバー空間に配置されるクラウドサーバとを、ネットワークを介して接続し、双方のサーバに搭載されたプロセッサにより、処理を分散して処理することが可能である。ここで、エッジサーバまたはクラウドサーバにおいて生成される各処理データは、標準化されたプラットフォーム上で生成されることが好ましく、このような標準化プラットフォームを用いることで、各種多様なセンサ群やＩｏＴアプリケーションソフトウェアを含むシステムを構築する際の効率化を図ることができる。
　上記の実施の形態においては、例えば、エッジサーバはカメラ２０の設置個所に配置され、認証処理の一部の処理を行い、クラウドサーバは、例えば、ネットワークを介してエッジサーバより受信したデータを用いて、認証処理の残りの処理を行ってもよい。また、上記の実施の形態において、例えば、エッジサーバは、カメラ２０から取得した画像データに関する処理を行い、クラウドサーバは、認証処理を行ってもよい。
　本開示の一実施例に係る情報処理装置は、撮像画像データにおける人物の顔画像に基づいて前記人物の認証を行う認証回路と、前記顔画像の時間変化に関連した属性に関する情報に基づいて、前記認証に失敗した複数の人物に対する再認証の順序を制御する制御回路と、を具備する。
　本開示の一実施例において、前記属性に関する情報は、前記顔画像の時間経過に応じた特徴の変化に基づく。
　本開示の一実施例において、前記認証回路は、前記撮像画像データと事前に登録された人物の登録画像データとの類似度に基づいて、前記認証を行い、前記制御回路は、前記属性に関する情報、及び、前記類似度に関する情報に基づいて、前記順序を決定する。
　本開示の一実施例において、前記制御回路は、前記複数の人物を、前記属性に関する情報及び前記類似度に関する情報の一方に基づいて複数のグループに分類し、前記属性に関する情報及び前記類似度に関する情報の他方に基づいて前記複数のグループ内の人物をソートすることにより、前記順序を決定する。
　本開示の一実施例において、前記制御回路は、前記複数の人物について、前記属性に関する情報に基づいて前記類似度に関する情報の重みづけを行い、重みづけされた前記類似度に関する情報に基づいて、前記順序を決定する。
　本開示の一実施例において、前記制御回路は、前記時間経過によって変化しやすい第１特徴を含む第１顔画像に対する前記属性に関する情報の重みを、前記時間経過によって変化しにくい第２特徴を含む第２顔画像に対する前記属性に関する情報よりも高く設定する。
　本開示の一実施例において、前記制御回路は、前記第１特徴及び前記第２特徴の双方を有さない顔画像に対する前記属性に関する情報の重みを、前記第２顔画像に対する前記属性に関する情報よりも高く設定し、かつ、前記第１顔画像に対する前記属性に関する情報よりも低く設定する。
　本開示の一実施例において、前記制御回路は、前記複数の人物のうち、前記顔画像の時間経過に応じた特徴の変化に基づく指標が閾値以下の人物に対する再認証の不実施を決定する。
　本開示の一実施例において、前記制御回路は、前記再認証の制御結果に基づいて、前記撮像画像データを撮像するカメラの動作を制御する。
　本開示の一実施例に係る情報処理方法において、情報処理装置は、撮像画像データにおける人物の顔画像に基づいて前記人物の認証を行い、前記顔画像の時間変化に関連した属性に関する情報に基づいて、前記認証に失敗した複数の人物に対する再認証の順序を制御する。
　本開示の一実施例に係るプログラムは、情報処理装置に、撮像画像データにおける人物の顔画像に基づいて前記人物の認証を行う処理と、前記顔画像の時間変化に関連した属性に関する情報に基づいて、前記認証に失敗した複数の人物に対する再認証の順序を制御する処理と、を実行させる。
　２０２０年５月２９日出願の特願２０２０－０９４２８４の日本出願に含まれる明細書、図面および要約書の開示内容は、すべて本願に援用される。
　本開示の一実施例は、認証システムに有用である。
　１　認証システム
　１０　情報処理装置
　２０　カメラ
　１０１　記憶部
　１０２　認証部
　１０３　制御部

Claims (11)

  1. 　撮像画像データにおける人物の顔画像に基づいて前記人物の認証を行う認証回路と、
    　前記顔画像の時間変化に関連した属性に関する情報に基づいて、前記認証に失敗した複数の人物に対する再認証の順序を制御する制御回路と、
    　を具備する情報処理装置。
  2. 　前記属性に関する情報は、前記顔画像の時間経過に応じた特徴の変化に基づく、
    　請求項１に記載の情報処理装置。
  3. 　前記認証回路は、前記撮像画像データと事前に登録された人物の登録画像データとの類似度に基づいて、前記認証を行い、
    　前記制御回路は、前記属性に関する情報、及び、前記類似度に関する情報に基づいて、前記順序を決定する、
    　請求項１に記載の情報処理装置。
  4. 　前記制御回路は、前記複数の人物を、前記属性に関する情報及び前記類似度に関する情報の一方に基づいて複数のグループに分類し、前記属性に関する情報及び前記類似度に関する情報の他方に基づいて前記複数のグループ内の人物をソートすることにより、前記順序を決定する、
    　請求項３に記載の情報処理装置。
  5. 　前記制御回路は、前記複数の人物について、前記属性に関する情報に基づいて前記類似度に関する情報の重みづけを行い、重みづけされた前記類似度に関する情報に基づいて、前記順序を決定する、
    　請求項３に記載の情報処理装置。
  6. 　前記制御回路は、前記時間経過によって変化しやすい第１特徴を含む第１顔画像に対する前記属性に関する情報の重みを、前記時間経過によって変化しにくい第２特徴を含む第２顔画像に対する前記属性に関する情報よりも高く設定する、
    　請求項２に記載の情報処理装置。
  7. 　前記制御回路は、前記第１特徴及び前記第２特徴の双方を有さない顔画像に対する前記属性に関する情報の重みを、前記第２顔画像に対する前記属性に関する情報よりも高く設定し、かつ、前記第１顔画像に対する前記属性に関する情報よりも低く設定する、
    　請求項６に記載の情報処理装置。
  8. 　前記制御回路は、前記複数の人物のうち、前記顔画像の時間経過に応じた特徴の変化に基づく指標が閾値以下の人物に対する再認証の不実施を決定する、
    　請求項２に記載の情報処理装置。
  9. 　前記制御回路は、前記再認証の制御結果に基づいて、前記撮像画像データを撮像するカメラの動作を制御する、
    　請求項１に記載の情報処理装置。
  10. 　情報処理装置は、
    　撮像画像データにおける人物の顔画像に基づいて前記人物の認証を行い、
    　前記顔画像の時間変化に関連した属性に関する情報に基づいて、前記認証に失敗した複数の人物に対する再認証の順序を制御する、
    　情報処理方法。
  11. 　情報処理装置に、
    　撮像画像データにおける人物の顔画像に基づいて前記人物の認証を行う処理と、
    　前記顔画像の時間変化に関連した属性に関する情報に基づいて、前記認証に失敗した複数の人物に対する再認証の順序を制御する処理と、
    　を実行させる、プログラム。
PCT/JP2021/004731 2020-05-29 2021-02-09 情報処理装置、情報処理方法及びプログラム Ceased WO2021240903A1 (ja)

Priority Applications (2)

Application Number Priority Date Filing Date Title
US17/927,291 US12307816B2 (en) 2020-05-29 2021-02-09 Information processing device, information processing method, and program
EP21814051.5A EP4160527A4 (en) 2020-05-29 2021-02-09 Information processing device, information processing method, and program

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
JP2020094284A JP7653599B2 (ja) 2020-05-29 2020-05-29 情報処理装置、情報処理方法及びプログラム
JP2020-094284 2020-05-29

Publications (1)

Publication Number Publication Date
WO2021240903A1 true WO2021240903A1 (ja) 2021-12-02

Family

ID=78744257

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2021/004731 Ceased WO2021240903A1 (ja) 2020-05-29 2021-02-09 情報処理装置、情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US12307816B2 (ja)
EP (1) EP4160527A4 (ja)
JP (1) JP7653599B2 (ja)
WO (1) WO2021240903A1 (ja)

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7470921B1 (ja) 2022-10-24 2024-04-19 パナソニックＩｐマネジメント株式会社 認証装置、認証システム及び認証方法
WO2024127955A1 (ja) * 2022-12-16 2024-06-20 パナソニックＩｐマネジメント株式会社 管理装置、管理システム及び管理方法
WO2025224788A1 (ja) * 2024-04-22 2025-10-30 日本電気株式会社 情報処理装置、情報処理方法、及び記録媒体

Families Citing this family (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
EP4439149A4 (en) 2021-11-22 2025-07-02 Koito Mfg Co Ltd IMAGE IRRADIATION DEVICE
WO2025173108A1 (ja) * 2024-02-14 2025-08-21 日本電気株式会社 情報処理装置、情報処理方法、及び記録媒体
WO2025191724A1 (ja) * 2024-03-13 2025-09-18 日本電気株式会社 情報処理装置、情報処理方法及び記録媒体
WO2025254143A1 (ja) * 2024-06-07 2025-12-11 パナソニックＩｐマネジメント株式会社 情報処理装置、人物照合システム、及び、情報処理方法

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249298A (ja) * 2006-03-13 2007-09-27 Toshiba Corp 顔認証装置および顔認証方法
JP2008234578A (ja) * 2007-03-23 2008-10-02 Omron Corp 顔検出装置、顔検出方法及び顔検出プログラム
WO2017146160A1 (ja) * 2016-02-26 2017-08-31 日本電気株式会社 顔照合システム、顔照合方法、及び記録媒体
JP2020094284A (ja) 2018-12-07 2020-06-18 株式会社コイワイ 熱伝導性アルミニウム合金積層成形体、その製造方法、及び電子機器の放熱体

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20090089588A1 (en) * 2007-09-28 2009-04-02 Farid Adrangi Method and apparatus for providing anti-theft solutions to a computing system
US9519769B2 (en) * 2012-01-09 2016-12-13 Sensible Vision, Inc. System and method for disabling secure access to an electronic device using detection of a predetermined device orientation
JP2014067315A (ja) * 2012-09-27 2014-04-17 Canon Inc 認証装置、認証方法、および、そのプログラム
JP6036335B2 (ja) * 2013-01-24 2016-11-30 富士通株式会社 画像処理装置、画像処理方法および画像処理プログラム
JP6982168B2 (ja) 2018-03-20 2021-12-17 株式会社日立国際電気 顔照合システム
KR102520199B1 (ko) * 2018-07-23 2023-04-11 삼성전자주식회사 전자 장치 및 그 제어 방법.
TWI671685B (zh) * 2018-09-19 2019-09-11 和碩聯合科技股份有限公司 臉部識別方法與使用此方法的電子裝置
JP7373729B2 (ja) * 2019-03-29 2023-11-06 パナソニックＩｐマネジメント株式会社 精算決済装置および無人店舗システム

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2007249298A (ja) * 2006-03-13 2007-09-27 Toshiba Corp 顔認証装置および顔認証方法
JP2008234578A (ja) * 2007-03-23 2008-10-02 Omron Corp 顔検出装置、顔検出方法及び顔検出プログラム
WO2017146160A1 (ja) * 2016-02-26 2017-08-31 日本電気株式会社 顔照合システム、顔照合方法、及び記録媒体
JP2020094284A (ja) 2018-12-07 2020-06-18 株式会社コイワイ 熱伝導性アルミニウム合金積層成形体、その製造方法、及び電子機器の放熱体

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP4160527A4

Cited By (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP7470921B1 (ja) 2022-10-24 2024-04-19 パナソニックＩｐマネジメント株式会社 認証装置、認証システム及び認証方法
WO2024089978A1 (ja) * 2022-10-24 2024-05-02 パナソニックＩｐマネジメント株式会社 認証装置、認証システム及び認証方法
JP2024062146A (ja) * 2022-10-24 2024-05-09 パナソニックＩｐマネジメント株式会社 認証装置、認証システム及び認証方法
WO2024127955A1 (ja) * 2022-12-16 2024-06-20 パナソニックＩｐマネジメント株式会社 管理装置、管理システム及び管理方法
WO2025224788A1 (ja) * 2024-04-22 2025-10-30 日本電気株式会社 情報処理装置、情報処理方法、及び記録媒体

Also Published As

Publication number Publication date
US20230206688A1 (en) 2023-06-29
JP7653599B2 (ja) 2025-03-31
JP2021189739A (ja) 2021-12-13
US12307816B2 (en) 2025-05-20
EP4160527A1 (en) 2023-04-05
EP4160527A4 (en) 2023-11-29

Similar Documents

Publication Publication Date Title
JP7653599B2 (ja) 情報処理装置、情報処理方法及びプログラム
US10650261B2 (en) System and method for identifying re-photographed images
CN109697416B (zh) 一种视频数据处理方法和相关装置
JP5010905B2 (ja) 顔認証装置
CN102375970B (zh) 一种基于人脸的身份认证方法和认证装置
WO2021139171A1 (zh) 人脸增强识别方法、装置、设备及存储介质
US20070174272A1 (en) Facial Recognition in Groups
CN106997629A (zh) 门禁控制方法、装置及系统
CN104091176A (zh) 人像比对在视频中的应用技术
US11288954B2 (en) Tracking and alerting traffic management system using IoT for smart city
JP2019057815A (ja) 監視システム
CN112818728B (zh) 年龄识别的方法及相关产品
CN105138967B (zh) 基于人眼区域活动状态的活体检测方法和装置
US20210081653A1 (en) Method and device for facial image recognition
CN109325462A (zh) 基于虹膜的人脸识别活体检测方法及装置
CN110309693B (zh) 多层次状态侦测系统与方法
CN111339811A (zh) 图像处理方法、装置、设备及存储介质
CN111461041A (zh) 一种基于生成对抗网络的多因素联合判别异常行人方法
CN107358151A (zh) 一种眼部运动检测方法和装置及活体识别方法和系统
Jeny et al. Deep learning framework for face mask detection
CN116959045A (zh) 图像识别方法、装置、存储介质和电子设备
EP4390862A1 (en) User authentication based on stream and periocular images
Chatterjee et al. Identity Verification in Real Time Proctoring: An Integrated Approach with Face Recognition and Eye Tracking
CN112183202B (zh) 一种基于牙齿结构特征的身份认证方法及装置
US20230222193A1 (en) Information processing device, permission determination method, and program

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 21814051

Country of ref document: EP

Kind code of ref document: A1

NENP Non-entry into the national phase

Ref country code: DE

ENP Entry into the national phase

Ref document number: 2021814051

Country of ref document: EP

Effective date: 20230102

WWG Wipo information: grant in national office

Ref document number: 17927291

Country of ref document: US

WWW Wipo information: withdrawn in national office

Ref document number: 2021814051

Country of ref document: EP