WO2013175579A1 - 生体情報処理装置、生体情報処理方法及びプログラム - Google Patents

生体情報処理装置、生体情報処理方法及びプログラム Download PDF

Info

Publication number
WO2013175579A1
WO2013175579A1 PCT/JP2012/063095 JP2012063095W WO2013175579A1 WO 2013175579 A1 WO2013175579 A1 WO 2013175579A1 JP 2012063095 W JP2012063095 W JP 2012063095W WO 2013175579 A1 WO2013175579 A1 WO 2013175579A1
Authority
WO
WIPO (PCT)
Prior art keywords
information
auxiliary information
unit
biological information
tracking
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/JP2012/063095
Other languages
English (en)
French (fr)
Inventor
遠藤　利生
新崎　卓
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Fujitsu Ltd
Original Assignee
Fujitsu Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Fujitsu Ltd filed Critical Fujitsu Ltd
Priority to PCT/JP2012/063095 priority Critical patent/WO2013175579A1/ja
Priority to JP2014516560A priority patent/JP5949912B2/ja
Priority to EP12877423.9A priority patent/EP2854097B1/en
Publication of WO2013175579A1 publication Critical patent/WO2013175579A1/ja
Priority to US14/538,075 priority patent/US9418275B2/en
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G06V40/161—Detection; Localisation; Normalisation
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/12—Fingerprints or palmprints
    • G06V40/1347—Preprocessing; Feature extraction
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/14—Vascular patterns
    • G06V40/145—Sensors therefor
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/60—Static or dynamic means for assisting the user to position a body part for biometric acquisition
    • G06V40/67—Static or dynamic means for assisting the user to position a body part for biometric acquisition by interactive indications to the user
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/70—Multimodal biometrics, e.g. combining information from different biometric modalities

Definitions

  • the present invention relates to a biological information processing apparatus, a biological information processing method, and a program for processing biological information.
  • biometric authentication technology that uses personal biometric information such as fingerprints, faces, veins, etc. has been used as means for confirming the identity of a person without entering a person when entering or leaving a facility.
  • biometric authentication using biometric information has the advantage that there is no risk of loss (forgetting) or theft.
  • the basic procedure of the vein authentication device is as follows. First, the vein authentication device irradiates near-infrared light onto a part of a human body that is easy to image a vein such as a palm, and images the intensity distribution of reflected or transmitted light to extract a vein image.
  • the vein authentication device registers each individual vein image and stores it in advance.
  • the registered biometric information is also referred to as registration data or a registration template.
  • the vein authentication device collates the registered template with a vein image (referred to as collation data) obtained by photographing at the time of authentication, and determines whether or not they match.
  • the vein authentication device first aligns both, and further expresses the similarity between the two with a measure of similarity, and the person who is registered if the similarity is greater than a given threshold. Judge that there is.
  • Alignment is performed, for example, by virtually moving one of the registered data and the collation data so that they match as much as possible.
  • Virtually moving means converting a coordinate system representing a vein image.
  • the registration template is usually stored in a user-owned IC card or a storage device (database) of the server.
  • the alignment and similarity calculation processing is executed by a computer close to the user or a centrally managed server.
  • auxiliary information As a conventional technique for further improving the authentication accuracy, a method using other information that can be acquired together with biometric information for authentication is known. Hereinafter, such information is referred to as auxiliary information.
  • auxiliary information By using the auxiliary information, it is possible to increase information and improve authentication accuracy without burdening the user with additional shooting.
  • the auxiliary information that can be used in this case includes the contour shape, the position of the finger stick (finger stick), and the like.
  • finger sticking refers to the webbed portion between fingers.
  • auxiliary information is not acquired.
  • auxiliary information cannot be acquired, a conventional authentication method that does not use auxiliary information is conceivable.
  • the problem is that authentication accuracy is reduced because auxiliary information cannot be used.
  • Extracting an image showing the entire palm captured by moving images For example, a configuration in which the best face shot is selected from the moving images may be applied to the auxiliary information acquisition process.
  • the first problem if the hand is far from the position of the photographing device, the brightness of the photographing device becomes insufficient, the photographing quality is deteriorated, and biological information cannot be extracted appropriately. Can be mentioned.
  • the disclosed technology provides a biological information processing apparatus, a biological information processing method, and a program capable of improving the authentication accuracy of biological information even when auxiliary information is not included in the imaging range at an appropriate imaging position. For the purpose.
  • a biological information processing apparatus includes: auxiliary information extracting means for extracting auxiliary information indicating a part of a body photographed together with biological information from a plurality of images photographed by the photographing means;
  • the tracking means for tracking in the direction, the biological information extraction means for extracting the biological information from at least one of the plurality of images, the tracked auxiliary information, and the position of the extracted biological information
  • Corresponding means for associating relationships, and output means for outputting the associated auxiliary information and the biological information.
  • FIG. 1 is a block diagram showing an example of the configuration of an authentication system in Embodiment 1.
  • FIG. FIG. 3 is a diagram illustrating an example of an imaging apparatus according to the first embodiment. The figure which shows the example of each image contained in the image
  • FIG. 5 is a flowchart illustrating an example of authentication processing according to the first embodiment.
  • 5 is a flowchart illustrating an example of auxiliary information tracking processing according to the first exemplary embodiment.
  • 5 is a flowchart illustrating an example of biometric information and auxiliary information registration processing according to the first exemplary embodiment.
  • FIG. 6 is a block diagram illustrating an example of a configuration of an authentication system according to a second embodiment.
  • FIG. 10 is a flowchart illustrating an example of authentication processing according to the second embodiment.
  • FIG. 10 is a block diagram illustrating an example of a configuration of an information processing device according to a third embodiment.
  • biometric information that can be photographed from the palm is used as biometric authentication.
  • auxiliary information indicating a part of the body for example, a palm, a contour shape of a finger, or a finger hook is used.
  • the biological information and auxiliary information are not limited to the above example, and other biological information or information on a part of the body in the vicinity of the biological information may be used as auxiliary information.
  • the auxiliary information can be extracted even from low-quality images taken at a long distance. Therefore, in each embodiment described below, a usage scene in which a hand is held over the photographing apparatus is photographed as a moving image. It is assumed that auxiliary information is extracted from a low-quality image showing the entire palm, and biometric information is extracted from a high-quality image in which the hand is close to the photographing apparatus.
  • Example 1 ⁇ Configuration> First, the authentication system according to the first embodiment will be described.
  • the authentication system 1 according to the first embodiment will be described using an authentication system that uses palm veins as biometric information and is applied to entrance management in combination with an automatic door. Needless to say, the disclosed technology is not limited to an example in which an automatic door and biometric authentication are combined.
  • FIG. 1 is a block diagram illustrating an example of the configuration of the authentication system 1 according to the first embodiment.
  • An authentication system 1 illustrated in FIG. 1 includes a biological information processing apparatus 10 and an authentication apparatus 20.
  • the biological information processing apparatus 10 is an information processing apparatus that extracts biological information and auxiliary information and outputs the associated biological information and auxiliary information to the authentication apparatus 20.
  • the authentication device 20 is a server or the like that performs authentication processing using biometric information and auxiliary information acquired from the biometric information processing device 10.
  • the biological information processing apparatus 10 includes an irradiation unit 101, an imaging unit 103, an auxiliary information extraction unit 105, a biological information extraction unit 107, a tracking unit 109, an association unit 111, a communication unit 113, a display unit 115, and an opening / closing unit 117. .
  • the user who wishes to enter the room holds his / her hand over the biological information processing apparatus 10 installed in or near the automatic door.
  • the irradiation unit 101 detects that the palm is held up, the irradiation unit 101 irradiates the palm with near infrared light.
  • the photographing means 103 photographs the palm irradiated with near infrared light.
  • the biological information processing apparatus 10 may accept the user ID from an IC card, a keyboard, or the like.
  • the photographing means 103 outputs a plurality of images taken in the time direction to the auxiliary information extracting means 105 and the biological information extracting means 107.
  • the auxiliary information extraction unit 105 extracts auxiliary information indicating a part of the body photographed together with the biological information from the plurality of images photographed by the photographing unit 103.
  • the auxiliary information is, for example, information on the outline of the palm or information on finger placement.
  • the auxiliary information extracting unit 105 outputs the auxiliary information to the tracking unit 109 every time auxiliary information is extracted from the image in the order of photographing.
  • the biometric information extraction unit 107 extracts biometric information from at least one of the plurality of images acquired from the imaging unit 103.
  • the biological information is, for example, a vein image or a palm print.
  • the biometric information extraction unit 107 outputs the extracted biometric information to the association unit 111.
  • the tracking unit 109 tracks the auxiliary information extracted from the auxiliary information extracting unit 105 in the time direction.
  • the tracking unit 109 replaces auxiliary information located outside the imaging range with an estimated value using a model of temporal change of auxiliary information.
  • the tracking unit 109 performs tracking with the first auxiliary information extracted from the tracking target image and the second auxiliary information extracted from the image immediately before the tracking target image, and can cope with the auxiliary information. Depending on the number of models, the model of time change may be changed.
  • the tracking unit 109 outputs the auxiliary information after tracking to the association unit 111.
  • the auxiliary information after tracking is information including the replaced estimated value.
  • the association means 111 associates the positional relationship between the auxiliary information extracted from the image from which the biological information is extracted and tracked, and the extracted biological information.
  • the association unit 111 outputs the associated auxiliary information and biological information to the communication unit 113.
  • the communication unit 113 outputs the auxiliary information and the biological information acquired from the association unit 111 to the authentication device 20 together with the authentication request or the registration request. Therefore, the communication unit 113 has a function as an output unit 114 that outputs auxiliary information and biological information.
  • the communication unit 113 outputs the determination result to the display unit 115 and the opening / closing unit 117 when the authentication determination result is acquired from the authentication device 20.
  • the display unit 115 notifies the user of the authentication result of the room permission by using a lamp or a buzzer. If the display unit 115 indicates that the determination result indicates that the user is not a registrant, the user is notified of the authentication result indicating that the entry is not permitted by a lamp, a buzzer, or the like.
  • the opening / closing means 117 controls to open the automatic door if the determination result indicates that the user is a registrant. If the determination result indicates that the user is not a registrant, the opening / closing means 117 controls the automatic door to remain closed.
  • the irradiation means 101, the imaging means 103, the display means 115, and the opening / closing means 117 of the biological information processing apparatus 10 are not necessarily required for the biological information processing apparatus 10, and each of these means is provided in another apparatus. May be.
  • the biological information processing apparatus 10 can also register auxiliary information and biological information in the authentication apparatus 20.
  • the biometric information processing apparatus 10 accepts a user ID from an IC card or a keyboard when making a registration request, and transmits the user ID to the authentication apparatus 20 together with biometric information.
  • the authentication device 20 includes a communication unit 201, a registration unit 203, a storage unit 205, an alignment unit 207, a similarity calculation unit 209, and a determination unit 211.
  • the communication unit 201 determines whether it is a registration request or an authentication request when the auxiliary information and the biometric information are acquired.
  • the communication unit 201 outputs the auxiliary information, biometric information, and user ID received together with the registration request to the registration unit 203. Further, the communication unit 201 outputs the auxiliary information and the biometric information received together with the authentication request to the alignment unit 207.
  • the registration unit 203 records the acquired ID as a registrant ID in the storage unit 205 in association with auxiliary information and biometric information.
  • the storage unit 205 stores the registered registrant ID, auxiliary information, and biometric information in association with each other.
  • the registration unit 207 uses the auxiliary information stored in the storage unit 205 to perform registration of the vein image that is biometric information.
  • the alignment unit 207 uses the biometric information of the corresponding ID, and otherwise uses the biometric information of all IDs in order.
  • the alignment unit 207 outputs the biometric information after the alignment to the similarity calculation unit 209.
  • the similarity calculation unit 209 calculates the similarity between the registered biometric information and the biometric information to be authenticated.
  • the degree of similarity indicates that the larger the value, the more similar.
  • the similarity calculation unit 209 outputs the calculated similarity to the determination unit 211.
  • the determination unit 211 determines whether the calculated similarity is greater than a predetermined threshold value. The determination result is transmitted to the biological information processing apparatus 10 via the communication unit 201.
  • palm fingerprints can be considered as biometric information other than veins that can be used in each embodiment.
  • the embodiments can also be applied to a case where a plurality of finger veins or fingerprints are photographed without contacting the photographing device 103.
  • the type of biometric information used for authentication is not limited.
  • Auxiliary information assumed in each embodiment can be taken together with biometric information such as contour shape and finger position, and part of the information can be out of the shooting range when the hand is close to the shooting device. However, some features are within the shooting range.
  • the irradiation means 101 for example, an LED that emits near-infrared light is preferably used.
  • the irradiation unit 101 desirably uses visible light when a palm print is used as biological information.
  • the photographing means 103 is preferably a CMOS camera or a CCD camera provided with a filter (visible cut filter) that blocks visible light.
  • FIG. 2 is a diagram illustrating an example of the photographing apparatus 301 according to the first embodiment.
  • the irradiation unit 101 and the photographing unit 103 are integrated.
  • the palm is held from above the photographing apparatus 301.
  • the shooting result is expressed as a moving image.
  • a moving image is a sequence of images taken at a predetermined time interval. For example, 33 milliseconds is used as the time interval.
  • Each image constituting the moving image is a two-dimensional array including a large number of pixels, and each pixel has a value (pixel value) corresponding to the intensity of light.
  • FIG. 3 is a diagram illustrating an example of each image included in a captured moving image. In the example shown in FIG. 3, three images are shown.
  • each image shown in FIG. 3 is an image obtained by photographing a state where the hand gradually approaches the photographing apparatus 301.
  • the image size is set to 100 ⁇ 100, for example.
  • auxiliary information extraction unit 105 can extract auxiliary information by ternizing the captured image as follows.
  • the auxiliary information extraction unit 105 sets the value “0” representing the background when the value of each pixel is larger than the predetermined first threshold value.
  • A2 When the value of each pixel is smaller than the predetermined first threshold value and larger than the second threshold value ( ⁇ first threshold value), the auxiliary information extracting unit 105 determines the value “ 2 ”.
  • A3 In the cases other than the above, the auxiliary information extraction unit 105 sets the value “1” representing the vein.
  • a value smaller than the average background pixel value is set as the first threshold value.
  • the first threshold value is, for example, the value “150”.
  • a value smaller than the first threshold is set as the second threshold.
  • the second threshold value is set to a value larger than the average vein image pixel value. For example, the second threshold is a value “60”.
  • the auxiliary information extraction unit 105 scans all the pixels one by one, and the target pixel is the value “2” representing the palm, and the adjacent pixel is the value “0” representing the background. ", The value of the target pixel is changed to a value" 4 "representing the contour. Finally, the auxiliary information extraction unit 105 obtains the coordinate value of the pixel representing the contour by the following method.
  • the auxiliary information extraction unit 105 prepares an array for storing coordinate values. A variable for storing the number of points is prepared and initialized to “0”. (B2) The auxiliary information extraction unit 105 scans the above image, and when there is a pixel having a value “4” representing the contour, the coordinate value is recorded in the array, and the value of the variable for storing the number of points Is increased by one. Thereby, contour information as auxiliary information is extracted.
  • the auxiliary information extraction unit 105 can perform extraction as follows based on, for example, a ternary image similar to the contour extraction method described above. Here, it is assumed that the palm is held up so that the finger comes to the upper side of the image.
  • the auxiliary information extraction unit 105 scans from the top pixel of the image in the downward direction of the image, and when there is a change from the value “0” representing the background to the value “2” representing the palm, The value of the pixel is changed to a value “5” representing the candidate for attaching.
  • the auxiliary information extraction unit 105 sequentially scans all the pixels of the image one by one, and if a pixel having a value “5” representing a candidate for splicing is found, examines the values of the left and right pixels. If the values of the left and right pixels are both the value “2” representing the palm, the auxiliary information extracting unit 105 changes the value “5” to the value “6” representing falseness.
  • the auxiliary information extraction unit 105 stores the coordinate value of the pixel representing finger sticking in the array in the same manner as in the contour extraction.
  • FIG. 4 is a diagram illustrating an example of extraction of finger sticking for each image.
  • the coordinate system representing the coordinate values is expressed by a coordinate system in which the origin is at the upper left of the image, the horizontal direction is the x axis (right image positive), and the vertical direction is the y axis (image lower right). To do.
  • FIG. 5 is a diagram showing an example of the extraction result of tsuke.
  • the first image shown in FIG. 5 shows an image a101
  • the second image shows an image a103
  • the third image shows an image a105.
  • the third sheet only two pieces of auxiliary information can be extracted because the hand is too close to the photographing apparatus or the user's hand is large.
  • the biometric information extraction unit 107 has described the method of extracting together with auxiliary information as one method of extracting veins as an example of biometric information.
  • the biological information extracting unit 107 may extract a pixel indicating the value “1”.
  • the biological information extraction unit 107 extracts a vein from the image shown in FIG.
  • the biological information extraction unit 107 cannot extract a vein image from the first image a101 and the second image a103 shown in FIG. This is because the first image and the second image are separated from an appropriate position from the photographing apparatus.
  • the biometric information extraction unit 107 extracts biometric information from the third image a105.
  • FIG. 6 is a diagram illustrating an example of the extracted biological information.
  • the vein image is composed of three line segments, the first line segment is (20, 20), (20, 80), and the second line segment is (50, 20), (50, 80), and the third line segment has (80, 20), (80, 80) as end points, respectively.
  • a simple vein image is shown for ease of explanation.
  • the auxiliary information is expressed as an array of coordinate values
  • the vein image is expressed as a binary image.
  • the coordinate value of a point constituting a vein image or the coordinate value of a feature point such as a vertex, a branch point, or an end point of each broken line when the vein image is thinned and approximated by a broken line can be considered.
  • any expression form of the vein image may be used.
  • the tracking unit 109 tracks auxiliary information extracted for each image in the time direction.
  • auxiliary information extracted for each image in the time direction.
  • the initialization tracking unit 109 prepares an array for storing the positions of the initialized spears.
  • the tracking unit 109 prepares a variable indicating whether or not a value is set in this array, and sets a value indicating unset.
  • the presence confirmation tracking unit 109 determines whether there is data (auxiliary information) to be processed as data presence confirmation. When there is no more data due to the end of the authentication process, the tracking unit 109 ends the process.
  • the auxiliary information reading / tracking means 109 reads the position of the false for one tracking target image among the auxiliary information reading moving images.
  • one or a plurality of spices extracted from the tracking target image are also referred to as a first spear or a current spear.
  • the tracking unit 109 stores the position of the first attachment and changes the variable indicating the presence or absence of storage to a value indicating the set state.
  • the tracking means 109 arranges the individual hooks in a line according to a predetermined standard and stores them in the array in that order.
  • the auxiliary information correspondence tracking means 109 associates the second attachment with the first attachment.
  • the second attachment is also referred to as previous attachment and refers to one or more attachments extracted from the image immediately before the tracking target image. Details of the association will be described later.
  • the tracking unit 109 determines that the part of the second attachment that has not been matched has come out of the imaging range, estimates the attachment position, and uses the estimated position instead. Use. Thereby, even when auxiliary information falls outside the imaging range, it is possible to compensate for the loss of auxiliary information. Based on the obtained association, the first attachments are arranged so that the corresponding attachments are in the same order. The tracking unit 109 stores the arranged results in an array. Thereafter, the tracking unit 109 repeats the above processing for the next image after the moving image.
  • the tracking means 109 is, for example, a second weight that has the smallest distance (the mean square of the difference in coordinate values) with respect to one of the first weights (also referred to as a corresponding target weight). Associate.
  • the tracking unit 109 sets “no correspondence” for the corresponding target attachment.
  • the first tick is arranged in a row in an appropriate manner, giving a number starting from 1.
  • An appropriate method is, for example, arranging the false marks in ascending order of the coordinate values in the horizontal direction.
  • m is the number of corresponding falses
  • mn is the number of falses that exist only in the first one
  • kn is the number of falses that exist only in the second one.
  • FIG. 7 is a diagram illustrating a correspondence relationship of auxiliary information between the first sheet (previous position) and the second sheet (current position).
  • FIG. 8 is a diagram illustrating a correspondence relationship of auxiliary information between the second sheet (previous position) and the third sheet (current position).
  • the tracking unit 109 models the time change of the auxiliary information.
  • the coordinate value of the false on the photographed image changes every moment, but there is a certain rule depending on how to hold the change.
  • s is a magnification and is a positive real number
  • cx and cy are the optical axis center of the camera, which is substantially equal to the image center.
  • the tracking means 109 obtains model parameters.
  • the model parameter is an enlargement factor s.
  • the least square method is used to calculate the model parameter. Specifically, s that minimizes the following evaluation function is defined as a solution.
  • the tracking means 109 can easily minimize the above evaluation function because it is a quadratic expression for s. This solution is shown below.
  • the position (xi, yi) of is estimated by the following equation.
  • FIG. 9 shows the result including the estimated value by the above equation (4) in the association between the second sheet and the third sheet shown in FIG.
  • FIG. 9 is a diagram illustrating an example of associated auxiliary information including an estimated value.
  • the attachment of the current positions of numbers 3 and 4 shown in FIG. 9 is outside the shooting range, but an estimated value is inserted.
  • the tracking means 109 uses, for example, affine transformation as a model for allowing a more free holding.
  • affine transformation is transformation including two-dimensional translation, rotation, and enlargement / reduction. It is expressed as follows using mathematical formulas.
  • ax, bx, cx, ay, by, cy are unknown parameters representing the affine transformation. These parameters can also be determined by, for example, the least square method. In this case, the tracking unit 109 uses a parameter that minimizes the following evaluation function as a solution.
  • the number of affine transformation unknown parameters is 6, in order to obtain a solution, it is necessary that the number m of the corresponding anchors be 3 or more. When m is smaller than 3, for example, it is conceivable that the user is held over again as a tracking failure.
  • a simpler transformation than the affine transformation for example, a similarity transformation is considered.
  • the position (xi, yi) is estimated by the following equation.
  • the projective transformation is a model when the shape of the palm is regarded as a plane in a three-dimensional space and the optical system of the photographing means 103 is regarded as perspective projection, and can also be applied when the palm is tilted.
  • determination of model parameters requires four points of correspondence.
  • the tracking unit 109 may change the model to be used based on the number of associated auxiliary information.
  • the tracking unit 109 uses, for example, a projective transformation model when m is 4, uses an affine transformation model when m is 3, uses a similarity transformation model when m is 2, and uses m when 1.
  • An enlargement / reduction model may be used.
  • a contour is used as auxiliary information. Unlike finger tapping, the points constituting the contour are connected, and the corresponding points between the previous contour and the current contour are not easily obtained.
  • the following two methods are conceivable.
  • -A method for selecting characteristic points from the points that form the contour-A method for modeling change over time of points constituting the contours and determining conversion parameters without taking corresponding points For example, it is conceivable to use a maximum point of curvature (a point where the bending is large). Instead, the tracking unit 109 may select several points whose angle between two lines connecting two points separated from the target point by a certain pixel (for example, 5 pixels) is farthest from 180 degrees. After selecting a characteristic point, it can be tracked in the same way as finger sticking.
  • the tracking unit 109 prepares a variable that holds the minimum value of the sum of the initialization distances and the enlargement ratio at that time. Set infinity or a sufficiently large value as the minimum value. The tracking unit 109 sets, for example, 0.5 as an initial value for the enlargement ratio s.
  • the tracking means 109 converts the coordinates of each point forming the boundary at this time with the enlargement ratio set for the distance calculation.
  • the tracking unit 109 obtains the point that forms the previous boundary closest to the converted coordinate value, and obtains the sum of the distances to that point.
  • the tracking unit 109 increases the change rate s of the enlargement rate by an appropriate step size (for example, 0.1).
  • the tracking unit 109 ends when the upper limit (for example, 2) is reached.
  • the tracking means 109 can also set a threshold regarding the distance, as in the case of tracking the finger.
  • the associating means 111 collects the auxiliary information obtained by tracking and the extracted biological information into a set of data.
  • the association unit 111 does not associate an image for which biometric information has not been obtained.
  • FIG. 10 and FIG. 11 show the results associated with the example of the moving image shown in FIG.
  • FIG. 10 is a diagram showing an example of biological information.
  • FIG. 11 is a diagram illustrating an example of auxiliary information after tracking. In the example shown in FIG. 11, the coordinates are rearranged in ascending order.
  • the association unit 111 associates the biological information shown in FIG. 10 with the auxiliary information shown in FIG.
  • the storage unit 205 of the authentication device 20 stores a user ID, auxiliary information, and a vein image as biometric information in association with each other.
  • the storage unit 205 is typically realized in the authentication device 20 as a database of the following format.
  • FIG. 12 is a diagram showing an example of a database related to biological information.
  • the auxiliary information and the vein image are stored after being converted into a string of numbers according to a certain rule.
  • the auxiliary information score and the horizontal / vertical coordinate value column are used.
  • the vein image is represented by an image, the pixel value is one column. The number sequence is used.
  • FIG. 13 is a diagram showing an example of registered biometric information.
  • the example shown in FIG. 13 is an image of a vein image as registered biological information.
  • FIG. 14 is a diagram illustrating an example of registration assistance information.
  • the biometric information shown in FIG. 13 and the auxiliary information shown in FIG. 14 are registered in the user ID “0001” shown in FIG.
  • the auxiliary information shown in FIG. 14 is arranged in the order of the number (4) and the coordinate value from the smallest coordinate value in the order of horizontal (x) vertical (y), “4, ⁇ 12, 50,. Is registered in the storage means 205.
  • the biometric information shown in FIG. 13 has pixel values arranged in a line in a predetermined order, and “0,..., 1, 0,. Is registered in the storage means 205.
  • Positioning means ⁇ Positioning means >> Next, an example of a method for performing alignment using auxiliary information will be described. Here, a case where only alignment by parallel movement is performed is handled. For example, it is assumed that the movement amount of the coordinate value of the registered data is determined with reference to the coordinate of the collation data.
  • the alignment unit 207 prepares a variable that holds the sum of the coordinate values of the auxiliary information as initialization, and initializes it to zero. Initialization processing is performed separately for the x and y coordinates.
  • the alignment unit 207 calculates the sum of the coordinate values of the auxiliary information for each of the registration data and the collation data.
  • the alignment unit 207 calculates the center of gravity position by dividing the sum of coordinate values by the number of auxiliary information.
  • the alignment unit 207 calculates a movement amount by subtracting the center of gravity position on the registration data side from the center of gravity position on the collation data side.
  • the positioning means 207 obtains (2, 1). Accordingly, the vein image of the registered data after alignment is as shown in FIG.
  • FIG. 15 is a diagram showing an example of biometric information after alignment.
  • the example shown in FIG. 15 is an example in which the biological information shown in FIG. 13 is moved (2, 1).
  • the positioning means 207 can use a complicated moving method so as to cope with them.
  • the alignment unit 207 can also perform alignment using both auxiliary information and a vein image. In the embodiment, any method may be used as the alignment processing method.
  • FIG. 16 is a diagram illustrating an example of biometric information after alignment in the case of no tracking.
  • the biometric information shown in FIG. 16 is shifted by “1” in the y direction compared to the biometric information shown in FIG.
  • Similarity calculation means When the vein image is expressed as a binary image, the similarity calculation unit 209 calculates the similarity by, for example, the following method.
  • the similarity calculation unit 209 sets the target pixel at the upper left of the image.
  • a variable (counter) that holds the number of matched pixels and a variable that holds the number of pixels forming a vein image are prepared and initialized to 0, respectively.
  • the similarity calculation unit 209 acquires and compares pixel values of two images in the target pixel.
  • the similarity calculation means 209 increases the value of the coincidence counter by one if both represent vein images. If either of them represents a vein image, the value of the vein image counter is incremented by one.
  • the similarity calculation means 209 moves the attention pixel to the right by one. When the target pixel is the right end, the similarity calculation unit 209 moves the target pixel to the lower left one. If the target pixel is in the lower right, the similarity calculation process ends.
  • the similarity calculation results for the extraction example shown in FIG. 11 and the registered data example shown in FIG. 15 are as follows. 162/186 ⁇ 0.871
  • the similarity calculation result is as follows. 159/189 ⁇ 0.841 As a result, it can be seen that the positioning becomes more accurate and the similarity is improved by tracking the auxiliary information.
  • the determination unit 211 compares the similarity calculated by the similarity calculation unit 209 with a preset threshold Th, and determines that the user is one of the person or the registrant if the similarity is larger than the threshold Th.
  • An example of how to determine the threshold Th is as follows. Biological information of a large number of people is collected for evaluation, and the acceptance rate of other people (the rate at which other people's collation data is erroneously determined as the person) is calculated for these biometric information and various threshold values. A threshold value at which this other person acceptance rate is 1/1000 (the same accuracy as a 4-digit password) may be examined, and the threshold value may be set as the threshold value Th.
  • the determination unit 211 determines the identity.
  • the determination unit 211 determines that the person is the person himself / herself. Therefore, the biometric authentication system can be improved by tracking the auxiliary information.
  • the determination result is transmitted to the biological information processing apparatus 10 so that, for example, opening / closing of an automatic door is controlled.
  • FIG. 17 is a flowchart illustrating an example of the authentication process according to the first embodiment.
  • step S101 shown in FIG. 17 when the irradiation unit 101 detects that the palm is held over, the irradiation unit 101 irradiates the palm with near infrared light.
  • the part of the body which acquires biometric information gives a palm as an example, it is not restricted to a palm.
  • step S102 the photographing means 103 photographs the palm irradiated with near infrared light.
  • the user ID may be received from an IC card, a keyboard, or the like.
  • the auxiliary information extraction unit 105 extracts auxiliary information indicating a part of the body photographed together with the biological information from the plurality of images photographed by the photographing unit 103.
  • the auxiliary information is, for example, information on the outline of the palm or information on finger placement.
  • step S ⁇ b> 104 the biological information extraction unit 107 extracts biological information from at least one of the plurality of images acquired from the imaging unit 103.
  • the biological information is, for example, a vein image or a palm print.
  • step S105 the tracking unit 109 tracks the auxiliary information extracted from the auxiliary information extracting unit 105 in the time direction.
  • the tracking unit 109 replaces auxiliary information located outside the imaging range with an estimated value using a model of temporal change of auxiliary information.
  • the tracking unit 109 performs tracking with the first auxiliary information extracted from the tracking target image and the second auxiliary information extracted from the image immediately before the tracking target image, and can cope with the auxiliary information.
  • the model of time change may be changed.
  • step S106 the association unit 111 associates the positional relationship between the auxiliary information that is extracted from the image from which the biological information is extracted and tracked, and the extracted biological information.
  • step S107 the registration unit 207 uses the registered auxiliary information stored in the storage unit 205 to perform registration of the vein image that is biometric information.
  • step S108 the similarity calculation unit 209 calculates the similarity between the registered biometric information (registration data) and the biometric information to be authenticated (collation data).
  • step S109 the determination unit 211 determines whether the calculated similarity is greater than a predetermined threshold value.
  • the determination result is transmitted to the biological information processing apparatus 10 via the communication unit 201.
  • step S110 the opening / closing means 117 controls to open the automatic door if the determination result indicates that the user is a registrant. If the determination result indicates that the user is not a registrant, the opening / closing means 117 controls the automatic door to remain closed.
  • step S103 and steps S104 to S105 is not performed in any order.
  • FIG. 18 is a flowchart illustrating an example of auxiliary information tracking processing according to the first embodiment.
  • the tracking unit 109 prepares an array for storing the initialized position of the spear.
  • the tracking unit 109 prepares a variable indicating whether or not a value is set in this array, and sets a value indicating unset.
  • step S202 the tracking unit 109 determines whether or not there is data (auxiliary information) to be processed as data confirmation. If there is auxiliary information (step S202—YES), the process proceeds to step S203, and if there is no auxiliary information (step S202—NO), the process ends.
  • step S203 the tracking unit 109 reads the position of the false for one image to be tracked among the auxiliary information reading moving images.
  • step S204 the tracking unit 109 determines whether it is the case of the initial process. If it is the first process (step S204—YES), the process proceeds to step S202. If it is not the first process (step S204—NO), the process proceeds to step S205.
  • step S205 the tracking unit 109 associates the second hook with the first hook. Thereafter, the tracking unit 109 repeats the above processing for the next image after the moving image.
  • FIG. 19 is a flowchart illustrating an example of biometric information and auxiliary information registration processing according to the first embodiment.
  • the biological information processing apparatus 10 inputs the ID of a user who desires registration from an IC card, a key, or the like.
  • steps S301 to S306 is the same as the processing of steps S101 to S106 shown in FIG.
  • the communication unit 113 transmits the user ID, auxiliary information, and biometric information to the authentication device 20.
  • step S307 the registration unit 203 records the user ID, auxiliary information, and biological information acquired via the communication unit 201 in the storage unit 205. Thereby, the biometric information associated with the tracked auxiliary information can be registered.
  • auxiliary information can be estimated and acquired by tracking even for a large hand that does not fit in the imaging range.
  • a large hand means a hand whose auxiliary information is not included in the shooting range.
  • Example 2 Next, an authentication system according to the second embodiment will be described.
  • the first embodiment it is assumed that a part of the auxiliary information can be traced.
  • the auxiliary information may not be tracked. Therefore, in the second embodiment, the user is guided so that as much auxiliary information as possible is captured.
  • FIG. 20 is a block diagram illustrating an example of the configuration of the authentication system 2 according to the second embodiment.
  • the same components as those in the authentication system 1 shown in FIG. Hereinafter, a configuration different from the first embodiment will be mainly described.
  • the association unit 301 of the biological information processing apparatus 15 notifies the associated auxiliary information and the biological information to the communication unit 113 and also notifies the guidance unit 303.
  • the guiding unit 303 predicts the position of the auxiliary information based on the time change of the auxiliary information, and if the predicted auxiliary information is outside the shooting range, guides the user to a position that falls within the shooting range. For example, the guiding unit 303 controls the display unit 305 to be guided by voice, or controls to guide by the LED or the like.
  • the display unit 305 displays the position held by the user's hand using voice, LED, or the like according to an instruction from the guiding unit 303. Next, main processing in the second embodiment will be described.
  • the guidance unit 303 can predict auxiliary information that will be included in the imaging range and auxiliary information that will protrude from the imaging range in the future by tracking auxiliary information. Since guidance that greatly changes the user's movement is not convenient, the guidance means 303 basically guides the auxiliary information in the direction in which the auxiliary information remains most within a certain range from the predicted destination.
  • the distance information is obtained by a means for measuring the distance to the palm separately from the normal shooting.
  • a method using a distance measuring device other than a camera and a method of calculating a distance from a photographing result using pattern light with an illumination device for projecting pattern light are conceivable.
  • the distance information acquisition method may be any known technique.
  • a distance range in which biological information can be extracted is obtained in advance by an evaluation experiment or the like. Here, it is assumed that the distance decreases with a hand-holding.
  • the guiding means 303 inputs distance information at the time of acquiring the current captured image. This distance information is set to d2.
  • the guiding unit 303 estimates that the previous and current images can be extracted from the previous and current images if the previous distance information and the current distance information are within the imageable range of the biological information. In this case, the guiding means 303 does not guide the user because it has already been photographed.
  • the guiding unit 303 distinguishes between a large hand away from the photographing apparatus and a small hand near the photographing apparatus.
  • a clue that can be used for this distinction is, for example, the brightness of the hand.
  • the biological information processing apparatus 10 By measuring the standard hand brightness for each distance in advance, the biological information processing apparatus 10 creates a correspondence table of brightness and distance.
  • the guiding unit 303 can obtain the distance from the brightness of the captured image and this correspondence table.
  • the subsequent processing is the same as when distance information is used.
  • the guiding unit 303 estimates the position of each auxiliary information in the next captured image.
  • the position is estimated by, for example, linear extrapolation of the current position and the previous position.
  • the guiding unit 303 estimates the next distance by regarding the movement of the hand as being constant with respect to the distance.
  • the guiding unit 303 may estimate the position of the auxiliary information on the assumption that the position of each auxiliary information from the optical axis center is inversely proportional to the distance.
  • FIG. 21 is a diagram illustrating an example of estimated auxiliary information.
  • the guiding means 303 determines the guiding direction.
  • it is estimated that only two points are within the photographing range as shown in FIG. 7 For example, when the number of points is increased most in the range up to 6 pixels, it can be considered that the pixel moves to the left by 6 pixels on the screen.
  • the guiding means 303 guides the user to move the palm slightly to the left side of the screen. In addition, as a result of guidance, there is a possibility of deteriorating too far to the left. In such a case, the guiding unit 303 instructs to hold the hand again.
  • FIG. 22 is a diagram showing an example of biological information after guidance.
  • FIG. 23 is a diagram illustrating an example of auxiliary information after guidance.
  • FIG. 22 is obtained as a vein image of the third biological information, and
  • FIG. 23 is obtained as auxiliary information.
  • Similarity calculation and judgment process For the example of biometric information after guidance shown in FIG. 23 and the registered data example shown in FIG. 13, the similarity calculation unit 209 calculates the similarity when the same similarity calculation method as that of the first embodiment is used. .
  • the similarity calculation unit 209 obtains the following similarity. 165/183 ⁇ 0.902 It can be seen that the guidance means 303 makes the alignment more accurate and improves the similarity.
  • the threshold value Th is set to 0.85 by the determination means 211, the person is determined to be the person himself. However, even if the threshold value Th is increased to 0.90 in order to further reduce the acceptance rate of others, the person is similarly determined. .
  • FIG. 24 is a flowchart illustrating an example of the authentication process according to the second embodiment.
  • the processing in steps S401 to S406 shown in FIG. 24 is the same as the processing in steps S101 to S106 shown in FIG.
  • step S407 the guidance unit 303 tracks auxiliary information, thereby predicting auxiliary information that will fall within the shooting range and auxiliary information that will protrude from the shooting range.
  • the guiding means 303 performs guidance so that auxiliary information enters the imaging range based on this prediction.
  • steps S408 to S411 is the same as the processing of steps S107 to S110 shown in FIG.
  • the second embodiment it is possible to increase the continuity of the auxiliary information tracking process by guiding the user in a direction in which the auxiliary information can be optimally acquired. Thereby, even when auxiliary information is not included in the imaging range at an appropriate imaging position, the authentication accuracy of the biological information can be improved.
  • the biometric information processing device of each embodiment may include an authentication device and perform biometric authentication processing.
  • an authentication device As a biological information processing apparatus, ATM (Automatic teller ⁇ machine), PC (Personal Computer), and the like can be considered.
  • Example 3 Next, an information processing apparatus according to the third embodiment will be described.
  • the processing described in the first and second embodiments is performed by an information processing apparatus such as a PC or a server.
  • FIG. 25 is a block diagram illustrating an example of the configuration of the information processing apparatus 30 according to the third embodiment. 25 includes at least a control unit 401, a main storage unit 403, an auxiliary storage unit 405, a communication unit 407, a recording medium I / F unit 409, an input unit 411, a display unit 413, and a camera 415. . Each unit is connected via a bus so that data can be transmitted / received to / from each other.
  • the control unit 401 is a CPU (Central Processing Unit) that controls each device, calculates and processes data in a computer.
  • the control unit 401 is an arithmetic device that executes a program stored in the main storage unit 403 or the auxiliary storage unit 405.
  • the control unit 401 receives data from the communication unit 407 or each storage unit, calculates, processes, and outputs the data. And output to each storage unit.
  • control unit 401 can perform the output process of biometric information and auxiliary information by executing the processing program of the first and second embodiments stored in the auxiliary storage unit 405, for example.
  • the main storage unit 403 is a ROM (Read Only Memory), a RAM (Random Access Memory), or the like, and a storage device that stores or temporarily stores programs and data such as an OS and application software that are basic software executed by the control unit 401 It is.
  • ROM Read Only Memory
  • RAM Random Access Memory
  • the auxiliary storage unit 405 is an HDD (Hard Disk Drive) or the like, and is a storage device that stores data related to application software. Further, the auxiliary storage unit 405 may store the processing program of the first and second embodiments acquired from the recording medium 417 or the like, the image acquired from the communication unit 407, and the like.
  • the communication unit 407 performs communication through a wired or wireless network.
  • a recording medium I / F (interface) unit 409 is an interface between the information processing apparatus 30 and a recording medium 417 (for example, a flash memory) connected via a data transmission path such as a USB (Universal Serial Bus).
  • a recording medium 417 for example, a flash memory
  • USB Universal Serial Bus
  • a processing program is stored in the recording medium 417, and the processing program stored in the recording medium 417 is installed in the information processing apparatus 30 via the recording medium I / F unit 409.
  • the installed processing program can be executed by the information processing apparatus 30.
  • the input unit 411 includes a keyboard having cursor keys, numeric input, various function keys, and the like, and a mouse and a slide pad for selecting keys on the display screen of the display unit 413.
  • the input unit 411 is a user interface for the user to give an operation instruction to the control unit 401 or input data.
  • the display unit 413 is, for example, an LCD (Liquid Crystal Display) or the like, and performs display according to display data input from the control unit 401.
  • LCD Liquid Crystal Display
  • the camera 415 is a CMOS camera or a CCD camera, for example, and shoots a part of the body with a moving image.
  • the storage means of the first and second embodiments can be realized by the auxiliary storage unit 405, for example.
  • the photographing means of the first and second embodiments can be realized by the camera 415, for example.
  • the communication means of the first and second embodiments can be realized by the communication unit 407, for example.
  • the other means of the first and second embodiments can be realized by the control unit 301 and the main storage unit 303 as a working memory, for example.
  • the program executed by the information processing apparatus 30 has a module configuration including each means other than the storage means described in the first and second embodiments.
  • the control unit 401 reads out and executes a program from the auxiliary storage unit 405, one or more of the above-described units are loaded onto the main storage unit 403, and one or more of the respective units are loaded. Means are generated on the main storage unit 403.
  • the biological information processing in each of the embodiments can be performed by a computer.
  • the biometric information processing described above can be realized by recording this program on a recording medium and causing the computer or portable device to read the recording medium on which the program is recorded.
  • the recording medium is a recording medium that records information optically, electrically, or magnetically, such as a CD-ROM, flexible disk, magneto-optical disk, etc., and information is electrically recorded, such as a ROM, flash memory, etc.
  • Various types of recording media such as a semiconductor memory can be used. Note that the recording medium does not include a carrier wave.
  • the biological information processing apparatus, the biological information processing method, and the program have been described above according to each embodiment. However, the present invention is not limited to the above-described embodiments, and various modifications and modifications are possible within the scope described in the claims. It can be changed. It is also possible to combine all or a plurality of the constituent elements of the above-described embodiments.

Landscapes

  • Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Human Computer Interaction (AREA)
  • Physics & Mathematics (AREA)
  • Multimedia (AREA)
  • Theoretical Computer Science (AREA)
  • General Health & Medical Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Vascular Medicine (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Collating Specific Patterns (AREA)
  • Image Input (AREA)
  • Measurement Of The Respiration, Hearing Ability, Form, And Blood Characteristics Of Living Organisms (AREA)

Abstract

　撮影手段により撮影された複数の画像から、生体情報と共に撮影される体の一部を示す補助情報を抽出する補助情報抽出手段と、補助情報を時間方向に追跡する追跡手段と、複数の画像のうちの少なくとも１つの画像から、生体情報を抽出する生体情報抽出手段と、追跡された補助情報と、抽出された生体情報との位置関係を対応付ける対応付け手段と、対応付けられた補助情報と生体情報とを出力する出力手段とを備える。

Description

生体情報処理装置、生体情報処理方法及びプログラム
　本発明は、生体情報を処理する生体情報処理装置、生体情報処理方法及びプログラムに関する。
　従来、施設への入退出等の際に人手を介さずに本人であることを確認する手段として、指紋、顔、静脈などの個人の生体情報を用いる生体認証技術が利用されている。生体情報を用いる生体認証は、磁気カードや暗証番号(Personal Identification Number; PIN) と異なり、紛失（忘却）や盗用の心配がない利点がある。
　生体情報として静脈を用いる場合を例にして、一般的な生体認証技術に関して説明する。静脈認証装置の基本的な手順は、以下の通りである。まず、静脈認証装置は、手のひら等の静脈を撮影しやすい人体の部位に近赤外光を照射して、反射あるいは透過した光の強度分布を撮影して静脈像を抽出する。
　静脈認証装置は、各個人の静脈像を登録して予め記憶しておく。登録された生体情報は、登録データあるいは登録テンプレートとも称する。静脈認証装置は、登録テンプレートと認証時に撮影して得られた静脈像（照合データと称する）とを照合して両者が一致するかどうかを判定する。
　ただし、生体情報は同一人物であってもある程度は変動するので、静脈像の一致の判断においては、ある程度の変動を許容する必要がある。典型的には、静脈認証装置は、まず両者の位置合わせを行い、更に両者の類似性を類似度という尺度で表現し、類似度が、与えられた閾値よりも大きい場合に登録された本人であると判定する。
　位置合わせは、例えば、登録データと照合データとができるだけ一致するように一方を仮想的に移動させることで行われる。仮想的に移動させるとは、静脈像を表現する座標系を変換することである。
　登録テンプレートは、通常、利用者所有のＩＣカードやサーバの記憶装置（データベース）に保管される。位置合わせや類似度の算出処理は、利用者に近接した計算機や集中管理されたサーバで実行される。
　認証精度を更に向上させる従来技術として、生体情報と一緒に取得できる他の情報を認証に用いる手法が知られている。以降では、このような情報を補助情報と称する。補助情報を用いることで、利用者に追加撮影の負担をかけずに、情報を増やし認証精度を向上させることができる。
　補助情報を用いる従来技術には、撮影画像から指静脈と指輪郭を抽出し、指輪郭で指の向きの位置合わせを行う技術がある（例えば特許文献１参照）。また、手の位置向きを検出して不適切な場合に利用者に通知したり（例えば特許文献２参照）、適切な位置で生体情報が撮影されるように利用者を誘導したり（例えば特許文献３参照）する技術がある。
　また、動画像から顔のベストショットを選択する技術がある（例えば特許文献４参照）。
特開２００４－１０２９９３号公報 再表２００４－０２１８８４号公報 特開２００３－６７７５０号公報 特開２００５－２２７９５７号公報
　ここで、生体認証として、手のひらの静脈を用いるとすると、この場合に利用可能な補助情報としては、輪郭形状、指のつけね（指つけね）の位置等が考えられる。以降では、指のつけねとは指間の水かき部分を指す。
　輪郭形状や指のつけねは数が少なく、撮影画像上でお互いに離れて分布するため、位置を特定しやすい利点があり、位置合わせへの利用に適している。手のひら近辺での生体認証において補助情報を利用する際の課題として、一般的な手よりも大きな手に対しては撮影範囲に手のひら全体が収まるとは限らず、補助情報が取得できるとは限らないことが挙げられる。この課題に利用可能な従来技術には以下の３つがあるが、いずれも課題が残る。
　・手のひら全体が撮影範囲に収まるように利用者を誘導する
例えば、誘導を行う従来技術では、補助情報が撮影範囲に入らないくらい手が大きい場合には、撮影装置の位置から手の位置を遠ざけて補助情報が撮影範囲内に入るようにする。課題としては、手を遠ざけた場合、撮影装置の位置から手が遠くなるため、撮影装置の照明による明るさが不十分となり、撮影品質が低下し、生体情報を適切に抽出できないことが挙げられる。
　・補助情報の取得を行わない
例えば、補助情報の取得ができなかった場合に、補助情報を使用しない従来の認証処理を行う方法が考えられる。課題としては，補助情報が利用できないため、認証精度が低下することが挙げられる。
　・動画像で撮影して手のひら全体が映っている画像を抜き出す
例えば、動画像から顔のベストショットを選び出す構成を、補助情報の取得処理に適用することが考えられる。しかし、課題としては、１つ目と同様、撮影装置の位置から手が遠い位置にあると、撮影装置の照明による明るさが不十分となり、撮影品質が低下し、生体情報を適切に抽出できないことが挙げられる。
　よって、従来技術では、適切な撮影位置での撮影範囲に補助情報が含まれない場合、生体情報の認証精度が低下するという課題があった。
　そこで、開示の技術は、適切な撮影位置での撮影範囲に補助情報が含まれない場合でも、生体情報の認証精度を向上させることができる生体情報処理装置、生体情報処理方法及びプログラムを提供することを目的とする。
　開示の一態様における生体情報処理装置は、撮影手段により撮影された複数の画像から、生体情報と共に撮影される体の一部を示す補助情報を抽出する補助情報抽出手段と、前記補助情報を時間方向に追跡する追跡手段と、前記複数の画像のうちの少なくとも１つの画像から、前記生体情報を抽出する生体情報抽出手段と、追跡された前記補助情報と、抽出された前記生体情報との位置関係を対応付ける対応付け手段と、対応付けられた前記補助情報と前記生体情報とを出力する出力手段とを備える。
　開示の技術によれば、適切な撮影位置での撮影範囲に補助情報が含まれない場合でも、生体情報の認証精度を向上させることができる。
実施例１における認証システムの構成の一例を示すブロック図。 実施例１における撮影装置の一例を示す図。 撮影された動画像に含まれる各画像の例を示す図。 各画像に対する指のつけねの抽出例を示す図。 つけねの抽出結果の一例を示す図。 抽出された生体情報の一例を示す図。 １枚目と２枚目との補助情報の対応関係を示す図。 ２枚目と３枚目との補助情報の対応関係を示す図。 推定値を含む対応付けされた補助情報の一例を示す図。 生体情報の一例を示す図。 追跡後の補助情報の一例を示す図。 生体情報に関するデータベースの一例を示す図。 登録生体情報の一例を示す図。 登録補助情報の一例を示す図。 位置合わせ後の生体情報の一例を示す図。 追跡なしの場合の位置合わせ後の生体情報の一例を示す図。 実施例１における認証処理の一例を示すフローチャート。 実施例１における補助情報の追跡処理の一例を示すフローチャート。 実施例１における生体情報及び補助情報の登録処理の一例を示すフローチャート。 実施例２における認証システムの構成の一例を示すブロック図。 推定された補助情報の一例を示す図。 誘導後の生体情報の一例を示す図。 誘導後の補助情報の一例を示す図。 実施例２における認証処理の一例を示すフローチャート。 実施例３における情報処理装置の構成の一例を示すブロック図。
　１、２　認証システム
　１０　生体情報処理装置
　２０　認証装置
　１０３　撮影手段
　１０５　補助情報抽出手段
　１０７　生体情報抽出手段
　１０９　追跡手段
　１１１、３０１　対応付け手段
　１１４　出力手段
　３０３　誘導手段
　４０１　制御部
　４０３　主記憶部
　４０５　補助記憶部
　４１５　カメラ
　まず、以下に示す各実施例では、例えば、生体認証として手のひらから撮影できる生体情報を用いる。また、体の一部を示す補助情報としては、例えば手のひらや指の輪郭形状、又は指のつけねを用いる。生体情報や補助情報は、上記例に限られず、他の生体情報や、生体情報の近辺にある体の一部の情報を補助情報としてもよい。
　ここで、補助情報は、遠距離で撮影された低品質の画像からでも抽出可能である。そこで、以下に示す各実施例では、撮影装置に手をかざす利用シーンを動画像として撮影する。手のひら全体が映っている低品質画像から補助情報が抽出され、撮影装置に手が接近した高品質画像から生体情報が抽出されることを想定する。
　ただし、そのままでは抽出された補助情報と生体情報との位置関係が不明であるため、位置合わせに利用できない。そこで、以下に示す各実施例では、動画像において一部の補助情報に対して時間方向の追跡を行い、補助情報と生体情報との対応付けを行う。以下、図面に基づいて各実施例を説明する。
　［実施例１］
　＜構成＞
　まず、実施例１における認証システムについて説明する。実施例１における認証システム１は、生体情報として手のひらの静脈を用い、自動ドアと組み合わせて入室管理に適用した認証システムを例に説明する。なお、開示の技術が、自動ドアと生体認証を組み合わせる例に限られないことは言うまでもない。
　図１は、実施例１における認証システム１の構成の一例を示すブロック図である。図１に示す認証システム１は、生体情報処理装置１０と、認証装置２０とを備える。生体情報処理装置１０は、生体情報と補助情報とを抽出し、対応付けた生体情報と補助情報とを認証装置２０に出力する情報処理装置である。認証装置２０は、生体情報処理装置１０から取得した生体情報と補助情報とを用いて認証処理を行うサーバなどである。
　まず、生体情報処理装置１０について説明する。生体情報処理装置１０は、照射手段１０１、撮影手段１０３、補助情報抽出手段１０５、生体情報抽出手段１０７、追跡手段１０９、対応付け手段１１１、通信手段１１３、表示手段１１５、及び開閉手段１１７を有する。
　入室を希望する利用者は、自動ドア内あるいは自動ドア近くに設置された生体情報処理装置１０に手をかざす。照射手段１０１は、手のひらがかざされたことを検知すると、手のひらに近赤外光を照射する。
　撮影手段１０３は、近赤外光が照射された手のひらを撮影する。この際、生体情報処理装置１０は、利用者のＩＤをＩＣカード、キーボード等から受け付けてもよい。撮影手段１０３は、撮影した時間方向に連続する複数の画像を、補助情報抽出手段１０５及び生体情報抽出手段１０７に出力する。
　補助情報抽出手段１０５は、撮影手段１０３により撮影された複数の画像から、生体情報と共に撮影される体の一部を示す補助情報を抽出する。補助情報は、例えば、手のひらの輪郭の情報や、指のつけねの情報である。補助情報抽出手段１０５は、撮影された順に従って、画像から補助情報を抽出する度に、追跡手段１０９に出力する。
　生体情報抽出手段１０７は、撮影手段１０３から取得した複数の画像のうちの少なくとも１つの画像から、生体情報を抽出する。生体情報は、例えば静脈像や掌紋などである。生体情報抽出手段１０７は、抽出した生体情報を対応付け手段１１１に出力する。
　追跡手段１０９は、補助情報抽出手段１０５から抽出された補助情報を時間方向に追跡する。追跡手段１０９は、補助情報の時間変化のモデルを用いて、撮影範囲外に位置する補助情報を推定値で置き換える。
　また、追跡手段１０９は、追跡対象画像から抽出された第１の補助情報と、追跡対象画像の直前の画像から抽出された第２の補助情報とで追跡を行って、対応が取れた補助情報の数に応じて、時間変化のモデルを変更してもよい。追跡手段１０９は、追跡後の補助情報を対応付け手段１１１に出力する。追跡後の補助情報とは、置き換えられた推定値を含む情報である。
　対応付け手段１１１は、生体情報が抽出された画像から抽出され、追跡された補助情報と、抽出された生体情報との位置関係を対応付ける。対応付け手段１１１は、対応付けた補助情報と生体情報とを通信手段１１３に出力する。
　通信手段１１３は、対応付け手段１１１から取得した補助情報と生体情報とを認証要求又は登録要求とともに認証装置２０に出力する。よって、通信手段１１３は、補助情報と生体情報とを出力する出力手段１１４としての機能を有する。
　通信手段１１３は、認証の判定結果を認証装置２０から取得した場合、判定結果を表示手段１１５及び開閉手段１１７に出力する。
　表示手段１１５は、判定結果が、登録者であることを示していれば，ランプやブザー等によって入室許可の認証結果を利用者に通知する。また、表示手段１１５は、判定結果が、登録者ではないとことを示していれば、ランプやブザー等によって入室不許可の認証結果が利用者に通知される。
　開閉手段１１７は、判定結果が登録者であることを示していれば、自動ドアを開くよう制御する。開閉手段１１７は、判定結果が登録者ではないことを示していれば、自動ドアを閉じたままに制御する。
　なお、生体情報処理装置１０の照射手段１０１、撮影手段１０３、表示手段１１５、開閉手段１１７は、必ずしも生体情報処理装置１０に必要は構成ではなく、これらの各手段は、他の装置内に設けられてもよい。
　また、生体情報処理装置１０は、認証要求を行う以外にも、補助情報と生体情報とを認証装置２０に登録することも可能である。なお、生体情報処理装置１０は、登録要求を行う場合、利用者のＩＤをＩＣカードやキーボードなどから受け付け、利用者ＩＤも生体情報などとともに認証装置２０に送信する。
　次に、認証装置２０について説明する。認証装置２０は、通信手段２０１、登録手段２０３、記憶手段２０５、位置合わせ手段２０７、類似度算出手段２０９、及び判定手段２１１を有する。
　通信手段２０１は、補助情報と生体情報とを取得した場合、登録要求か認証要求かを判定する。通信手段２０１は、登録要求とともに受信した補助情報と生体情報と利用者ＩＤとを、登録手段２０３に出力する。また、通信手段２０１は、認証要求とともに受信した補助情報と生体情報とを、位置合わせ手段２０７に出力する。
　登録手段２０３は、取得したＩＤを登録者ＩＤとして、補助情報及び生体情報に対応付けて記憶手段２０５に記録する。
　記憶手段２０５は、登録された登録者ＩＤと、補助情報と、生体情報とを対応付けて記憶する。
　位置合わせ手段２０７は、記憶手段２０５に記憶されている補助情報を用いて、生体情報である静脈像の位置合わせを行う。位置合わせ手段２０７は、利用者のＩＤが指定された場合には、該当するＩＤの生体情報が用いられ、そうでなければ全ＩＤの生体情報が順番に用いられる。位置合わせ手段２０７は、位置合わせ後の両生体情報を類似度算出手段２０９に出力する。
　類似度算出手段２０９は、登録された生体情報と、認証対象の生体情報との類似度を算出する。類似度は、値が大きいほど類似していることを示す。類似度算出手段２０９は、算出した類似度を判定手段２１１に出力する。
　判定手段２１１は、算出された類似度が、予め与えられた閾値よりも大きいかどうかを判定する。判定結果は、通信手段２０１を介して、生体情報処理装置１０に送信される。
　なお，各実施例で利用可能な静脈以外の生体情報としては手のひらの掌紋が考えられる。掌紋の場合には、照射手段１０１としては可視光を用いることが望ましい。また、撮影装置１０３と接触せずに複数の指静脈や指紋を撮影する場合も各実施例を適用可能である。各実施例では、認証に用いる生体情報の種類を限定しない。各実施例が想定する補助情報は、輪郭形状や指のつけねの位置のような、生体情報と一緒に撮影することができ、かつ撮影装置に手が近接すると一部が撮影範囲から外れる可能性があるが、一部は撮影範囲に収まるような特徴である。
　＜各処理＞
　次に、生体情報処理装置１０の各手段の処理の具体例を説明する。
　《照射手段、撮影手段》
　照射手段１０１は、例えば、近赤外光を発光するＬＥＤを用いることが好ましい。また、照射手段１０１は、生体情報として掌紋を用いる場合は、可視光を用いることが望ましい。撮影手段１０３は、可視光線を遮断するフィルタ（可視カットフィルタ）を付けたＣＭＯＳカメラあるいはＣＣＤカメラを使用することが好ましい。
　図２は、実施例１における撮影装置３０１の一例を示す図である。図２に示す撮影装置３０１は、照射手段１０１と撮影手段１０３とが一体化されている。図２に示す例では、撮影装置３０１上方から手のひらをかざす。
　撮影結果は、動画像として表現される。動画像とは所定の時間間隔で撮影された画像の列である。時間間隔としては、例えば、３３ミリ秒が用いられる。動画像を構成する各画像は、多数の画素を含む２次元の配列であり、各画素は光の強度に応じた値（画素値）を持つ。
　なお、以降に説明する処理は、各画像が撮影される度に行われる。図３は、撮影された動画像に含まれる各画像の例を示す図である。図３に示す例では、３枚の画像を示す。
　図３に示す例では、画像ａ１０１、画像ａ１０３、画像ａ１０５の順で撮影時刻が新しくなる。つまり、図３に示す各画像は、手が撮影装置３０１に徐々に近づいてくる様子を撮影した画像である。また、画像サイズは、例えば１００×１００とする。
　《補助情報抽出手段》
　まず、補助情報として輪郭を用いる場合を想定して、輪郭を抽出する１手法を説明する。本手法の場合、静脈像も併せて抽出する。撮影された画像上で、背景は明るく、手のひらはやや暗く、静脈は、最も暗いパターンとして表される。そのため、例えば、補助情報抽出手段１０５は、撮影された画像を以下のように３値化することで、補助情報を抽出することができる。
　（Ａ１）補助情報抽出手段１０５は、各画素の値が、定められた第１の閾値よりも大きい場合には、背景を表す値「０」とする。
（Ａ２）補助情報抽出手段１０５は、各画素の値が、定められた第１の閾値よりも小さく、第２の閾値（＜第１の閾値）よりも大きい場合には、手のひらを表す値「２」とする。
（Ａ３）補助情報抽出手段１０５は、上記以外の場合には、静脈を表す値「１」とする。
　第１の閾値には、平均的な背景の画素値よりも小さな値が設定される。画素値の範囲が０から２５５の場合、第１の閾値は、例えば値「１５０」とする。第２の閾値には、第１の閾値よりも小さい値が設定される。また、第２の閾値には、平均的な静脈像の画素値よりも大きな値が設定される。例えば，第２の閾値は、値「６０」とする。
　補助情報抽出手段１０５は、上記のような３値化後に、全画素を１つずつ走査して、注目画素が手のひらを表す値「２」であり、その隣の画素が背景を表す値「０」の場合に、注目画素の値を、輪郭を表す値「４」に変更する。最後に、補助情報抽出手段１０５は、輪郭を表す画素の座標値を以下の方法で求める。
　（Ｂ１）補助情報抽出手段１０５は、座標値を記憶する配列を用意する。点の個数を記憶する変数を用意し、「０」に初期化する。
（Ｂ２）補助情報抽出手段１０５は、上記の画像を走査し、輪郭を表す値「４」の画素があった場合には、その座標を配列に記録し、点の個数を記憶する変数の値を１つ増加させる。これにより、補助情報としての輪郭の情報が抽出される。
　次に、補助情報として指のつけねを用いる場合を想定して、指のつけねを抽出する１手法を説明する。撮影された画像上で、背景は明るく、手のひらはやや暗く表される。よって、補助情報抽出手段１０５は、例えば、上記の輪郭抽出手法と同様の３値化画像に基づいて以下のように抽出することができる。ここでは、手のひらは、指が画像上側に来るようにかざすものとしている。
　（Ｃ１）補助情報抽出手段１０５は、画像上端の各画素から画像下方向に向かって走査し、背景を表す値「０」から手のひらを表す値「２」に変わる変化があった場合に、その画素の値を、つけね候補を表す値「５」に変更する。
（Ｃ２）補助情報抽出手段１０５は、画像の全画素を１つずつ順番に走査し、つけね候補を表す値「５」を持つ画素が見つかったら、その左右の画素の値を調べる。補助情報抽出手段１０５は、左右の画素の値が、ともに手のひらを表す値「２」であった場合には、値「５」を、つけねを表す値「６」に変更する。
　補助情報抽出手段１０５は、輪郭抽出の場合と同様の方法で、指のつけねを表す画素の座標値を配列に格納する。図４は、各画像に対する指のつけねの抽出例を示す図である。図４に示す例では、座標値を表す座標系は、原点を画像左上に取り、水平方向をｘ軸（画像右側正），垂直方向をｙ軸（画像下側正）とした座標系で表現する。
　図５は、つけねの抽出結果の一例を示す図である。図５に示す１枚目は、画像ａ１０１を示し、２枚目は、画像ａ１０３を示し、３枚目は画像ａ１０５を示す。３枚目では、手が撮影装置に近接しすぎ、もしくは、利用者の手が大きいため、補助情報が２つしか抽出できていない。
　《生体情報抽出手段》
　生体情報抽出手段１０７は、生体情報の一例として静脈を抽出する１手法として、補助情報と一緒に抽出する方法を上述した。例えば、生体情報抽出手段１０７は、値「１」を示す画素を抽出すればよい。
　以下では、生体情報抽出手段１０７は、図４に示す画像から静脈を抽出するとする。生体情報抽出手段１０７は、図４に示す１枚目の画像ａ１０１、２枚目の画像ａ１０３からは、静脈像を抽出することはできない。これは、１枚目の画像と、２枚目の画像とが、撮影装置からの適切な位置よりも離れているためである。
　生体情報抽出手段１０７は、３枚目の画像ａ１０５から生体情報を抽出する。図６は、抽出された生体情報の一例を示す図である。図６に示す例では、静脈像は、３本の線分から構成されており、１つ目の線分は（２０，２０），（２０，８０），２つ目の線分は（５０，２０），（５０，８０），３つ目の線分は（８０，２０），（８０，８０）をそれぞれ端点としている。図６に示す例では、説明を簡単にするため、シンプルな静脈像を表す。
　なお、上述した補助情報及び生体情報の抽出手法では、補助情報は、座標値の配列として表現され、静脈像は２値画像として表現される。その他に、記憶容量の削減や類似度算出処理の高速化のため、静脈像から特徴量を算出してそれらを記憶し、認証時には特徴量の比較によって類似度を算出する方法も考えられる。
　特徴量としては，例えば、静脈像を構成する点の座標値、あるいは静脈像を細線化して折れ線近似したときの各折れ線の頂点、分岐点や端点等の特徴点の座標値が考えられる。実施例では、静脈像の表現形態はいずれを用いてもよい。
　《追跡手段》
　追跡手段１０９は、画像毎に抽出された補助情報を時間方向に追跡する。以下では、補助情報として、指つけねと、手のひらの輪郭形状との場合について説明する。
　（指つけねの場合）
補助情報として指つけねを用いる場合に、動画像において補助情報を追跡する１手法を説明する。
　（Ｄ１）初期化
追跡手段１０９は、初期化されたつけねの位置を記憶する配列を用意する。追跡手段１０９は、この配列に値が設定されているかどうかを表す変数を用意し、未設定を表す値を設定する。
　（Ｄ２）存在確認
追跡手段１０９は、データの存在確認として、処理すべきデータ（補助情報）があるかどうかを判定する。認証処理の終了によりデータがなくなった場合には、追跡手段１０９は、処理を終了する。
　（Ｄ３）補助情報の読み込み
追跡手段１０９は、補助情報の読み込み動画像のうち、追跡対象の１枚の画像に対するつけねの位置を読み込む。以下では、追跡対象画像から抽出された１又は複数のつけねを第１のつけねや今回のつけねとも称する。
　配列につけねの位置が記憶されていない初回の場合、追跡手段１０９は、第１のつけねの位置を記憶し、記憶の有無を表す変数を、設定済を表す値に変更する。追跡手段１０９は、つけねの位置を記憶する際、個々のつけねを定められた基準に従って１列に並べて、その順番で配列に記憶する。
　（Ｄ４）初回処理の場合
追跡手段１０９は、初回処理の場合、以降の補助情報の対応付け処理を行わない。
　（Ｄ５）補助情報の対応付け
追跡手段１０９は、第２のつけねと第１のつけねとを対応付ける。第２のつけねとは、前回のつけねとも称し、追跡対象画像の直前の画像から抽出された１又は複数のつけねを言う。対応付けの詳細は後述する。
　この際、対応が付けられなかった第２のつけねの一部については，追跡手段１０９は、撮影範囲外に出たと判断し、つけねの位置の推定を行い、推定された位置を代わりに用いる。これにより、補助情報が撮影範囲外になった場合でも、補助情報の欠損を補うことができる。得られた対応付けに基づいて、第１のつけねを、対応する個々のつけねが同じ順番になるように並べる。追跡手段１０９は、並べた結果を配列に記憶する。以下、追跡手段１０９は、動画像の次の画像に対して、上記の処理を繰り返す。
　次に、追跡手段１０９による補助情報の対応付けと推定を行う１手法を説明する。最初に、前回と今回でどのつけねがどのつけねと対応しているかを定める。追跡手段１０９は、例えば、第１のつけねのうちの１つのつけね（対応対象つけねとも称する）に対して、距離（座標値の差の２乗平均）が最も小さい第２のつけねを対応付ける。
　追跡手段１０９は、距離が所定の閾値（例えば画像サイズの１／３）よりも大きい場合には、対応対象つけねに対し、「対応なし」と設定する。第１のつけねを適当な方法で１列に並べ、１から始まる番号を与える。適当な方法とは、例えば水平方向の座標値が小さい順につけねを並べる。
　第２のつけねには、対応している第１のつけねと同じ番号を与える。第１のつけねと対応しない第２のつけねには、新しい番号を与える。つけねの番号は、ｉの添字で表す。
　これより、第２のつけねの位置は、（ｐｉ，ｑｉ）（ｉ＝１，...，ｍ，ｎ＋１，...，ｋ）、第１のつけねの位置は、（ｘｉ，ｙｉ）（ｉ＝１，...，ｎ）という座標値の配列で表される。ｍは、対応するつけねの数、ｎ－ｍは、第１のつけねのみ存在するつけねの数、ｋ－ｎは、第２のつけねのみ存在するつけねの数を表す。
　図５に示す抽出例に対して、つけねの対応付けを行った結果を説明する。図７は、１枚目（前回位置）と２枚目（今回位置）との補助情報の対応関係を示す図である。図７に示す例では、ｍ＝４，ｎ＝４，ｋ＝４である。図８は、２枚目（前回位置）と３枚目（今回位置）との補助情報の対応関係を示す図である。図８に示す例では、ｍ＝２，ｎ＝２，ｋ＝４である。
　次に、追跡手段１０９は、補助情報の時間変化をモデル化する。手をかざすシーンにおいて、撮影画像上のつけねの座標値は時々刻々と変化するが、変化にはかざし方に依存した一定の法則がある。
　例えば、手のひらをカメラの視線に直交するように近づける場合には、つけねの座標値の変化は、２次元的な拡大縮小で適切に近似される。数式を用いると以下のように表される。第２のつけねのうちの１つのつけねの位置を（ｐ，ｑ），対応する第１のつけねの位置を（ｘ，ｙ）とすると、式（１）が成り立つ。
Figure JPOXMLDOC01-appb-M000001
　ここで、ｓは拡大率であり正の実数、ｃｘ，ｃｙはカメラの光軸中心であり、ほぼ画像中心に等しい。
　次に、追跡手段１０９は、モデルパラメータを求める。モデルとして２次元的な拡大縮小を用いる場合には、モデルパラメータは拡大率ｓである。モデルパラメータの算出には、例えば、最小２乗法を用いる。具体的には、以下の評価関数を最小にするｓを解とする。
Figure JPOXMLDOC01-appb-M000002
　追跡手段１０９は、上記の評価関数は、ｓについて２次式であるので、簡単に最小化することができる。この解は以下に示される。
Figure JPOXMLDOC01-appb-M000003
　図７、８の対応付けの例において、光軸中心を画像中心ｃｘ＝５０，ｃｙ＝５０として上式を用いて計算すると、それぞれｓ＝１．５とｓ＝２となる。つまり、手のひらが撮影装置に近づいたため、１枚目と２枚目とでは１．５倍に、２枚目と３枚目とでは２倍に拡大しているという結果となる。
　最後に、追跡手段１０９は、第１のつけねと対応しない第２のつけね（ｐ，ｑｉ）（ｉ＝ｎ＋１，...，ｋ）に対して、第１のつけねの画像上での位置（ｘｉ，ｙｉ）を下式で推定する。
Figure JPOXMLDOC01-appb-M000004
　図８に示す２枚目と３枚目との対応付けにおいて、上式（４）による推定値を含めた結果を図９に示す。
　図９は、推定値を含む対応付けされた補助情報の一例を示す図である。図９に示す番号３と番号４との今回位置のつけねは撮影範囲外であるが、推定値が挿入されている。
　なお、より自由なかざし方を認める場合のモデルとして、追跡手段１０９は、例えばアフィン変換を用いる。手のひらがカメラの視線に直交する状態で回転、平行移動、撮影装置に近づける等の動きをする場合には、指のつけねの座標値の変化は、アフィン変換で適切に近似することができる。アフィン変換は、２次元的な平行移動、回転、拡大縮小を含む変換である。数式を用いると以下のように表される。
　第２のつけねのうちの１つのつけねの位置を（ｐ，ｑ）、対応する第１のつけねの位置を（ｘ，ｙ）とすると、次の式が成り立つ。
Figure JPOXMLDOC01-appb-M000005
　ここで、ａｘ，ｂｘ，ｃｘ，ａｙ，ｂｙ，ｃｙはアフィン変換を表す未知のパラメータである。これらのパラメータの決定も、例えば最小２乗法で行うことができる。この場合には、追跡手段１０９は、以下の評価関数を最小にするパラメータを解とする。
Figure JPOXMLDOC01-appb-M000006
　上記の評価関数は、未知パラメータについて２次式であるので、１階微分を０と置いた連立１次方程式を解くことで簡単に解を求めることができる。
　なお、アフィン変換の未知パラメータの個数が６であるため、解を求めるためには、対応するつけねの個数ｍが３以上であることが必要である。ｍが３よりも小さい場合には、例えば、追跡失敗として利用者に再度かざしてもらうことが考えられる。または、アフィン変換よりも簡単な変換を用いることが考えられる。アフィン変換よりも簡単な変換としては、例えば相似変換が考えられる．
　相似変換は、アフィン変換でａｘ＝ｂｙ，ｂｘ＝－ａｙに限定したものである。従って、未知数のパラメータの個数が４になるため、追跡手段１０９は、対応するつけねの個数ｍが２であっても解を求めることができる。アフィン変換を用いる場合、第１のつけねと対応しない第２のつけね（ｐｉ，ｑｉ）（ｉ＝ｎ＋１，...，ｋ）に対して、追跡手段１０９は、追跡対象画像上での位置（ｘｉ，ｙｉ）を下式で推定する。
Figure JPOXMLDOC01-appb-M000007
　さらに、自由なかざし方を認める他のモデルとしては、例えば射影変換が考えられる。数式を用いると以下のように表される。第２のつけねのうちの１つのつけねの位置を（ｐ，ｑ），対応する第１のつけねの位置を（ｘ，ｙ）とすると、下式が成り立つ。
Figure JPOXMLDOC01-appb-M000008
　射影変換は、手のひらの形を３次元空間内の平面、撮影手段１０３の光学系を透視投影と見なしたときのモデルであり、手のひらが傾いている場合にも適用可能である。ただし、モデルパラメータの決定には、４点の対応が必要となる。
　なお、追跡手段１０９は、対応付けされた補助情報の個数に基づいて、使用するモデルを変更してもよい。追跡手段１０９は、例えばｍが４の場合は射影変換モデルを用い、ｍが３の場合は、アフィン変換モデルを用い、ｍが２の場合は、相似変換モデルを用い、ｍが１の場合は拡大縮小モデルを用いてもよい。
　（輪郭の場合）
　次に、補助情報として、輪郭を用いる場合について説明する。指つけねと異なり、輪郭を構成する点は繋がっているため、前回の輪郭と今回の輪郭の対応点は容易には求められない。解決策としては、例えば以下の２方法が考えられる。
・輪郭を形成する点から特徴的な点を選び出す方法
・輪郭を構成する点の時間変化をモデル化して、対応点を取らずに変換パラメータを定める方法
１つ目の特徴的な点の選びかたとしては、例えば、曲率の極大点（曲がり方が大きい点）を用いることが考えられる。追跡手段１０９は、代わりに、注目点と一定画素（例えば５画素）離れた２点を結んだ２線分のなす角度が１８０度から最も離れる数点を選択してもよい。特徴的な点を選び出した後は、指つけねと同様の方法で追跡を行うことができる。
　２つ目の方法の１例として、モデルとして２次元的な拡大縮小を用いる方法を示す。以下にその手順を説明する。
　（Ｅ１）追跡手段１０９は、初期化距離の総和の最小値と、そのときの拡大率を保持する変数を用意する。最小値として無限大あるいは十分大きな値を設定する。追跡手段１０９は、拡大率ｓに初期値として例えば０．５を設定する。
　（Ｅ２）追跡手段１０９は、距離の計算設定された拡大率で、今回の境界を形成する各点の座標を変換する。追跡手段１０９は、変換された座標値に最も近い前回の境界を形成する点を求めて、そこまでの距離の総和を求める。
　（Ｅ３）追跡手段１０９は、距離の比較算出された距離の総和がこれまでの最小値よりも小さい場合には、最小値を置き換え、そのときの拡大率を保持する。
　（Ｅ４）追跡手段１０９は、拡大率の変更拡大率ｓを適当な刻み幅（例えば０．１）で大きくする。追跡手段１０９は、上限（例えば２）に達したら終了する。
　（Ｅ５）追跡手段１０９は、繰り返し再度距離の計算を行う。
　上記の方法で、今回の境界を形成する各点に対して、その変換された座標値に最も近い前回の境界を形成する点がお互いに対応するとみなすことで、輪郭点の対応付けを行うことができる。追跡手段１０９は、指つけねの追跡の場合と同様に、距離に関して閾値を設けこともできる。
　《対応付け手段》
　対応付け手段１１１は、追跡して得られた補助情報と抽出された生体情報とを、ひとまとまりのデータにまとめる。生体情報が得られなかった画像については、対応付け手段１１１は、対応付けを行わない。図３に示す動画像の例に対して、対応付けられた結果を図１０と図１１とに示す。
　図１０は、生体情報の一例を示す図である。図１１は、追跡後の補助情報の一例を示す図である。図１１に示す例では、座標のｘが小さい順に並べ替えられている。対応付け手段１１１は、図１０に示す生体情報と、図１１に示す補助情報とを対応付ける。
　《記憶手段》
　認証装置２０の記憶手段２０５は、利用者のＩＤと、補助情報と、生体情報としての静脈像とを対応付けて記憶する。記憶手段２０５は、典型的には以下の形式のデータベースとして認証装置２０内に実現される。
　図１２は、生体情報に関するデータベースの一例を示す図である。図１２に示す例では、補助情報、静脈像は、一定の規則に従って数字の列に変換して記憶される。例えば、図１２に示すデータベースでは、座標値の列で表す場合には、補助情報の点数、水平垂直の座標値の列が用いられ、静脈像を画像で表す場合には，画素値を１列に並べた数字列が用いられる。
　図１３は、登録生体情報の一例を示す図である。図１３に示す例は、登録されている生体情報としての静脈像の画像である。図１４は、登録補助情報の一例を示す図である。図１３に示す生体情報と、図１４に示す補助情報とが図１２に示す利用者ＩＤ「０００１」に登録されている。
　図１２に示すように、図１４に示す補助情報は、その個数が４、座標値が小さい番号から水平（ｘ）垂直（ｙ）の順に並べられ、「４，－１２，５０，...」として記憶手段２０５に登録される。
　また、図１２に示すように、図１３に示す生体情報は、その画素値が所定の順で一列に並べられ、「０，...，１，０，...，１，...」として記憶手段２０５に登録される。
　《位置合わせ手段》
次に、補助情報を用いて位置合わせを行う手法の例について説明する。ここでは、平行移動による位置合わせのみを行う場合を扱う。例えば、照合データの座標を基準とし、登録データの座標値の移動量を定めるものとする。
　（Ｆ１）初期化
　位置合わせ手段２０７は、初期化として、補助情報の座標値の総和を保持する変数を用意し、０に初期化する。初期化処理は、x 座標、y 座標別々に行う。
　（Ｆ２）座標値の総和計算
　位置合わせ手段２０７は、登録データ、照合データそれぞれに対して、補助情報の座標値の総和を計算する。
　（Ｆ３）重心位置の算出
　位置合わせ手段２０７は、座標値の総和を、補助情報の点数で割って、重心位置を算出する。
　（Ｆ４）移動量の算出
　位置合わせ手段２０７は、照合データ側の重心位置から登録データ側の重心位置を引くことで、移動量を算出する。
　位置合わせ手段２０７は、図１１に示す照合データと、図１４に示す登録データとで、移動量を算出すると、移動量を算出すると（２，１）を得る。従って、位置合わせ後の登録データの静脈像は、図１５に示す通りとなる。
　図１５は、位置合わせ後の生体情報の一例を示す図である。図１５に示す例は、図１３に示す生体情報を（２，１）移動させた例である。
　なお、手の置き方の不安定性により、登録照合間では平行移動以外にも回転等の様々な変化が起こりえる。よって、位置合わせ手段２０７は、それらに対応できるように複雑な移動方法を用いることも可能である。また、位置合わせ手段２０７は、補助情報と静脈像の両方を用いて位置合わせを行うことも可能である。実施例では、位置合わせ処理の手法についてはいずれの手法を用いてもよい。
　なお、登録、認証時に補助情報の追跡を行わないと、図１１に示す抽出例と図１４に示す登録データ例において、補助情報の１番と４番が欠けることになる。この場合には、移動量は（２，２）となる。このときの位置合わせ後の登録データの静脈像は、図１６となる。図１６は、追跡なしの場合の位置合わせ後の生体情報の一例を示す図である。図１６に示す生体情報は、図１５に示す生体情報と比べて、ｙ方向に「１」だけずれている。
　《類似度算出手段》
　類似度算出手段２０９は、静脈像が２値画像として表現される場合、類似度を、例えば以下の方法で算出する。
　（Ｇ１）初期化
　類似度算出手段２０９は、注目画素を画像左上に設定する。一致した画素の個数を保持する変数（カウンタ）と、静脈像を形成する画素の個数を保持する変数とを用意し、それぞれ０に初期化する。
　（Ｇ２）画素値の比較
　類似度算出手段２０９は、注目画素における、２枚の画像の画素の値を獲得して比較する。類似度算出手段２０９は、両者がともに静脈像を表していれば、一致個数のカウンタの値を１つ増加させる。どちらかが静脈像を表していれば静脈像のカウンタの値を１つ増加させる。
　（Ｇ３）注目画素の移動
　類似度算出手段２０９は、注目画素を１つ右に移動する。注目画素が右端の場合には、類似度算出手段２０９は、注目画素を１つ下の左端に移動する。注目画素が右下の場合には、類似度算出処理が終了する。
　（Ｇ４）繰り返し
　類似度算出手段２０９は、再度、画素値の比較を行う。
　（Ｇ５）類似度出力
　類似度算出手段２０９は、前画素での処理が終わると、一致個数のカウンタの値を静脈像のカウンタの値で割った値を類似度とする。
　図１１に示す抽出例と図１５に示す登録データ例に対する類似度算出結果は、次の通りである。
１６２／１８６≒０．８７１
　図１６に示す補助情報の追跡を行わない場合には，類似度算出結果は、次の通りである。
１５９／１８９≒０．８４１
　これにより、補助情報の追跡により位置合わせがより正確になり、類似度が向上していることが分かる。
　《判定手段》
　判定手段２１１は、類似度算出手段２０９で算出された類似度と、予め設定された閾値Ｔｈとを比較し、閾値Ｔｈよりも大きい場合には、本人あるいは登録者の１人と判定する。
　閾値Ｔｈの決め方の一例は以下の通りである。評価用に多人数の生体情報を収集し、これらの生体情報と様々な閾値に対して、他人受入率（他人の照合データを誤って本人と判定する割合）を算出する。この他人受入率が１／１万（４桁の暗証番号と同じ精度）となる閾値を調べて、その閾値を閾値Ｔｈとすればよい。
　次に、判定結果の例について説明する。上記閾値が０．８５であったとする。補助情報の追跡を行わない場合の類似度は０．８４１であるので、判定手段２１１により本人とは判定されない。補助情報の追跡を行う場合には、類似度が０．８７１であるので，判定手段２１１により本人と判定される。よって、補助情報の追跡を行うことで、生体認証の認証制度を向上させることができる。
　この判定結果が、生体情報処理装置１０に送信されることで、例えば、自動ドアの開閉が制御される。
　＜動作＞
　次に、認証システム１の動作について説明する。まず、認証処理について説明する。図１７は、実施例１における認証処理の一例を示すフローチャートである。図１７に示すステップＳ１０１で、照射手段１０１は、手のひらがかざされたことを検知すると、手のひらに近赤外光を照射する。なお、生体情報を取得する体の部位は、手のひらを例に挙げるが、手のひらに限られない。
　ステップＳ１０２で、撮影手段１０３は、近赤外光が照射された手のひらを撮影する。この際、利用者のＩＤをＩＣカード、キーボード等から受け付けてもよい。
　ステップＳ１０３で、補助情報抽出手段１０５は、撮影手段１０３により撮影された複数の画像から、生体情報と共に撮影される体の一部を示す補助情報を抽出する。補助情報は、例えば、手のひらの輪郭の情報や、指のつけねの情報である。
　ステップＳ１０４で、生体情報抽出手段１０７は、撮影手段１０３から取得した複数の画像のうちの少なくとも１つの画像から、生体情報を抽出する。生体情報は、例えば静脈像や掌紋などである。
　ステップＳ１０５で、追跡手段１０９は、補助情報抽出手段１０５から抽出された補助情報を時間方向に追跡する。追跡手段１０９は、補助情報の時間変化のモデルを用いて、撮影範囲外に位置する補助情報を推定値で置き換える。
　また、追跡手段１０９は、追跡対象画像から抽出された第１の補助情報と、追跡対象画像の直前の画像から抽出された第２の補助情報とで追跡を行って、対応が取れた補助情報の数に応じて、時間変化のモデルを変更してもよい。
　ステップＳ１０６で、対応付け手段１１１は、生体情報が抽出された画像から抽出され、追跡された補助情報と、抽出された生体情報との位置関係を対応付ける。
　ステップＳ１０７で、位置合わせ手段２０７は、記憶手段２０５に記憶されている登録された補助情報を用いて、生体情報である静脈像の位置合わせを行う。
　ステップＳ１０８で、類似度算出手段２０９は、登録された生体情報（登録データ）と、認証対象の生体情報（照合データ）との類似度を算出する。
　ステップＳ１０９で、判定手段２１１は、算出された類似度が、予め与えられた閾値よりも大きいかどうかを判定する。判定結果は、通信手段２０１を介して、生体情報処理装置１０に送信される。
　ステップＳ１１０で、開閉手段１１７は、判定結果が登録者であることを示していれば、自動ドアを開くよう制御する。開閉手段１１７は、判定結果が登録者ではないことを示していれば、自動ドアを閉じたままに制御する。
　なお、ステップＳ１０３と、ステップＳ１０４～Ｓ１０５の処理は、順不動である。
　次に、補助情報の追跡処理について説明する。図１８は、実施例１における補助情報の追跡処理の一例を示すフローチャートである。図１８に示すステップＳ２０１で、追跡手段１０９は、初期化されたつけねの位置を記憶する配列を用意する。追跡手段１０９は、この配列に値が設定されているかどうかを表す変数を用意し、未設定を表す値を設定する。
　ステップＳ２０２で、追跡手段１０９は、データの存在確認として、処理すべきデータ（補助情報）があるかどうかを判定する。補助情報があれば（ステップＳ２０２－ＹＥＳ）ステップＳ２０３に進み、補助情報がなければ（ステップＳ２０２－ＮＯ）処理は終了される。
　ステップＳ２０３で、追跡手段１０９は、補助情報の読み込み動画像のうち、追跡対象の１枚の画像に対するつけねの位置を読み込む。
　ステップＳ２０４で、追跡手段１０９は、初回処理の場合であるかどうかを判定する。初回処理であれば（ステップＳ２０４－ＹＥＳ）ステップＳ２０２に進み、初回処理でなければ（ステップＳ２０４－ＮＯ）ステップＳ２０５に進む。
　ステップＳ２０５で、追跡手段１０９は、第２のつけねと第１のつけねとを対応付ける。以下、追跡手段１０９は、動画像の次の画像に対して、上記の処理を繰り返す。
　次に、生体情報及び補助情報の登録処理について説明する。図１９は、実施例１における生体情報及び補助情報の登録処理の一例を示すフローチャートである。図１９に示すステップＳ３００で、生体情報処理装置１０は、登録を希望する利用者のＩＤをＩＣカードやキーなどから入力する。
　ステップＳ３０１～Ｓ３０６の処理は、図１７に示すステップＳ１０１～Ｓ１０６の処理と同様であるため、説明を省略する。このとき、通信手段１１３は、利用者のＩＤと、補助情報と、生体情報とを認証装置２０に送信する。
　ステップＳ３０７で、登録手段２０３は、通信手段２０１を介して取得した利用者のＩＤと、補助情報と、生体情報とを記憶手段２０５に記録する。これにより、追跡された補助情報に対応付けられた生体情報を登録することができる。
　以上、実施例１によれば、適切な撮影位置での撮影範囲に補助情報が含まれない場合でも、補助情報の追跡を行うことで、生体情報の認証精度を向上させることができる。例えば、実施例１によれば、手近辺の生体情報を用いる生体認証において、撮影範囲に収まらない大きな手に対しても、補助情報を追跡により推定して取得することができる。大きな手とは、撮影範囲に補助情報が含まれない手のことをいう。
　［実施例２］
　次に、実施例２における認証システムについて説明する。実施例１では、補助情報の一部分が追跡できることを前提としていた。しかし、利用者の手のかざし方が悪い場合には、補助情報の追跡ができなくなる可能性がある。そこで、実施例２では、補助情報が少しでも多く撮影されるように、利用者に対して誘導を行う。
　これにより、補助情報の取得が最適に行える方向に利用者を誘導することで、補助情報の追跡処理の継続可能性を高める。
　＜構成＞
　図２０は、実施例２における認証システム２の構成の一例を示すブロック図である。図２０に示す構成において、図１に示す認証システム１の構成と同様のものは同じ符号を付す。以下、実施例１と異なる構成について主に説明する。
　生体情報処理装置１５の対応付け手段３０１は、対応付けた補助情報と生体情報とを通信手段１１３に通知するとともに、誘導手段３０３にも通知する。
　誘導手段３０３は、補助情報の時間変化に基づいて補助情報の位置を予測し、予測された補助情報が撮影範囲外であれば、撮影範囲内に収まる位置に利用者を誘導する。誘導手段３０３は、例えば、表示手段３０５に対して音声で誘導するよう制御したり、又はＬＥＤなどで誘導するよう制御したりする。
　表示手段３０５は、誘導手段３０３からの指示により音声やＬＥＤなどを用いて利用者の手のかざす位置を表示する。次に、実施例２における主な処理について説明する。
　《誘導手段》
　誘導手段３０３は、補助情報の追跡により、今後、撮影範囲に収まる補助情報と撮影範囲からはみだす補助情報を予測することができる。利用者の動きを大きく変更する誘導は利便性が良くないので、誘導手段３０３は、基本的には予測した移動先から一定範囲内で最も補助情報が残る方向に誘導する。
　この際、生体情報が動画像のどの画像で抽出可能となるかを推定して誘導を行うことが好ましい。これには以下の２通りの方法が考えられる。
・距離情報を使う方式
・距離情報を使わない方式
　まず、距離情報を使う方式を説明する。距離情報は、通常の撮影とは別に手のひらまでの距離を計測する手段を備えて取得する。一般的には、カメラ以外の距離計測装置を用いる方法とパターン光を投影する照明装置を備えてパターン光による撮影結果から距離を算出する方法が考えられる。開示の技術では、距離情報の取得方法は公知の技術のいずれでもよい。
　距離情報を用いる場合の推定方法の一例について説明する。予め生体情報が抽出可能な距離範囲を評価実験等によって求めておく。ここでは、手かざしで距離が減少する場合を扱うとする。
　（Ｈ１）初期化
　誘導手段３０３は、初回の撮影で得られた距離情報を前回の距離情報とする。前回の距離情報をｄ１とする。
　（Ｈ２）距離情報の入力
　誘導手段３０３は、今回の撮影画像取得時の距離情報を入力する。今回の距離情報をｄ２とする。
　（Ｈ３）抽出可能かどうかの判定
　誘導手段３０３は、前回の距離情報および今回の距離情報が生体情報の撮影可能範囲にあれば、前回および今回の画像を、生体情報を抽出可能と推定する。この場合には、誘導手段３０３は、撮影済なので利用者への誘導は行わない。
　（Ｈ４）距離の推定
　誘導手段３０３は、次回の撮影時の距離を、例えばｄ３＝ｄ２－（ｄ１－ｄ２）で推定する。ｄ３は、推定された次回撮影時の距離情報である。
　（Ｈ５）タイミングの推定
　誘導手段３０３は、ｄ３が生体情報の撮影可能範囲にあれば、次回の撮影で抽出可能と推定する。ｄ３が撮影可能範囲を下回っていれば。利用者の動きが速すぎるので減速するように誘導し、次回の撮影で抽出可能と推定する。ｄ３が撮影可能範囲を上回っていれば、前回の距離情報を今回の距離情報で置き換えて再び距離情報の入力を行う。
　次に、距離情報を使わない方式を説明する。この場合、誘導手段３０３は、撮影装置から離れている大きい手と、撮影装置の近くにある小さい手との区別を行う。この区別に利用可能な手がかりとしては、例えば手の輝度が挙げられる。予め距離毎に標準的な手の輝度を測定することで、生体情報処理装置１０は、輝度と距離の対応表を作成しておく。誘導手段３０３は、撮影画像の輝度とこの対応表から、距離を求めることができる。後の処理は、距離情報を使う場合と同様である。
　以降では，簡単のため、次回の撮影で生体情報が抽出可能になると推定された場合の処理を説明する。まず、誘導手段３０３は、次回の撮影画像における各補助情報の位置を推定する。
　位置の推定は、例えば、今回と前回の位置を線形補外することで行う。または、距離が利用可能なときは、誘導手段３０３は、手の動きは距離に関して等速とみなして、次回の距離を推定する。次に、誘導手段３０３は、各補助情報の光軸中心からの位置は距離に反比例すると考えて、補助情報の位置を推定してもよい。
　図７に示す抽出例に対して、後者の方法で３枚目の画像の補助情報の位置を推定する例を説明する。１枚目の撮影距離は１５ｃｍ、２枚目の撮影距離は１０ｃｍであるとする。これより、３枚目の撮影距離は５ｃｍと推定される。従って、２枚目の撮影距離の半分であるので、各補助情報は、光軸中心から２倍離れると推定される。これより、３枚目の画像の補助情報の推定位置は、図２１に示す通りとなる。図２１は、推定された補助情報の一例を示す図である。
　次に、誘導手段３０３は、誘導する方向を定める。図７に示す抽出例ではこのままだと図２１に示すように２点しか撮影範囲に収まらないことが推定される。例えば、６画素までの範囲で最も点数を増やす場合には、画面上で６画素左に移動することが考えられる。
　そこで、誘導手段３０３は、利用者には少し画面左側に手のひらを動かすように誘導する。なお、誘導の結果、左に行き過ぎて劣化する可能性も考えられる。そのような場合には、誘導手段３０３は、再度手をかざすように指示する。
　誘導を指示する表示手段３０５としては、ＬＥＤの点滅、音声ガイダンス等が考えられる。図７に示す抽出例において、少し画面左側に手のひらを動かすように誘導したとする。
　図２２は、誘導後の生体情報の一例を示す図である。図２３は、誘導後の補助情報の一例を示す図である。例えば、３枚目の生体情報の静脈像として図２２が得られ、補助情報として図２３が得られる。
　《類似度算出、判定処理》
図２３の誘導後の生体情報の例と図１３に示す登録データ例とに対して、類似度算出手段２０９は、実施例１と同一の類似度算出方法を用いた場合の類似度を算出する。類似度算出手段２０９は、次の類似度を得る。
１６５／１８３≒０．９０２
　誘導手段３０３によって、位置合わせがより正確になり、類似度が向上していることが分かる。判定手段２１１で閾値Ｔｈが０．８５ とする場合には本人と判定されるが、他人受入率をより小さくするため、閾値Ｔｈを０．９０に上げた場合でも、同様に本人と判定される。
　＜動作＞
　次に、実施例２における認証システム２の動作について説明する。図２４は、実施例２における認証処理の一例を示すフローチャートである。図２４に示すステップＳ４０１～Ｓ４０６の処理は、図１７に示すステップＳ１０１～Ｓ１０６の処理と同様であるため、その説明を省略する。
　ステップＳ４０７で、誘導手段３０３は、補助情報の追跡を行うことで、今後、撮影範囲に収まる補助情報と撮影範囲からはみだす補助情報を予測する。誘導手段３０３は、この予測に基づいて撮影範囲に補助情報が入るように誘導を行う。
　ステップＳ４０８～Ｓ４１１の処理は、図１７に示すステップＳ１０７～Ｓ１１０の処理と同様である。
　以上、実施例２によれば、助情報の取得が最適に行える方向に利用者を誘導することで、補助情報の追跡処理の継続可能性を高めることができる。これにより、適切な撮影位置での撮影範囲に補助情報が含まれない場合でも、生体情報の認証精度を向上させることができる。
　［変形例］
　上記各実施例の変形例として、距離情報が利用可能な場合には、生体情報抽出手段１０７に距離情報を渡し、距離値が予め設定された範囲にある場合にのみ抽出処理を行うようにすることも可能である。これにより、生体情報抽出手段１０７が不適切な画像から誤って疑似の生体情報を抽出する危険性を下げることができる。
　各実施例の生体情報処理装置は、認証装置を含み、生体認証処理を行ってもよい。また、生体情報処理装置として、ＡＴＭ（Automatic teller machine）やＰＣ（Personal Computer）などが考えられる。
　［実施例３］
　次に、実施例３における情報処理装置について説明する。実施例３では、実施例１，２で説明した処理を、ＰＣやサーバなどの情報処理装置で行う。
　＜構成＞
　図２５は、実施例３における情報処理装置３０の構成の一例を示すブロック図である。図２５に示す情報処理装置３０は、制御部４０１、主記憶部４０３、補助記憶部４０５、通信部４０７、記録媒体Ｉ／Ｆ部４０９、入力部４１１、表示部４１３、及びカメラ４１５を少なくとも有する。各部は、バスを介して相互にデータ送受信可能に接続されている。
　制御部４０１は、コンピュータの中で、各装置の制御やデータの演算、加工を行うＣＰＵ（Central Processing Unit）である。また、制御部４０１は、主記憶部４０３や補助記憶部４０５に記憶されたプログラムを実行する演算装置であり、通信部４０７や各記憶部からデータを受け取り、演算、加工した上で、出力部や各記憶部に出力する。
　また、制御部４０１は、例えば補助記憶部４０５に記憶される実施例１や２の処理プログラムを実行することで、生体情報及び補助情報の出力処理などを行うことができる。
　主記憶部４０３は、ＲＯＭ（Read Only Memory）やＲＡＭ（Random Access Memory）などであり、制御部４０１が実行する基本ソフトウェアであるＯＳやアプリケーションソフトウェアなどのプログラムやデータを記憶又は一時保存する記憶装置である。
　補助記憶部４０５は、ＨＤＤ（Hard Disk Drive）などであり、アプリケーションソフトウェアなどに関連するデータを記憶する記憶装置である。また、補助記憶部４０５は、記録媒体４１７などから取得した実施例１、２の処理プログラムや、通信部４０７から取得した画像などを記憶しておいてもよい。通信部４０７は、有線又は無線などのネットワークを通じて通信を行う。
　記録媒体Ｉ／Ｆ（インターフェース）部４０９は、ＵＳＢ（Universal Serial Bus）などのデータ伝送路を介して接続された記録媒体４１７（例えば、フラッシュメモリなど）と情報処理装置３０とのインターフェースである。
　また、記録媒体４１７に、処理プログラムを格納し、この記録媒体４１７に格納された処理プログラムは記録媒体Ｉ／Ｆ部４０９を介して情報処理装置３０にインストールされる。インストールされた処理プログラムは、情報処理装置３０により実行可能となる。
　入力部４１１は、カーソルキー、数字入力及び各種機能キー等を備えたキーボード、表示部４１３の表示画面上でキーの選択等を行うためのマウスやスライドパッド等を有する。また、入力部４１１は、利用者が制御部４０１に操作指示を与えたり、データを入力したりするためのユーザインターフェースである。
　表示部４１３は、例えばＬＣＤ（Liquid Crystal Display）等であり、制御部４０１から入力される表示データに応じた表示が行われる。
　カメラ４１５は、例えばＣＭＯＳカメラやＣＣＤカメラなどであり、体の一部を動画で撮影する。
　実施例１、２の記憶手段は、例えば補助記憶部４０５により実現されうる。実施例１、２の撮影手段は、例えばカメラ４１５により実現されうる。実施例１、２の通信手段は、例えば通信部４０７により実現されうる。また、実施例１、２のその他の手段は、例えば制御部３０１とワーキングメモリとしての主記憶部３０３により実現されうる。
　情報処理装置３０で実行されるプログラムは、実施例１及び実施例２で説明した記憶手段以外の各手段を含むモジュール構成となっている。実際のハードウェアとしては、制御部４０１が補助記憶部４０５からプログラムを読み出して実行することにより上記各手段のうち１又は複数の各手段が主記憶部４０３上にロードされ、１又は複数の各手段が主記憶部４０３上に生成されるようになっている。
　なお、前述した各実施例で説明した生体情報処理を実現するためのプログラムを記録媒体に記録することで、各実施例での生体情報処理をコンピュータに実施させることができる。例えば、このプログラムを記録媒体に記録し、このプログラムが記録された記録媒体をコンピュータや携帯装置に読み取らせて、前述した生体情報処理を実現させることも可能である。
　なお、記録媒体は、ＣＤ－ＲＯＭ、フレキシブルディスク、光磁気ディスク等の様に情報を光学的，電気的或いは磁気的に記録する記録媒体、ＲＯＭ、フラッシュメモリ等の様に情報を電気的に記録する半導体メモリー等、様々なタイプの記録媒体を用いることができる。なお、記録媒体は、搬送波を含まない。
　以上、生体情報処理装置、生体情報処理方法及びプログラムを各実施例により説明したが、上記各実施例に限定されるものではなく、特許請求の範囲に記載された範囲内において、種々の変形及び変更が可能である。また、前述した各実施例の構成要素を全部又は複数を組み合わせることも可能である。

Claims (7)

  1. 　撮影手段により撮影された複数の画像から、生体情報と共に撮影される体の一部を示す補助情報を抽出する補助情報抽出手段と、
    　前記補助情報を時間方向に追跡する追跡手段と、
    　前記複数の画像のうちの少なくとも１つの画像から、前記生体情報を抽出する生体情報抽出手段と、
    　追跡された前記補助情報と、抽出された前記生体情報との位置関係を対応付ける対応付け手段と、
    　対応付けられた前記補助情報と前記生体情報とを出力する出力手段と
    　を備える生体情報処理装置。
  2. 　前記追跡手段は、
    　補助情報の時間変化のモデルを用いて、撮影範囲外に位置する補助情報を推定値で置き換える請求項１記載の生体情報処理装置。
  3. 　前記生体情報は、手から抽出される生体情報であり、
    　前記補助情報は、手の輪郭の情報又は指のつけねの情報である請求項１又は２記載の生体情報処理装置。
  4. 　前記補助情報の時間変化に基づいて該補助情報の位置を予測し、予測された補助情報が撮影範囲外であれば、撮影範囲内に収まる位置に利用者を誘導する誘導手段をさらに備える請求項１乃至３いずれか一項に記載の生体情報処理装置。
  5. 　前記追跡手段は、
    　追跡対象画像から抽出された第１の補助情報と、前記追跡対象画像の直前の画像から抽出された第２の補助情報とで追跡を行って、対応が取れた補助情報の数に応じて、前記モデルを変更する請求項２記載の生体情報処理装置。
  6. 　撮影手段により撮影された複数の画像から、生体情報と共に撮影される体の一部を示す補助情報を抽出し、
    　前記補助情報を時間方向に追跡し、
    　前記複数の画像のうちの少なくとも１つの画像から、前記生体情報を抽出し、
    　追跡された前記補助情報と、抽出された前記生体情報との位置関係を対応付け、
    　対応付けられた前記補助情報と前記生体情報とを出力する処理を
    　コンピュータが実行する生体情報処理方法。
  7. 　撮影手段により撮影された複数の画像から、生体情報と共に撮影される体の一部を示す補助情報を抽出し、
    　前記補助情報を時間方向に追跡し、
    　前記複数の画像のうちの少なくとも１つの画像から、前記生体情報を抽出し、
    　追跡された前記補助情報と、抽出された前記生体情報との位置関係を対応付け、
    　対応付けられた前記補助情報と前記生体情報とを出力する処理を
    　コンピュータに実行させるプログラム。
PCT/JP2012/063095 2012-05-22 2012-05-22 生体情報処理装置、生体情報処理方法及びプログラム Ceased WO2013175579A1 (ja)

Priority Applications (4)

Application Number Priority Date Filing Date Title
PCT/JP2012/063095 WO2013175579A1 (ja) 2012-05-22 2012-05-22 生体情報処理装置、生体情報処理方法及びプログラム
JP2014516560A JP5949912B2 (ja) 2012-05-22 2012-05-22 生体情報処理装置、生体情報処理方法及びプログラム
EP12877423.9A EP2854097B1 (en) 2012-05-22 2012-05-22 Bio-information processing device, bio-information processing method, and program
US14/538,075 US9418275B2 (en) 2012-05-22 2014-11-11 Biometric information processing for providing increased authentication precision by guiding a user to place auxiliary information within an imaging range

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
PCT/JP2012/063095 WO2013175579A1 (ja) 2012-05-22 2012-05-22 生体情報処理装置、生体情報処理方法及びプログラム

Related Child Applications (1)

Application Number Title Priority Date Filing Date
US14/538,075 Continuation US9418275B2 (en) 2012-05-22 2014-11-11 Biometric information processing for providing increased authentication precision by guiding a user to place auxiliary information within an imaging range

Publications (1)

Publication Number Publication Date
WO2013175579A1 true WO2013175579A1 (ja) 2013-11-28

Family

ID=49623310

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/JP2012/063095 Ceased WO2013175579A1 (ja) 2012-05-22 2012-05-22 生体情報処理装置、生体情報処理方法及びプログラム

Country Status (4)

Country Link
US (1) US9418275B2 (ja)
EP (1) EP2854097B1 (ja)
JP (1) JP5949912B2 (ja)
WO (1) WO2013175579A1 (ja)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020102014A (ja) * 2018-12-21 2020-07-02 富士通株式会社 生体認証装置、生体認証プログラム、及び生体認証方法

Families Citing this family (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
TW201336319A (zh) * 2012-02-23 2013-09-01 Novatek Microelectronics Corp 消除影像色彩偏差的方法與裝置
US9749317B2 (en) 2015-08-28 2017-08-29 At&T Intellectual Property I, L.P. Nullifying biometrics
CH713061B1 (de) * 2016-10-19 2021-03-31 Smart Secure Id Ag System und Verfahren zur berührungslosen biometrischen Authentifizierung.
US10255416B2 (en) * 2017-01-25 2019-04-09 Ca, Inc. Secure biometric authentication with client-side feature extraction
CN109389015A (zh) * 2017-08-10 2019-02-26 丽宝大数据股份有限公司 脸部相似度评估方法与电子装置
KR20190046063A (ko) * 2017-10-25 2019-05-07 현대자동차주식회사 사용자 인증 시스템, 사용자 인증 방법 및 서버
DE102021111422A1 (de) * 2021-05-04 2022-11-10 IDloop GmbH Vorrichtung und Verfahren zur kontaktlosen Aufnahme von Finger- und Handabdrücken

Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08241480A (ja) * 1995-03-07 1996-09-17 Matsushita Electric Ind Co Ltd 分散型監視装置
JP2003067750A (ja) 2001-08-27 2003-03-07 Mitsubishi Electric Corp 指紋照合装置
JP2004021884A (ja) 2002-06-20 2004-01-22 Toshiba Corp マルチタスクプロセッサおよび移動通信端末
JP2004102993A (ja) 2003-08-11 2004-04-02 Hitachi Ltd 個人認証装置及び方法
JP2005227957A (ja) 2004-02-12 2005-08-25 Mitsubishi Electric Corp 最適顔画像記録装置及び最適顔画像記録方法
JP2006107399A (ja) * 2004-10-08 2006-04-20 Fujitsu Ltd 生体認証方法及び生体認証装置
JP2007249587A (ja) * 2006-03-15 2007-09-27 Omron Corp 認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体
JP2011210030A (ja) * 2010-03-30 2011-10-20 Panasonic Corp 顔認識装置及び顔認識方法

Family Cites Families (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP3558025B2 (ja) 2000-09-06 2004-08-25 株式会社日立製作所 個人認証装置及び方法
US8190239B2 (en) 2002-09-03 2012-05-29 Fujitsu Limited Individual identification device
JP3810782B2 (ja) 2002-09-03 2006-08-16 富士通株式会社 個人認識装置
JP4680158B2 (ja) * 2006-09-13 2011-05-11 株式会社日立製作所 生体認証装置
JP4786483B2 (ja) * 2006-09-14 2011-10-05 富士通株式会社 生体認証装置の生体誘導制御方法及び生体認証装置
JP4541427B2 (ja) * 2008-03-25 2010-09-08 富士通株式会社 生体認証装置、生体情報登録装置および生体認証方法
JP5065965B2 (ja) * 2008-03-31 2012-11-07 富士通株式会社 非接触型生体認証装置の生体誘導制御方法及び非接触型生体認証装置
EP2371283B1 (en) * 2008-12-17 2017-03-29 Fujitsu Limited Biometric authentication device and biometric authentication method

Patent Citations (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH08241480A (ja) * 1995-03-07 1996-09-17 Matsushita Electric Ind Co Ltd 分散型監視装置
JP2003067750A (ja) 2001-08-27 2003-03-07 Mitsubishi Electric Corp 指紋照合装置
JP2004021884A (ja) 2002-06-20 2004-01-22 Toshiba Corp マルチタスクプロセッサおよび移動通信端末
JP2004102993A (ja) 2003-08-11 2004-04-02 Hitachi Ltd 個人認証装置及び方法
JP2005227957A (ja) 2004-02-12 2005-08-25 Mitsubishi Electric Corp 最適顔画像記録装置及び最適顔画像記録方法
JP2006107399A (ja) * 2004-10-08 2006-04-20 Fujitsu Ltd 生体認証方法及び生体認証装置
JP2007249587A (ja) * 2006-03-15 2007-09-27 Omron Corp 認証装置、認証方法、認証プログラム、これを記録したコンピュータ読み取り可能な記録媒体
JP2011210030A (ja) * 2010-03-30 2011-10-20 Panasonic Corp 顔認識装置及び顔認識方法

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
See also references of EP2854097A4

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP2020102014A (ja) * 2018-12-21 2020-07-02 富士通株式会社 生体認証装置、生体認証プログラム、及び生体認証方法

Also Published As

Publication number Publication date
US9418275B2 (en) 2016-08-16
EP2854097B1 (en) 2017-09-27
JPWO2013175579A1 (ja) 2016-01-12
EP2854097A4 (en) 2016-02-24
EP2854097A1 (en) 2015-04-01
JP5949912B2 (ja) 2016-07-13
US20150063664A1 (en) 2015-03-05

Similar Documents

Publication Publication Date Title
JP5949912B2 (ja) 生体情報処理装置、生体情報処理方法及びプログラム
JP7242528B2 (ja) モバイルデバイスを用いてキャプチャした画像を使用する、指紋によるユーザ認証を実施するためのシステムおよび方法
CN107949863B (zh) 使用生物体信息的认证装置以及认证方法
US20200110921A1 (en) Systems and methods for performing fingerprint based user authentication using imagery captured using mobile devices
US12217548B2 (en) Authentication device, authentication method, and recording medium
JP4770936B2 (ja) 静脈認証装置およびテンプレート登録方法
JP2000306095A (ja) 画像照合・検索システム
JP6532642B2 (ja) 生体情報認証装置および生体情報処理方法
KR20110063679A (ko) 정맥 패턴 인식 기반 생체인증 시스템 및 그 방법
EP2781185B1 (en) Biometric information input apparatus, biometric information input program and biometric information input method
WO2013161077A1 (ja) 生体認証装置、生体認証プログラム及び生体認証方法
JP6265592B2 (ja) 顔特徴抽出装置および顔認証システム
JP5170094B2 (ja) なりすまし検知システム、なりすまし検知方法およびなりすまし検知用プログラム
JP2013205931A (ja) 生体情報取得装置、生体情報取得方法、生体情報取得制御プログラム
JP7269897B2 (ja) データ登録装置、生体認証装置、およびデータ登録プログラム
CN115577337A (zh) 一种基于人脸识别的智能安防设备控制方法和系统
US8787625B2 (en) Use of relatively permanent pigmented or vascular skin mark patterns in images for personal identification
JP2010240215A (ja) 静脈深度判定装置、静脈深度判定方法およびプログラム
JP2008210328A (ja) 眼底画像認証装置及び眼底画像認証プログラム
WO2012029150A1 (ja) 生体認証システム、生体認証方法、及びプログラム
CN108875472A (zh) 图像采集装置及基于该图像采集装置的人脸身份验证方法
WO2023007586A1 (ja) 判定方法、判定プログラム、及び情報処理装置
JP2017162301A (ja) 生体認証装置、生体認証方法および生体認証プログラム

Legal Events

Date Code Title Description
121 Ep: the epo has been informed by wipo that ep was designated in this application

Ref document number: 12877423

Country of ref document: EP

Kind code of ref document: A1

ENP Entry into the national phase

Ref document number: 2014516560

Country of ref document: JP

Kind code of ref document: A

REEP Request for entry into the european phase

Ref document number: 2012877423

Country of ref document: EP

WWE Wipo information: entry into national phase

Ref document number: 2012877423

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE