WO2006014096A1 - Method for automatically recognising a face on an electronic digitised image - Google Patents

Method for automatically recognising a face on an electronic digitised image Download PDF

Info

Publication number
WO2006014096A1
WO2006014096A1 PCT/KZ2005/000004 KZ2005000004W WO2006014096A1 WO 2006014096 A1 WO2006014096 A1 WO 2006014096A1 KZ 2005000004 W KZ2005000004 W KZ 2005000004W WO 2006014096 A1 WO2006014096 A1 WO 2006014096A1
Authority
WO
WIPO (PCT)
Prior art keywords
image
face
eyes
filtering
head
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Ceased
Application number
PCT/KZ2005/000004
Other languages
English (en)
French (fr)
Inventor
Daulet Kulenov
Alexandr Lobanov
Valery Cha
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Individual
Original Assignee
Individual
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Individual filed Critical Individual
Priority to EP05768111A priority Critical patent/EP1777643A4/de
Publication of WO2006014096A1 publication Critical patent/WO2006014096A1/ru
Anticipated expiration legal-status Critical
Ceased legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V40/00—Recognition of biometric, human-related or animal-related patterns in image or video data
    • G06V40/10—Human or animal bodies, e.g. vehicle occupants or pedestrians; Body parts, e.g. hands
    • G06V40/16—Human faces, e.g. facial parts, sketches or expressions
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06T—IMAGE DATA PROCESSING OR GENERATION, IN GENERAL
    • G06T7/00—Image analysis
    • G—PHYSICS
    • G06—COMPUTING OR CALCULATING; COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/20—Image preprocessing

Definitions

  • the invention relates to methods for pattern recognition by highlighting the details or characteristics of an image and can be used to automatically detect faces on an electronic digitized image obtained from a digital camera or camera in real, specially uncontrolled shooting conditions.
  • the method consists of two stages. At the first stage, the angle of rotation is determined by neural networks trained in various rotations of the face image. At the second stage, the image rotated at a certain angle is checked for the presence of a face image on it using other neural networks that are previously trained on images of faces and non-faces. It is known, however, that the use of methods based on neural networks is associated with large time costs that impede their widespread use in real-time tasks. We also note that the process of training itself, the selection of samples, such as neural networks for training, is very complex and ambiguous.
  • Finding the area of the head in this method is not allocated in a separate part, and therefore it is acceptable mainly for images in which the face occupies a significant part and it is of good quality. And for images with uncontrolled conditions in range, lighting, ambient background, etc. the method gives a large number of false responses.
  • the technical result of the invention is to increase the reliability of automatic face detection in electronic digital image in real time.
  • the first stage performs preliminary filtering procedures, which consist of improving the image by means of averaging filters and filters to identify the edges of the image and then filtering the contours that supposedly belong to the face elements: oval , eye, mouth, etc.
  • the second stage includes the search and confirmation of these elements by checking the statistical links zey and the relationships between them.
  • the procedures, their justification and implementation methods are fundamentally different. So, for example, the search and confirmation of facial elements occurs according to the method of Discriminant Analysis (Disvicrimipapt Apalysis-DA) and the PCA method.
  • a separate procedure is introduced to isolate and detect the most probable location of the head in the image by using the head contour model, which can significantly reduce the area and time of searching for face elements and suppress the influence of ambient noise.
  • This method of image processing provides a significant increase in the efficiency of face detection in the image, and also significantly reduces the search time, which allows you to use the proposed method for solving problems in real time.
  • Figure 1 displays a General block diagram of a method.
  • Figure 2 shows a block diagram of a head detection.
  • Fig. 3 shows a block diagram of eye detection.
  • Figure 4 shows a rough model of the contour of the head used in the presented method: Ia is the contour of the upper left half; Ib - contour of the upper right half; 2a - contour of the left side; 2b is the outline of the right side; Over - the contour of the left shoulder; ⁇ b - contour of the right shoulder.
  • Figure 5 shows the model of the face: 1- contour of the head in the form of an ellipse; 2a left eye, 2b- right eye; Left eyebrow, ⁇ b- right eyebrow; 4- nose; 5- mouth;
  • Figure 6 presents the real image obtained from the camera, a size of 640 by 480 pixels. In Fig.7 - reduced by 16 times and a size of 40 by 12 pixels the same image (Fig.6). On an image of this size, a head search is performed. The found head position is shown by a white line.
  • Fig.16 shows the result of applying the mask of the standards of the head in the places of detection of possible candidates for the head.
  • FIG. 17 shows the result of applying the low pass filter to the image shown in FIG. 16.
  • a maximum is searched, which shows the position of the middle of the top of the head, and its width is determined by the results of filtering by head mask masks.
  • the position of the top of the head is shown by a white line in Fig. 7.
  • On Fig presents a cut-off image of a face with a resolution of 4 times less than its original resolution. In this image, a further search for the eyes is performed.
  • FIG. 20 - the result of applying a filter to highlight the vertical sides of the face.
  • Light lines correspond to the left side of the face, and dark, respectively, to the right.
  • FIG. 21-22 show the results of applying the allocation of the left and right eyes, respectively, based on the use of search results for other elements of the face: mouth, chin, contours of the upper part of the head.
  • FIG. 23-24 show the results of further filtering based on the use of PCA to highlight the eye area in the image.
  • FIG. 25 shows the position of the left and right eyes in a cropped image.
  • FIG. 26 displays the filtering result based on the determination of the external and internal edges of the eye.
  • FIG. 27 shows a result of applying a DA-based left eye filter.
  • Fig. 28 shows a result of applying a DA-based right eye filter.
  • FIG. 29 is a result of clarifying the position of the left and right eyes in a cropped image.
  • the implementation of the method is carried out in two stages.
  • the selection and detection of the most probable location of the head in the image occurs at the first stage (figure 2) as follows.
  • a pyramid of images is formed by successively averaging the original image.
  • the image pyramid is a series of images with a successively decreasing resolution of 2, 4, etc. times, compared to the original.
  • FIG. 6 shows an initial image of 640 by 480 pixels;
  • FIG. 7 shows one of the pyramid images.
  • the differences are calculated vertically and horizontally by the Sobel operator.
  • filtering is carried out in the appropriate directions in order to highlight the left-upper and right-upper parts of the head contour.
  • Directional filtering selects points at which the reliefs in the direction orthogonal to the filtering direction are as similar as possible.
  • the filtering result in the case of the original image (Fig. 6) is shown in Fig. 8. Dark dots in these images show the left parts of the head contour, light, respectively, right.
  • filters are used in which the upper sides of the contour of the head are further highlighted by sequentially searching for face elements: candidates for the eyes, on the sides and shoulders, chin, the mutual position of which must satisfy certain statistical laws. Filtration satisfies the following principle: the points with respect to which such elements are found are to be strengthened; otherwise, they are weakened.
  • a head contour model is shown in FIG. 4.
  • the results of applying such filters are shown in FIG. 10-13.
  • the results of the filters on the selection of the upper left and upper right fragments of the head contour are summed up with experimentally determined coefficients and are presented in the form of the resulting image of Fig. 14, which searches for several most probable head positions.
  • the result of the search is the coordinates of the upper left and upper right parts of the head contour. Possible head positions during such a search are shown by white dashes in FIG. If not a single candidate for the head is found, the process is interrupted and processing of the next incoming image begins.
  • FIG. 16 shows the result of such a filter. Then the resulting image is summed up with the resulting image_fig.l4 and averaged. Thus, a total image is formed (Fig. 17), by which the place of the most probable position of the head is finally determined.
  • the process is automatically interrupted and processing of the next image begins. At the first stage, the most probable position of the head is determined.
  • filtering is carried out in the direction of the upper parts of the contour of the head, then they are further selected due to the properties of other parts of the contour: shoulders, sides, eyes. Then, As soon as the most probable positions of the head are determined, in their vicinity a search is carried out according to the patterns of the head contour model.
  • This approach can significantly reduce the face search area, increase the reliability and speed of the search.
  • the second stage (FIG. 3) the position of the left and right eyes in the image cut out in the vicinity of the head position determined in the first stage in the higher resolution image is determined.
  • An example of a cut image is shown in FIG. 18.
  • the second stage consists of the following sequential procedures:
  • the vertical and horizontal differences in the image are calculated. Filter some elements of the face: eyes, mouth, nose, chin, etc. by searching for the upper and lower boundaries of the contour of these elements and their subsequent averaging in the horizontal direction. The result of such filtering is shown in FIG. The bright dots of this image show some elements of the face.
  • filtering is carried out in order to distinguish the vertical side components of the face contour. On Fig shows the result of the operation of such a filter, the light lines on it show the vertical side contour of the left side of the face, dark - the contour of the right side.
  • the filter results for individual face elements are summed up with coefficients determined empirically. Resulting images show areas of the most probable position in the image of the left eyes (Fig.21) and the right eye (Fig.22). According to these images, the sets of the most likely candidates for the left and right eye are formed.
  • the process of filtering the eyes can be represented as follows. For the input image, presented in the form of a one-dimensional vector, the coefficients of orthogonal decomposition are calculated, which are divided by the corresponding eigenvalues. Then, the normalized correlation coefficient of the obtained vector with the vector h is calculated, which shows how much this image looks like the average face from the sample.
  • the filter is applied successively to all candidates for the left and right eye. The filtering result is shown in FIG. 23 for the left eye and in FIG. 24 for the right.
  • the degree of filtration can be estimated by comparing the images in FIGS. 21 and 23 and FIG. 22 and 24, respectively. According to the results of filtering among the candidates for the eyes, the positions of the left and right eyes are determined - Fig.25. The positions of the eyes are marked with white crosses.
  • DA discriminant analysis method
  • Typical errors in determining eye position are errors in which eye candidates are located at the edges of the eyes or eyebrows. Therefore, to prevent such errors, the image of the eyebrow or the edges of the eye is accepted as one of the sets in the DA learning process, and the image of the eye itself is used as the other set.
  • Fig.27-28 shows the results of such a conversion for the left and right eyes, respectively.
  • the eyes are first filtered by using their properties and the properties of other elements of the face. And then they are strengthened and confirmed by using the PCA and DA methods. In this way, reliability and high speed eye search in the image are achieved.
  • the novelty of the proposed method lies in the fact that the head contour is not immediately sought in its entirety using standards (usually an ellipse is used as a reference), but in stages with sequential determination and filtering of the head contour elements using statistical relationships between them, which can significantly reduce computational and time costs and increase search reliability Industrial applicability
  • the implementation of the method allows you to process 4-5 images per second while maintaining high reliability of face detection in an electronic digital image.

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Multimedia (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Oral & Maxillofacial Surgery (AREA)
  • Human Computer Interaction (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Image Processing (AREA)
  • Image Analysis (AREA)

Description

СПОСОБ АВТОМАТИЧЕСКОГО ОБНАРУЖЕНИЯ ЛИЦА НА ЭЛЕКТРОННОМ ОЦИФРОВАННОМ ИЗОБРАЖЕНИИ
Область техники
Изобретение относится к способам распознавания образов путем выделения деталей или характеристик изображения и может быть использовано для автоматического обнаружения лица на электронном оцифрованном изо- бражении, полученного с цифровой камеры или фотоаппарата в реальных, специально неконтролируемых условиях съемки.
Быстрое, надежное и точное автоматическое нахождение лица и его элементов: глаз, рта, носа и др. на изображении при неконтролируемых условиях по освещенности, дальности до объекта, типа используемой аппаратуры, при- сутствию или отсутствию шумов, искажающих элементы лица: очков, усов, бороды, волос и т.п. является одной из важнейших задач предварительной обработки изображений и служит необходимой основой для успешного выполнения дальнейших преобразований по сравнению и идентификации личности.
Предшествующий уровень техники В настоящее время предложено множество способов по решению этой важной и сложной задачи. Среди них отметим основные: способы, использующие Метод Принципиальных Компонент (Рriпсiрlе Соmропепt Апаlуsis - PCA); способы применения шаблонов элементов лица и способы, использующие нейронные сети. Каждый из этих способов имеет как сильные сторо- ны, так и недостатки.
Известен способ статистического обучения для обнаружения объекта на изображении (B.Moghaddam, А.Репtlапd, "Рrоbаbilistiс Visuаl Lеатiпg fоr Оbjесt Dеtесtiоп", IEEE, Juп.20-23, 1995, рр.786-793), в котором использован способ PCA для поиска элементов лица на изображении. В нем вычисляются собственные векторы и собственные числа из ковариационной матрицы набора заданных изображений. Известно, что собственные векторы такой системы образуют орто- нормированное множество, разложение по которым приводит к значительному сжатию данных. На основе такого представления изображений строятся способы обнаружения объектов на изображении, которые по своей робастности превосходят методы с использованием шаблонов и нормированной корреляции.
Однако проведенные эксперименты показали, что использование этого способа даже в случае небольшой области поиска и среднего количества используемых коэффициентов разложения (приблизительно 100), требует больших вы- числительных и временных затрат, что становится неприемлемым для обработки изображений в реальном времени. Кроме того, данный способ оказался чувствительным к искажениям отдельных элементов лица (очки с бликами).
Известен также способ поиска лица на цифровом изображении (Патент US N° 6128397, кл. G06K9/00, 2000), основанный на использовании нейрон- ных сетей (пеurаl пеtwоrks). Способ состоит из двух этапов. На первом этапе происходит определение угла поворота по нейронным сетям, обученным на различные повороты изображения лица. На втором этапе повернутое на определенный угол изображение проверяется на присутствие на нем изображения лица с помощью других нейронных сетей, которые предварительно обучены на изображениях лиц и не-лиц. Известно однако, что использование методов, основанных на нейронных сетях связано с большими временными затратами, которые препятствуют их широкому применению в задачах реального времени. Отметим так же, что сам процесс обучения, выбора образцов, типа нейронных сетей для обучения является очень сложным и неоднозначным. Наиболее близким к предлагаемому техническому решению является способ обнаружения лица с помощью шаблонов (Патент US N° 5835616, кл. G06K9/00, 1994), осуществляющийся в два этапа. На первом этапе производят процедуры предварительной фильтрации, которые состоят из улучшения изображения посредством усредняющих фильтров и фильтров по выявлению краев изображения и последующей фильтрации контуров, предположительно принадлежащих элементам лица: овала, глаз, рта и т.д. Второй этап включает себя процедуры поиска и подтверждения элементов лица нахождения элементов лица по способу Модели Активного Контура (Асtivе Сопtоurs Моdеls - ACM) (M. Каss, А. Witkiп and D. Теrzороlоus, "Sпаkеs: Асtivе Сопtоurs Моd- еls", Iпtеrпаtiопаl Jоurпаl оf Соmрutеr Visiоп, 1988, рр. 321- 331) и подтверждение этих элементов путем проверки статистических связей и соотношений между ними.
Нахождение области головы в данном способе не выделяется в отдельную часть, и поэтому он приемлем в основном для изображений, на которых лицо занимает значительную часть и оно хорошего качества. А для изображений с неконтролируемыми условиями по дальности, освещению, окружающему фону и т.п. способ дает большое число ложных откликов.
Таким образом, из изложенного выше следует, что все приведенные способы применимы в режиме реального времени для тех задач, где уже вы- делены области предполагаемого расположения лица и его элементов, или изображение лица занимает значительную долю на изображении, в иных случаях время определения положения лица на изображении становится неприемлемо большим.
Раскрытие изобретения Технический результат предлагаемого изобретения - повышение достоверности при автоматическом обнаружения лица на электронном цифровом изображении в режиме реального времени.
Такой технический результат достигается тем, что в способе, осуществляющемся в два этапа, на первом этапе производят процедуры предвари- тельной фильтрации, которые состоят из улучшения изображения посредством усредняющих фильтров и фильтров по выявлению краев изображения и последующей фильтрации контуров, предположительно принадлежащих элементам лица: овала, глаз, рта и т.д. Второй этап включает себя процедуры поиска и подтверждения этих элементов путем проверки статистических свя- зей и соотношений между ними. Причем, процедуры, их обоснование и способы реализации коренным образом отличаются. Так, например, поиск и подтверждение элементов лица происходит по методу Дискриминантного Анализа (Disсrimiпапt Апаlуsis- DA) и методу PCA. Кроме того, в начале первого этапа вводится отдельная процедура по выделению и обнаружению наиболее вероят- ного расположения, головы на изображении путем использования модели контура головы, что позволяет значительно сократить район и время поиска элементов лица и подавить при этом влияние шумов окружающего фона.
Такой способ обработки изображения обеспечивает существенное повышение эффективности обнаружения лица на изображении, а также значи- тельно уменьшает время поиска, что позволяет использовать предлагаемый способ для решения задач в режиме реального времени.
Краткое описание чертежей
Сущность изобретения поясняется приведенными рисунками.
Фиг.1 отображает общую блок-схему способа. Фиг.2 показывает блок-схему обнаружения головы.
Фиг.З отображает блок-схему обнаружения глаз.
На фиг.4 изображена грубая модель контура головы, используемая в представленном способе: Ia - контур левой верхней половины; Ib - контур правой верхней половины; 2а - контур левой стороны; 2b - контур правой стороны; За - контур левого плеча; Зb - контур правого плеча.
На фиг.5 показана модель лица: 1- контур головы в виде эллипса; 2а- левый глаз, 2b- правый глаз; За- левая бровь, Зb- правая бровь; 4- нос; 5- рот;
На фиг.6 представлено реальное изображение, полученное с фотокамеры, размером 640 на 480 пикселов. На фиг.7 - уменьшенное в 16 раз и размером 40 на 12 пикселов то же самое изображение (фиг.6). На изображении такого размера производится поиск головы. Найденное положение головы показано белой линией.
Фиг.8 - 13 показывают результаты последовательной фильтрации верхних контуров головы с нахождением других элементов контура и элементов лица: боковых сторон головы, плеч, возможных кандидатов на глаза. Светлые точки показывают возможные левые части контура, темные - правые части контура.
На фиг.14 отображена взвешенная сумма результатов предыдущих фильтров выделения верхних фрагментов контура головы. На фиг.15 белой чертой отмечены возможные положения головы на изображении.
На фиг.16 изображен результат применения маски эталонов головы в местах обнаружения возможных кандидатов на голову.
На фиг. 17 показан результат применения фильтра низких частот к изо- бражению, показанному на фиг.16. По такому изображению (фиг.17) производят поиск максимума, который показывает положение середины верха головы, а ее ширину определяют по результатам фильтрации по маскам контура головы. Положение верха головы показано белой чертой на фиг.7.
На фиг.18 представлено вырезанное изображение лица с разрешением в 4 раза меньшим его первоначального разрешения. На таком изображении производится дальнейший поиск глаз.
На фиг.19 - результат применения фильтра по усилению элементов лица на изображении фиг.14. Светлые точки соответствуют элементам лица.
На фиг. 20 -результат применения фильтра по выделению вертикаль- ных сторон лица. Светлые линии соответствую левой стороне лица, а темные, соответственно, правой.
Фиг. 21-22 показывают результаты применения выделения левого и правого глаз, соответственно, основанных на использовании результатов поиска других элементов лица: рта, подбородка, контуров верхней части головы. Фиг. 23-24 показывают результаты дальнейшей фильтрации, основанные на применении PCA для выделения области глаз на изображении.
Фиг. 25 показывает положение левого и правого глаз на вырезанном изображении. Фиг. 26 отображает результат фильтрации на основе определения внешних и внутренних краев глаза.
Фиг.27 показывает результат применения фильтра левого глаза на основе DA. Фиг.28 показывает результат применения фильтра правого глаза на основе DA. Фиг. 29 - результат уточнения положения левого и правого глаз на вы- резанном изображении.
Лучший вариант осуществления изобретения
Реализация способа осуществляется в два этапа.
Выделение и обнаружение наиболее вероятного расположения, головы на изображении происходит на первом этапе (фиг.2) следующим образом. Формируют пирамиду изображений путем последовательного усреднения исходного изображения. Пирамида изображений представляет собой ряд изображений с последовательно уменьшающимся разрешением в 2, 4, и т.д. раза, по сравнению с исходным. На фиг.6 показано исходное изображение размера 640 на 480 пикселов, фиг.7 показывает одно из изображений пира- миды. На изображении с наименьшим разрешением в пирамиде вычисляют разности по вертикали и горизонтали по оператору Собеля. Затем производится фильтрация по соответствующим направлениям с целью выделения левых- верхних и правых- верхних частей контура головы. Фильтрация по направлению выделяет точки, в которых рельефы в направлении, ортогональ- ном к направлению фильтрации, максимально похожи между собой. Результат фильтрации в случае исходного изображения (фиг. 6) показан на фиг.8. Темные точки на этих изображениях показывают левые части контура головы, светлые, соответственно, правые.
Результат предыдущих процедур фильтрации далее преобразуют с по- мощью усредняющих фильтров по соответствующим направлениям и заданных порогов. Результат таких преобразований показан на фиг.9.
Далее применяют фильтры, в которых производится дальнейшее выделение верхних боковых сторон контура головы путем последовательного поиска элементов лица: кандидатов на глаза, на боковые стороны и плечи, подбородок, взаимное положение которых должно удовлетворять некоторым статистическим закономерностям. Фильтрация удовлетворяет следующему принципу: точки, относительно которых такие элементы найдены, подлежат усилению, в противном случае, они ослабляются. Модель контура головы показана на фиг.4. Результаты применения таких фильтров показаны на фиг. 10-13. Результаты работы фильтров по выделению верхнего левого и верхнего правого фрагментов контура головы суммируются с определенными опытным путем коэффициентами и представляются в виде результирующего изображения фиг.14, по которому происходит поиск нескольких наиболее вероятных положений головы. Результатом поиска являются координаты верхней левой и верхней правой частей контура головы. Возможные положения головы при таком поиске показаны белыми черточками на фиг.15. В случае, если не обнаружено ни одного кандидата на голову, происходит прерывание процесса и начинается обработка следующего поступающего изображения.
В окрестности наиболее вероятных положений головы происходит дальнейшая фильтрация, основанная на использовании предварительно сформированных эталонов контура головы. За модель контура головы принят, эллипс с изменяющимися значениями ширины и высоты в определенном диапазоне. Фиг. 16 показывает результат работы такого фильтра. Затем полученное изображение суммируется с результирующим изoбpaжeниeм_фиг.l4 и усредняется. Таким образом формируется суммарное изображение (фиг.17), по которому окончательно определяется место наиболее вероятного положения головы. В том случае, если положение головы не определено, происходит автоматическое прерывание процесса и начинается обработка следующего изображения. На первом этапе проводится определение наиболее вероятного положения головы. Для этого сначала проводится фильтрация по направлению верхних частей контура головы, затем происходит их дальнейшее выделение за счет свойств других частей контура: плеч, боковых сторон, глаз. Затем, по- еле определения наиболее вероятных положений головы, в их окрестности проводится поиск по шаблонам модели контура головы.
Такой подход позволяет значительно сократить область поиска лица, повысить надежность и скорость поиска.
На втором этапе (фиг.З) происходит определение положения левого и правого глаз на изображении, вырезанном в окрестности определенного на первом этапе положения головы на изображении более высокого разрешения. Пример вырезанного изображения показан на фиг. 18. Второй этап состоит из выполнения следующих последовательных процедур:
Используя оператор Собеля вычисляют разности изображения по вер- тикали и горизонтали. Производят фильтрацию некоторых элементов лица: глаз, рта, носа, подбородка и др. посредством поиска верхних и нижних границ контура этих элементов и их последующего усреднения в горизонтальном направлении. Результат такой фильтрации показан на фиг.19. Светлые точки этого изображения показывают некоторые элементы лица. Используя конечные разности Собеля в горизонтальном направлении и усредняющие фильтры в вертикальном направлении, проводят фильтрацию с целью выделения вертикальных боковых составляющих контура лица. На фиг.20 показан результат работы такого фильтра, светлые линии на нем показывают вертикальный боковой контур левой стороны лица, темные - контур правой стороны. Затем производят фильтрацию точек, соответствующих левому и правому глазам, посредством поиска рта, носа, подбородка, боковых вертикальных и верхних частей контура лица. При этом точки, относительно которых найдены соответствующие элементы лица, удовлетворяющие статистическим соотношениям лица, подлежат усилению, в противном случае, эти точ- ки ослабляются.
Результаты фильтров по отдельным элементам лица суммируют с коэффициентами, определенными опытным путем. Результирующие изображения показывают области наиболее вероятного положению на изображении левого глаза (фиг.21) и правого глаза (фиг.22). По данным изображениям формируются множества наиболее вероятных кандидатов на левый и правый глаз.
Затем проводят дальнейшую фильтрацию левого и правого глаз с использованием метода PCA Для этого организуют процесс обучения с целью вычисления собственных векторов и собственных чисел ковариационной матрицы по обширной выборке лиц. Известно, что собственные вектора образуют ортогональный базис, по которому вычисляют коэффициенты ортогонального разложения для среднего вектора выборки лиц. Коэффициенты разложения делятся на соответствующие собственные числа. Таким образом, среднее лицо выборки представлено в виде вектора h коэффициентов разло- жения по ортогональному базису.
Процесс фильтрации глаз можно представить следующим образом. Для входного изображения, представленного в виде одномерного вектора вычисляют коэффициенты ортогонального разложения, которые делятся на соответствующие собственные числа. Затем вычисляют нормированный коэффи- циент корреляции полученного вектора с вектором h, который показывает насколько данное изображение похоже на среднее лицо из выборки. Фильтр последовательно применяется для всех кандидатов на левый и правый глаз. Результат фильтрации показан на фиг.23 для левого глаза и на фиг.24 - для правого. Степень фильтрации можно оценить, сравнивая изображения на фиг.21 и 23 и фиг. 22 и 24, соответственно. По результатам фильтрации среди кандидатов на глаза определяют положения левого и правого глаза - фиг.25. Положения глаз отмечены белыми крестиками.
Выделяют окрестности левого и правого глаз для изображения более высокого разрешения. В них вычисляются горизонтальные и вертикальные конечные производные по операторам Собеля. Для каждой точки из окрестности проверяются условия существование выпуклых границ вокруг нее, то есть в определенных областях вокруг этой точки должны существовать точки с значением и направлением градиента внутри заданных интервалов. Фиг. 26 показывает результат такой фильтрации. Темные точки отображают левый глаз, светлые точки показывают правый.
Для дальнейшего уточнения положения глаз используют метод дис- криминантного анализа - DA. Типичными ошибками определения положения глаз являются ошибки, когда кандидаты на глаза располагаются на краях глаз или бровях. Поэтому для предотвращения таких ошибок в качестве одного из множеств в процессе обучения по методу DA принято изображение брови или краев глаза, а в качестве другого множества - изображение самого глаза. Таким образом, мы проводим вначале фильтрацию в классах «глaз» - «кpaй глaзa», затем - в классах «глaз» - «бpoвь». Результаты фильтрации суммируем с определенными опытным путем коэффициентами. На фиг.27-28 показаны результаты такого преобразования для левого и правого глаз, соответственно.
Используя результаты предыдущих процедур, находят положения левого и правого глаз на изображении (фиг.29).
Таким образом, при нахождении глаз сначала проводится их фильтра- ция за счет использования их свойств и свойств других элементов лица. А затем проводится их усиление и подтверждение путем использования методов PCA и DA. Таким путем достигается надежность и высокая скорость поиска глаз на изображении.
Новизна предлагаемого способа состоит в том, что контур головы ищется не сразу целиком с использованием эталонов, (обычно в качестве эталона используется эллипс), а поэтапно с последовательным определением и фильтрацией элементов контура головы с использованием статистических связей между ними, что позволяет значительно сократить вычислительные и временные затраты и повысить достоверность поиска Промышленная применимость
Внедрение способа позволяет обрабатывать 4-5 изображений в секунду при сохранении высокой достоверности обнаружения лица на электронном оцифрованном изображении.

Claims

ФОРМУЛА ИЗОБРЕТЕНИЯ
1. Способ автоматического обнаружения лица на электронном оцифрованном изображении, осуществляющийся в два этапа, причем на первом этапе производят процедуры предварительной фильтрации, которые состоят из улучшения изображения посредством усредняющих фильтров и фильтров по выявлению краев изображения, и процедуры последующей фильтрации контуров, предположительно принадлежащих элементам лица: овала, глаз, рта и т.д., а на следующем этапе проводится поиск элементов лица с последующим их удостоверением посредством проверки статистических соотношений между ними, отличающийся тем, что предварительно сужают область поиска лица путем определения области расположения головы с помощью предварительной фильтрации верхних фрагментов контура головы.
2. Способ по п.1, отличающийся тем, что проводится фильтра- ция верхних фрагментов контура головы путем поиска наиболее вероятных кандидатов на другие фрагменты контура головы: боковых сторон, глаз, плеч, проверки статистических соотношений между ними и последующего поиска в областях наиболее вероятного расположения с помощью шаблонов модели контура головы.
3. Способ по п.1, отличающийся тем, что для определения положения глаз на изображении в окрестности найденного положения головы проводят предварительную фильтрацию элементов лица с помощью фильтров горизонтальных и вертикальных краев.
4. Способ по п.3, отличающийся тем, что происходит дальней- шее усиление области глаз путем поиска кандидатов на другие элементы лица: рот, нос, подбородок, боковые края лица и проверки статистических соотношений между ними.
5. Способ по п.п.3, 4, отличающийся тем, что для дальнейшей фильтрации и удостоверения области глаз на изображениях низкого разреше- ния применяют методы, основанные на PCA и DA.
6. Способ по п. 5, о т л и ч а ю щ и й с я тем, что для использования метода PCA организуют процесс обучения по обширной выборке лиц с целью определения ортонормированного базиса собственных векторов, собственных чисел ковариационной матрицы и коэффициентов разложения по ортогональному базису среднего лица по выборке. Определение степени похожести изображения на среднее лицо состоит в вычислении вектора, состоящего из коэффициентов ортогонального разложения и нормированного коэффициента корреляции этого вектора и вектора коэффициентов среднего лица. Фильтрацию глаз проводят путем формирования изображений для различных кандидатов на глаза и вычисления соответствующих коэффициентов корреляции. В окрестности наиболее вероятного положения глаз проводят фильтрацию с целью выделения точек, принадлежащих области с выпуклыми краями.
7. Способ по п. 5, о т л и ч а ю щ и й с я тем, что для метода DA проводят предварительное обучение по обширной выборке лиц с целью подавления точек, принадлежащих областям бровей и краев глаз. Фильтрацию глаз проводят, последовательно устраняя точки, принадлежащие областям бровей и краев глаз.
PCT/KZ2005/000004 2004-08-04 2005-07-11 Method for automatically recognising a face on an electronic digitised image Ceased WO2006014096A1 (en)

Priority Applications (1)

Application Number Priority Date Filing Date Title
EP05768111A EP1777643A4 (de) 2004-08-04 2005-07-11 Verfahren zum automatischen erkennen eines gesichts in einem elektronisch digitalisierten bild

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
KZ2004/1132.1 2004-08-04
KZ20041132 2004-08-04

Publications (1)

Publication Number Publication Date
WO2006014096A1 true WO2006014096A1 (en) 2006-02-09

Family

ID=35787358

Family Applications (1)

Application Number Title Priority Date Filing Date
PCT/KZ2005/000004 Ceased WO2006014096A1 (en) 2004-08-04 2005-07-11 Method for automatically recognising a face on an electronic digitised image

Country Status (3)

Country Link
EP (1) EP1777643A4 (ru)
KR (1) KR20070038544A (ru)
WO (1) WO2006014096A1 (ru)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2542876C2 (ru) * 2013-05-27 2015-02-27 Федеральное государственное бюджетное образовательное учреждение высшего профессионального образования "Южно-Российский государственный университет экономики и сервиса" (ФГБОУ ВПО "ЮРГУЭС") Устройство выделения высокодетализированных объектов на изображении сцены

Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164992A (en) * 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
WO1996038808A1 (en) 1995-06-02 1996-12-05 Siemens Corporate Research, Inc. An eye localization filter
US5675663A (en) * 1995-03-22 1997-10-07 Honda Giken Kogyo Kabushiki Kaisha Artificial visual system and method for image recognition
US5835616A (en) 1994-02-18 1998-11-10 University Of Central Florida Face detection using templates
US6430307B1 (en) * 1996-06-18 2002-08-06 Matsushita Electric Industrial Co., Ltd. Feature extraction system and face image recognition system
RU2001109030A (ru) * 2001-04-06 2003-04-20 Андрей Владимирович Свириденко Способ обнаружения лица и распознавания жестов

Family Cites Families (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE4028191A1 (de) * 1990-09-05 1992-03-12 Philips Patentverwaltung Schaltungsanordnung zum erkennen eines menschlichen gesichtes
US6184926B1 (en) * 1996-11-26 2001-02-06 Ncr Corporation System and method for detecting a human face in uncontrolled environments
WO1999023600A1 (en) * 1997-11-04 1999-05-14 The Trustees Of Columbia University In The City Of New York Video signal face region detection

Patent Citations (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5164992A (en) * 1990-11-01 1992-11-17 Massachusetts Institute Of Technology Face recognition system
US5835616A (en) 1994-02-18 1998-11-10 University Of Central Florida Face detection using templates
US5675663A (en) * 1995-03-22 1997-10-07 Honda Giken Kogyo Kabushiki Kaisha Artificial visual system and method for image recognition
WO1996038808A1 (en) 1995-06-02 1996-12-05 Siemens Corporate Research, Inc. An eye localization filter
US6430307B1 (en) * 1996-06-18 2002-08-06 Matsushita Electric Industrial Co., Ltd. Feature extraction system and face image recognition system
RU2001109030A (ru) * 2001-04-06 2003-04-20 Андрей Владимирович Свириденко Способ обнаружения лица и распознавания жестов

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
M. KASS; A. WITKIN; D. TERZOPOLOUS: "Snakes: Active Contours Models", INTERNATIONAL JOURNAL OF COMPUTER VISION, 1988, pages 321 - 331
See also references of EP1777643A4

Also Published As

Publication number Publication date
EP1777643A4 (de) 2009-02-25
KR20070038544A (ko) 2007-04-10
EP1777643A1 (de) 2007-04-25

Similar Documents

Publication Publication Date Title
KR100374708B1 (ko) 회전영상의 보정에 의한 비접촉식 홍채인식방법
US7460693B2 (en) Method and apparatus for the automatic detection of facial features
US7869626B2 (en) Iris recognition method and apparatus thereof
US12056954B2 (en) System and method for selecting images for facial recognition processing
US9922238B2 (en) Apparatuses, systems, and methods for confirming identity
CN105205480B (zh) 一种复杂场景中人眼定位方法及系统
Graf et al. Multi-modal system for locating heads and faces
US5982912A (en) Person identification apparatus and method using concentric templates and feature point candidates
EP0751473B1 (en) Locating features in an image
JP5107045B2 (ja) 目に関して取得される画像中の虹彩を表す画素を特定する方法
JP2000259814A (ja) 画像処理装置及びその方法
JP2007188504A (ja) 画像中の画素強度をフィルタリングする方法
Alonso-Fernandez et al. Iris boundaries segmentation using the generalized structure tensor. A study on the effects of image degradation
CN117623031B (zh) 一种电梯无感控制系统及方法
KR20030066512A (ko) 노이즈에 강인한 저용량 홍채인식 시스템
JP7819769B2 (ja) 情報処理装置、情報処理方法、プログラム
WO2006014096A1 (en) Method for automatically recognising a face on an electronic digitised image
KR100467392B1 (ko) 손가락 마디 지문을 이용한 개인 식별 방법 및 그 장치
Borges et al. Analysis of the eyes on face images for compliance with iso/icao requirements
KR20050017067A (ko) 가변 타원 마스크와 형태학적 특징을 이용한 얼굴 인식 방법
Yuan et al. An iris segmentation procedure for iris recognition
KR20020060271A (ko) 홍채 인식을 위한 실시간 동공 검출 방법
De et al. Human Iris Recognition for clean Electoral process in India by creating a fraud free voter registration list
US11080518B2 (en) Face image generating method for recognizing face
Tian et al. Personal identity recognition approach based on iris pattern

Legal Events

Date Code Title Description
AK Designated states

Kind code of ref document: A1

Designated state(s): AE AG AL AM AT AU AZ BA BB BG BR BW BY BZ CA CH CN CO CR CU CZ DE DK DM DZ EC EE EG ES FI GB GD GE GH GM HR HU ID IL IN IS JP KE KG KM KP KR KZ LC LK LR LS LT LU LV MA MD MG MK MN MW MX MZ NA NG NI NO NZ OM PG PH PL PT RO RU SC SD SE SG SK SL SM SY TJ TM TN TR TT TZ UA UG US UZ VC VN YU ZA ZM ZW

AL Designated countries for regional patents

Kind code of ref document: A1

Designated state(s): BW GH GM KE LS MW MZ NA SD SL SZ TZ UG ZM ZW AM AZ BY KG KZ MD RU TJ TM AT BE BG CH CY CZ DE DK EE ES FI FR GB GR HU IE IS IT LT LU LV MC NL PL PT RO SE SI SK TR BF BJ CF CG CI CM GA GN GQ GW ML MR NE SN TD TG

DPEN Request for preliminary examination filed prior to expiration of 19th month from priority date (pct application filed from 20040101)
121 Ep: the epo has been informed by wipo that ep was designated in this application
WWE Wipo information: entry into national phase

Ref document number: 2005768111

Country of ref document: EP

NENP Non-entry into the national phase

Ref country code: DE

WWE Wipo information: entry into national phase

Ref document number: 1020077002895

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 1020077002895

Country of ref document: KR

WWP Wipo information: published in national office

Ref document number: 2005768111

Country of ref document: EP