KR20240077290A - 표정 강도 인식 장치 및 방법 - Google Patents

Abstract

본 발명은 표정 강도 인식 장치에 관한 것으로, 입력 영상의 영상 전처리를 수행하는 영상 전처리 모듈; 상기 영상 전처리가 수행된 영상을 지정된 알고리즘에 따라 처리하여 얼굴의 표정 분류와 표정 강도 분류를 수행하는 프로세서; 및 상기 표정 분류와 표정 강도 분류의 결과를 바탕으로, 상기 입력 영상의 얼굴 표정을 세분화된 단계에 따라 인식하여 출력하는 미세 표정 인식 모듈을 포함하는 것을 특징으로 한다.

Description

표정 강도 인식 장치{APPARATUS FOR RECOGNIZING FACIAL EXPRESSION INTENSITY}

본 발명은 표정 강도 인식 장치에 관한 것으로, 보다 상세하게는 얼굴의 표정을 인식할 때 표정의 강도를 인식할 수 있도록 함으로써, 세분화된 미세 표정을 인식할 수 있도록 하는, 표정 강도 인식 장치에 관한 것이다.

최근 인간의 얼굴 표정을 컴퓨터를 통해 분류, 처리함에 있어, 다양한 알고리즘이 제안되고 있다.

얼굴 표정을 학습하는 가장 대중적인 알고리즘으로는, 얼굴의 특징을 대상의 표정 변화를 나타내는 이미지에서 추출하고, 이를 표정 데이터셋과 결합하여 심층 신경망을 통해 학습시켜 분류, 처리하는 CNN(Convolutional Neural Networks) 학습 방식 등을 예시할 수 있다.

그러나 일반적인 CNN 학습 방식에 의한 얼굴 표정의 인식은, 사람의 감정을 반영하는 세분화된 미세 표정을 인식하는 데 한계가 있다.

본 발명의 배경기술은 대한민국 공개특허 10-2020-0047311호(2020.04.20. 공개, 딥러닝을 이용하는 얼굴 인식 장치)에 개시되어 있다.

본 발명의 일 측면에 따르면, 본 발명은 상기와 같은 문제점을 해결하기 위해 창작된 것으로서, 얼굴의 표정을 인식할 때 표정의 강도를 인식할 수 있도록 함으로써, 세분화된 미세 표정을 인식할 수 있도록 하는, 표정 강도 인식 장치를 제공하는 데 그 목적이 있다.

본 발명의 일 측면에 따른 표정 강도 인식 장치는, 입력 영상의 영상 전처리를 수행하는 영상 전처리 모듈; 상기 영상 전처리가 수행된 영상을 지정된 알고리즘에 따라 처리하여 얼굴의 표정 분류와 표정 강도 분류를 수행하는 프로세서; 및 상기 표정 분류와 표정 강도 분류의 결과를 바탕으로, 상기 입력 영상의 얼굴 표정을 세분화된 단계에 따라 인식하여 출력하는 미세 표정 인식 모듈을 포함하는 것을 특징으로 한다.

본 발명의 일 측면에 따르면, 본 발명은 얼굴의 표정을 인식할 때 다양한 표정의 강도를 인식할 수 있도록 함으로써, 세분화된 미세 표정을 인식할 수 있도록 한다.

또한 본 발명은 기존에 정확하게 인식할 수 없었던 낮은 강도의 표정에 대해서 더 정확히 인식할 수 있도록 한다.

도 1은 본 발명의 일 실시예에 따른 표정 강도 인식 장치의 개략적인 구성을 보인 예시도이다.
도 2는 본 발명의 일 실시예에 따른 표정 강도 인식 방법을 설명하기 위하여 보인 흐름도이다.
도 3은 상기 도 1에 있어서, 표정에 대한 강도가 태깅된 미세 표정 인식을 위한 학습용 데이터셋을 구성하는 방법을 개략적으로 설명하기 위하여 보인 예시도이다.
도 4는 상기 도 1에 있어서, 표정 강도 인식 장치를 이용한 표정 강도 인식 시험 결과를 보인 예시도이다.

이하, 첨부된 도면을 참조하여 본 발명에 따른 표정 강도 인식 장치의 일 실시예를 설명한다. 이 과정에서 도면에 도시된 선들의 두께나 구성요소의 크기 등은 설명의 명료성과 편의상 과장되게 도시되어 있을 수 있다. 또한, 후술되는 용어들은 본 발명에서의 기능을 고려하여 정의된 용어들로서 이는 사용자, 운용자의 의도 또는 관례에 따라 달라질 수 있다. 그러므로 이러한 용어들에 대한 정의는 본 명세서 전반에 걸친 내용을 토대로 내려져야 할 것이다.

일반적으로 표정 인식 기술은 입력 영상으로부터 검출된 얼굴이 어떤 표정인지 인식하는 기술이며, 기존에 얼굴 표정 인식을 위해서 다양한 방법들이 제안되어 왔으며, 얼굴의 움직임 단위(Facial Action Unit)별로 분석하여 표정을 유추하거나, 얼굴 주요 부위의 특징점(landmark)을 추출하여 표정 인식에 활용하였다.

한편 최근 딥러닝 기술이 발달하면서 콘볼루션 신경망(Convolutional Neural Network, CNN) 기법을 통해 추출한 영상의 특징(feature)을 표정 인식에 적용하는 방법들이 제안되고 있으며, 표정 인식의 정확도가 크게 향상되었다.

참고로 기존의 표정 인식 기술에서 인식 가능한 표정의 갯수는 훈련 데이터의 구성에 따라 차이가 있지만, 통상적으로 사용되는 표정 인식 모델이나 공개 데이터셋으로는 보통 6~8종 정도의 대표적인 표정(예 : 화남, 기쁨, 슬픔, 놀람, 역겨움, 싫어함 등)이 사용된다.

따라서 기존에는 동일한 표정에서의 강도 변화(예 : 매우 기쁨 -> 조금 기쁨)나 미세한 표정(즉, 강도가 낮은 표정)의 인식은 불가능하였고, 이에 따라 학습자, 환자, 고객, 면접자, 및 운전자 등의 모니터링 시스템이나, 우울증 진단, 및 인공지능과의 상호작용 등의 상용화 분야에서 활용도가 제한적일 수밖에 없었다.

한편 종래에 미세 표정 인식을 위한 방법들은 영상을 입력으로 하는 CNN 기반의 주 네트워크와, 특징점 정보를 입력으로 하는 DNN(혹은 RNN) 기반의 보조 네트워크로 구성되는 것이 일반적이다.

그런데 상기 특징점 기반의 딥러닝 모델은 주 네트워크에 비해 매우 간단하여 좋은 성능을 기대하기 어렵고, 특히 강도가 약한(또는 낮은) 표정들(예 : 조금 놀람, 조금 싫어함 등)은 강도가 강한 표정들에 비해 얼굴 주요부위의 움직임이 크지 않기 때문에 특징점들의 분포가 표정별로 비슷하여 인식 정확도가 현저하게 떨어지는 문제점이 있으며, 또한, 특징점을 추출하는 과정 자체에서도 오류가 전파되어 인식 정확도를 떨어지게 하는 문제점이 있다.

따라서 본 실시예는 얼굴의 표정을 인식할 때 다양한 표정의 강도를 인식할 수 있도록 함으로써, 세분화된 미세 표정을 인식할 수 있도록 하는 기술에 대해서 설명한다.

도 1은 본 발명의 일 실시예에 따른 표정 강도 인식 장치의 개략적인 구성을 보인 예시도이다.

도 1에 도시된 바와 같이, 본 실시예에 따른 표정 강도 인식 장치는, 영상 전처리 모듈(110), 프로세서(120), 및 미세 표정 인식 모듈(130)을 포함한다.

상기 영상 전처리 모듈(110)은 입력 영상으로부터 얼굴을 검출한 후, 얼굴 부분만 잘라내어, 미세 표정 인식을 위한 프로세서의 입력 규격으로 변환한다.

이 때 전처리 과정으로서 입력 영상에 대한 해상도 변경, 및 회전과 반전 등의 영상 증식(image augmentation)이나 데이터 증강 과정이 포함될 수 있다.

상기 프로세서(120)는 CNN 기반으로 얼굴 영상의 특징을 추출한다.

예컨대 상기 프로세서(120)는 지정된 네트워크(예 : VGGNet, Resnet 등)를 활용하여 얼굴 영상의 특징을 추출할 수 있다.

또한 상기 프로세서(120)는 CNN 백본(Backbone) 네트워크를 공유하여, 표정 분류와 표정 강도 분류를 동시에 수행한다.

예컨대 상기 프로세서(120)는 다중 태스크 러닝(Multi Task Learning)을 수행할 수 있으며, 지정된 네트워크(예 : fully-connected neural network, dense neural network 등)로 구현될 수 있다.

또한 상기 프로세서(120)는 CNN 네트워크와 함께 표정 및 표정 강도 인식을 위한 태깅 정보가 포함된 데이터셋(즉, 미세 표정 인식을 위한 학습용 데이터셋)을 이용하여 미리 학습을 수행한다.

본 실시예에서 상기 "미세 표정 인식을 위한 학습용 데이터셋"은, 표정 인식과 표정 강도 인식 두 가지를 수행할 수 있는 데이터셋으로 구성된다.

이에 따라 기존의 "얼굴 표정 인식을 위한 학습용 데이터셋"은, 단순히 각 얼굴 영상에 대한 표정 정보만 태깅이 되어 있지만, 본 실시예에서의 "미세 표정 인식을 위한 학습용 데이터셋"은, 사람이 느끼는 표정 강도를 더 정확하게 인식하기 위하여, 각 얼굴 영상의 표정 강도 정보가 추가적으로 태깅되도록 구성된다(도 3 참조).

가령, 본 실시예에서 상기 프로세서(120)가 10종 표정(예 : 중립, 분노, 놀람, 공포, 역겨움, 슬픔, 행복, 싫어함, 졸림, 차분)과 4단계 강도(예 : 1단계, 2단계, 3단계, 4단계)로 "미세 표정 인식을 위한 학습용 데이터셋"을 구성하여 학습하였다고 가정할 경우, 10종 표정 분류와 4단계 강도 분류를 통해 40종의 미세 표정 인식이 가능하게 된다.

상기 미세 표정 인식 모듈(130)은 상기 프로세서(120)에서의 표정 분류 및 강도 분류의 결과를 바탕으로, 입력 영상의 표정을 다양한 미세 표정으로 매핑(인식)하여 출력한다.

도 2는 본 발명의 일 실시예에 따른 표정 강도 인식 방법을 설명하기 위하여 보인 흐름도이다.

도 2를 참조하면, 영상 전처리 모듈(110)이 입력 영상으로부터 얼굴을 검출하고(S101), 상기 입력 영상으로부터 검출한 얼굴 부분만 잘라내어, 상기 프로세서(120)가 지정된 알고리즘에 따라 미세 표정 인식을 수행하기 위한 입력 규격에 맞춰 영상 전처리를 수행한다(S102).

예컨대 상기 영상 전처리는, 프로세서(120)의 표정 인식 성능을 높이기 위하여, 입력 영상에 대한 해상도 변경, 및 회전과 반전 등의 영상 증식(image augmentation)이나 데이터 증강 등의 영상 전처리 과정을 포함할 수 있다.

상기와 같이 영상 전처리가 수행되면, 상기 프로세서(120)는 CNN 기반으로 얼굴 영상의 특징을 추출한다(S103).

예컨대 상기 프로세서(120)는 지정된 네트워크(예 : VGGNet, Resnet 등)를 활용하여 얼굴 영상의 특징을 추출할 수 있다.

상기와 같이 얼굴 영상의 특징이 추출되면, 상기 프로세서(120)는 CNN 백본(Backbone) 네트워크를 공유하여, 표정 분류와 표정 강도 분류를 동시에 수행함으로써(S104, S105), 상기 표정 분류 및 강도 분류의 결과를 바탕으로, 미세 표정을 인식하여 출력한다(S106).

이 때 상기 프로세서(120)에서 수행되는 표정 분류 및 강도 분류의 알고리즘은 지정된 네트워크(예 : fully-connected neural network, dense neural network 등)를 바탕으로 구현될 수 있다.

도 3은 상기 도 1에 있어서, 표정에 대한 강도가 태깅된 미세 표정 인식을 위한 학습용 데이터셋을 구성하는 방법을 개략적으로 설명하기 위하여 보인 예시도이다.

예컨대 본 실시예에서 상기 미세 표정 인식을 위한 학습용 데이터셋은, 서로 다른 사람들(예 : id1, id2, id3)에게 얼굴 영상을 보여주고, 각자가 느끼는 표정을 "recommend_exp"에 태깅하고, 추가적으로 각자가 생각하는 표정에 대한 강도를 "intensity"에 각각 태깅하여 구성된다.

이에 따라 도 3을 참조하면, 사람들(예 : id1, id2, id3)에게 보여준 얼굴 영상에 대하여, 각 사람들(예 : id1, id2, id3)이 느끼는 표정은 "angry"로 동일하지만, 각 사람들(예 : id1, id2, id3)이 느끼는 표정의 강도는 약간씩 차이(예 : 3, 3, 4)가 있음을 알 수 있다.

따라서 상기 프로세서(120)는 표정 인식과 표정 강도 인식 두 가지를 수행할 수 있는 "미세 표정 인식을 위한 학습용 데이터셋"을 학습함으로써, 얼굴 표정과 표정 강도를 동시에 인식하여 세분화된 미세한 표정까지도 인식할 수 있게 된다.

도 4는 상기 도 1에 있어서, 표정 강도 인식 장치를 이용한 표정 강도 인식 시험 결과를 보인 예시도이다.

본 실시예를 이용한 시험은 10종 표정 및 4단계 강도의 데이터셋 학습을 적용한 것으로, 도 4에 도시된 바와 같이, 입력 영상의 얼굴 부분이 검출되어 바운딩 박스로 표시되고, 웃는 표정으로부터 10가지의 표정 중 행복을 인식하였으며, 강도는 1, 2, 3, 4 단계 중에서 중간보다 높은 단계인 3단계로 인식되어 그 결과가 표시된 것을 보여준다.

즉, 본 실시예는 미세 표정 인식을 위한 학습용 데이터셋을 이용한 학습 결과, 한 장의 입력 영상으로부터 표정과 그 표정 강도를 분류하여 미세한 표정까지도 인식할 수 있게 된다.

상술한 바와 같이 본 실시예는, 얼굴 영상으로부터 특징점(landmark)을 활용하여 표정 강도를 인식하는 종래의 방법과 달리, 사람이 얼굴을 보고 직접적으로 느끼는 표정의 강도 정보를 추가적으로 수집하고, 이를 데이터셋으로 구성하여 학습한 후 얼굴 표정 인식에 활용함으로써, 기존에 정확하게 인식할 수 없었던 낮은 강도의 표정(즉, 미세한 표정)도 보다 정확히 인식할 수 있도록 하는 효과가 있다.

또한 본 실시예는 CNN 백본(Backbone) 네트워크를 공유하여, 표정 분류와 표정 강도 분류를 동시에 수행하는 다중 태스크 러닝(Multi Task Learning)을 통해 미세한 표정을 포함한 다양한 표정 강도를 학습하여, 얼굴 표정과 표정 강도를 인식할 수 있도록 하는 효과가 있다.

본 발명은 도면에 도시된 실시예를 참고로 하여 설명되었으나, 이는 예시적인 것에 불과하며, 당해 기술이 속하는 분야에서 통상의 지식을 가진 자라면 이로부터 다양한 변형 및 균등한 타 실시예가 가능하다는 점을 이해할 것이다. 따라서 본 발명의 기술적 보호범위는 아래의 특허청구범위에 의해서 정하여져야 할 것이다.

110 : 영상 전처리 모듈
120 : 프로세서
130 : 미세 표정 인식 모듈

Claims (1)

1. 입력 영상의 영상 전처리를 수행하는 영상 전처리 모듈;
   상기 영상 전처리가 수행된 영상을 지정된 알고리즘에 따라 처리하여 얼굴의 표정 분류와 표정 강도 분류를 수행하는 프로세서; 및
   상기 표정 분류와 표정 강도 분류의 결과를 바탕으로, 상기 입력 영상의 얼굴 표정을 세분화된 단계에 따라 인식하여 출력하는 미세 표정 인식 모듈을 포함하는 것을 특징으로 하는 표정 강도 인식 장치.

Images