TW201039251A - Facial expression recognition apparatus and facial expression recognition method thereof - Google Patents

Description

201039251 Λ. ΤΤ Λ. & 六、發明說明： 【發明所屬之技術領域】 本發明是有關於一種表情偵測裝置及其表情偵測方 法，且特別是有關於一種低運算量之表情偵測裝置及其表 情偵測方法。 【先前技術】 在生活中，人們常常透過臉部表情來表達内心的情 緒。情感的表現區域主要包括：嘴巴、眼睛、眉毛和臉頰 〇 等。人們在表達内心情緒時，只改變一下臉部的局部特徵 (如嘴角上揚）便能表達一種心態。隨著技術的日新月 異’人們進一步地期望能將表情辨識應用於電子裝置之 中，以大幅提高應用上的便利性。 笑臉偵測為人臉表情偵測之重要項目之一，其處理方 法上可分為人臉特徵偵測技術與分類器二部份。傳統人臉 特徵偵測技術多設定人臉眼、鼻、嘴部之固定框架於人臉 區域上，然後以統計比對方式（中華民國專利號00445434; Q TW226589B’美國專利US 6,526，161)，去計算出人臉特徵 位置。另外在分類器技術方面，在美國專利US 中，將原本與新增加的樣本放入PCA中去計算正交基底， 再比對是否符合。 然而，傳統人臉表情偵測技術不僅運算量龐大，且不 易使用於嵌入式平台中（如數位相機）。此外，傳統人臉表 情偵測技術容易受到光源的影響’當免度不均勻時，即直 接地影響到表情偵測結果的正確性。 201039251

1 WDZODfTV 【發明内容】 本發明係有關於一種表情偵測裝置及其表情偵測方 法，其係至少包括如下優點： 一、 當人臉發生姿態變化時亦能擷取出特徵位置。 二、 降低光源變化影響。 三、 快速計算人臉特徵位置。 四、 快速獲得表情偵測結果。 五、 運算量低，相當適合應用於嵌入式系統中。 根據本發明之一方面’提出一種表情偵測裝置。表情 偵測裝置包括灰階影像產生單元、人臉邊緣偵測單元、動 態膚色擷取單元、人臉輪廓產生單元及表情偵測單元。灰 階影像產生單元根據原始影像產生灰階影像。人臉邊緣偵 測單元根據灰階影像輸出人臉邊緣偵測結果。動態膚色擷 取單元根據原始影像產生動態膚色擷取結果，並根據動態 膚色擷取結果產生人臉及背景分割結果。人臉輪廓產生單 元根據灰階影像、人臉邊緣偵測結果及人臉及背景分割結 果輸出人臉輪廓。表情偵測單元根據人臉輪廓輸出表情偵 測結果。 根據本發明之另一方面，提出一種表情偵測方法。表 情偵測方法包括：根據原始影像產生灰階影像；根據灰階 影像輸出人臉邊緣偵測結果；根據原始影像產生動態膚色 搁取結果，並根據動態膚色擷取結果產生人臉及背景分割 結果；根據灰階影像、人臉邊緣偵測結果及人臉及背景分 割結果輸出人臉輪廓；以及根據人臉輪廓輸出表情偵測結 果。 201039251 為讓本發明之上述内容能更明顯易懂，下文特舉一較 佳實施例’並配合所附圖式，作詳細說明如下： 【實施方式】 下述實施例提供一種表情偵測裝置及其表情偵測方 法。表情偵測裝置包括灰階影像產生單元、人臉邊緣偵測 單元、動態膚色擷取單元、人臉輪廓產生單元及表情偵測 單元。灰階影像產生單元根據原始影像產生灰階影像。人 臉邊緣偵測單元根據灰階影像輸出人臉邊緣偵測結果。動 ❹ 態膚色擷取單元根據原始影像產生動態膚色擷取結果，並 根據動態膚色操取結果產生人臉及背景分割結果。人臉輪 廓產生單元根據灰階影像、人臉邊緣偵測結果及人臉及背 景分割結果輸出人臉輪廓。表情偵測單元根據人臉輪廓輸 出表情偵測結果。 實施例 凊參照第1圖，第1圖繪示係為依照本發明實施例之 表情偵測裝置之示意圖。表情偵測裝置1〇包括灰階影像 〇 產生單S 110、人臉邊緣谓測單it 120、動態膚色操取單 元13〇、人臉輪廓產生單元14〇及表情偵測單元15〇。灰 階影像產生單元UG根據原始影像S1產生灰階影像幻。 人臉邊緣制單元12G板據灰階影像以輸出人臉邊緣偵 測結果S3。其中，人臉邊緣摘測單元12(H列如係水平邊緣 债測灰階影像S2 ’以輪出人臉邊緣偵測結果％。動態膚 色擷取單元13〇根據原始影像S1產生動態膚色操取結 果，並根據動態膚^取結果產生人臉及背景分割結果 S4。人臉輪雜生單το 14〇根據灰階影像S2、人臉邊緣偵 201039251 測結果S3及人臉及背景分割結果S4輸出人臉輪廓S5。表 情偵測單元150根據人臉輪廓S5輸出表情偵測結果S6。 需特別說明的是，一張影像不會平均的分佈在0到 255每一個灰階值上，大部分的畫素會落於某一區間變 化。舉例來說，一張人臉影像中80%〜90%的灰階值會落 於50〜1〇〇之間變化。而所謂動態膚色即係指根據當時不 同的人臉影像設定不同的閥值。由於閥值係根據整張人臉 影像的全部灰階值比例而設定，因此具有極佳的適應性， 以降低光源變化的影響。由此可知，前述動態膚色擷取單 元130根據動態膚色擷取結果適應性地產生人臉及背景分 割結果S4 ’將大幅降低光源變化的影響。此外，由於表情 偵測裝置10並非使用固定框架，因此當人臉發生姿態變 化時亦能正確地擷取出特徵位置。再者，人臉輪廓產生單 疋140計算出人臉輪廓S5，將有利後續快速地計算人臉特 徵位置。不僅如此，表情偵測裝置10運算量低，相當適 合應用於嵌入式系統中。 請參照第2圖’帛2圖緣示係為表情债測單元之示意 圖。表情偵測單元150進—步包括特徵擷取單元ι52、指 $表情及非指定表情資料庫156及分類器154。特徵擷取 單το 152根據人臉輪廓S5輸出特徵向量S7。指定表情及 非指定表情資料庫156儲存多張指定表情影像及非指定表 情影像，並根據指定表情影像及非指定表情影像輸出特徵 向量S8。分類器154根據特徵向量S7及特徵向量別 表情偵測結果S6。 刀類器154例如為支持向量機（Su卯⑽vect〇r 201039251 ·» rr 轟▲ ι

Machine，SVM)分類g。指定表情及非衫表 … 所儲存的影像可分為指絲情f彡像及非指 類，透過支持向量機的輯可讀得讀 ^料 Vectors，SVs)，並獲得兩類資料中間的區分⑽ :一_ ’使得這兩類資料離此區分平而的：： Ο Ο 前述分類器154例如根據特徵向量 的内積結果以決定表情偵測結果S6 :二= Μ㈣情影像。舉例來說，當特徵向量4 = Μ的内積結果大於〇表示表情_ 及特徵向直 影像。相反地，當特徵向量S7及特徵 小於〇表示表情價測結果S6屬於非指定:料果 請參照第3圖至第5圖，第3圖㈣係 凡之示意圖，第4圖㈣係為嘴巴 ^徵擷取早 繪示係為將嘴巴區域劃分為3之不意圖’第5圖 2152進-步包括參考點棟取單二圏選= 及特徵值擷取單元1526。灸者 -汇、皁兀1524 輪廓S5及㈣影像82輸^播早70 1522根據人臉 沾可以是任何的五官參=特:點資料S9。特徵點資料 點。框選單元仙根據眼睛參考點及嘴巴參考 特徵區域S10可以任何的五官=s9框選特徵區域sl0。 域。特徵值榻取單元1526將—=嘴巴區域及眼睛區 並計算各等分之平㈣區域S1G分成數等分， 特徵區域SH)例如為第;^出特徵向量S7。舉例來說， 單元⑸6將之嘴巴區域。特徵值搁取 风4x8等分’並計算各等分之灰 201039251 W0^O3m 階平均值。在實際運用時，由於嘴巴區域之左上、左下、 右上與右下格通常會超出嘴唇之範圍，因此在此將捨棄這 四個值，而取剩下的28個灰階平均值作為代表嘴部區域 之特徵向量S7,用以訓練前述第2圖之分類器154。由於 特徵區域Sl0之灰階值可視為一組特徵向量，因此可使前 述第2圖綠示之分類器154快速地獲得表情㈣結果％。 請參照第6圖，第6圖繪示係為參考點擷取單元之示 意圖。參相齡單元1522進-步包括上半部積分光密 度(Integrated Optical Density，IOD)計算單元 15222、二值 化單元15224、眼睛參考點產生單元15226及嘴巴參考點 產生單元15228。上半部積分光密度計算單元152^算 灰階影像82之上半部之上半部積分絲度su。° 凡U224根據上半部積分光密度su輸出二值化 si:。眼睛參考點產生單元15226根據二值化結果。s 二：資：S9之兩眼睛參考點则。嘴巴參 舉例來說，上半部積分光密度計算單 =，分光密度找出灰階影像S2之上半部中5%最= :八：!!眉毛位置。二值化單元15224根據閥值將上半部 刀“畨度S11給二值化（Binary)。上半部八六 中大於間值的部份即設為255，而上半部積二=又sn 中小於閩值的部份即設為0。兩眼睛參考點S =度S11 參考點及右眼參考點。眼睛參考點產生單元=括左眼 化結果Sl2左侧中由下往上的第—個斷點處即為 201039251 點所在處。同樣地，眼睛參考點產生單元15226於二值化 結果S12右侧中由下往上的第—個斷點處即為右眼參考點 所在處。嘴巴參考點產生單元15228計算左眼參考點及右 眼參考點之中點做為嘴巴參考點S92之水平座標，並選擇 人臉輪廓S5之下半部之平均亮度最低處做為嘴巴參考點 S92之垂直座標。 請參照第7圖’第7圖繪示係為框選單元之示意圖。 ❹ 〇 框選單元1524進一步包括預估範圍框選單元15241、眼睛 邊緣偵測單元15242、眼睛積分光密度(integrated Optical Density，I0D)計算單元15243、邏輯運算單元15244及特 徵位置框選單元15245。預估範圍框選單元15241根據兩 眼參考點S91先行框選出大概的眼睛預估範圍S93。眼睛 邊緣偵測單兀15242根據眼睛預估範圍S93輸出眼睛邊緣 偵測結果S94。眼睛積分光密度(Integrated Optical Density， IOD)計算單元15243根據眼睛預估範圍S93輸出眼睛積分 光密度S95。邏輯運算單元Μ·根據眼睛邊緣偵測結果 S94及眼睛積分光密度S95輸出邏輯運算結果 S96，邏輯 運算結果，例如是睛邊緣偵測結果S94 &眼睛積分光密 又 之父集特徵位置框選單元15245根據邏輯運算結 果S96框選特徵區域sl〇之眼睛區域，並根 點 S92框選特徵區域S1。之嘴巴區域。框選單元1524 = 嘴巴區域後’前述第2圖繪示之分類器 ==_測是否有笑臉的表情產生： 之八類154 24框選出眼睛區域後，前述第2圖繪示 _ 區域内的灰階平均㈣測是否 201039251 1 \vjz〇jr/\ 有眨眼的表情產生。 請同時參照第1圖及第8圖，第8圖繪示係為依照本 發明實施例之表情偵測方法之流程圖。表情偵測方法係可 應用於前述之實施例之表情偵測裝置10。表情偵測方法至 少包括如下步驟：首先如步驟810所示，灰階影像產生單 元110根據原始影像S1產生灰階影像S2。接著如步驟820 所示，人臉邊緣偵測單元120根據灰階影像S2輸出人臉 邊緣偵測結果S3。跟著如步驟830所示，動態膚色擷取單 元130根據原始影像S1產生動態膚色擷取結果，並根據 動態膚色擷取結果產生人臉及背景分割結果S4。然後如步 驟840所示，人臉輪廓產生單元140根據灰階影像S2、人 臉邊緣偵測結果S3及人臉及背景分割結果S4輸出人臉輪 廓S5。最後如步驟850所示，表情偵測單元150根據人臉 輪廓S5輸出表情偵測結果S6。 本發明上述實施例所揭露之表情偵測裝置及其表情 偵測方法，具有多項優點，以下僅列舉部分優點說明如下： 一、 當人臉發生姿態變化時亦能擷取出特徵位置。 二、 降低光源變化影響。 三、 快速計算人臉特徵位置。 四、 快速獲得表情偵測結果。 五、 運算量低，相當適合應用於嵌入式系統中。 綜上所述，雖然本發明已以一較佳實施例揭露如上， 然其並非用以限定本發明。本發明所屬技術領域中具有通 常知識者，在不脫離本發明之精神和範圍内，當可作各種 之更動與潤飾。因此，本發明之保護範圍當視後附之申請 201039251 專利範圍所界定者為準。 【圖式簡單說明】 第1圖繪示係為依照本發明實施例之表情偵測裝置 之示意圖。 第2圖繪示係為表情偵測單元之示意圖。 第3圖繪示係為特徵擷取單元之示意圖。 第4圖繪示係為嘴巴區域之示意圖。 第5圖繪示係為將嘴巴區域劃分為32等分之示意圖。 第6圖繪示係為參考點擷取單元之示意圖。 第7圖繪示係為框選單元之示意圖。 第8圖繪示係為依照本發明實施例之表情偵測方法 之流程圖。 【主要元件符號說明】 10 :表情偵測裝置 P 110 :灰階影像產生單元 120 :人臉邊緣偵測單元 130 :動態膚色擷取單元 140 ··人臉輪廓產生單元 150 :表情偵測單元 152 :特徵擷取單元 154 :分類器 156 :指定表情及非指定表情資料庫 810、820、830、840、850 :步驟 11 201039251 1 WDZODr/\ 1522 :參考點擷取單元 1524 :框選單元 1526 :特徵值擷取單元 15222 :上半部積分光密度計算單元 15224 :二值化單元 15226 :眼睛參考點產生單元 15228 :嘴巴參考點產生單元 15241 :預估範圍框選單元 15242 :眼睛邊緣偵測單元 15243 :眼睛積分光密度計算單元 15244 :邏輯運算單元 15245 :特徵位置框選單元 51 :原始影像 52 :灰階影像 53 :人臉邊緣偵測結果 54 :人臉及背景分割結果 55 .人臉輪廊 56 :表情偵測結果 S7、S8 :特徵向量 S9 :特徵點資料 510 :特徵區域 511 :上半部積分光密度 512 :二值化結果 591 :兩眼睛參考點 592 :嘴巴參考點 12 201039251 593 :眼睛預估範圍 594 :眼睛邊緣偵測結果 595 :眼睛積分光密度 596 :邏輯運算結果

13

Claims (1)

1. 201039251 IW5265PA 七、申請專利範圍： i·—種表情偵測方法，包括： 根據一原始影像產生一灰階影像； 根據該灰階影像輸出—人臉邊緣偵測結果； ▲根據一原始影像產生—動態膚色擷取結果，並根據該 動態膚色擷取結果產生一人臉及背景分割結果； 根據該灰階影像、該人臉邊緣偵測結果及該人臉及背 景力割結果輸出一人臉輪靡；以及 根據該人臉輪廓輸出一表情偵測結果。 2.如申請專利範圍第1項所述之表情偵测方法，其 中輸出一表情偵測結果之該步驟包括： 根據該人臉輪廓輸出一第一特徵向量； 儲存複數張指定表情影像及非指定表情影像，並根據 該些指定表情影像及非指定表情影像輪出至少一 徵向量；以及 該表情 根據該第一特徵向量及該第二特徵向量輸 偵測結果。 其 如申請專利範圍第2.項所述之表情偵測方 中輸出一第一特徵向量之該步驟包括： 根據該人臉輪廓及該灰階影像輸出—特 次 根據該特徵點資料框選一特徵區域；以^點貪料； 將該特徵區域分成複數個等分，並計μ 平均值，以輪出該第一特徵向量。 該些等分 4.如申請專利範圍第3項所述之表 中輸出一特徵點資料之該步驟包括： & ’ ： 201039251 計算該灰階影像之上半部之一上半部積分光密度； 根據該上半部積分光密度輸出一二值化結果； 根據該二值化結果找出該特徵點資料之一第一眼睛 參考點及一第二眼睛參考點；以及 根據該第一眼睛參考點、該第二眼睛參考點及該人臉 輪廓找出該特徵資料之一嘴巴參考點。 5. 如申請專利範圍第4項所述之表情偵測方法，其 中框選一特徵區域之該步驟包括： 0 根據該眼睛參考點框選一眼睛預估範圍； 根據該眼睛預估範圍輸出一眼睛邊緣偵測結果； 根據該眼睛預估範圍輸出一眼睛積分光密度； 根據該眼睛邊緣偵測結果及該眼睛積分光密度輸出 一邏輯運算結果；以及 根據該邏輯運算結果框選該特徵區域之一眼睛區 域，並根據該嘴巴參考點框選該特徵區域之一嘴巴區域。 6. 如申請專利範圍第5項所述之表情偵測方法，其 〇 中輸出一邏輯運算結果之該步驟係輸出該眼睛邊緣偵測 結果及該眼睛積分光密度之交集。 7. 如申請專利範圍第4項所述之表情偵測方法，其 中找出該特徵資料之一嘴巴參考點之該步驟包括： 根據該第一眼睛參考點及該第二眼睛參考點計算該 嘴巴參考點之水平座標；以及 根據該人臉輪廓之下半部之平均亮度找出該嘴巴參 考點之垂直座標。 8. 如申請專利範圍第7項所述之表情偵測方法，其 15 201039251 1 中計算該嘴巴參考點之水平座標之該步驟係計算該第一 眼睛參考點及該第二眼睛參考點之中點做為該嘴巴參考 點之水平座標。 9. 如申請專利範圍第7項所述之表情彳貞測方法，其 中找出該嘴巴參考點之垂直座標之該步驟係選擇該人臉 輪廓之下半部之平均亮度最低處做為該嘴巴參考點之垂 直座標。 10. 如申請專利範圍第1項所述之表情偵測方法，其 中輸出一人臉邊緣偵測結果之該步驟係水平邊緣偵測該 灰階影像以輸出該人臉邊緣偵測結果。 11. 一種表情偵測裝置，包括： 一灰階影像產生單元，用以根據一原始影像產生—太 階影像； Λ 一人臉邊緣偵測單元，用以根據該灰階影像輸出— 臉邊緣偵測結果； 一動態膚色擷取單元，用以根據一原始影像產生〜 態膚色擷取結果，並根據該動態膚色擷取結果產生〜人 及背景分割結果； 一人臉輪廓產生單元，用以根據該灰階影像、該人臉 邊緣偵測結果及該人臉及背景分割結果輸出一人臉輪 廓；以及 測結果 表情偵測單元，用以根據該人臉輪廓輪出—表情侦 12.如申請專利範圍第11項所述之表情偵測襄窨 其中該表情偵測單元包括： ’ 201039251 一特徵擷取單元，用以根據該人臉輪廓輸出一第—特 徵向量； ^ —指定表情及非指定表情資料庫，用以儲存複數張指 疋表情影像及非指定表情影像，並根據該些指定表情影像 及非非4曰疋表情景>像輸出至少一第二特徵向量；以及 旦一分類器，用以根據該第一特徵向量及該第二特徵向 量輸出該表情偵測結果。 Ο Ο 13. 如申請專利範圍第12項所述之表情偵測裝置， /、中該特徵擷取單元包括： 你认I考點操取單元’用以根據該人臉輪廓及該灰階影 像輪出一特徵點資料； 一框選單兀’用以根據該特徵點資料框選一特徵區 场*，β及 八=特徵錢取單元’用以將該特徵區域分錢數個等 °十算各該些等分之平均值，以輸出該第一特徵向量。 14. 如申請專利範圍第13項所述之表情偵測裝置， 、中該參考點擷取單元包括： ^ 上半部積分光密度(Integrated Optical Density，IOD) 十鼻單元，用以計算該灰階影像之上半部之一上半部積分 光密度； 一 一二值化單元，用以根據該上半部積分光密度輸出一 二值化結果； =一眼睛參考點產生單元，用以根據該二值化結果找出 該特徵點資料之一第一眼睛參考點及一第二眼睛參考 點；以及 17 201039251 i 一嘴巴參考點產生單元，用以根據該第一眼睛參考 點、該第二眼睛參考點及該人臉輪廓找出該特徵資料之一 嘴巴參考點。 15. 如申請專利範圍第14項所述之表情偵測裝置， 其中該框選單元包括： 一預估範圍框選單元，用以根據該眼睛參考點框選一 眼睛預估範圍； 一眼睛邊緣偵測單元，用以根據該眼睛預估範圍輸出 一眼睛邊緣偵測結果； 一眼睛積分光密度（Integrated Optical Density, IOD) 計算單元，用以根據該眼睛預估範圍輸出一眼睛積分光密 度； 一邏輯運算單元，用以根據該眼睛邊緣偵測結果及該 眼睛積分光密度輸出一邏輯運算結果；以及 一特徵位置框選單元，用以根據該邏輯運算結果框選 該特徵區域之一眼睛區域，並根據該嘴巴參考點框選該特 徵區域之一嘴巴區域。 16. 如申請專利範圍第15項所述之表情偵測裝置， 其中該邏輯運算單元輸出該眼睛邊緣偵測結果及該眼睛 積分光密度之交集。 17. 如申請專利範圍第14項所述之表情偵測裝置， 其中嘴巴參考點產生單元根據該第一眼睛參考點及該第 二眼睛參考點計算該嘴巴參考點之水平座標，並根據該人 臉輪廓之下半部之平均亮度找出該嘴巴參考點之垂直座 201039251 18. 如申請專利範圍第17項所述之表情偵測裝置， 其中嘴巴參考點產生單元計算該第一眼睛參考點及該第 二眼睛參考點之中點做為該嘴巴參考點之水平座標。 19. 如申請專利範圍第17項所述之表情偵測裝置， 其中嘴巴參考點產生單元選擇該人臉輪廓之下半部之平 均亮度最低處做為該嘴巴參考點之垂直座標。 20. 如申請專利範圍第11項所述之表情偵測裝置， 其中該人臉邊緣偵測單元水平邊緣偵測該灰階影像以輸 "I 出該人臉邊緣偵測結果。

   19