[發明專利]一種基于多任務卷積神經網絡的人臉表情識別方法

有效

• 申請號: 201810582457.6
• 申請日: 2018-06-07
• 公開（公告）號: CN108764207B
• 公開（公告）日: 2021-10-19
• 發明（設計）人: 嚴嚴;黃穎;王菡子
• 申請（專利權）人: 廈門大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 廈門原創專利事務所(普通合伙) 35101
• 代理人: 魏思凡

1.一種基于多任務卷積神經網絡的人臉表情識別方法，其特征在于包括以下步驟：

1)準備訓練樣本集其中，N為樣本的數目，c表示訓練樣本集包含的類別數，N和c為自然數；Pi表示第i個訓練樣本對應的固定大小的圖像；表示第i個訓練樣本對于第j類表情的類別標簽：

2)設計多任務卷積神經網絡結構，網絡由兩部分組成，第一部分用于提取圖片的低層語義特征，第二部分用于提取圖片的高層語義特征以及預測輸入人臉圖片所屬的表情類別；

3)在設計好的多任務卷積神經網絡里，采用多任務學習，同時執行多個單表情判別性特征學習任務以及多表情識別任務，并使用一種聯合損失來監督每個單表情判別任務，用于學習對某種表情具有判別性的特征；

4)使用大的人臉識別數據集，利用反向傳播算法進行預訓練；

5)使用給定的人臉表情訓練樣本集進行微調，得到訓練好的模型；

6)利用訓練好的模型進行人臉表情識別；

在步驟3)中，所述在設計好的多任務卷積神經網絡里，采用多任務學習，同時執行多個單表情判別性特征學習任務以及多表情識別任務的具體方法為：

(1)每個單表情判別性特征學習任務，用于學習對特定一個表情具有判別性的特征，第j個任務對應所有并行的全連接層中的第j個全連接層，每個單表情判別性特征學習任務需要學習兩個向量和作為兩種樣本的類中心，表示第j類表情特征的類中心，表示除第j類表情之外，其他類表情特征的類中心，計算樣本特征到每個類中心的距離，具體計算公式如下所示：

其中，表示輸入訓練樣本Pi在第j個全連接層得到的特征，為標簽，表示屬于第j類表情，表示不屬于第j類表情，||.||₂表示歐式距離，是正距離，表示樣本特征到所屬類中心的歐氏距離的平方，是負距離，表示樣本特征到另一個類中心的歐氏距離的平方；

(2)在和的基礎上，對每個輸入樣本，計算如下兩種損失：

其中是在單個樣本上的類內損失，是在單個樣本上的類間損失，α是邊界閾值，用于控制和的相對間隔；

(3)在每個樣本上，使用樣本敏感損失權重對兩種損失和進行加權：

其中，和分別是樣本的類內損失和類間損失的損失敏感權重，通過一種調制函數得來，調制函數公式如下：

調制函數δ(x)將輸入的樣本損失歸一化到區間[0，1)，作為樣本的損失敏感權重，和分別對應第j個表情的類內損失和類間損失，m為第j個任務訓練時的樣本數量；

(4)對每個表情，使用動態表情權重對兩種損失和進行加權，所有單表情判別性特征學習任務的聯合損失為：

其中，和分別是第j個任務的類內損失和類間損失的動態表情權重，由柔性最大函數計算得來，計算公式如下：

經過柔性最大函數計算得到的權重之和為1.0，即

(5)將所有單任務學習到的特征串聯起來，輸入到柔性最大分類層進行分類，對柔性最大分類層計算交叉熵損失：

其中，網絡計算得到的表明訓練樣本Pi屬于第j類表情的概率；

(6)聯合損失和交叉熵損失構成網絡的總損失：

L_to_tal＝L_J+L_cls

整個網絡通過反向傳播算法進行優化。

2.如權利要求1所述一種基于多任務卷積神經網絡的人臉表情識別方法，其特征在于在步驟2)中，所述設計多任務卷積神經網絡結構的具體方法為：

(1)網絡的第一部分為全卷積網絡，用于提取輸入圖像的中被所有表情所共享的低層語義特征，對于網絡的第一部分，采用預激活殘差單元結構堆疊多個卷積層；

(2)網絡的第二部分由多個并行的全連接層和一個用于多表情分類的柔性最大分類層組成，多個并行的全連接層的個數與訓練樣本集包含的類別數一致，每個并行的全連接層接收網絡的第一部分所輸出的特征作為輸入，獲得所有并行的全連接層的輸出之后，將這些輸出串聯起來，作為柔性最大分類層的輸入。