[發明專利]基于多任務學習與深度學習的人臉情緒分析方法及系統

有效

• 申請號: 201710602227.7
• 申請日: 2017-07-21
• 公開（公告）號: CN107463888B
• 公開（公告）日: 2020-05-19
• 發明（設計）人: 簡仁賢;楊閔淳;張為義;許世煥
• 申請（專利權）人: 竹間智能科技（上海）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04
• 代理公司: 北京酷愛智慧知識產權代理有限公司 11514
• 代理人: 安娜

1.一種基于多任務學習與深度學習的人臉情緒分析方法，其特征在于，包括：

訓練人臉分析模型步驟：利用卷積神經網絡學習人臉庫中預設的分析任務的卷積層，得到人臉分析模型；

人臉區域提取步驟：獲取待分析人臉圖像，利用人臉檢測算法對所述待分析人臉圖像進行分析，提取待分析人臉圖像中人臉區域；

預測步驟：利用所述人臉分析模型對所述待分析人臉圖像進行預測，得到所述待分析人臉圖像中每個人臉區域對應的情緒信息；

所述訓練人臉分析模型步驟中，所述分析任務包括人臉屬性；在學習所述人臉屬性的卷積層時，標記待學習人臉屬性，根據所述待學習人臉屬性在所述人臉區域上對應的人臉部位，捕捉不同人臉部位的特征值，學習得到第一卷積層；

所述訓練人臉分析模型步驟中，所述分析任務包括人臉動作；在學習所述人臉動作的卷積層時，根據不同的人臉動作預設有不同的子動作卷積層，根據所述人臉部位在所述第一卷積層的輸出層加入對應的子動作卷積層，學習得到第二卷積層；

所述訓練人臉分析模型步驟中，所述分析任務包括情緒空間；在學習所述情緒空間的卷積層時，根據評價值和喚起度挑選第二卷積層，在挑選完的第二卷積層的輸出層加入預設的子情緒卷積層，學習得到第三卷積層。

2.根據權利要求1所述基于多任務學習與深度學習的人臉情緒分析方法，其特征在于，

所述訓練人臉分析模型步驟中，預設有情緒空間數值目標，通過學習所述第三卷積層和預設的全連接層，達到所述情緒空間數值目標，得到所述人臉分析模型。

3.一種基于多任務學習與深度學習的人臉情緒分析系統，其特征在于，適用于權利要求1所述基于多任務學習與深度學習的人臉情緒分析方法，包括：

訓練人臉分析模塊：利用卷積神經網絡學習人臉庫中預設的分析任務的卷積層，得到人臉分析模型；

人臉檢測模塊：用于獲取待分析人臉圖像；

人臉分析模塊：用于利用人臉檢測算法對所述待分析人臉圖像進行分析，提取待分析人臉圖像中人臉區域；

預測模塊：用于利用所述人臉分析模型對所述待分析人臉圖像進行預測，得到所述待分析人臉圖像中每個人臉區域對應的情緒信息；

所述訓練人臉分析模塊包括人臉屬性單元，所述分析任務包括人臉屬性；所述人臉屬性單元用于學習所述人臉屬性的卷積層，包括標記待學習人臉屬性，根據所述待學習人臉屬性在所述人臉區域上對應的人臉部位，捕捉不同人臉部位的特征值，學習得到第一卷積層；

所述訓練人臉分析模塊包括人臉動作單元，所述分析任務包括人臉動作；所述人臉動作單元用于學習所述人臉動作的卷積層，包括根據不同的人臉動作預設有不同的子動作卷積層，根據所述人臉部位在所述第一卷積層的輸出層加入對應的子動作卷積層，學習得到第二卷積層；

所述訓練人臉分析模塊包括情緒空間單元，所述分析任務包括情緒空間；所述訓練人臉分析模塊用于學習所述情緒空間的卷積層，包括根據評價值和喚起度挑選第二卷積層，在挑選完的第二卷積層的輸出層加入預設的子情緒卷積層，學習得到第三卷積層。

4.根據權利要求3所述基于多任務學習與深度學習的人臉情緒分析系統，其特征在于，

所述訓練人臉分析模塊，預設有情緒空間數值目標，通過學習所述第三卷積層和預設的全連接層，達到所述情緒空間數值目標，得到所述人臉分析模型。