[發(fā)明專利]表情識別方法、裝置及電子設(shè)備

在審

• 申請?zhí)枺?/td>: 201910194881.8
• 申請日: 2019-03-14
• 公開（公告）號: CN109934173A
• 公開（公告）日: 2019-06-25
• 發(fā)明（設(shè)計(jì)）人: 季興;王一同;周正
• 申請（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 深圳市隆天聯(lián)鼎知識產(chǎn)權(quán)代理有限公司 44232
• 代理人: 劉抗美

1.一種表情識別方法，其特征在于，包括：

獲取面部圖像；

對所述面部圖像進(jìn)行特征提取，以獲取第一類型信息和第二類型信息；

根據(jù)所述第一類型信息獲取全局特征信息，并根據(jù)所述全局特征信息確定第一表情信息；

根據(jù)所述第二類型信息獲取目標(biāo)特征值，并根據(jù)所述目標(biāo)特征值確定第二表情信息。

2.根據(jù)權(quán)利要求1所述的表情識別方法，其特征在于，對所述面部圖像進(jìn)行特征提取，以獲取第一類型信息和第二類型信息，包括：

將所述面部圖像輸入至一關(guān)鍵點(diǎn)學(xué)習(xí)模型，所述關(guān)鍵點(diǎn)學(xué)習(xí)模型包括主干網(wǎng)絡(luò)和與所述主干網(wǎng)絡(luò)連接的關(guān)鍵點(diǎn)識別網(wǎng)絡(luò)；

通過所述主干網(wǎng)絡(luò)對所述面部圖像進(jìn)行特征提取，以獲得所述第一類型信息；

通過所述關(guān)鍵點(diǎn)識別網(wǎng)絡(luò)對所述第一類型信息進(jìn)行處理，以獲得所述第二類型信息。

3.根據(jù)權(quán)利要求2所述的表情識別方法，其特征在于，通過所述主干網(wǎng)絡(luò)對所述面部圖像進(jìn)行特征提取，以獲得所述第一類型信息，包括：

通過所述主干網(wǎng)絡(luò)對所述面部圖像進(jìn)行卷積-激活-元素相加-池化操作，以獲得所述第一類型信息。

4.根據(jù)權(quán)利要求2所述的表情識別方法，其特征在于，所述關(guān)鍵點(diǎn)識別網(wǎng)絡(luò)為一全連接層；

通過所述關(guān)鍵點(diǎn)識別網(wǎng)絡(luò)對所述第一類型信息進(jìn)行處理，以獲得所述第二類型信息，包括：

通過所述全連接層對所述第一類型信息進(jìn)行整合，以獲取所述第二類型信息。

5.根據(jù)權(quán)利要求1所述的表情識別方法，其特征在于，根據(jù)所述第一類型信息獲取一全局特征信息，并根據(jù)所述全局特征信息確定第一表情信息，包括：

將所述第一類型信息輸入至第一表情識別模塊，通過所述第一表情識別模塊對所述第一類型信息進(jìn)行整合以獲取所述全局特征信息，并對所述全局特征信息進(jìn)行分類，以獲得所述第一表情信息。

6.根據(jù)權(quán)利要求5所述的表情識別方法，其特征在于，所述第一表情識別模塊為一多層感知器模型，所述多層感知器模型包括依次連接的第一全連接層、第二全連接層和輸出層。

7.根據(jù)權(quán)利要求6所述的表情識別方法，其特征在于，所述第一表情信息為情緒概率值；

將所述第一類型信息輸入至第一表情識別模塊，通過所述第一表情識別模塊對所述第一類型信息進(jìn)行整合以獲取所述全局特征信息，并對所述全局特征信息進(jìn)行分類，以獲得所述第一表情信息，包括：

通過所述第一全連接層接收所述第一類型信息，并將所述第一類型信息進(jìn)行多維映射，以輸出特征信息；

通過所述第二全連接層對所述特征信息進(jìn)行整合，以獲取所述全局特征信息；

通過所述輸出層對所述全局特征信息進(jìn)行歸一化處理，以獲取所述情緒概率值。

8.根據(jù)權(quán)利要求1所述的表情識別方法，其特征在于，根據(jù)所述第二類型信息獲取一目標(biāo)特征值，并根據(jù)所述目標(biāo)特征值確定第二表情信息，包括：

將所述第二類型信息輸入至第二表情識別模塊，通過所述第二表情識別模塊對所述第二類型信息進(jìn)行計(jì)算以獲取所述目標(biāo)特征值，并根據(jù)所述目標(biāo)特征值確定第二表情信息。

9.根據(jù)權(quán)利要求8所述的表情識別方法，其特征在于，所述第二類型信息包括關(guān)鍵點(diǎn)坐標(biāo)和關(guān)鍵點(diǎn)標(biāo)記；所述第二表情信息為所述面部圖像中的動作單元對應(yīng)的表情概率值；

將所述第二類型信息輸入至第二表情識別模塊，通過所述第二表情識別模塊對所述第二類型信息進(jìn)行計(jì)算以獲取所述目標(biāo)特征值，并根據(jù)所述目標(biāo)特征值確定第二表情信息，包括：

根據(jù)所述關(guān)鍵點(diǎn)標(biāo)記確定所述面部圖像中的目標(biāo)動作單元；

確定所述目標(biāo)動作單元的特征點(diǎn)，并獲取與所述特征點(diǎn)對應(yīng)的目標(biāo)關(guān)鍵點(diǎn)坐標(biāo)；

根據(jù)所述目標(biāo)關(guān)鍵點(diǎn)坐標(biāo)計(jì)算所述目標(biāo)特征值；

根據(jù)所述目標(biāo)特征值、第一參數(shù)和第二參數(shù)，獲取所述表情概率值。