[發(fā)明專利]人臉微表情識(shí)別方法、裝置、設(shè)備及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202110432485.1
• 申請(qǐng)日: 2021-04-21
• 公開(kāi)（公告）號(hào): CN113065512A
• 公開(kāi)（公告）日: 2021-07-02
• 發(fā)明（設(shè)計(jì)）人: 田金戈
• 申請(qǐng)（專利權(quán)）人: 深圳壹賬通智能科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市力道知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44507
• 代理人: 張傳義

1.一種人臉微表情識(shí)別方法，其特征在于，所述方法包括：

將第一預(yù)設(shè)數(shù)量的未標(biāo)注人臉信息的人臉圖像輸入預(yù)訓(xùn)練模型，使得所述預(yù)訓(xùn)練模型對(duì)未標(biāo)注人臉信息的人臉圖像基于至少兩個(gè)預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)進(jìn)行人臉語(yǔ)義學(xué)習(xí)，得到人臉語(yǔ)義識(shí)別模型；

將第二預(yù)設(shè)數(shù)量的標(biāo)注了人臉微表情的人臉圖像輸入所述人臉語(yǔ)義識(shí)別模型，使得所述人臉語(yǔ)義識(shí)別模型對(duì)標(biāo)注了人臉微表情的人臉圖像進(jìn)行學(xué)習(xí)，得到人臉微表情識(shí)別模型；其中，所述第二預(yù)設(shè)數(shù)量小于所述第一預(yù)設(shè)數(shù)量；

基于所述人臉微表情識(shí)別模型對(duì)目標(biāo)圖像進(jìn)行人臉識(shí)別，得到目標(biāo)圖像中的人臉微表情。

2.根據(jù)權(quán)利要求1所述的人臉微表情識(shí)別方法，其特征在于，所述預(yù)訓(xùn)練模型包括模型主體部分和與模型主體部分相連接的全鏈接層和損失函數(shù)；所述將第一預(yù)設(shè)數(shù)量的未標(biāo)注人臉信息的人臉圖像輸入預(yù)訓(xùn)練模型，使得所述預(yù)訓(xùn)練模型對(duì)未標(biāo)注人臉信息的人臉圖像基于至少兩個(gè)預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)進(jìn)行人臉語(yǔ)義學(xué)習(xí)，得到人臉語(yǔ)義識(shí)別模型，包括：

將第一預(yù)設(shè)數(shù)量的未標(biāo)注人臉信息的人臉圖像輸入所述預(yù)訓(xùn)練模型，使得所述模型主體部分提取所述人臉圖像包含的人臉特征，對(duì)所述人臉特征進(jìn)行卷積計(jì)算，得到權(quán)重矩陣；

通過(guò)所述全鏈接基于至少兩個(gè)所述預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)，將所述權(quán)重矩陣與偏置項(xiàng)相加并進(jìn)行映射，得到所述人臉特征預(yù)測(cè)任務(wù)對(duì)應(yīng)的預(yù)測(cè)分值，所述偏置項(xiàng)為與所述預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)相關(guān)的值；

通過(guò)所述損失函數(shù)對(duì)所述預(yù)測(cè)分值進(jìn)行二次映射，得到與所述預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)相對(duì)應(yīng)的預(yù)測(cè)概率值。

3.根據(jù)權(quán)利要求1或2所述的人臉微表情識(shí)別方法，其特征在于，所述預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)包括人臉特征分割任務(wù)、人臉特征排序任務(wù)、人臉特征轉(zhuǎn)換任務(wù)中的至少一種。

4.根據(jù)權(quán)利要求3所述的人臉微表情識(shí)別方法，其特征在于，所述至少兩個(gè)預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)包括第一預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)和第二預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)；所述使得所述預(yù)訓(xùn)練模型對(duì)未標(biāo)注人臉信息的人臉圖像基于至少兩個(gè)預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)進(jìn)行人臉語(yǔ)義學(xué)習(xí)，得到人臉語(yǔ)義識(shí)別模型，包括：

基于所述第一預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)，對(duì)所述預(yù)訓(xùn)練模型基于輸入的人臉圖像進(jìn)行人臉特征排序訓(xùn)練，直至所述預(yù)訓(xùn)練模型輸出的第一預(yù)測(cè)值大于預(yù)設(shè)第一預(yù)測(cè)閾值；

基于所述第二預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)，對(duì)所述預(yù)訓(xùn)練模型基于輸入的人臉圖像進(jìn)行三通道顏色預(yù)測(cè)訓(xùn)練，直至所述預(yù)訓(xùn)練模型輸出的第二預(yù)測(cè)值大于預(yù)設(shè)第二預(yù)測(cè)閾值。

5.根據(jù)權(quán)利要求4所述的人臉微表情識(shí)別方法，其特征在于，所述第一預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)包括人臉特征分割任務(wù)和人臉特征排序任務(wù)；

基于所述第一預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)，對(duì)所述預(yù)訓(xùn)練模型基于輸入的人臉圖像進(jìn)行人臉特征排序訓(xùn)練，直至所述預(yù)訓(xùn)練模型輸出的第一預(yù)測(cè)值大于預(yù)設(shè)第一預(yù)測(cè)閾值，包括：

基于所述人臉特征分割任務(wù)，對(duì)所述預(yù)訓(xùn)練模型基于輸入的人臉圖像進(jìn)行人臉?lè)指钣?xùn)練，得到所述預(yù)訓(xùn)練模型輸出多個(gè)分割后的人臉子圖像；

基于所述人臉特征排序任務(wù)，對(duì)所述預(yù)訓(xùn)練模型基于所述人臉子圖像進(jìn)行人臉特征排序訓(xùn)練，直至所述預(yù)訓(xùn)練模型輸出的第一預(yù)測(cè)值大于預(yù)設(shè)第一預(yù)測(cè)閾值。

6.根據(jù)權(quán)利要求4所述的人臉微表情識(shí)別方法，其特征在于，所述第二預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)包括人臉特征轉(zhuǎn)換任務(wù)；

基于所述第二預(yù)設(shè)人臉特征預(yù)測(cè)任務(wù)，對(duì)所述預(yù)訓(xùn)練模型基于輸入的人臉圖像進(jìn)行三通道顏色預(yù)測(cè)訓(xùn)練，直至所述預(yù)訓(xùn)練模型輸出的第二預(yù)測(cè)值大于預(yù)設(shè)第二預(yù)測(cè)閾值，包括：

基于所述人臉特征轉(zhuǎn)換任務(wù)，在所述預(yù)訓(xùn)練模型中對(duì)輸入的人臉圖像進(jìn)行通道轉(zhuǎn)換以及顏色填充，直至所述預(yù)訓(xùn)練模型輸出的第二預(yù)測(cè)值大于預(yù)設(shè)第二預(yù)測(cè)閾值。

7.根據(jù)權(quán)利要求1所述的人臉微表情識(shí)別方法，其特征在于，所述將第二預(yù)設(shè)數(shù)量的標(biāo)注了人臉微表情的人臉圖像輸入所述人臉語(yǔ)義識(shí)別模型，使得所述人臉語(yǔ)義識(shí)別模型對(duì)標(biāo)注了人臉微表情的人臉圖像進(jìn)行學(xué)習(xí)，得到人臉微表情識(shí)別模型，包括：

將第二預(yù)設(shè)數(shù)量的標(biāo)注了人臉微表情的人臉圖像輸入所述人臉語(yǔ)義識(shí)別模型，基于微調(diào)或者遷移學(xué)習(xí)的方式對(duì)所述人臉語(yǔ)義識(shí)別模型進(jìn)行再學(xué)習(xí)訓(xùn)練，得到所述人臉微表情識(shí)別模型。