[發(fā)明專利]基于聯(lián)合學(xué)習(xí)身份和情感信息的面部表情識別方法

在審

• 申請?zhí)枺?/td>: 201811220643.1
• 申請日: 2018-10-19
• 公開（公告）號: CN109359599A
• 公開（公告）日: 2019-02-19
• 發(fā)明（設(shè)計）人: 李明;鄒小兵
• 申請（專利權(quán)）人: 昆山杜克大學(xué);中山大學(xué)附屬第三醫(yī)院（中山大學(xué)肝臟病醫(yī)院）
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 佛山幫專知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 44387
• 代理人: 顏德昊

1.一種基于聯(lián)合學(xué)習(xí)身份信息和情感信息的面部表情識別方法，其特征在于，包括以下步驟：

使用人臉識別圖像數(shù)據(jù)庫和面部表情圖像數(shù)據(jù)庫來聯(lián)合訓(xùn)練神經(jīng)網(wǎng)絡(luò)和優(yōu)化神經(jīng)網(wǎng)絡(luò)；

所述人臉識別圖像數(shù)據(jù)庫用于獨立訓(xùn)練和優(yōu)化面部身份信息網(wǎng)絡(luò)支路，訓(xùn)練完畢后將最后的人臉身份輸出層去掉，只提取得到輸入圖像對應(yīng)的身份特征向量；

所述面部表情圖像數(shù)據(jù)庫用于獨立訓(xùn)練和優(yōu)化面部表情信息網(wǎng)絡(luò)支路，訓(xùn)練完畢后把最后的面部表情輸出層去掉，只提取得到輸入圖像對應(yīng)的情感特征向量；

將身份特征向量和情感特征向量串聯(lián)在一起得到串聯(lián)面部特征表達(dá)；最后將融合了身份信息和面部信息的串聯(lián)面部表達(dá)特征饋送給隨后的面部表情輸出層；

在后續(xù)網(wǎng)絡(luò)訓(xùn)練過程中，僅使用面部表情圖像數(shù)據(jù)庫對合并網(wǎng)絡(luò)進(jìn)行聯(lián)合學(xué)習(xí)和優(yōu)化，并最終預(yù)測面部表情識別結(jié)果。

2.根據(jù)權(quán)利要求1所述的基于聯(lián)合學(xué)習(xí)身份信息和情感信息的面部表情識別方法，由于網(wǎng)絡(luò)結(jié)構(gòu)和訓(xùn)練數(shù)據(jù)的不同，所述身份特征向量和情感特征向量通過批量歸一化進(jìn)行規(guī)范化處理，再將這兩個特征串聯(lián)在一起形成串聯(lián)面部表達(dá)特征。