[發(fā)明專利]表情識(shí)別方法、裝置及電子設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 201910194881.8
• 申請(qǐng)日: 2019-03-14
• 公開（公告）號(hào): CN109934173A
• 公開（公告）日: 2019-06-25
• 發(fā)明（設(shè)計(jì)）人: 季興;王一同;周正
• 申請(qǐng)（專利權(quán)）人: 騰訊科技（深圳）有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04
• 代理公司: 深圳市隆天聯(lián)鼎知識(shí)產(chǎn)權(quán)代理有限公司 44232
• 代理人: 劉抗美

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，提供了一種表情識(shí)別方法、裝置及電子設(shè)備。該方法包括：獲取面部圖像；對(duì)所述面部圖像進(jìn)行特征提取，以獲取第一類型信息和第二類型信息；根據(jù)所述第一類型信息獲取全局特征信息，并根據(jù)所述全局特征信息確定第一表情信息；根據(jù)所述第二類型信息獲取目標(biāo)特征值，并根據(jù)所述目標(biāo)特征值確定第二表情信息。本發(fā)明能夠?qū)崿F(xiàn)多任務(wù)學(xué)習(xí)，減少模型訓(xùn)練所需的數(shù)據(jù)量；能夠同時(shí)獲得情緒識(shí)別結(jié)果和局部表情識(shí)別結(jié)果，提高了表情識(shí)別的效率和實(shí)時(shí)性，進(jìn)一步提高了用戶體驗(yàn)。

技術(shù)領(lǐng)域

本發(fā)明涉及人工智能技術(shù)領(lǐng)域，具體而言，涉及一種表情識(shí)別方法、表情識(shí)別裝置及電子設(shè)備。

背景技術(shù)

隨著計(jì)算機(jī)技術(shù)和人工智能技術(shù)及其相關(guān)學(xué)科的迅猛發(fā)展，整個(gè)社會(huì)的自動(dòng)化程度不斷提高，人們對(duì)類似于人和人交流方式的人機(jī)交互的需求日益強(qiáng)烈。表情識(shí)別是情感理解的基礎(chǔ)，是計(jì)算機(jī)理解人們情感的前提，也是人們探索和理解智能的有效途徑。

現(xiàn)有的表情識(shí)別中存在大量的基于深度學(xué)習(xí)的方法，但是深度學(xué)習(xí)需要大量標(biāo)注的樣本來(lái)達(dá)到較好的性能，樣本搜索和標(biāo)注需要大量的成本投入；另外，現(xiàn)有深度學(xué)習(xí)的方法時(shí)間復(fù)雜度非常高，網(wǎng)絡(luò)結(jié)構(gòu)復(fù)雜，很難在普通的前端設(shè)備以及移動(dòng)端上實(shí)時(shí)的運(yùn)行。

鑒于此，本領(lǐng)域亟需開發(fā)一種新的表情識(shí)別方法。

需要說(shuō)明的是，在上述背景技術(shù)部分公開的信息僅用于加強(qiáng)對(duì)本申請(qǐng)的背景的理解，因此可以包括不構(gòu)成對(duì)本領(lǐng)域普通技術(shù)人員已知的現(xiàn)有技術(shù)的信息。

發(fā)明內(nèi)容

本發(fā)明的實(shí)施例提供了一種表情識(shí)別方法、表情識(shí)別裝置及電子設(shè)備，進(jìn)而至少在一定程度上可以方便、高效地對(duì)輸入的面部圖像的情緒和局部表情進(jìn)行識(shí)別。

本發(fā)明的其他特性和優(yōu)點(diǎn)將通過(guò)下面的詳細(xì)描述變得顯然，或部分地通過(guò)本發(fā)明的實(shí)踐而習(xí)得。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種表情識(shí)別方法，包括：獲取面部圖像；對(duì)所述面部圖像進(jìn)行特征提取，以獲取第一類型信息和第二類型信息；根據(jù)所述第一類型信息獲取全局特征信息，并根據(jù)所述全局特征信息確定第一表情信息；根據(jù)所述第二類型信息獲取目標(biāo)特征值，并根據(jù)所述目標(biāo)特征值確定第二表情信息。

根據(jù)本發(fā)明實(shí)施例的一個(gè)方面，提供了一種表情識(shí)別裝置，包括：圖像獲取模塊，用于獲取面部圖像；特征提取模塊，用于對(duì)所述面部圖像進(jìn)行特征提取，以獲取第一類型信息和第二類型信息；第一識(shí)別模塊，用于根據(jù)所述第一類型信息獲取一全局特征信息，并根據(jù)所述全局特征信息確定第一表情信息；第二識(shí)別模塊，用于根據(jù)所述第二類型信息獲取一目標(biāo)特征值，并根據(jù)所述目標(biāo)特征值確定第二表情信息。

在本發(fā)明的一些實(shí)施例中，基于前述方案，所述特征提取模塊包括：輸入單元，用于將所述面部圖像輸入至一關(guān)鍵點(diǎn)學(xué)習(xí)模型，所述關(guān)鍵點(diǎn)學(xué)習(xí)模型包括主干網(wǎng)絡(luò)和與所述主干網(wǎng)絡(luò)連接的關(guān)鍵點(diǎn)識(shí)別網(wǎng)絡(luò)；特征提取單元，用于通過(guò)所述主干網(wǎng)絡(luò)對(duì)所述面部圖像進(jìn)行特征提取，以獲得所述第一類型信息；信息處理單元，用于通過(guò)所述關(guān)鍵點(diǎn)識(shí)別網(wǎng)絡(luò)對(duì)所述第一類型信息進(jìn)行處理，以獲得所述第二類型信息。

在本發(fā)明的一些實(shí)施例中，基于前述方案，所述特征提取單元配置為：通過(guò)所述主干網(wǎng)絡(luò)對(duì)所述面部圖像進(jìn)行卷積-激活-元素相加-池化操作，以獲得所述第一類型信息。

在本發(fā)明的一些實(shí)施例中，所述關(guān)鍵點(diǎn)識(shí)別網(wǎng)絡(luò)為一全連接層；基于前述方案，所述信息處理單元配置為：通過(guò)所述全連接層對(duì)所述第一類型信息進(jìn)行整合，以獲取所述第二類型信息。

在本發(fā)明的一些實(shí)施例中，基于前述方案，所述第一識(shí)別模塊包括：第一識(shí)別單元，用于將所述第一類型信息輸入至第一表情識(shí)別模塊，通過(guò)所述第一表情識(shí)別模塊對(duì)所述第一類型信息進(jìn)行整合以獲取所述全局特征信息，并對(duì)所述全局特征信息進(jìn)行分類，以獲得所述第一表情信息。