[發(fā)明專利]一種多角度人臉表情識(shí)別的方法及裝置、設(shè)備及存儲(chǔ)介質(zhì)

有效

• 申請(qǐng)?zhí)枺?/td>: 202110949029.4
• 申請(qǐng)日: 2021-08-18
• 公開(kāi)（公告）號(hào): CN113688714B
• 公開(kāi)（公告）日: 2023-09-01
• 發(fā)明（設(shè)計(jì)）人: 謝燊;黎銘;唐小煜
• 申請(qǐng)（專利權(quán)）人: 華南師范大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/82;G06N3/0464;G06N3/045;G06N3/048;G06N3/084
• 代理公司: 廣州駿思知識(shí)產(chǎn)權(quán)代理有限公司 44425
• 代理人: 葉瓊園

本申請(qǐng)涉及一種多角度人臉表情識(shí)別的方法及裝置、設(shè)備及存儲(chǔ)介質(zhì)，方法包括：構(gòu)建神經(jīng)網(wǎng)絡(luò)模型以及人臉表情圖像訓(xùn)練庫(kù)；根據(jù)所述可變換卷積模塊以及所述多角度人臉表情圖像訓(xùn)練數(shù)據(jù)，獲取多角度人臉表情圖像訓(xùn)練數(shù)據(jù)的輸出特征圖；根據(jù)所述注意力模塊以及所述多角度人臉表情圖像訓(xùn)練數(shù)據(jù)的輸出特征圖，對(duì)所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行若干次訓(xùn)練，獲得若干個(gè)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型；根據(jù)預(yù)設(shè)的準(zhǔn)確率計(jì)算算法，從所述若干個(gè)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型中獲得準(zhǔn)確率最高的神經(jīng)網(wǎng)絡(luò)模型，作為最佳神經(jīng)網(wǎng)絡(luò)模型；獲得用戶的識(shí)別指令，所述識(shí)別指令包括預(yù)識(shí)別的人臉表情圖像，根據(jù)所述預(yù)識(shí)別的人臉表情圖像以及所述最佳神經(jīng)網(wǎng)絡(luò)模型，獲得人臉表情識(shí)別結(jié)果。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理領(lǐng)域，特別涉及一種多角度人臉表情識(shí)別的方法及裝置、設(shè)備及存儲(chǔ)介質(zhì)。

背景技術(shù)

人臉作為人體重要組成部分之一，其表現(xiàn)的特征在交流過(guò)程中蘊(yùn)含著大量的信息。其中人臉表情是人表達(dá)自身情緒的重要方法之一，心理學(xué)家Mehrabiadu指出人臉表情在人們交流的過(guò)程中傳達(dá)了55％的有用信息，而語(yǔ)言傳達(dá)的有用信息僅占7％。通過(guò)人臉表情識(shí)別技術(shù)，能夠進(jìn)一步提升人機(jī)交互水平，在教育，心理診斷，公共安全等領(lǐng)域具有廣泛應(yīng)用前景。

當(dāng)前自然環(huán)境下采集的人臉，會(huì)有側(cè)臉，光照，遮擋等影響表情識(shí)別的不利因素，使得一張圖片中用于表情識(shí)別的有效人臉?lè)秶鞑幌嗤?。針?duì)這一問(wèn)題，目前的技術(shù)方案是先對(duì)人臉圖片進(jìn)行人臉檢測(cè)、人臉矯正后，再利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行情感分類，但是該類方法需要對(duì)圖像進(jìn)行一系列預(yù)處理，操作較為繁瑣。

發(fā)明內(nèi)容

基于此，本發(fā)明提供一種多角度人臉表情識(shí)別的方法及裝置、設(shè)備及存儲(chǔ)介質(zhì)，通過(guò)在神經(jīng)網(wǎng)絡(luò)模型中引入可變換卷積模型以及注意力模型，能夠?qū)θ四槇D像的側(cè)臉進(jìn)行表情識(shí)別，實(shí)現(xiàn)了多角度的人臉表情識(shí)別，通過(guò)對(duì)神經(jīng)網(wǎng)絡(luò)模型進(jìn)行若干次訓(xùn)練，提高了多角度的人臉表情識(shí)別的準(zhǔn)確率，同時(shí)能夠減少預(yù)處理操作，提高了人臉表情識(shí)別的效率。該技術(shù)方法如下：

第一方面，本申請(qǐng)實(shí)施例提供了一種多角度人臉表情識(shí)別的方法，包括以下步驟：

構(gòu)建神經(jīng)網(wǎng)絡(luò)模型以及人臉表情圖像訓(xùn)練庫(kù)，其中，所述神經(jīng)網(wǎng)絡(luò)模型包括可變換卷積模塊以及注意力模塊；所述人臉表情圖像訓(xùn)練庫(kù)包括多角度人臉表情圖像訓(xùn)練數(shù)據(jù)；

根據(jù)所述可變換卷積模塊以及所述多角度人臉表情圖像訓(xùn)練數(shù)據(jù)，獲取多角度人臉表情圖像訓(xùn)練數(shù)據(jù)的輸出特征圖；

根據(jù)所述注意力模塊以及所述多角度人臉表情圖像訓(xùn)練數(shù)據(jù)的輸出特征圖，對(duì)所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行若干次訓(xùn)練，獲得若干個(gè)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型；

根據(jù)預(yù)設(shè)的準(zhǔn)確率計(jì)算算法，從所述若干個(gè)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型中獲得準(zhǔn)確率最高的神經(jīng)網(wǎng)絡(luò)模型，作為最佳神經(jīng)網(wǎng)絡(luò)模型；

獲得用戶的識(shí)別指令，所述識(shí)別指令包括預(yù)識(shí)別的人臉表情圖像，根據(jù)所述預(yù)識(shí)別的人臉表情圖像以及所述最佳神經(jīng)網(wǎng)絡(luò)模型，獲得人臉表情識(shí)別結(jié)果。

第二方面，本申請(qǐng)實(shí)施例提供了一種多角度人臉表情識(shí)別的裝置，包括：

構(gòu)建單元，用于構(gòu)建神經(jīng)網(wǎng)絡(luò)模型以及人臉表情圖像訓(xùn)練庫(kù)，其中，所述神經(jīng)網(wǎng)絡(luò)模型包括可變換卷積模塊以及注意力模塊；所述人臉表情圖像訓(xùn)練庫(kù)包括多角度人臉表情圖像訓(xùn)練數(shù)據(jù)；

特征提取單元，用于根據(jù)所述可變換卷積模塊以及所述多角度人臉表情圖像訓(xùn)練數(shù)據(jù)，獲取多角度人臉表情圖像訓(xùn)練數(shù)據(jù)的輸出特征圖；

訓(xùn)練單元，用于根據(jù)所述注意力模塊以及所述多角度人臉表情圖像訓(xùn)練數(shù)據(jù)的輸出特征圖，對(duì)所述神經(jīng)網(wǎng)絡(luò)模型進(jìn)行若干次訓(xùn)練，獲得若干個(gè)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型；

計(jì)算單元，用于根據(jù)預(yù)設(shè)的準(zhǔn)確率計(jì)算算法，從所述若干個(gè)訓(xùn)練后的神經(jīng)網(wǎng)絡(luò)模型中獲得準(zhǔn)確率最高的神經(jīng)網(wǎng)絡(luò)模型，作為最佳神經(jīng)網(wǎng)絡(luò)模型；