[發(fā)明專利]基于輕量流式網(wǎng)絡(luò)和注意力機(jī)制的表情識(shí)別方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110001577.4
• 申請(qǐng)日: 2021-01-04
• 公開（公告）號(hào): CN112613479B
• 公開（公告）日: 2022-07-08
• 發(fā)明（設(shè)計(jì)）人: 柯逍;林艷;王俊強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 福州大學(xué)
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V10/764;G06V10/46;G06V10/25;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 福州元?jiǎng)?chuàng)專利商標(biāo)代理有限公司 35100
• 代理人: 陳明鑫;蔡學(xué)俊

本發(fā)明涉及一種基于輕量流式網(wǎng)絡(luò)和注意力機(jī)制的表情識(shí)別方法，包括以下步驟：步驟S1：獲取表情圖像數(shù)據(jù)集，并預(yù)處理；步驟S2:構(gòu)建包含注意力機(jī)制的輕量流式網(wǎng)絡(luò)，并在網(wǎng)絡(luò)的最后通過(guò)交叉熵?fù)p失函數(shù)進(jìn)行分類；步驟S3根據(jù)預(yù)處理后的表情圖像數(shù)據(jù)集訓(xùn)練包含注意力機(jī)制的輕量流式網(wǎng)絡(luò)；步驟S4:將待測(cè)圖像數(shù)據(jù)輸入訓(xùn)練后的包含注意力機(jī)制的輕量流式網(wǎng)絡(luò)，得到識(shí)別結(jié)果。本發(fā)明能夠有效地對(duì)表情圖像進(jìn)行分類，提升了表情圖像分類的效果。

技術(shù)領(lǐng)域

本發(fā)明涉及模式識(shí)別與計(jì)算機(jī)視覺領(lǐng)域,具體涉及一種基于輕量流式網(wǎng)絡(luò)和注意力機(jī)制的表情識(shí)別方法。

背景技術(shù)

隨著信息科技和現(xiàn)代社會(huì)的高速發(fā)展，人工智能技術(shù)已經(jīng)滲透到了社會(huì)生活的各個(gè)細(xì)枝末節(jié)，例如智能翻譯、智能音箱、智能識(shí)別等技術(shù)。人類作為信息社

會(huì)價(jià)值交換的主體，對(duì)自身行為的智能分析和研究應(yīng)用在當(dāng)今社會(huì)條件下顯得尤

為重要，人類的面部作為人類身體部位上傳達(dá)信息最為豐富的區(qū)域，更是科學(xué)家

們研究的重中之重。除了目前已經(jīng)被作為生物密碼的人臉識(shí)別之外，人臉的面部表情也是人類面部可以傳達(dá)出的重要信息，人臉面部的表情表達(dá)通常比語(yǔ)言的表達(dá)更具感染力和表現(xiàn)力，而且來(lái)自于表情的情感表達(dá)歷史遠(yuǎn)遠(yuǎn)早于語(yǔ)言的興起。自動(dòng)的面部表情識(shí)別在社交機(jī)器人、情感計(jì)算和醫(yī)藥醫(yī)療領(lǐng)域都有著十分重要的研究意義。因此，近年來(lái)人們提出了許多利用計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)算法來(lái)實(shí)現(xiàn)表情自動(dòng)識(shí)別的工作。

發(fā)明內(nèi)容

有鑒于此，本發(fā)明的目的在于提供一種基于輕量流式網(wǎng)絡(luò)和注意力機(jī)制的表情識(shí)別方法，能夠有效地微表情圖像進(jìn)行分類。

為實(shí)現(xiàn)上述目的，本發(fā)明采用如下技術(shù)方案：

一種基于輕量流式網(wǎng)絡(luò)和注意力機(jī)制的表情識(shí)別方法，包括以下步驟：

步驟S1：獲取表情圖像數(shù)據(jù)集，并預(yù)處理；

步驟S2：構(gòu)建包含注意力機(jī)制的輕量流式網(wǎng)絡(luò)，根據(jù)預(yù)處理后的表情圖像數(shù)據(jù)集訓(xùn)練包含注意力機(jī)制的輕量流式網(wǎng)絡(luò)；

步驟S3：在網(wǎng)絡(luò)的最后，通過(guò)交叉熵?fù)p失函數(shù)進(jìn)行分類；

步驟S4：將待測(cè)圖像數(shù)據(jù)輸入訓(xùn)練后的包含注意力機(jī)制的輕量流式網(wǎng)絡(luò)，得到識(shí)別結(jié)果。

進(jìn)一步的，所述步驟S1具體為：

步驟S11：獲取表情圖像數(shù)據(jù)集，并使用級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行人臉對(duì)齊；

步驟S12：根據(jù)步驟S11處理后得到人臉對(duì)齊之后的圖像，然后進(jìn)圖像進(jìn)行灰度歸一化；

步驟S13：采用增強(qiáng)操作，對(duì)歸一化后的圖像數(shù)據(jù)進(jìn)行數(shù)據(jù)增強(qiáng)，得到預(yù)處理后的表情圖像數(shù)據(jù)集。

進(jìn)一步的，所述級(jí)聯(lián)卷積神經(jīng)網(wǎng)絡(luò)包含若干階段，每個(gè)階段都包含前一階段的輸出作為輸入，輸出偏置，加上偏置并擺正人臉關(guān)鍵點(diǎn)和輸入圖，用輸出的點(diǎn)生成熱力圖、最后一層卷積輸出的特征圖以及擺正后的原圖作為下一個(gè)階段的輸入，具體的：

第一級(jí)的輸入是一張人臉的原始圖像I，將面部關(guān)鍵點(diǎn)初始化為S⁰，S⁰由所有關(guān)鍵點(diǎn)取平均得到，經(jīng)過(guò)卷積神經(jīng)網(wǎng)絡(luò)后加上平均形狀S⁰，得到該級(jí)的形狀估計(jì)S¹；

在第二級(jí)中，首先利用S⁰對(duì)人臉原始圖像I和S¹進(jìn)行矯正變化，即計(jì)算S¹相對(duì)于S⁰的仿射矩陣并作用與二者之上，得到矯正后的人臉圖像I'和形狀S¹'，并根據(jù)S¹'生成關(guān)鍵點(diǎn)熱力圖M'；

之后的級(jí)聯(lián)都可以看作是第二級(jí)模塊的堆疊，即將上一級(jí)的全連接層，輸出的關(guān)鍵點(diǎn)人力圖和校正后的人臉圖像作為輸入，輸出該級(jí)的估計(jì)。