[發(fā)明專利]一種人臉表情識(shí)別方法、裝置及存儲(chǔ)介質(zhì)

在審

• 申請(qǐng)?zhí)枺?/td>: 202010932427.0
• 申請(qǐng)日: 2020-09-08
• 公開（公告）號(hào): CN112232116A
• 公開（公告）日: 2021-01-15
• 發(fā)明（設(shè)計(jì)）人: 黃建新;丁永波;劉超
• 申請(qǐng)（專利權(quán)）人: 深圳微步信息股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 深圳市徽正知識(shí)產(chǎn)權(quán)代理有限公司 44405
• 代理人: 盧杏艷

1.一種人臉表情識(shí)別方法，其特征在于，包括如下步驟：

構(gòu)建并訓(xùn)練用于表情識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，其中，所述卷積神經(jīng)網(wǎng)絡(luò)增加了預(yù)設(shè)網(wǎng)絡(luò)深度；

獲取待識(shí)別圖像，對(duì)所述待識(shí)別圖像進(jìn)行人臉檢測(cè)獲得人臉檢測(cè)圖像；

對(duì)所述人臉檢測(cè)圖像進(jìn)行預(yù)處理后輸入至所述用于表情識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行表情識(shí)別處理，輸出所述人臉檢測(cè)圖像中的表情類別。

2.根據(jù)權(quán)利要求1所述的人臉表情識(shí)別方法，其特征在于，所述用于表情識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)在輸入層之后新加入一個(gè)卷積層，新加入的卷積層的卷積核為1*1。

3.根據(jù)權(quán)利要求2所述的人臉表情識(shí)別方法，其特征在于，所述構(gòu)建并訓(xùn)練用于表情識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，包括：

獲取已知表情類別的訓(xùn)練樣本，其中所述表情類別包括開心、憤怒、恐懼、驚訝、厭惡、悲傷以及中立；

構(gòu)造所述用于表情識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)，并將所述已知表情類別的訓(xùn)練樣本輸入至所述卷積神經(jīng)網(wǎng)絡(luò)中；

通過預(yù)設(shè)損失函數(shù)對(duì)所述卷積神經(jīng)網(wǎng)絡(luò)的輸出值進(jìn)行誤差評(píng)價(jià)，根據(jù)誤差結(jié)果反向傳播調(diào)節(jié)所述卷積神經(jīng)網(wǎng)絡(luò)的權(quán)重參數(shù)，直到所述卷積神經(jīng)網(wǎng)絡(luò)的輸出值達(dá)到期望值，得到訓(xùn)練完成后的用于表情識(shí)別的卷積神經(jīng)網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求3所述的人臉表情識(shí)別方法，其特征在于，所述訓(xùn)練樣本采用FER-2013數(shù)據(jù)集。

5.根據(jù)權(quán)利要求1所述的人臉表情識(shí)別方法，其特征在于，所述獲取待識(shí)別圖像，對(duì)所述待識(shí)別圖像進(jìn)行人臉檢測(cè)獲得人臉檢測(cè)圖像，包括：

獲取待識(shí)別圖像，將所述待識(shí)別圖像輸入至預(yù)先訓(xùn)練的MobileNet級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中，其中所述MobileNet級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型的卷積層為Depthwise SeparableConvolution；

通過所述預(yù)先訓(xùn)練的MobileNet級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中的第一神經(jīng)網(wǎng)絡(luò)對(duì)所述待識(shí)別圖像中的人臉位置進(jìn)行定位，根據(jù)定位結(jié)果對(duì)所述待識(shí)別圖像進(jìn)行裁剪獲得人臉區(qū)域圖像；

通過所述預(yù)先訓(xùn)練的MobileNet級(jí)聯(lián)神經(jīng)網(wǎng)絡(luò)模型中的第二神經(jīng)網(wǎng)絡(luò)對(duì)所述人臉區(qū)域圖像中的人臉關(guān)鍵點(diǎn)進(jìn)行定位，輸出人臉檢測(cè)圖像。

6.根據(jù)權(quán)利要求5所述的人臉表情識(shí)別方法，其特征在于，所述對(duì)所述人臉檢測(cè)圖像進(jìn)行預(yù)處理，包括：

預(yù)先定義標(biāo)準(zhǔn)人臉的關(guān)鍵點(diǎn)位置和光照條件；

通過預(yù)設(shè)的圖像變換算法將當(dāng)前所述人臉檢測(cè)圖像的關(guān)鍵點(diǎn)位置對(duì)齊至標(biāo)準(zhǔn)人臉的關(guān)鍵點(diǎn)位置，獲得對(duì)齊后的人臉檢測(cè)圖像；

根據(jù)所述標(biāo)準(zhǔn)人臉的光照條件對(duì)所述對(duì)齊后的人臉檢測(cè)圖像進(jìn)行光線校正處理，得到光照條件與標(biāo)準(zhǔn)人臉一致的人臉檢測(cè)圖像；

對(duì)經(jīng)光線校正處理后的人臉檢測(cè)圖像依次進(jìn)行圖像灰度化和圖像歸一化處理。

7.一種人臉表情識(shí)別裝置，其特征在于，所述裝置包括至少一個(gè)處理器；以及，

與所述至少一個(gè)處理器通信連接的存儲(chǔ)器；其中，

所述存儲(chǔ)器存儲(chǔ)有可被所述至少一個(gè)處理器執(zhí)行的指令，所述指令被所述至少一個(gè)處理器執(zhí)行，以使所述至少一個(gè)處理器能夠執(zhí)行權(quán)利要求1-6任一項(xiàng)所述的人臉表情識(shí)別方法。

8.一種非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)，其特征在于，所述非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)存儲(chǔ)有計(jì)算機(jī)可執(zhí)行指令，該計(jì)算機(jī)可執(zhí)行指令被一個(gè)或多個(gè)處理器執(zhí)行時(shí)，可使得所述一個(gè)或多個(gè)處理器執(zhí)行權(quán)利要求1-6任一項(xiàng)所述的人臉表情識(shí)別方法。

9.一種計(jì)算機(jī)程序產(chǎn)品，其特征在于，所述計(jì)算機(jī)程序產(chǎn)品包括存儲(chǔ)在非易失性計(jì)算機(jī)可讀存儲(chǔ)介質(zhì)上的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序包括程序指令，當(dāng)所述程序指令被處理器執(zhí)行時(shí)，使所述處理器執(zhí)行權(quán)利要求1-6任一項(xiàng)所述的人臉表情識(shí)別方法。