[發(fā)明專利]一種對(duì)直播課中的面部表情進(jìn)行識(shí)別的方法、裝置及設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011065779.7
• 申請(qǐng)日: 2020-09-30
• 公開（公告）號(hào): CN112380898A
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 李天馳;孫悅;王帥
• 申請(qǐng)（專利權(quán)）人: 深圳點(diǎn)貓科技有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/04;H04N21/2187
• 代理公司: 廣東良馬律師事務(wù)所 44395
• 代理人: 張柯

本發(fā)明公開了一種對(duì)直播課中的面部表情進(jìn)行識(shí)別的方法、裝置及設(shè)備，該方法包括：獲取原始的面部表情的原始訓(xùn)練數(shù)據(jù)集，對(duì)所述原始訓(xùn)練數(shù)據(jù)集進(jìn)行ROI處理，生成目標(biāo)訓(xùn)練數(shù)據(jù)集；構(gòu)建基于跨層連接卷積神經(jīng)網(wǎng)絡(luò)的初始面部表情識(shí)別模型，根據(jù)目標(biāo)訓(xùn)練數(shù)據(jù)集對(duì)初始面部表情識(shí)別模型進(jìn)行訓(xùn)練，生成目標(biāo)面部表情識(shí)別模型；獲取待識(shí)別的面部圖像，將待識(shí)別的圖像輸入所述目標(biāo)面部表情識(shí)別模型，生成面部表情識(shí)別結(jié)果。本發(fā)明實(shí)施例通過在圖像處理過程中采用了ROI處理，增加了訓(xùn)練數(shù)據(jù)集，不僅提高了人臉表情識(shí)別的準(zhǔn)確率，還加強(qiáng)了訓(xùn)練模型的魯棒性。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，尤其涉及一種對(duì)直播課中的面部表情進(jìn)行識(shí)別的方法、裝置及設(shè)備。

背景技術(shù)

隨著人工智能行業(yè)的興起，基于深度學(xué)習(xí)的面部表情識(shí)別技術(shù)越來(lái)越受大家的關(guān)注，特別在網(wǎng)絡(luò)直播課中，通過分析直播視頻中學(xué)生的面部表情，可以得到當(dāng)前學(xué)生的聽課狀態(tài)如何，從而更有利于老師管理和教學(xué)。當(dāng)前的面部表情識(shí)別方法中主要存在兩個(gè)問題：雖然目前人臉表情數(shù)據(jù)集很多且各式各樣，但是由于大部分?jǐn)?shù)據(jù)集的表情都是從某特定角度由攝像機(jī)拍攝下來(lái)的，并且表情圖像的數(shù)量也不多，因此訓(xùn)練出來(lái)的模型存在著一定的不確定性，對(duì)隨機(jī)的新數(shù)據(jù)泛化能力較弱，魯棒性很低；傳統(tǒng)LeNet-5卷積神經(jīng)網(wǎng)絡(luò)是進(jìn)行手寫數(shù)字識(shí)別的，在進(jìn)行特征提取的時(shí)候，沒有考慮到低層次的細(xì)節(jié)特征，這樣，如果網(wǎng)絡(luò)越來(lái)越深，容易出現(xiàn)梯度消失或爆炸問題。因此，現(xiàn)有技術(shù)的網(wǎng)絡(luò)直播課中面部表情識(shí)別模型的魯棒性差，識(shí)別準(zhǔn)確率較低。

因此，現(xiàn)有技術(shù)還有待于改進(jìn)和發(fā)展。

發(fā)明內(nèi)容

鑒于上述現(xiàn)有技術(shù)的不足，本發(fā)明的目的在于提供一種對(duì)直播課中的面部表情進(jìn)行識(shí)別的方法、裝置及設(shè)備，旨在解決現(xiàn)有技術(shù)中的網(wǎng)絡(luò)直播課中面部表情識(shí)別模型的魯棒性差，識(shí)別準(zhǔn)確率較低的技術(shù)問題。

本發(fā)明的技術(shù)方案如下：

一種對(duì)直播課中的面部表情進(jìn)行識(shí)別的方法，所述方法包括：

獲取原始的面部表情的原始訓(xùn)練數(shù)據(jù)集，對(duì)所述原始訓(xùn)練數(shù)據(jù)集進(jìn)行ROI處理，生成目標(biāo)訓(xùn)練數(shù)據(jù)集；

構(gòu)建基于跨層連接卷積神經(jīng)網(wǎng)絡(luò)的初始面部表情識(shí)別模型，根據(jù)目標(biāo)訓(xùn)練數(shù)據(jù)集對(duì)初始面部表情識(shí)別模型進(jìn)行訓(xùn)練，生成目標(biāo)面部表情識(shí)別模型；

獲取待識(shí)別的面部圖像，將待識(shí)別的圖像輸入所述目標(biāo)面部表情識(shí)別模型，生成面部表情識(shí)別結(jié)果。

進(jìn)一步地，所述獲取原始的面部表情的原始訓(xùn)練數(shù)據(jù)集，對(duì)所述原始訓(xùn)練數(shù)據(jù)集進(jìn)行ROI處理，生成目標(biāo)訓(xùn)練數(shù)據(jù)集前，包括：

通過攝像機(jī)獲取直播課中的學(xué)生圖像，對(duì)學(xué)生圖像進(jìn)行人臉識(shí)別，生成待識(shí)別的面部圖像。

進(jìn)一步優(yōu)選地，所述對(duì)學(xué)生圖像進(jìn)行人臉識(shí)別，生成待識(shí)別的面部圖像，包括:

對(duì)學(xué)生圖像通過人臉識(shí)別算法進(jìn)行識(shí)別，根據(jù)識(shí)別的結(jié)果生成包含有眼睛、鼻子和嘴巴的待識(shí)別的面部圖像。

進(jìn)一步優(yōu)選地，所述獲取原始的面部表情的原始訓(xùn)練數(shù)據(jù)集，對(duì)所述原始訓(xùn)練數(shù)據(jù)集進(jìn)行ROI處理，生成目標(biāo)訓(xùn)練數(shù)據(jù)集，包括：

獲取原始的面部表情的原始訓(xùn)練數(shù)據(jù)集中的一幅初始圖像，對(duì)所述初始圖像進(jìn)行四等分處理，將等分后的四幅圖像進(jìn)行縮放，縮放后的四幅圖像與所述初始圖像的尺寸一致，生成四幅等分圖像；

將初始圖像分別進(jìn)行上半部遮擋和下半部遮擋處理后，生成兩幅遮擋圖像；

將初始圖像進(jìn)行鏡像處理，生成一幅鏡像圖像；

將初始圖像進(jìn)行中心聚焦并縮放，生成一幅聚焦圖像；

根據(jù)所述初始圖像、所述等分圖像、所述鏡像圖像、所述聚集圖像生成初始圖像對(duì)應(yīng)的擴(kuò)展訓(xùn)練數(shù)據(jù)集；