[發(fā)明專利]一種弱光環(huán)境下的人臉表情捕捉方法及裝置

在審

• 申請?zhí)枺?/td>: 202210142311.6
• 申請日: 2022-02-16
• 公開（公告）號: CN114519883A
• 公開（公告）日: 2022-05-20
• 發(fā)明（設(shè)計(jì)）人: 張峰;趙瑞瑋;馮瑞
• 申請（專利權(quán)）人: 復(fù)旦大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V20/40;G06V10/764;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 上海德昭知識產(chǎn)權(quán)代理有限公司 31204
• 代理人: 程宗德

1.一種弱光環(huán)境下的人臉表情捕捉方法，用于對影院內(nèi)的觀眾進(jìn)行人臉定位并識別人臉表情，其特征在于，包括以下步驟：

步驟S1，獲取待測影院內(nèi)的俯視角度的視頻流；

步驟S2，基于影院座椅定位模型對所述視頻流中每隔設(shè)定幀進(jìn)行檢測，得到所述待測影院內(nèi)所有座椅最新位置的標(biāo)注框；

步驟S3，使用表情識別分類模型對所有所述標(biāo)注框進(jìn)行人臉定位和表情識別，從而得到所述待測影院內(nèi)的觀眾的人臉表情類別，

其中，所述影院座椅定位模型以ResNet50和FPN結(jié)合的網(wǎng)絡(luò)作為Backbone，并加入CBAM模塊以構(gòu)建影院座椅定位初始網(wǎng)絡(luò)并對該初始網(wǎng)絡(luò)進(jìn)行訓(xùn)練得到，

所述表情識別分類模型基于構(gòu)建并訓(xùn)練改進(jìn)VGGNet和改進(jìn)FocalLoss結(jié)合的人臉表情識別算法得到。

2.根據(jù)權(quán)利要求1所述的一種弱光環(huán)境下的人臉表情捕捉方法，其特征在于：

其中，所述影院座椅定位模型通過以下訓(xùn)練步驟得到：

步驟S2-1，采集影院內(nèi)俯視角的視頻流，并從視頻流中截取若干幀圖像；

步驟S2-2，對所有所述幀圖像打上座椅或無座椅標(biāo)簽，利用打好標(biāo)簽的幀圖像構(gòu)建第一數(shù)據(jù)集，并將所述第一數(shù)據(jù)集分為第一訓(xùn)練集、第一驗(yàn)證集與第一測試集；

步驟S2-3，利用所述第一訓(xùn)練集訓(xùn)練所述影院座椅定位初始網(wǎng)絡(luò)以進(jìn)行優(yōu)化迭代；

步驟S2-4，在每次迭代后，根據(jù)所述初始網(wǎng)絡(luò)最后一層的模型參數(shù)計(jì)算損失誤差；

步驟S2-5，利用所述損失誤差反向傳播，采用隨機(jī)梯度下降法和最小化損失函數(shù)進(jìn)行模型參數(shù)的優(yōu)化；

步驟S2-6，重復(fù)所述步驟S2-3至所述步驟S2-5直至達(dá)到預(yù)定條件，從而得到所述影院座椅定位模型。

3.根據(jù)權(quán)利要求2所述的一種弱光環(huán)境下的人臉表情捕捉方法，其特征在于：

其中，所述表情識別分類模型通過以下步驟得到：

步驟S3-1，利用所述影院座椅定位模型對所有所述幀圖像進(jìn)行座椅定位得到有座椅的幀圖像；

步驟S3-2，對所述有座椅的幀圖像中有人坐的區(qū)域打上人臉表情標(biāo)簽，將打好人臉表情標(biāo)簽的幀圖像作為第二數(shù)據(jù)集，并將所述第二數(shù)據(jù)集分為第二訓(xùn)練集、第二驗(yàn)證集與第二測試集；

步驟S3-3，利用所述第二訓(xùn)練集中訓(xùn)練所述人臉表情識別算法以進(jìn)行優(yōu)化迭代；

步驟S3-4，在每次迭代后，根據(jù)所述人臉表情識別算法的最后一層結(jié)構(gòu)的參數(shù)計(jì)算損失誤差；

步驟S3-5，利用所述損失誤差反向傳播，采用隨機(jī)梯度下降法和最小化損失函數(shù)進(jìn)行參數(shù)優(yōu)化；

步驟S3-6，重復(fù)所述步驟S3-3至所述步驟S3-5直至達(dá)到預(yù)定條件，從而得到所述表情識別分類模型。

4.根據(jù)權(quán)利要求1所述的一種弱光環(huán)境下的人臉表情捕捉方法，其特征在于：

其中，所述ResNet50包括4個(gè)殘差模塊，每個(gè)所述殘差模塊至少由卷積運(yùn)算Conv、線性整流函數(shù)ReLU和批歸一化BN依次組成，負(fù)責(zé)特征提取，

所述CBAM模塊包括SAM子模塊和CAM子模塊，

所述CAM子模塊由MaxPool池化層、AvgPool池化層、共享權(quán)重的MLP、加和操作以及sigmoid激活函數(shù)組成，

所述SAM子模塊由兩個(gè)基于channel的全局的最大池化和全局的平均池化、一個(gè)7x7的卷積以及sigmoid激活函數(shù)組成，

所述SAM模塊將所述CAM子模塊的輸出作為輸入，輸出一個(gè)空間的attention矩陣，并將該attention矩陣和原始特征做乘法得到最終生成的特征。

5.根據(jù)權(quán)利要求1所述的一種弱光環(huán)境下的人臉表情捕捉方法，其特征在于：

其中，所述改進(jìn)VGGNet通過對VGGNet在遷移學(xué)習(xí)的基礎(chǔ)上增加輸出模塊的改進(jìn)方式得到，

所述改進(jìn)Focal Loss通過對Focal Loss設(shè)置概率閾值的改進(jìn)方式得到。

6.一種弱光環(huán)境下的人臉表情捕捉裝置，用于對影院內(nèi)的觀眾進(jìn)行人臉定位并識別人臉表情，其特征在于，包括：

視頻流獲取部、影院座椅定位部以及表情識別分類部，

其中，所述視頻流獲取部用于獲取待測影院內(nèi)的俯視角度的視頻流，

所述影院座椅定位部對所述視頻流進(jìn)行檢測獲取所述待測影院內(nèi)具有座椅的位置標(biāo)注框，

所述表情識別分類部對所述位置標(biāo)注框進(jìn)行人臉定位和表情識別得到所述待測影院內(nèi)的觀眾的人臉表情類別。