[發(fā)明專利]基于層次化卷積神經(jīng)網(wǎng)絡(luò)的用戶專注度識(shí)別方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201710447282.3
• 申請(qǐng)日: 2017-06-14
• 公開(kāi)（公告）號(hào): CN107194371B
• 公開(kāi)（公告）日: 2020-06-09
• 發(fā)明（設(shè)計(jì)）人: 黃飛;侯立民;鄧卉;李輝芳
• 申請(qǐng)（專利權(quán)）人: 易視騰科技股份有限公司
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62;G06N3/08
• 代理公司: 北京聯(lián)創(chuàng)佳為專利事務(wù)所(普通合伙) 11362
• 代理人: 郭防

1.一種基于層次化卷積神經(jīng)網(wǎng)絡(luò)的用戶專注度識(shí)別方法，其特征在于，包括如下步驟：

S110獲取人臉正面圖像；

S120根據(jù)所述人臉正面圖像，利用兩種均勻模式的局部二元模式算子計(jì)算所述人臉正面圖像對(duì)應(yīng)的特征編碼圖；

S130根據(jù)兩種均勻模式下的所述特征編碼圖和所述人臉正面圖像，采用GoogLeNet改進(jìn)分類器進(jìn)行分類處理獲取用戶情緒，根據(jù)所述情緒獲取用戶專注度；

其中，所述用戶情緒包括中性、大笑、微笑、露齒笑、生氣、憤怒，所述步驟S130中具體包括：

S131采用基于GoogLeNet改進(jìn)的分類器進(jìn)行分類處理獲取用戶情緒，并獲取對(duì)應(yīng)的特征向量組α₁和α₂，若判定所述用戶情緒為中性，則完成分類，并根據(jù)所述情緒輸出用戶專注度；

S132對(duì)所述人臉正面圖像進(jìn)行灰度變換生成人臉灰度正面圖像，將所述人臉灰度正面圖像和所述人臉正面拍攝圖像輸入到所述GoogLeNet改進(jìn)分類器進(jìn)行分類處理，獲取對(duì)應(yīng)特征向量組α₃；

S133根據(jù)特征向量組α₁、α₂和α₃，利用線性組合公式進(jìn)行融合獲取特征向量組α₄；

S134將特征向量組α₄輸入到基于AlexNet改進(jìn)的神經(jīng)網(wǎng)絡(luò)中，進(jìn)行識(shí)別處理，最終得到精分類結(jié)果，并依據(jù)精分類結(jié)果輸出用戶的專注度，所述精分類結(jié)果包括大笑、微笑、露齒笑、生氣、憤怒。

2.根據(jù)權(quán)利要求1所述的基于層次化卷積神經(jīng)網(wǎng)絡(luò)的用戶專注度識(shí)別方法，其特征在于，所述步驟S110包括

S111獲取人臉拍攝圖像；

S112根據(jù)通過(guò)回歸的方式建立的二維平面中人臉關(guān)鍵點(diǎn)與三維空間的人臉旋轉(zhuǎn)角度的關(guān)系判斷所述人臉拍攝圖像是否屬于正面拍攝，如判斷為是，將所述人臉拍攝圖像作為人臉正面拍攝圖像；

S113對(duì)所述人臉正面拍攝圖像進(jìn)行直方圖均衡化處理，將處理后獲取的圖像作為所述人臉正面圖像。

3.根據(jù)權(quán)利要求1所述的基于層次化卷積神經(jīng)網(wǎng)絡(luò)的用戶專注度識(shí)別方法，其特征在于，所述步驟S133中，利用α₄＝1/3*α₁+1/3*α₂+1/3*α₃，獲取特征向量組α₄。

4.根據(jù)權(quán)利要求1所述的基于層次化卷積神經(jīng)網(wǎng)絡(luò)的用戶專注度識(shí)別方法，其特征在于，所述步驟S120中采用的算子分別為，樣本點(diǎn)數(shù)為8,半徑分別為1和3的圓形LBP算子。

5.根據(jù)權(quán)利要求1～4任一所述的基于層次化卷積神經(jīng)網(wǎng)絡(luò)的用戶專注度識(shí)別方法，其特征在于，所述GoogLeNet改進(jìn)分類器的改進(jìn)點(diǎn)為：在GoogLeNet的基礎(chǔ)上加入了殘差層，將前一層網(wǎng)絡(luò)的輸出和中間網(wǎng)絡(luò)的輸出結(jié)果結(jié)合起來(lái)，作為后一層網(wǎng)絡(luò)的輸出；去除了冗余的網(wǎng)絡(luò)層。

6.根據(jù)權(quán)利要求1或3所述的基于層次化卷積神經(jīng)網(wǎng)絡(luò)的用戶專注度識(shí)別方法，其特征在于，所述基于AlexNet改進(jìn)的神經(jīng)網(wǎng)絡(luò)為，在Alexnet基礎(chǔ)上將第一層的大的卷積層改為3*3的小卷積，同時(shí)采用了batchnorm，對(duì)卷積層的kernel個(gè)數(shù)進(jìn)行了調(diào)整，最終的loss采用softmax和改進(jìn)的centerloss結(jié)合的方式。

7.根據(jù)權(quán)利要求1或3任一所述的基于層次化卷積神經(jīng)網(wǎng)絡(luò)的用戶專注度識(shí)別方法，其特征在于，根據(jù)所述情緒獲取用戶專注度的步驟包括，當(dāng)所述情緒為中性時(shí)，所述用戶專注度值在80％～100％之間；當(dāng)所述情緒為大笑、微笑、露齒笑時(shí)，所述用戶專注度值在60％～79％之間；當(dāng)所述情緒為生氣、憤怒時(shí)，所述用戶專注度值在0％～59％之間。