[發(fā)明專利]一種實(shí)時(shí)表情分析方法及其裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 201911393468.0
• 申請(qǐng)日: 2019-12-30
• 公開（公告）號(hào): CN111178263B
• 公開（公告）日: 2023-09-05
• 發(fā)明（設(shè)計(jì)）人: 海克洪;王迎曙
• 申請(qǐng)（專利權(quán)）人: 武漢美和易思數(shù)字科技有限公司
• 主分類號(hào): G06V40/16
• 分類號(hào): G06V40/16;G06V20/52;G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06Q50/20
• 代理公司: 武漢紅觀專利代理事務(wù)所(普通合伙) 42247
• 代理人: 陳凱

1.一種實(shí)時(shí)表情分析方法，其特征在于：包括以下步驟：

S1、建立用于存儲(chǔ)人臉圖像的人臉數(shù)據(jù)庫，構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)，由卷積神經(jīng)網(wǎng)絡(luò)對(duì)人臉數(shù)據(jù)庫中的人臉圖像數(shù)據(jù)進(jìn)行訓(xùn)練獲得表情識(shí)別模型；

所述S1中的卷積神經(jīng)網(wǎng)絡(luò)包含5個(gè)卷積層和3個(gè)全連接層；

第一卷積層對(duì)輸入的圖像做過濾處理，第二卷積層的輸入連接到第一卷積層的輸出，其對(duì)第一卷積層輸出的圖像做過濾處理；第三卷積層的輸入連接到第二卷積層的輸出，其對(duì)第二卷積層的輸出做卷積處理；第四卷積層的輸入連接到第三卷積層的輸出，其對(duì)第三卷積層的輸出做卷積處理；第五卷積層的輸入連接到第四卷積層的輸出，其對(duì)第四卷積層的輸出做卷積處理；第一全連接層連接到第五卷積層的輸出，第二全連接層將第一全連接層的輸出作為輸入，第三全連接層將第二全連接層的輸出作為輸入；

所述第一卷積層具有96個(gè)大小為11×11的內(nèi)核，第二卷積層具有128個(gè)5×5×48的內(nèi)核，第三卷積層具有192個(gè)大小為?3×3×128的內(nèi)核，第四卷積層具有?192?個(gè)大小為?3×3×192?的內(nèi)核，第五卷積層具有?128?個(gè)大小為?3×3×192的內(nèi)核，3個(gè)全連接層均具有1024個(gè)神經(jīng)元；

增加訓(xùn)練圖像的數(shù)量，提高由卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練獲取到的表情識(shí)別模型的檢測精度，將訓(xùn)練圖像進(jìn)行灰度處理得到灰色訓(xùn)練圖像，將灰色訓(xùn)練圖像以角度旋轉(zhuǎn)-15°、-10°、-5°、+?5°、+?10°和+?15°，以及水平翻轉(zhuǎn)，獲得14張圖像，通過該方法增加人臉數(shù)據(jù)庫存儲(chǔ)圖像的數(shù)量，并使用該數(shù)據(jù)庫的訓(xùn)練改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)；

S2、使用OpenCV檢測人臉，將檢測到的人臉特征圖像放入表情識(shí)別模型中，表情識(shí)別模型根據(jù)人臉特征圖像內(nèi)容給出每種表情的概率，選擇概率最大的表情為結(jié)果表情，將該結(jié)果表情與時(shí)間標(biāo)簽關(guān)聯(lián)；

S3、構(gòu)建結(jié)果表情與學(xué)情的映射關(guān)系；

所述S3中表情與學(xué)情的映射關(guān)系為：將學(xué)生對(duì)當(dāng)前講解接收程度按照百分比劃分，當(dāng)表情為茫然，對(duì)應(yīng)的學(xué)情為學(xué)生對(duì)當(dāng)前講解的接收程度為10%；當(dāng)表情為疑惑，對(duì)應(yīng)的學(xué)情為學(xué)生對(duì)當(dāng)前講解的接收程度為50%；當(dāng)表情為嚴(yán)肅，對(duì)應(yīng)的學(xué)情為學(xué)生對(duì)當(dāng)前講解的接收程度為70%；當(dāng)表情為淡然，對(duì)應(yīng)的學(xué)情為學(xué)生對(duì)當(dāng)前講解的接收程度為90%；對(duì)應(yīng)的學(xué)情喜悅，對(duì)應(yīng)的學(xué)情為學(xué)生對(duì)當(dāng)前講解的接收程度為100%；

S4、根據(jù)結(jié)果表情獲知學(xué)生的學(xué)情信息，分析各類結(jié)果表情的數(shù)量和總?cè)藬?shù)的關(guān)系，得出學(xué)生課堂整體學(xué)情情況；根據(jù)時(shí)間段內(nèi)，個(gè)體學(xué)生的結(jié)果表情種類和數(shù)量，分析個(gè)體學(xué)生的課堂學(xué)情情況；

其中，將個(gè)人實(shí)時(shí)表情與時(shí)間標(biāo)簽相關(guān)聯(lián)，建立時(shí)間與表情的坐標(biāo)圖。

2.如權(quán)利要求1所述的一種實(shí)時(shí)表情分析方法，其特征在于：所述S2中使用OpenCV?的Haar特征級(jí)聯(lián)分類器檢測和切割人臉，所述Haar特征級(jí)聯(lián)分類器返回圖片中的人臉位置信息，得到人臉位置信息后便可將圖片中所有人臉圖像提取出，并將提取出的人臉圖像轉(zhuǎn)換為通道灰度圖像。