[發(fā)明專利]一種用于課堂環(huán)境下的學生面部表情識別方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202011363139.4
• 申請日: 2020-11-27
• 公開（公告）號: CN112528777A
• 公開（公告）日: 2021-03-19
• 發(fā)明（設(shè)計）人: 王天昊
• 申請（專利權(quán)）人: 富盛科技股份有限公司
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 北京維正專利代理有限公司 11508
• 代理人: 侯巍巍

本申請涉及一種用于課堂環(huán)境下的學生面部表情識別方法及系統(tǒng)，涉及表情識別技術(shù)領(lǐng)域。所述方法包括：獲取學生面部圖像，將學生面部圖像進行表情分類放入相應(yīng)地表情庫；對學生面部圖像進行人臉識別得到人臉識別圖像；對人臉識別圖像進行特征點標定，根據(jù)特征點計算相應(yīng)地特征值，得到人臉圖像數(shù)據(jù)集；根據(jù)人臉圖像數(shù)據(jù)集對SVM訓(xùn)練模型進行訓(xùn)練，得到表情識別模型；獲取課堂環(huán)境下學生面部圖像，對課堂環(huán)境下學生面部圖像進行人臉識別、特征點標定、特征值計算；基于表情識別模型，對課堂環(huán)境下學生面部圖像進行表情類別判定。由此可以分析出學生上課的聽講狀態(tài)以及理解能力，也可從學生上課質(zhì)量反映出教師的教學水平。

技術(shù)領(lǐng)域

本申請涉及表情識別技術(shù)領(lǐng)域，具體說是一種用于課堂環(huán)境下的學生面部表情識別方法及系統(tǒng)。

背景技術(shù)

隨著計算機視覺技術(shù)的快速發(fā)展，課堂環(huán)境下學生的面部表情識別也逐漸受到關(guān)注。表情識別是指從給定的靜態(tài)圖像或動態(tài)視頻序列中分離出特定的表情狀態(tài)，從而確定被識別對象的聽講狀態(tài)。課堂環(huán)境中的學生表情識別，是教師與家長了解學生上課狀態(tài)及過程最客觀的方式。對于教師來說，在上課時隨時關(guān)注學生的反應(yīng)，再好的老師也不可能顧及到每一個學生。尤其是那些中等生，就更難引起老師的注意，這對他們的發(fā)展無疑是非常不利的。而通過計算機了解學生上課時的狀態(tài)可以使教師了解到每一位學生的上課過程，使教師可以更有針對性的，更高效的將知識傳授給每一個學生。對于家長來說，了解自己孩子的學習只能從考試成績和與老師的交流中得知，從某種程度上來說這是非常不客觀的，也是不具體的。

面部表情識別不僅可以知道學生對不同知識的理解程度，更可以發(fā)現(xiàn)學生對不同知識的感興趣程度。若碰到學生感興趣的科目，學生會體現(xiàn)出興奮、積極的面部狀態(tài)，如微笑等，若是學生難于理解或者不喜歡的科目，面部則會表現(xiàn)出消極的表情，如皺眉等。從而更客觀的發(fā)現(xiàn)學生的長處、短處，以及興趣點和天賦。但是針對學習表情的識別相較于基本表情有一定的難度，主要原因在于學習過程中產(chǎn)生的表情大多比較細微，區(qū)分度小。

發(fā)明內(nèi)容

為了便于識別課堂環(huán)境下學生的面部表情，本申請?zhí)峁┝艘环N用于課堂環(huán)境下的學生面部表情識別方法及系統(tǒng)。

第一方面，本申請?zhí)峁┑囊环N用于課堂環(huán)境下的學生面部表情識別方法，采用如下的技術(shù)方案：

一種用于課堂環(huán)境下的學生面部表情識別方法，包括：

獲取學生面部圖像，按照表情類別建立若干表情庫，將獲取的學生面部圖像進行表情分類，放入相應(yīng)地表情庫；

對所述表情庫中的學生面部圖像進行人臉識別，得到人臉識別圖像；

對所述人臉識別圖像進行特征點標定，根據(jù)標定的特征點計算相應(yīng)地特征值，將所述特征點和特征值存放在相應(yīng)表情庫中，得到人臉圖像數(shù)據(jù)集；

建立SVM訓(xùn)練模型，根據(jù)所述人臉圖像數(shù)據(jù)集對所述SVM訓(xùn)練模型進行訓(xùn)練，得到表情識別模型；

獲取課堂環(huán)境下的學生面部圖像，對所述課堂環(huán)境下的學生面部圖像進行人臉識別，并進行特征點標定，并根據(jù)特征點計算特征值；

基于所述表情識別模型，對課堂環(huán)境下的學生面部圖像的特征值進行表情類別判定。

通過采用上述技術(shù)方案，首先對每個學生拍攝多張圖像，進行表情分類、人臉識別、特征點標定，得到人臉圖像數(shù)據(jù)集。通過人臉圖像數(shù)據(jù)集對SVM訓(xùn)練模型進行訓(xùn)練，得到表情識別模型。拍攝課堂環(huán)境中的學生面部圖像，對該圖像進行分析，根據(jù)表情識別模型對學生表情進行判斷，由此可以分析出學生上課的聽講狀態(tài)以及理解能力。此外，也可從學生上課質(zhì)量反映出教師的教學水平。

可選的，在對所述學生面部圖像進行人臉識別步驟之前，對所有表情庫中的學生面部圖像進行像素歸一化處理。

通過采用上述技術(shù)方案，對學生面部圖像的像素進行歸一化，使得學生面部圖像的每個像素值都是在0到1之間，有助于后續(xù)在進行人臉識別時更加方便。

可選的，采用MB-LBP特征算法對所述學生面部圖像進行人臉識別，具體識別過程包括：