[發(fā)明專利]一種基于人臉識別的在線學(xué)習(xí)專注度評價方法及裝置

有效

• 申請?zhí)枺?/td>: 202110368642.7
• 申請日: 2021-04-06
• 公開（公告）號: CN113139439B
• 公開（公告）日: 2022-06-10
• 發(fā)明（設(shè)計）人: 朱靜;王茹皓;杜曉楠;牛子晗;李楚憲;尹邦政;趙宣博;林致遠(yuǎn);馬澤瀚;陳前予
• 申請（專利權(quán)）人: 廣州大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V10/82;G06T7/168;G06T5/40;G06N3/04;G06Q50/20
• 代理公司: 廣州市華學(xué)知識產(chǎn)權(quán)代理有限公司 44245
• 代理人: 鐘瑞敏

1.一種基于人臉識別的在線學(xué)習(xí)專注度評價方法，其特征在于，包括如下步驟：

S1、通過在線學(xué)習(xí)學(xué)習(xí)者的電腦攝像頭獲取視頻圖像；

S2、利用級聯(lián)分類器檢測視頻圖像中是否包括人臉信息，若視頻圖像中不存在人臉信息，則返回步驟S2；若視頻圖像中存在人臉信息，則將視頻圖像中的人臉部分截取出來，生成在線學(xué)習(xí)的學(xué)習(xí)者的人臉圖像；

S3、提取人臉圖像中的人臉頭像，將人臉頭像的尺寸歸一化為1*1的圖像，并對歸一化后的圖像進(jìn)行直方圖均衡化處理，得到特征圖像；

S4、創(chuàng)建專注度評價模型，通過步驟S1～S3獲取學(xué)習(xí)者在線學(xué)習(xí)過程中的特征圖像，并將特征圖像導(dǎo)入專注度評價模型，由專注度評價模型對學(xué)習(xí)者整個在線學(xué)習(xí)過程的專注度進(jìn)行檢測，得到專注度分值的平均值；獲得學(xué)習(xí)者在完成在線學(xué)習(xí)之后自評分的專注度自評結(jié)果，將專注度分值的平均值與專注度自評結(jié)果進(jìn)行比較，在兩者差值超過預(yù)設(shè)精度范圍的情況下迭代專注度評價模型，直至差值達(dá)到預(yù)設(shè)精度范圍；

S5、當(dāng)學(xué)習(xí)者正在在線學(xué)習(xí)時，通過步驟S1～S3實(shí)時獲取學(xué)習(xí)者的特征圖像，將特征圖像導(dǎo)入到完成迭代的專注度評價模型，完成迭代的專注度評價模型實(shí)時輸出學(xué)習(xí)者的專注度分值。

2.根據(jù)權(quán)利要求1所述的在線學(xué)習(xí)專注度評價方法，其特征在于，將某一時刻下的特征圖像導(dǎo)入專注度評價模型，由專注度評價模型檢測專注度的過程如下：

(1)提取喚醒度識別特征值：從特征圖像提取出人臉頭像的長度參數(shù)、嘴巴開合程度、眼睛睜開程度以及頻率，以及計算長度參數(shù)和人臉圖像的原始長度參數(shù)的百分比；

(2)對喚醒度識別特征值進(jìn)行數(shù)據(jù)歸一化處理；

(3)將歸一化后的喚醒度識別特征值輸入到專注度評價模型，由該模型計算出學(xué)習(xí)者在對應(yīng)時刻下的專注度分值；

最終整個在線學(xué)習(xí)過程中的專注度分值繪制成以時間為軸線的專注度變化趨勢圖進(jìn)行呈現(xiàn)。

3.根據(jù)權(quán)利要求1所述的在線學(xué)習(xí)專注度評價方法，其特征在于，專注度評價模型為多任務(wù)卷積神經(jīng)網(wǎng)絡(luò)。

4.根據(jù)權(quán)利要求1所述的在線學(xué)習(xí)專注度評價方法，其特征在于，在步驟S4中，獲取專注度自評結(jié)果，具體為：根據(jù)學(xué)習(xí)者填寫的自我評價表中的情感效價、情感喚醒度數(shù)據(jù)，建立Arousal-Valence情感模型；

其中，模型的橫坐標(biāo)為Valence，即情感效價的打分值，打分值從1到5依次代表情緒從惡心、不適、平靜、愉悅到興奮；模型的縱坐標(biāo)為Arousal，即情感強(qiáng)度大小的打分值，打分值從1到5依次代表情緒從平靜、起伏、波瀾、強(qiáng)烈到劇烈。

5.根據(jù)權(quán)利要求1所述的在線學(xué)習(xí)專注度評價方法，其特征在于，在步驟S1中，提取的視頻圖像為灰度模式下8位顏色深度的視頻圖像。

6.根據(jù)權(quán)利要求1所述的在線學(xué)習(xí)專注度評價方法，其特征在于，將攝像頭所拍攝的視頻流中的幀如數(shù)提取，構(gòu)成向量，然后判斷圖像是否有出現(xiàn)失真現(xiàn)象，若所有圖像均沒有出現(xiàn)失真現(xiàn)象，則：

(1)當(dāng)所有圖像相似度達(dá)到第一閾值以上時，以第1幀開始，以固定的幀數(shù)間隔提取出若干幀圖像作為視頻圖像；

(2)當(dāng)其中部分圖像相似度達(dá)到第二閾值以上時，則針對這一部分，僅提取其中一幀圖像作為視頻圖像；針對相似度低于第二閾值的剩余部分，提取全部圖像作為視頻圖像；其中，第二閾值小于第一閾值；

若某一秒的圖像出現(xiàn)失真現(xiàn)象，則對每幀圖像進(jìn)行輪廓提取并將輪廓邊上和輪廓內(nèi)的像素點(diǎn)進(jìn)行自適應(yīng)動態(tài)加權(quán)平均，以平均權(quán)值后的圖像作為視頻圖像。

7.根據(jù)權(quán)利要求1所述的在線學(xué)習(xí)專注度評價方法，其特征在于，在步驟S3中，先利用二維離散快速傅里葉變換將人臉圖像從空間域變換到頻率域，再提取出人臉頭像；直方圖均衡化處理具體是采用各向異性平滑處理。