[發明專利]一種多模態的學生課堂行為分析系統和方法

有效

• 申請號: 201711469436.5
• 申請日: 2017-12-29
• 公開（公告）號: CN108090857B
• 公開（公告）日: 2021-06-22
• 發明（設計）人: 姚澤平;路紅;周雅倩;李超鵬
• 申請（專利權）人: 復旦大學
• 主分類號: G06Q50/20
• 分類號: G06Q50/20;G09B5/14;G10L25/51
• 代理公司: 上海正旦專利代理有限公司 31200
• 代理人: 陸飛;王潔平

1.一種多模態的學生課堂行為分析系統，其特征在于，其包括學生注意力檢測模塊、教師授課內容檢測模塊、教師授課風格檢測模塊和相關性分析模塊；學生注意力檢測模塊檢測學生的專注率，教師授課內容檢測模塊檢測教師的授課內容，教師授課風格檢測模塊檢測教師的授課風格，相關性分析模塊分析學生注意力檢測模塊測得的學生的專注率和教師授課內容檢測模塊測得的教師的授課內容、以及教師授課風格檢測模塊測得的授課風格之間的聯系；其中：

學生注意力檢測模塊包括人臉檢測子模塊和學生視角檢測子模塊；所述人臉檢測子模塊，利用MTCNN算法得到初步人臉檢測結果后，依次經過顏色直方圖過濾和時間序列優化，得到最終的人臉檢測結果，用于學生視角檢測子模塊；所述學生視角檢測子模塊從人臉檢測子模塊得到的最終的檢測到的人臉提取特征點Landmark，利用迭代法求解PnP，得到人臉的朝向；

教師授課內容檢測模塊包括中文分詞子模塊和授課主題子模塊，所述中文分詞子模塊利用FudanNLP工具對教師授課內容對其進行中文分詞，授課主題子模塊對中文分詞子模塊中文分詞后結果利用LDA算法提取授課主題；

教師授課風格檢測模塊包括教師音量提取子模塊，教師聲音過零率提取子模塊和教師語速提取子模塊；教師音量提取子模塊在教師音頻中提取對應的音量特征，教師聲音過零率提取子模塊在教師授課音頻中提取相應的過零率特征，教師語速提取子模塊通過計算每分鐘教師所講的詞匯數量來計算；

相關性分析模塊用于教師授課風格和學生專注率的關系分析和教師授課內容和學生專注率的關系分析；通過計算皮爾森相關系數和斯皮爾曼相關系數分析教師授課音頻的音量、過零率、語速和學生專注率的關系，從而得到教師授課風格和學生專注率的關系；利用圖表的可視化得到授課內容和專注率的的分析結果。

2.一種利用根據權利要求1所述的分析系統的方法，其特征在于，具體步驟如下：

步驟一、檢測學生的專注率

(1)對于完整的教學視頻，進行每5幀選取一幀的采樣；

(2)對于每幀圖像，利用MTCNN算法檢測學生的人臉；

(3)對于檢測到的人臉，提取其顏色直方圖，與置信度高的人臉的顏色直方圖進行相關性比較，小于閾值則認定為非人臉，從而過濾掉非人臉的結果；

(4)利用時序信息對結果進行優化；

(5)利用得到的人臉計算得到對應的特征點Landmark；

(6)利用Levenberg-Marquardt算法優化PnP問題得到人臉的朝向；

(7)通過判斷人臉的朝向來判斷學生是否專注于課堂內容；

步驟二、檢測教師的授課內容

(1)對教師授課文本進行中文分詞，利用FudanNLP工具對中文文本分詞，得到授課文本的詞項；

(2)利用LDA算法提取教師授課文本中的課程主題；

步驟三、檢測教師的授課風格

(1)提取教師聲音的音量v，其計算公式如下所示：

其中s_i是指第i個采樣點，n是采樣頻率；

(2)提取教師聲音的過零率，即統計在采樣頻率內信號從正到負或從負到正變化的次數；

(3)提取教師的語速，即統計教師在每分鐘內說出單詞的個數；

步驟四、相關性分析

判斷學生的專注率與教師的授課內容及授課風格之間的聯系；

首先判斷學生專注率和教師授課風格之間的聯系，通過計算教師音量和學生專注率的皮爾森相關系數和斯皮爾曼相關系數，可以得到兩者的正負相關性，其具體過程如下：

①計算教師音量和學生專注率的皮爾森相關系數：

其中v_i表示的是第i時刻的音量，表示的是音量平均值，y_i表示的是第i時刻的專注率，表示的是專注率平均值，n表示的采樣頻率；

②計算教師音量和學生專注率的斯皮爾斯相關系數：

其中d_i＝v_i-y_i

用相同的方法計算教師授課音頻的過零率、語速和學生專注率的關系；

對于學生專注率和教師授課內容之間的聯系，通過圖表可視化分析每個時間段的知識點和相應的專注率的關系。