[發明專利]一種基于深度學習的課堂信息化評價及管理的系統及方法

有效

• 申請號: 202010074080.0
• 申請日: 2020-01-22
• 公開（公告）號: CN111275345B
• 公開（公告）日: 2023-08-08
• 發明（設計）人: 何偉;金小淞;林英撐;劉平凈;梁松紅;伍名美;劉永兵
• 申請（專利權）人: 重慶大學
• 主分類號: G06Q10/0639
• 分類號: G06Q10/0639;G06Q50/20;G06V40/16;G06V40/20
• 代理公司: 成都行之專利代理有限公司 51220
• 代理人: 張超

1.一種基于深度學習的課堂信息化評價及管理的方法，其特征在于，當教室為第一次使用時，將所述教室的座位分為多個區域，采集每個區域的坐標數據并存儲到云臺；

加載課程信息，并與當地時間進行同步，當到達課程開始時間時，控制系統自動啟動；

當系統啟動后，對云臺進行控制，并調節攝像頭的角度到可以拍攝到講臺；

對采集的講臺數據進行判斷，當判斷結果為有人時，開始進行考勤操作；

當開始進行考勤操作時，進行所述攝像頭焦距的調節；

分別對劃分的采集區域的靜態圖像進行采集，并將采集的靜態圖像進行傳輸；

使用人臉檢測算法對接收到的靜態圖像中的人臉進行框選，得到所有人臉圖像并進行保存和傳輸；

對所有人臉圖像進行人臉識別考勤得到考勤結果，并調整所述攝像頭的角度至可以采集到教室里的所有學生；

對所有學生進行實時圖像采集，并將采集的實時圖像進行傳輸；

對接收到的實時圖像進行抬頭率識別、表情識別和動作識別，并將識別結果和識別時間以文本形式進行保存以及傳輸；

分析考勤結果、識別結果和識別時間文檔得到課堂質量評定結果的不同指標得分，并根據不同指標得分進行加權平均得出最終的課堂質量評定結果；

其中，課堂質量評定結果的計算過程包括：

課堂評價結果的滿分為Y，出勤率、抬頭率、笑臉率和課堂環節豐富度的權值分別為W1、W2、W3、W4，其中

W1+W2+W3+W4＝1；

記出勤率為A，則出勤率得分

SA＝A×Y×W1；

記抬頭率為H，抬頭率得分為SH，笑臉率為X，笑臉率得分為SX；

抬頭率得分SH的計算如下：

45分鐘課堂中取后40分鐘的每30秒為一個時間點，第i個時間點抬頭率記為Hi，該時間點抬頭率得分

SHi＝Hi×W2×Y/80，

則抬頭率得分

笑臉率得分SX的計算如下：

45分鐘課堂中取后40分鐘，當課堂上第i次識別出笑臉率大于或等于三分之一時開始計時，當笑臉率小于三分之一時停止計時，并將該段時間記為ti；

取持續時間最大值為5分鐘，記笑容時間段總數為n，則笑臉率得分

當時取最大值5；

記課堂環節豐富程度得分為ST，記教師講課、師生互動、課堂作業的分值分別為s1、s2、s3，師生互動中的學生自主回答問題和老師點名回答問題的分值分別為f1和f2，則課堂環節豐富程度得分

ST＝(s1+s2×max(f1，f2)+s3)×Y×W4；

當堂課程結束后，完成上述指標計算，則課堂總體質量評價結果

S＝SA+SH+SX+ST。

2.根據權利要求1所述的一種基于深度學習的課堂信息化評價及管理的方法，其特征在于，當接收到所有人臉圖像后，加載人臉識別網絡模型，將所有人臉圖像與保存的正面人臉照片進行比對識別，將識別后的學生姓名和識別時的時間以文檔形式進行保存；

將文檔中的學生姓名和存儲的學生信息進行匹配，得到考勤結果并進行保存；

將考勤結果中的學生信息與存儲的選擇課程的學生信息進行對比，得到缺勤結果；

將識別的人數和記錄的課程人數進行對比，得出當堂課程的出勤率指標，并根據課堂總分數得到出勤率得分。

3.根據權利要求1所述的一種基于深度學習的課堂信息化評價及管理的方法，其特征在于，當接收到實時圖像后，加載抬頭識別網絡模型、表情識別網絡模型和動作識別網絡模型；

對實時圖像每30秒等間隔取一幀進行抬頭率識別、表情識別和動作識別，得到識別結果和識別時間，并以文本形式保存和傳輸。

4.根據權利要求1所述的一種基于深度學習的課堂信息化評價及管理的方法，其特征在于，分析接收到的識別結果和識別時間文檔；

通過每30秒識別到的抬頭人數與總人數的比值得到每30秒的抬頭率，將課程后40分鐘內的每30秒抬頭率進行平均值計算，得到當堂課程的抬頭率得分；

通過每30秒識別到的笑臉人數與總人數的比值得到每30秒的笑臉率，當笑臉率大于或等于三分之一時開始計時，當笑臉率小于三分之一時停止計時，統計時段數，進行計算得到當堂課程的笑臉率得分。