[發明專利]一種基于線下課堂監控的出勤率檢測方法及系統

在審

• 申請號: 202210068367.1
• 申請日: 2022-01-20
• 公開（公告）號: CN114445862A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: 彭蘇婷;于丹;肖鵬;王艷秋;張彤
• 申請（專利權）人: 大連東軟教育科技集團有限公司
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V20/52;G06K9/62;G06V10/774;G06V10/82;G06T7/00;G06N3/04;G06N3/08;G06Q10/06;G06Q50/20
• 代理公司: 大連東方專利代理有限責任公司 21212
• 代理人: 姜玉蓉;李洪福

本發明公開了一種基于線下課堂監控的出勤率檢測方法及系統，其中方法包括訓練人頭人體聯合檢測網絡模型，采用加權聯合損失對模型的權重進行優化；獲取線下課堂監控視頻，間隔一定幀數抽取關鍵幀圖像；將關鍵幀圖像輸入至訓練好的人頭人體聯合檢測網絡模型中從而得到人頭候選框；采用后處理算法去除候選框中的重復框、背景框和不合理框，從而得到當前關鍵幀中包含的人數；將關鍵幀中檢測到的人數除以上課應到人數從而獲得此關鍵幀對應的出勤率。該方法可得到出勤人數，進而得到此關鍵幀對應的出勤率，這種檢測方法準確性、實時性、自動化程度高，可以幫助管理者快速了解課堂的出勤率實時分布情況。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種基于線下課堂監控的出勤率檢測方法及系統。

背景技術

線下課堂質量評估的指標有很多種類，例如包括出勤率、抬頭率、前排就坐率、異常行為檢測等，其中，出勤率是非常重要的一項指標，出勤率的高低在某種程度上代表著學生對課堂的積極性、感興趣程度，同時也可以作為評價教師水平的重要參考指數。目前，常用的出勤率統計方法有很多，但都存在著一定的弊端，例如，線下點名會占用上課時間，人臉考勤機、指紋打卡機等需要額外預算購入設備，微信小程序打卡可能存在代簽到、拍照遠程簽到的情況。這些統計一般僅在課前進行，當上課期間學生早退則無法檢測出來，不能動態、實時地獲得出勤率情況。現有技術中提出了基于活體識別、圖像分析的出勤率檢測方法，這些方法雖然能夠對課堂視頻進行自動化統計，但需要設置手動提取特征、多個區域檢測等前置模塊進行串聯，前置模塊的準確性對后續檢測影響很大，使得方法復雜，無法保證檢測效率。

發明內容

根據現有技術存在的問題，本發明公開了一種基于線下課堂監控的出勤率檢測方法，具體包括如下步驟：

訓練人頭人體聯合檢測網絡模型，采用加權聯合損失對模型的權重進行優化；

獲取線下課堂監控視頻，間隔一定幀數抽取關鍵幀圖像；

將關鍵幀圖像輸入至訓練好的人頭人體聯合檢測網絡模型中從而得到人頭候選框；

采用后處理算法去除候選框中的重復框、背景框和不合理框，從而得到當前關鍵幀中包含的人數；

將關鍵幀中檢測到的人數除以上課應到人數從而獲得此關鍵幀對應的出勤率。

進一步的，在訓練人頭人體聯合檢測網絡模型時：

根據人頭、人體上半身同時出現并成一定比例原理，根據每個人頭框自動成比例生成相應的人體框從而獲得帶有人頭框、人體框標注的數據集，并將該數據集按比例分為訓練集和驗證集；

建立人頭人體聯合檢測網絡模型，該模型包括骨干網絡和FPN模塊，其中骨干網絡用于提取不同分辨率下的特征響應圖，包括一系列連續的CPM模塊和CBL模塊，所述FPN模塊對特征響應圖進行上采樣和加和處理，

將訓練集輸入人頭人體聯合檢測網絡模型中，提取不同分辨率的特征信息并進行融合從而輸出人頭框、人體框的候選框坐標；

將人頭框、人體框的實際坐標與模型預測出的候選框進行對比獲得加權聯合損失，基于加權聯合損失對模型的權重進行優化。

進一步的，采用加權聯合損失對人頭人體聯合檢測網絡模型的權重進行優化時，其中加權聯合損失表示為：

其中，i代表第i個框，m的取值為0，1，分別代表人頭、人體，p為候選框的類別概率，t為候選框的坐標信息；

人頭、人體的損失計算公式如下：

其中，L_c是分類的對數損失，L_r是坐標的均方誤差，p*，t*分別表示真實標簽的類別概率、坐標信息，λ_m、α_m分別表示對應的權重。