[發明專利]一種課堂異常行為監測方法、裝置、設備及存儲介質

在審

• 申請號: 202210615714.8
• 申請日: 2022-06-01
• 公開（公告）號: CN114882594A
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 陳龍;蔣海洋;王海暉;黃鑫;馬澎家;楊望宇;周耀勝
• 申請（專利權）人: 武漢工程大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/16;G06V20/40;G06V10/44;G06V10/764;G06V10/82;G06N3/04;G06N3/08;G06Q50/20
• 代理公司: 武漢智嘉聯合知識產權代理事務所(普通合伙) 42231
• 代理人: 張璐

本發明涉及一種課堂異常行為監測方法、裝置、設備及存儲介質，該方法包括：獲取訓練完備的目標課堂異常行為監測模型，所述目標課堂異常行為監測模型包括特征提取模塊和異常檢測模塊；獲取待監測課堂圖片數據；基于所述特征提取模塊，根據所述待監測課堂圖片數據，提取學生的課堂特征圖片數據；基于所述異常檢測模塊，根據所述課堂特征圖片數據，確定課堂是否出現異常行為。本發明提供的一種課堂異常行為監測方法、裝置、設備及存儲介質，通過特征提取模塊從待監測課堂圖片數據中提取出學生課堂上的特征圖片，再通過異常檢測模塊對特征圖片進行監測，判斷課堂是否出現異常行為，識別類型多、范圍廣、準確性高。

技術領域

本發明涉及課堂監測技術領域，尤其涉及一種課堂異常行為監測方法、裝置、設備及存儲介質。

背景技術

隨著信息化教育的普及，借助人工智能技術檢測課堂行為，以供分析學生課堂參與程度，有利于進行教學評估，提升教學質量，基于目標檢測的行為檢測是人工智能技術的一項重要應用。

現有技術主要有基于傳統機器學習和基于深度學習兩類。基于傳統機器學習的方法在檢測課堂舉手行為時，需要利用設計好的特征模板提取舉手特征；基于深度學習的方法被用于進行課堂教學評估，這類方法通常通過部署在教室中的監控攝像頭獲取視頻數據，之后通過表情識別、動作識別等方式對學生的聽課狀態進行分析，判斷學生的聽課狀態。

但是，基于傳統機器學習的方法，由于特征模板的不可學習性，無法適應課堂教學復雜多變的情形，異常行為特征提取不準確；基于深度學習的方法可以比較準確地對單個學生的行為進行分析，然而，其缺點在于需要通過部署多個攝像頭，才能夠實現同時對多個目標的分析。

發明內容

有鑒于此，有必要提供一種課堂異常行為監測方法、裝置、設備及存儲介質，用以解決現有技術中無法適應課堂教學復雜多變的情形，難以對多個學生的行為進行分析，異常行為特征提取不準確的問題。

為達到上述技術目的，本發明采取了以下技術方案：

第一方面，本發明提供了一種課堂異常行為監測方法，包括：

獲取訓練完備的目標課堂異常行為監測模型，目標課堂異常行為監測模型包括特征提取模塊和異常檢測模塊；

獲取待監測課堂圖片數據；

基于特征提取模塊，根據待監測課堂圖片數據，提取學生的課堂特征圖片數據；

基于異常檢測模塊，根據課堂特征圖片數據，確定課堂是否出現異常行為。

優選的，得到特征提取模塊包括：

通過強化學習算法，生成基線模塊EfficientNet-B0；

設置基線模塊EfficientNet-B0的參數和結構，得到過渡特征提取模塊；

獲取課堂異常行為圖片樣本集，通過課堂異常行為圖片樣本集，對過渡特征提取模塊進行訓練，得到目標特征提取模塊。

優選的，特征提取模塊包括激活函數和卷積塊；設置基線模塊EfficientNet-B0的參數和結構，得到過渡特征提取模塊，包括：

將基線模塊EfficientNet-B0的深度、寬度、圖片大小同時進行縮放，得到初始特征提取模塊；

將初始特征提取模塊的ReLU激活函數緩存Swish激活函數；

將初始特征提取模塊的卷積塊短連接部分設置為SE層，得到過渡特征提取模塊。

優選的，獲取課堂異常行為圖片樣本集，通過課堂異常行為圖片樣本集，對過渡特征提取模塊進行訓練，得到目標特征提取模塊，包括：