[發明專利]一種課堂異常行為監測方法、裝置、設備及存儲介質

在審

• 申請號: 202210615714.8
• 申請日: 2022-06-01
• 公開（公告）號: CN114882594A
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 陳龍;蔣海洋;王海暉;黃鑫;馬澎家;楊望宇;周耀勝
• 申請（專利權）人: 武漢工程大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V40/16;G06V20/40;G06V10/44;G06V10/764;G06V10/82;G06N3/04;G06N3/08;G06Q50/20
• 代理公司: 武漢智嘉聯合知識產權代理事務所(普通合伙) 42231
• 代理人: 張璐

1.一種課堂異常行為監測方法，其特征在于，包括：

獲取訓練完備的目標課堂異常行為監測模型，所述目標課堂異常行為監測模型包括特征提取模塊和異常檢測模塊；

獲取待監測課堂圖片數據；

基于所述特征提取模塊，根據所述待監測課堂圖片數據，提取學生的課堂特征圖片數據；

基于所述異常檢測模塊，根據所述課堂特征圖片數據，確定課堂是否出現異常行為。

2.根據權利要求1所述的課堂異常行為監測方法，其特征在于，得到所述特征提取模塊，包括：

通過強化學習算法，生成基線模塊EfficientNet-B0；

設置所述基線模塊EfficientNet-B0的參數和結構，得到過渡特征提取模塊；

獲取課堂異常行為圖片樣本集，通過所述課堂異常行為圖片樣本集，對所述過渡特征提取模塊進行訓練，得到目標特征提取模塊。

3.根據權利要求2所述的課堂異常行為監測方法，其特征在于，所述特征提取模塊包括激活函數和卷積塊；所述設置所述基線模塊EfficientNet-B0的參數和結構，得到過渡特征提取模塊，包括：

將所述基線模塊EfficientNet-B0的深度、寬度、圖片大小同時進行縮放，得到初始特征提取模塊；

將所述初始特征提取模塊的ReLU激活函數緩存Swish激活函數；

將所述初始特征提取模塊的卷積塊短連接部分設置為SE層，得到過渡特征提取模塊。

4.根據權利要求3所述的課堂異常行為監測方法，其特征在于，所述獲取課堂異常行為圖片樣本集，通過所述課堂異常行為圖片樣本集，對所述過渡特征提取模塊進行訓練，得到目標特征提取模塊，包括：

基于drop_connect，對所述過渡特征提取模塊的隱層節點輸入進行隨機丟棄，并通過所述課堂異常行為圖片樣本集對所述過渡特征提取模塊進行訓練，得到目標特征提取模塊。

5.根據權利要求4所述的課堂異常行為監測方法，其特征在于，所述基于所述特征提取模塊，根據所述待監測課堂圖片數據，提取學生的課堂特征圖片數據，包括：

基于所述目標特征提取模塊，對所述待監測課堂圖片數據進行分類，得到學生面部圖片數據和學生手勢圖片數據。

6.根據權利要求5所述的課堂異常行為監測方法，其特征在于，所述異常檢測模塊還包括面部特征識別模塊和手勢特征識別模塊；所述基于所述異常檢測模塊，根據所述課堂特征圖片數據，確定課堂是否出現異常行為，包括：

基于所述面部特征識別模塊，根據所述學生面部圖片數據，得到學生面部異常判斷結果；

基于所述手勢特征識別模塊，根據所述學生手勢圖片數據，得到學生手勢異常判斷結果；

基于所述異常檢測模塊，根據所述學生面部異常判斷結果和所述學生手勢異常判斷結果，確定課堂是否出現異常行為。

7.根據權利要求1所述的課堂異常行為監測方法，其特征在于，所述獲取待監測課堂圖片數據，包括：

獲取待監測課堂視頻數據；

以預設每秒傳輸幀數截取所述待監測課堂視頻數據，得到待監測課堂圖片數據。

8.一種課堂異常行為監測裝置，其特征在于，包括：

模型建立模塊，用于獲取訓練完備的目標課堂異常行為監測模型，所述目標課堂異常行為監測模型包括特征提取模塊和異常檢測模塊；

數據獲取模塊，用于獲取待監測課堂圖片數據；

特征提取模塊，用于基于所述特征提取模塊，根據所述待監測課堂圖片數據，提取學生的課堂特征圖片數據；

行為監測模塊，用于基于所述異常檢測模塊，根據所述課堂特征圖片數據，確定課堂是否出現異常行為。

9.一種電子設備，其特征在于，包括存儲器和處理器，其中，

所述存儲器，用于存儲程序；

所述處理器，與所述存儲器耦合，用于執行所述存儲器中存儲的所述程序，以實現上述權利要求1至7中任一項所述課堂異常行為監測方法中的步驟。

10.一種計算機可讀存儲介質，其特征在于，用于存儲計算機可讀取的程序或指令，所述程序或指令被處理器執行時，能夠實現上述權利要求1至7中任一項所述課堂異常行為監測方法中的步驟。