[發明專利]課堂行為識別方法、裝置、電子設備及存儲介質

在審

• 申請號: 202011227216.3
• 申請日: 2020-11-05
• 公開（公告）號: CN112329634A
• 公開（公告）日: 2021-02-05
• 發明（設計）人: 何秀玲;李洋洋;方靜;楊凡;朱頌凱;熊壯;袁歡歡;門淇濱;張晶晶;汪鵬;王晨陽;肖雄;鄒正新
• 申請（專利權）人: 華中師范大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04;G06N3/08;G06Q50/20
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 鐘揚飛

本發明為一種課堂行為識別方法、裝置、電子設備及存儲介質，包括：獲取待識別目標的人體圖像；采用第一預設網絡模型提取所述人體圖像的人體骨架圖像；根據預先訓練的目標神經網絡模型對所述人體骨架圖像進行識別，得到所述待識別目標的課堂行為類別。本發明能有效排除學生體態、穿著、背景等無關信息的干擾，突出關鍵有效信息，降低識別復雜度，具有良好的識別率與泛化能力。

技術領域

本發明涉及動作識別領域，具體而言，涉及一種課堂行為識別方法、裝置、電子設備及存儲介質。

背景技術

課堂教學是學校教育教學的主要陣地，對課堂教學進行過程性評價對教學質量的提高具有重要的意義，而學生課堂行為表現又是課堂教學評價的重要組成部分。目前針對學生課堂行為理解進行的研究還不夠廣泛，有研究者在教室場景下利用Kinect設備提取人體骨骼特征向量，然后再用SVM分類器對特征向量進行分類和識別，此方法需要在教室里架設專門的設備，使用傳統的機器學習方法進行分類，操作較復雜且準確率不高。隨著深度學習技術的飛速發展，后續的研究者陸續將深度學習技術運用到課堂行為理解中，通過搭建學生課堂行為識別數據集，訓練深度神經網絡，使網絡成功識別出上課、睡覺、玩手機、做筆記、看書、東張西望等行為，平均識別率為91.91％。

深度學習技術的引入，為學生課堂行為理解的研究提供了新思路和方法，準確率也極大提升。然而學生課堂行為復雜，識別效果容易受學生體態、穿著、背景等的影響，在沒有大規模學生課堂行為數據集的支持下，不利于深度神經網絡的訓練。

針對上述問題，目前尚未有有效的技術解決方案。

發明內容

本申請目的在于提供一種課堂行為識別方法、裝置、電子設備及存儲介質，可以提高課堂行為識別分類的正確率。

第一方面，本申請實施例提供了一種課堂行為識別方法，包括：

獲取待識別目標的人體圖像；采用第一預設網絡模型提取所述人體圖像的人體骨架圖像；根據預先訓練的目標神經網絡模型對所述人體骨架圖像進行識別，得到所述待識別目標的課堂行為類別。

本申請實施例首先通過提取學生課堂行為圖像的人體骨架關鍵信息，再結合預先訓練的目標卷積神經網絡模型對學生課堂行為進行識別，可以得到理想的課堂行為識別結果。

可選地，在本申請實施例所述的一種課堂行為識別方法中，所述獲取待識別目標的人體圖像，包括：獲取待識別目標的原始圖像；對所述原始圖像進行裁剪處理，得到所述待識別目標的人體圖像。

可選地，在本申請實施例所述的一種課堂行為識別方法中，所述第一預設網絡模型為基于OpenPose開源框架建立的模型。

可選地，在本申請實施例所述的一種課堂行為識別方法中，所述課堂行為識別方法，還包括：獲取樣本圖像集，所述樣本圖像集包括多個人體骨架圖像樣本；將多個人體骨架圖像樣本輸入預設神經網絡模型進行訓練，得到所述預先訓練的目標神經網絡模型。

可選地，在本申請實施例所述的一種課堂行為識別方法中，將所述多個人體骨架圖像樣本中的一參與訓練的人體骨架圖像樣本輸入預設神經網絡模型進行訓練，并基于訓練的結果獲取對應的交叉熵損失函數；

判斷所述交叉熵損失函數的損失值是否小于預設閾值；

若小于所述預設閾值，則結束訓練；

若大于所述預設閾值，則將所述交叉熵損失函數的損失值進行反向傳播以更新所述預設神經網絡模型的權重，并返回所述將所述多個人體骨架圖像樣本中的一參與訓練的人體骨架圖像樣本輸入預設神經網絡模型進行訓練的步驟。

可選地，在本申請實施例所述的一種課堂行為識別方法中，所述預設神經網絡模型的結構包括依次連接的第一提取層、第二提取層、第三提取層、第四提取層、第一全連接層、第二全連接層以及輸出層。