[發明專利]基于邊緣智能的學生狀態課堂監測方法

有效

• 申請號: 202011102414.7
• 申請日: 2020-10-15
• 公開（公告）號: CN112287777B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 劉凡;崔閏杰;王瑞琳;許峰
• 申請（專利權）人: 河海大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06V40/10;G06V10/82;G06N3/04;G06N3/08;G06Q10/06;G06Q50/20
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 姜慧勤

1.一種基于邊緣智能的學生狀態課堂監測方法，其特征在于，包括如下步驟：

S10，圖像數據采集模塊采集M個課堂照片，將集M個課堂照片分別發送到人臉信息檢測模塊和人體姿態檢測模塊；

S20，人臉信息檢測模塊在集M個課堂照片中檢測到人臉圖像時，進行人臉信息提取，得到每個人臉中的檢測人臉特征，將檢測人臉特征與預設的人臉特征庫中該課堂對應的參考人臉信息進行對比匹配，得到該課堂的到課信息，將到課信息發送給綜合評價模塊；

S30，人體姿態檢測模塊采樣預先訓練的檢測網絡檢測M個課堂照片中各個人體骨骼關節的置信圖，并預測中各個人體骨骼關節的連接程度，根據各個置信圖和各個連接程度確定各個人體姿態骨架，根據各個人體姿態骨架計算各個學生的課堂狀態信息，將各個學生的課堂狀態信息送給綜合狀態評估模塊；

檢測網絡的訓練過程包括：

首先訓練圖像先經過微調過的VGG-19的前十層得到一組圖像特征集F，在VGG預訓練網絡骨架的基礎上，分別對L(p)和S(p)在不同的分支進行回歸，計算出每一個階段的損失函數，然后將L(p)和S(p)與原始輸入F進行連接，然后訓練下一個階段，隨著迭代次數的增加，S(p)能夠區分結構的左右，每個階段的loss使用的是L2范數，L(p)和S(p)的標注數據從標注的關鍵點生成，如果某個關鍵點未被標注則不計算該點，該網絡分為兩個分支，每個分支分化為越來越精細的t個階段，每個階段融合置信圖；其中在檢測網絡的主體網絡結構中，用L(p)表示像素點在人體骨架的走勢，用S(p)表示關鍵點的響應；

將VGG-19的前十層分為兩個分支，分別用來預測每個關鍵點的置信度和親和度向量，使每一個分支成為一個迭代預測架構；在第一階段，兩個分支的VGG-19網絡首先生成特征F、檢測置信度圖S¹＝ρ¹(F)和親和度向量L¹＝φ¹(F)各一組,其中ρ¹和φ¹為第一階段的CNN結構，之后每一個階段的輸入都是從前一階段的預測結果和原始圖像特征F得出的，以產生更為精確的預測結果，ρ^t和φ^t代表第t階段的CNN結構，輸出為：

在前期身體的左右部分和四肢之間的預測結果會比較混亂，通過后期各個階段的迭代使預測結果越精確；

所述檢測網絡為OpenPose網絡；

人體姿態檢測模塊采樣預先訓練的檢測網絡檢測M個課堂照片中各個人體骨骼關節的置信圖，并預測中各個人體骨骼關節的連接程度，根據各個置信圖和各個連接程度確定各個人體姿態骨架，根據各個人體姿態骨架計算各個學生的課堂狀態信息，將各個學生的課堂狀態信息送給綜合狀態評估模塊包括：

S31，OpenPose網絡對M張課堂照片中提取照片特征；

S32，將照片特征分別傳送至兩個并行的卷積層分支；

S33，其中一個分支對18個代表人體骨骼中的關節關鍵點的置信圖進行預測，得到各個人體骨骼關節的置信圖；

S34，另一個分支用于預測各個關節關鍵點間的連接程度；

S35，OpenPose在使用第一分支時，在每個關節對之間形成二分圖，同時在使用第二分支時刪除了二分圖里較弱的連接，聯合使用上述步驟來優化每個分支的預測，使課堂照片中每個人的人體姿態骨架均被檢測出，并匹配給對應的學生；

S37，通過計算頭部到肩部的距離為低頭參數，判斷是否小于低頭閾值來判斷學生是否抬頭或低頭；頭部到手臂的距離為睡覺參數，判斷是否小于睡覺閾值來判斷是否在睡覺；兩只手的距離為玩手機參數，如果學生為低頭姿勢且玩手機參數小于玩手機閾值，則判定學生在玩手機；如果學生被檢測到腰部骨架且學生為抬頭姿勢，則學生在發言，以此得到各個學生的課堂狀態信息，將各個學生的課堂狀態信息送給綜合狀態評估模塊；

S40，綜合狀態評估模塊接收人臉信息檢測模塊發送的到課信息和人體姿態檢測模塊返回的課堂狀態信息，根據各個學生的到課信息和課堂狀態信息監測該課堂中各個學生的課堂狀態。