[發明專利]基于計算機視覺的課堂學情分析方法

有效

• 申請號: 202011184624.5
• 申請日: 2020-10-30
• 公開（公告）號: CN112200138B
• 公開（公告）日: 2022-07-08
• 發明（設計）人: 柯逍;劉浩
• 申請（專利權）人: 福州大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/10;G06V10/82;G06N3/04
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳明鑫;蔡學俊

本發明涉及一種基于計算機視覺的課堂學情分析方法，包括以下步驟：步驟S1:獲取人體圖像數據，并進行預處理，得到人體圖像數據集；步驟S2:根據得到的人體圖像數據集，訓練YOLOv4目標檢測算法模型，并基于訓練后的YOLOv4目標檢測算法模型對課堂實時視頻進行逐幀人體檢測，得到每個目標的人體位置信息；步驟S3:根據得到每個目標的人體位置信息，采用CrowdPose擁擠場景姿態估計算法進行姿態估計，獲得每個目標的骨骼關鍵點分布信息；步驟S4:根據得到的每個目標的骨骼關鍵點分布信息，分別進行行為檢測和情緒分析；步驟S5:根據行為檢測、人臉識別，情緒分析結果，進一步實現目標的課堂考勤和獲得識別目標的課堂參與度。本發明有效的獲取每個學生課堂狀態，供教師改進教學策略，提高課堂教學質量。

技術領域

本發明涉及計算機視覺領域，具體涉及一種基于計算機視覺的課堂學情分析方法。

背景技術

隨著人工智能場景化應用的不斷成熟，教育+AI的重要性與可能性吸引著越來越多的學者投身研究。與此同時，傳統教育所呈現的弊端正慢慢浮現，如大班式教學導致考勤工作困難、老師分身乏術無暇顧及眾多學生的上課狀態等等。為了解決上述痛點，本發明提出一種以目標檢測、姿態估計等計算機視覺技術為基礎的課堂學情分析方法，通過對教室攝像頭獲取的實時圖像進行處理，幫助教師實現課堂智能考勤以及多維度課堂學情分析，將學生課堂狀態數據分析作為參考，供教師改進教學策略。

發明內容

有鑒于此，本發明的目的在于提供一種基于計算機視覺的課堂學情分析方法，能夠有效的獲取每個學生課堂狀態，供教師改進教學策略，提高課堂教學質量。

為實現上述目的，本發明采用如下技術方案：

一種基于計算機視覺的課堂學情分析方法，包括以下步驟：

步驟S1:獲取人體圖像數據，并進行預處理，得到人體圖像數據集；

步驟S2:根據得到的人體圖像數據集，訓練YOLOv4目標檢測算法模型，并基于訓練后的YOLOv4目標檢測算法模型對課堂實時視頻進行逐幀人體檢測，得到每個目標的人體位置信息；

步驟S3:根據得到每個目標的人體位置信息，采用CrowdPose擁擠場景姿態估計算法進行姿態估計，獲得每個目標的骨骼關鍵點分布信息；

步驟S4:根據得到的每個目標的骨骼關鍵點分布信息，分別進行行為檢測、人臉識別，情緒分析；

步驟S5:根據行為檢測、人臉識別，情緒分析結果，進一步實現目標的課堂考勤和獲得識別目標的課堂參與度。

進一步的，所述步驟S1具體為：

步驟S11:采用關鍵詞爬蟲工具獲取人體圖像數據；

步驟S12:采用圖像直方圖法對人體圖像數據進行數據清洗；

步驟S13:采用Yolo_mark標注工具對清洗后的人體圖像數據進行數據標注，完成數據集的構建。

進一步的，所述步驟S12具體為：設置一張正確圖像，將獲取的人體圖像數據轉化為直方圖，然后使用相關系數法求得圖像與正確圖像的相似度，保存相似系數大于預設值的圖像，所述相關系數的計算公式如下所示：

其中，x,y分別兩副圖像的直方圖結果，r(x,y)表示兩幅圖像的相似度，Cov(x,y)為x,y的協方差，Var[x]為x的方差,Var[y]為y的方差，該公式的取值范圍為[-1,1]，計算出的結果越大，兩幅圖像越相似。

進一步的，所述步驟S2具體為：

步驟S21:對YOLOv4目標檢測算法模型中的參數進行調整，并對檢測模型進行預訓練；

步驟S22:將人體圖像數據集按預設比例分為訓練集和測試集；