[發明專利]基于頂部視覺的學生實驗課堂行為識別方法

在審

• 申請號: 202111449024.1
• 申請日: 2021-12-01
• 公開（公告）號: CN113989608A
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 袁曉光;任愛鋒;劉詩若;胡振勇;龍璐嵐
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V20/40;G06V20/52;G06V40/10;G06V10/774;G06K9/62;G06N3/04
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華

本發明提出了一種基于頂部視覺的學生實驗課堂行為識別方法，主要解決傳統行為識別人工提取信息，工作量大，時效性差的問題。其實現方案是：將攝像頭垂直安裝在于每臺實驗臺桌面的上方，對學生做實驗時的行為進行視頻采樣，并對采樣的視頻流進行圖像幀提取和標定得到數據集；利用數據集對目標檢測網絡進行訓練，得到訓練好的目標檢測模型；將學生實驗課堂視頻輸入到訓練好的目標檢測模型中，得到框定學生手部的圖片；利用深度學習分類模型對框定學生手部的所有圖片進行分類，生成學生手部行為的識別結果。本發明減小了數據處理量和運算量，能在設備密集，學生分散的實驗室內精準獲取以學生手部行為動作的圖片并保存，供老師提取，可用于實驗教學。

技術領域

本發明屬于行為識別技術領域，具體涉及了一種學生實驗課堂行為識別方法?？捎糜趯嶒灲虒W。

背景技術

隨著工業的發展，社會的進步，各行業需要大量高素質人才。為了適應社會需求，擔負著人才輸出的教育領域也隨之進行一系列旨在提高教學質量，培養人才的教育改革。在眾多作為改革的識別和評估指標中，學生的課堂行為是反映教學成效的重要參考信息。

在傳統的行為觀察中，學校在每個教室裝置了少量的監控攝像頭拍攝學生上課行為，以此方便老師查看學生學習情況，及時對教學方式做出調整。這種基于人工查看反饋客觀情況的方法，存在主觀判斷且實時性不高。

伴隨計算機視覺和人工智能的發展，智慧課堂得到教育領域的青睞。提取和反饋學生課堂行為的信息時，出現了以深度學習為基礎的人臉識別技術，手勢姿態估計技術。具體是以現有教室里裝置的監控攝像頭記錄上課行為，以抓取到的學生行為動作自動化識別學生行為，得到課堂觀察的學生專注度報告，利于老師改善教學方法，提高教學效率。但是這種僅是在學生上課場景下，借助現有布置在墻角普通位置的拍攝角度獲得的數據集，由于對于距離較遠的學生拍攝到的人臉圖像模糊，使得系統只能識別人臉卻不能定位人眼，從而造成系統錯判行為的問題。

目前，對于學生行為識別技術的相關研究大都應用于學生理論課堂的情況，對于本發明實驗室課堂的學生行為識別的場景沒有相關研究。

在實驗室這種放置大量實驗設備的地方，設備密集，學生分散，且實驗設備形成的遮擋會引起老師視覺上盲區以及攝像頭拍攝的視頻不能完整反映學生行為動作。如果將以上傳統的行為識別方法應用到這種場景進行學生行為識別，需要實驗老師人工提取信息，工作量大，時效性差。如果采取基于深度學習的人臉識別和手勢姿態估計技術的行為識別方法進行學生實驗課堂行為識別，會產生下不足：

一是由于實驗設備造成實驗臺被遮擋，使得裝置在墻角這些具有普通視角的攝像頭拍攝得到的原始圖片中遮擋物多，導致學生的行為動作少且不完整，且在訓練圖像內包含學生的面部信息，當存儲圖片數據的數據庫由于一些不可控因素造成信息泄露時，會引起隱私侵犯問題；

二是由于成像區域物體繁雜，所能利用的攝像頭數量少，且攝像頭安裝位置和角度受限，不能獨立截取出目標行為動作，且提取圖片中的背景物體造成系統定位偏差，加大了系統網絡訓練的難度，且針對性不高，模型推理運算量大，系統模型泛化能力差，識別的準確率低。

發明內容

本發明的目的在于針對上述現有技術的不足，提出一種基于頂部視覺的學生實驗課堂行為識別方法，以改善攝像頭拍攝視頻角度，減少背景物體信息的數據，降低提取定位學生行為特征的難度，提高識別的準確率和泛化能力。

為實現上述目的，本發明的技術方案包括如下：

將攝像頭垂直安裝在于每臺實驗臺桌面的上方，對學生做實驗時的行為進行視頻采樣，并對采樣的視頻流進行圖像幀提取和標定得到數據集；

利用數據集對目標檢測網絡yolov4進行訓練，得到訓練好的目標檢測模型，將學生實驗課堂視頻輸入到訓練好的目標檢測模型中，得到框定學生手部的N張圖片，N取決于模型中輸入視頻的大??；