[發明專利]基于頂部視覺的學生實驗課堂行為識別方法

在審

• 申請號: 202111449024.1
• 申請日: 2021-12-01
• 公開（公告）號: CN113989608A
• 公開（公告）日: 2022-01-28
• 發明（設計）人: 袁曉光;任愛鋒;劉詩若;胡振勇;龍璐嵐
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/82
• 分類號: G06V10/82;G06V20/40;G06V20/52;G06V40/10;G06V10/774;G06K9/62;G06N3/04
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華

1.一種基于頂部視覺的學生實驗課堂行為識別方法，其特征在于，包括：

將攝像頭垂直安裝在于每臺實驗臺桌面的上方，對學生做實驗時的行為進行視頻采樣，并對采樣的視頻流進行圖像幀提取和標定得到數據集；

利用數據集對目標檢測網絡yolov4進行訓練，得到訓練好的目標檢測模型，將學生實驗課堂視頻輸入到訓練好的目標檢測模型中，得到框定學生手部的N張圖片，N取決于模型中輸入視頻的大?。?/p>

利用深度學習分類模型VGG16對框定學生手部的所有圖片進行分類，生成學生手部行為的識別結果，并保存至數據庫，供老師后續提取。

2.根據權利要求1所述的方法，其特征在于，所述對采樣的視頻流進行圖像幀提取和標定得到數據集，是從視頻流中提取圖像幀得到原始圖片，并對原始圖片進行圖像增強，以增大圖片數量；再使用圖像標注軟件框出每張圖片中的學生手部，形成圖片文件及配對的標簽文件，即數據集。

3.根據權利要求2所述的方法，其特征在于，所述對原始圖片進行圖像增強，采用水平或垂直翻轉、剪裁、擴展、旋轉中的任意一種。

4.根據權利要求1所述的方法，其特征在于，所述用數據集訓練目標檢測網絡yolov4，實現如下：

4a)將得到的數據集按9:1的比例分為訓練集和測試集，并建立相應的文件夾進行存放；

4b)選擇Adam函數作為目標檢測網絡的權重優化函數，選擇交叉熵函數作為其損失函數；

4c)設置目標檢測網絡參數的學習率lr，最大迭代次數N，一次處理訓練集數據量的大小bn；

4d)向目標檢測網絡yolov4載入訓練集和測試集；

4e)通過訓練集對目標檢測網絡進行訓練，即讓目標檢測網絡yolov4學習訓練集中的特征信息，得到當前的預訓練模型，對經過迭代n次后的預訓練模型，用測試集測試其識別準確率，即輸出其損失函數值；

4f)重復4e)，直到損失函數值不再變小或達到最大迭代次次數N時，結束訓練，得到訓練好的目標檢測模型。

5.根據權利要求1所述的方法，其特征在于，所述向訓練好的目標檢測模型輸入學生實驗課堂視頻，得到框定學生手部的圖片，是通過訓練好的目標檢測模型對輸入的學生實驗課堂視頻進行掃描，獲得學生手部區域，并從中選擇避免其他背景物體信息的最優區域，得到框定學生手部的圖片。

6.根據權利要求1所述的方法，其特征在于，所述利用深度學習分類模型VGG16對框定學生手部的圖片進行分類，生成學生手部行為識別結果，是從框定學生手部的圖片中分出學生實驗期間行為的類別，其包括，玩手機，打游戲，使用鼠標，看書，寫字，其他行為。