[發(fā)明專利]基于改進的Openpose模型和面部微表情的課堂行為檢測的方法

有效

• 申請?zhí)枺?/td>: 202010317534.2
• 申請日: 2020-04-21
• 公開（公告）號: CN111523444B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設計）人: 張堃;馮文宇;朱洪堃;孫維;孫昊辰;殷佳煒
• 申請（專利權）人: 南通大學
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06Q10/0639;G06V10/82;G06Q50/20;G06N3/0464
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.基于改進的Openpose模型和面部微表情的課堂行為檢測的方法，其特征在于：包括如下步驟：

S1、通過放置在測試者前端的設備攝像頭拍攝測試者上半身圖像，并以一定初始幀率持續(xù)拍攝測試者上半身的測試圖像；

S2、通過建立的改進的Openpose模型和面部微表情，識別出測試圖像的每幀圖片的關鍵點并對其編號、連線；以Openpose所選取的18個關鍵點為參考，為挑選出上半身中左右眼睛，左右耳朵，鼻子，脖子，左右手腕，左右手肘，左右肩膀共12個關鍵點進行不同幀照片之間對比比較，在這12個點中除主要軀體連線外，另將左右眼，左右手腕，左右手肘作為主要關鍵點；

S3、課堂行為檢測分成2個主要狀態(tài)：聽課狀態(tài)、和異常狀態(tài)；其中異常狀態(tài)具體劃分為：狀態(tài)1：主要定義為手臂支撐頭部、狀態(tài)2：主要定義為手放在桌子下、狀態(tài)3：主要定義為轉頭及狀態(tài)4：主要定義為低頭四個分狀態(tài)；初始時，系統(tǒng)將會每隔5秒對圖像進行對比檢測；若關鍵點間位置關系出現(xiàn)錯誤或關鍵點連線之間的距離達到閾值將提高檢測頻率至每隔1秒進行對比檢測；

S4、初始時，系統(tǒng)將會每隔5秒對圖像進行對比檢測；若關鍵點信息出現(xiàn)丟失或關鍵點之間距離超過閾值將提高檢測頻率至每隔1秒進行對比檢測；當關鍵點位置長時間丟失或關鍵點距離長時間超過設定閾值時，判定為異常狀態(tài)即課堂行為異常；

S5、當處于異常狀態(tài)時，系統(tǒng)將繼續(xù)對其后20秒的每一秒進行分析，并根據(jù)關鍵點之間連線異常值、關鍵點丟失等異常情況按各行為判定標準判定為狀態(tài)1、狀態(tài)2、狀態(tài)3或狀態(tài)4；

S6、異常狀態(tài)具體判斷標準為：狀態(tài)1：左眼到左手腕間距離或右眼到右手腕間距離小于10像素同時滿足手腕高度小于眼睛高度；狀態(tài)2：左手或右手手腕關鍵點信息丟失時判定為狀態(tài)2；狀態(tài)3：出現(xiàn)單側眼睛及耳朵關鍵點信息長時間缺失時判定為狀態(tài)3；狀態(tài)4：左眼和右眼關鍵點信息丟失或左右眼坐標信息與左右眼初始坐標信息之差大于閾值時判定為狀態(tài)4；

S7、同時，加入微表情識別予以輔助判斷，定義異常表情發(fā)呆；初始時，系統(tǒng)將會每隔5秒對圖像進行對比檢測；若出現(xiàn)異常表情，則將提高檢測頻率至每隔1秒進行對比檢測；當長時間處于異常表情，則判斷為異常狀態(tài)即課堂行為異常；

S8、引入專家控制策略：對學生課堂情況進行分析，對整個教學過程進行非正常情況概率統(tǒng)計，并記錄高于設定概率的時間點，并及時在教師端進行反饋；在整個教學過程中，對每個學生非正常次數(shù)予以統(tǒng)計，檢測初始即對過去出現(xiàn)行為異常頻率高的學生進行檢測頻率的提高；檢測過程中，記錄高于設定次數(shù)同學，提高后續(xù)檢測頻率初始值進行檢測識別；并在課后在教師端將次數(shù)由多至少進行排列予以體現(xiàn)，從而使老師更好的幫助學生完成學習任務；對教室座位區(qū)域進行分析，將教室做以下劃分，將教室分為若干個區(qū)域，識別頻率按圖示數(shù)值進行等比例放大；分別統(tǒng)計各區(qū)域異常狀態(tài)概率：即某一時刻內該區(qū)域出現(xiàn)所有非正常情況人數(shù)占該區(qū)域總人數(shù)比值，并通過數(shù)據(jù)統(tǒng)計計算，計算數(shù)值越大，該區(qū)域異常概率越大，次日對該區(qū)域檢測頻率進行相應調整提高；

S9、引入搜索和優(yōu)化識別策略,遍歷狀態(tài)1到狀態(tài)4，若某一異常學生出現(xiàn)異常行為確診，則下一次異常識別中，優(yōu)先判斷是否為狀態(tài)1，進而提高分析的效率；

S10、在對各學生端信息采集過后，系統(tǒng)將正異常情況信息傳輸至教師端并進行匯總；并進行信息分類分析，課后由數(shù)據(jù)結果對教學進行改革和創(chuàng)新。

2.根據(jù)權利要求1所述的基于改進的Openpose模型和面部微表情的課堂行為檢測的方法，其特征在于：該Openpose模型使用殘差網(wǎng)絡提取底層特征，以提升改進模型的檢測精度和訓練速度；該殘差網(wǎng)絡參照Res-18網(wǎng)絡前10層，共構成5個殘差塊；所構成的殘差塊為添加了軟閾值的殘差塊；軟閾值處理是許多信號降噪算法的基礎步驟；如式(1)所示，是軟閾值處理公式，其中x是輸入值，y是輸出值，τ是閾值；