[發(fā)明專利]基于改進(jìn)的Openpose模型和面部微表情的課堂行為檢測的方法

有效

• 申請?zhí)枺?/td>: 202010317534.2
• 申請日: 2020-04-21
• 公開（公告）號: CN111523444B
• 公開（公告）日: 2023-05-02
• 發(fā)明（設(shè)計(jì)）人: 張堃;馮文宇;朱洪堃;孫維;孫昊辰;殷佳煒
• 申請（專利權(quán)）人: 南通大學(xué)
• 主分類號: G06V40/16
• 分類號: G06V40/16;G06V40/20;G06Q10/0639;G06V10/82;G06Q50/20;G06N3/0464
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發(fā)明公開了基于改進(jìn)的Openpose模型和面部微表情的課堂行為檢測的方法，在課桌前的布置攝像機(jī)，實(shí)時(shí)檢測學(xué)生課堂行為。通過人工智能模型識(shí)別面部信息、上半身骨骼信息，以關(guān)鍵點(diǎn)能否被識(shí)別到以及關(guān)鍵點(diǎn)之間的距離為主要判斷條件，以微表情的變化為輔助判斷條件。若某學(xué)生持續(xù)一段時(shí)間未滿足條件，則判定其存在考試行為異常。此外，通過一節(jié)課的視頻流，找出學(xué)生行為異常可能發(fā)生階段，并對該階段進(jìn)行分析，實(shí)現(xiàn)教學(xué)的創(chuàng)新和改革。靠機(jī)器視覺識(shí)別減少干擾因素，簡化設(shè)備，同時(shí)本發(fā)明還提供對應(yīng)的數(shù)據(jù)分析處理系統(tǒng)。本發(fā)明通過殘差網(wǎng)絡(luò)，權(quán)值修剪等方法進(jìn)一步優(yōu)化網(wǎng)絡(luò)模型。本發(fā)明實(shí)現(xiàn)自助式的課堂行為檢測和反饋，測試效率高，準(zhǔn)確性可達(dá)95％。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)、機(jī)器視覺與圖像處理技術(shù)領(lǐng)域，具體為基于改進(jìn)的Openpose模型和面部微表情的課堂行為檢測的方法。

背景技術(shù)

近些年，以深度學(xué)習(xí)為代表的智能技術(shù)已滲入人們生活的各種領(lǐng)域，并已進(jìn)入大范圍應(yīng)用階段。2017年，國務(wù)院在印發(fā)的《新一代人工智能發(fā)展規(guī)劃》中提出：“利用智能技術(shù)加快推動(dòng)人才培養(yǎng)模式、教學(xué)方法改革，構(gòu)建包含智能學(xué)習(xí)、交互式學(xué)習(xí)的新型教育體系。”

長期以來，課堂一直是教育研究的重點(diǎn)。而學(xué)生作為教學(xué)活動(dòng)的主體，其行為直接反應(yīng)了課堂的真實(shí)狀況。因此，課堂學(xué)生行為分析能夠?qū)虒W(xué)效率與學(xué)生狀態(tài)有更深層的體現(xiàn)。

在對于學(xué)生課堂行為分析的準(zhǔn)確性、適用性、抗干擾性以及能夠及時(shí)反饋學(xué)生信息的要求下，目前尚未有具有良好分析體驗(yàn)的方法。在對檢測中的項(xiàng)目測試精度越來越高的要求和實(shí)現(xiàn)無人化測試需求下，目前已有的課堂行為方法(譚斌,楊書焓.基于FasterR-CNN的學(xué)生課堂行為檢測算法研究[J].現(xiàn)代計(jì)算機(jī)(專業(yè)版)(33):47-49.)，(廖鵬,劉宸銘,蘇航,etal.基于深度學(xué)習(xí)的學(xué)生課堂異常行為檢測與分析系統(tǒng)[J].電子世界(8):97-98.)尚不具備良好測試體驗(yàn)，測試效率、準(zhǔn)確率、自動(dòng)化程度仍有待提高。且課堂行為檢測方法容易出錯(cuò)，耗費(fèi)人力，個(gè)人評判標(biāo)準(zhǔn)不同影響測試結(jié)果。現(xiàn)有的基于機(jī)器視覺的分析方法主要是利用卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像識(shí)別，然而傳統(tǒng)的卷積神經(jīng)網(wǎng)絡(luò)在課堂行為識(shí)別的應(yīng)用中對于學(xué)生行為的識(shí)別精度與速度上并不令人滿意，并且在課堂行為識(shí)別的過程中，獲取海量的訓(xùn)練樣本也是十分困難。再者，通過對學(xué)生的個(gè)人歷史信息以及對其聽課專注度的反饋，對教師的教授質(zhì)量以及課堂效率進(jìn)行評估，也是目前尚待開發(fā)的方面。

發(fā)明內(nèi)容

本發(fā)明的目的在于提供基于改進(jìn)的Openpose模型和面部微表情的課堂行為檢測的方法，以解決上述背景技術(shù)中提出的問題。

為實(shí)現(xiàn)上述目的，本發(fā)明提供如下技術(shù)方案：基于改進(jìn)的Openpose模型和面部微表情的課堂行為檢測的方法，包括如下步驟：

S1、通過放置在測試者前端的設(shè)備攝像頭拍攝測試者上半身圖像，并以一定初始幀率持續(xù)拍攝測試者上半身的測試圖像；

S2、通過建立的改進(jìn)的Openpose模型和面部微表情，識(shí)別出測試圖像的每幀圖片的關(guān)鍵點(diǎn)并對其編號、連線；以O(shè)penpose所選取的18個(gè)關(guān)鍵點(diǎn)為參考，為挑選出上半身中左右眼睛，左右耳朵，鼻子，脖子，左右手腕，左右手肘，左右肩膀共12個(gè)關(guān)鍵點(diǎn)進(jìn)行不同幀照片之間對比比較，在這12個(gè)點(diǎn)中除主要軀體連線外，另將左右眼，左右手腕，左右手肘作為主要關(guān)鍵點(diǎn)；

S3、課堂行為檢測分成2個(gè)主要狀態(tài)：聽課狀態(tài)、和異常狀態(tài)。其中異常狀態(tài)具體劃分為：狀態(tài)1：主要定義為手臂支撐頭部、狀態(tài)2：主要定義為手放在桌子下、狀態(tài)3：主要定義為轉(zhuǎn)頭及狀態(tài)4：主要定義為低頭四個(gè)分狀態(tài)；初始時(shí)，系統(tǒng)將會(huì)每隔5秒對圖像進(jìn)行對比檢測；若關(guān)鍵點(diǎn)間位置關(guān)系出現(xiàn)錯(cuò)誤或關(guān)鍵點(diǎn)連線之間的距離達(dá)到閾值將提高檢測頻率至每隔1秒進(jìn)行對比檢測；

S4、初始時(shí)，系統(tǒng)將會(huì)每隔5秒對圖像進(jìn)行對比檢測；若關(guān)鍵點(diǎn)信息出現(xiàn)丟失或關(guān)鍵點(diǎn)之間距離超過閾值將提高檢測頻率至每隔1秒進(jìn)行對比檢測；當(dāng)關(guān)鍵點(diǎn)位置長時(shí)間丟失或關(guān)鍵點(diǎn)距離長時(shí)間超過設(shè)定閾值時(shí)，判定為異常狀態(tài)即課堂行為異常；