[發(fā)明專利]一種基于改進(jìn)的Openpose 考試多人異常行為及口罩佩戴檢測方法

在審

• 申請?zhí)枺?/td>: 202011409559.1
• 申請日: 2020-12-04
• 公開（公告）號: CN112633083A
• 公開（公告）日: 2021-04-09
• 發(fā)明（設(shè)計(jì)）人: 張堃;韓宇;馮文宇;張宇豪;祁暉;陸貝洋;孫宇翔
• 申請（專利權(quán)）人: 南通大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06N3/04;G06Q50/20;G08B3/10;G08B21/24
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于改進(jìn)的Openpose考試多人異常行為及口罩佩戴檢測方法，其特征在于：包括以下步驟：

S1、通過教室前端和后端的攝像頭，以一定初始幀率持續(xù)拍攝獲取學(xué)生考試時(shí)的圖像；

S2、考試全過程中，攝像頭正常檢測教室，通過識別每個(gè)人的面部來判斷該名同學(xué)是否佩戴口罩，一旦發(fā)現(xiàn)有學(xué)生未佩戴口罩，便記錄該名同學(xué)的位置，將信息反饋給老師；

S3、判斷異常行為方法：識別出測試圖像的每幀圖片的關(guān)鍵點(diǎn)并對其編號、連線；以O(shè)penpose所選取的18個(gè)關(guān)鍵點(diǎn)為參考，為了使識別更加簡便，挑選出上半身中左右眼睛，左右耳朵，鼻子，脖子，左右手腕，左右手肘，左右肩膀共12個(gè)關(guān)鍵點(diǎn)進(jìn)行識別；

S4、考場異常行為檢測分成2個(gè)主要狀態(tài)：正常狀態(tài)和異常狀態(tài)；根據(jù)關(guān)鍵點(diǎn)的坐標(biāo)超出一定閾值或關(guān)鍵點(diǎn)之間的距離和連線的角度超過一定閾值將異常狀態(tài)具體劃分為：狀態(tài)1：主要定義為手部信息超出規(guī)定區(qū)域；狀態(tài)2：主要定義為低頭并且手放在桌子下；狀態(tài)3：主要定義為左右張望；狀態(tài)4：主要定義為頻繁抬頭；初始時(shí)，系統(tǒng)將會每隔5秒對圖像進(jìn)行對比檢測，若各連線數(shù)值未達(dá)到異常情況將判定為正?？荚嚑顟B(tài)，若關(guān)鍵點(diǎn)間位置關(guān)系出現(xiàn)錯(cuò)誤、關(guān)鍵點(diǎn)連線之間的距離達(dá)到閾值將提高檢測頻率至每隔1秒進(jìn)行對比檢測；

S5、在學(xué)生課桌下配置一個(gè)定向聲音采集器，以此來輔助檢測學(xué)生的考試行為狀態(tài)，在排除噪音干擾后，若檢測到該區(qū)域有學(xué)生交談的聲音，即可標(biāo)記為疑似異常狀態(tài)；系統(tǒng)會自動調(diào)整攝像頭的焦距或者調(diào)用后攝像頭，來重點(diǎn)觀察該區(qū)域考生的考試行為，直至其恢復(fù)為正常狀態(tài)或被判定為異常狀態(tài)；

S6、根據(jù)識別出的關(guān)鍵點(diǎn)連線的圖像，當(dāng)初次發(fā)現(xiàn)某幀圖像中關(guān)鍵點(diǎn)位置關(guān)系或關(guān)鍵點(diǎn)連線距離達(dá)到預(yù)設(shè)的閾值時(shí)，將該幀設(shè)置為起始幀，此后提高檢測頻率；初始時(shí)，系統(tǒng)將會每隔5秒對圖像進(jìn)行對比檢測；若指定關(guān)鍵點(diǎn)出現(xiàn)丟失、相關(guān)數(shù)值達(dá)到閾值或出現(xiàn)異常表情時(shí)將提高檢測頻率至每隔1秒進(jìn)行對比檢測；當(dāng)關(guān)鍵點(diǎn)位置長時(shí)間丟失或關(guān)鍵點(diǎn)連線距離超過設(shè)定閾值時(shí)，判定為異常狀態(tài)；

S7、當(dāng)檢測到異常狀態(tài)，系統(tǒng)將繼續(xù)對后20秒的每一秒進(jìn)行分析，并根據(jù)關(guān)鍵點(diǎn)之間連線異常值、關(guān)鍵點(diǎn)丟失等異常信息按各行為判定標(biāo)準(zhǔn)判定為狀態(tài)1、狀態(tài)2、狀態(tài)3或狀態(tài)4；

S8、攝像頭檢測學(xué)生考試時(shí)，一旦檢測出某學(xué)生拿掉口罩或口罩佩戴不規(guī)范，或者檢測到學(xué)生考試異常，系統(tǒng)會自動調(diào)整攝像頭的焦距，鎖定該學(xué)生并把該幀圖像保存，同時(shí)標(biāo)記該學(xué)生為考試行為異常；

S9.在講臺放置一語音模塊，當(dāng)系統(tǒng)判定學(xué)生進(jìn)入異常狀態(tài)時(shí)，信號發(fā)射器發(fā)出信號，語音模塊上的藍(lán)牙模塊接收到此信號，通過功率放大板控制揚(yáng)聲器發(fā)出聲音，提醒老師該學(xué)生出現(xiàn)異常；

S10.引入搜索和優(yōu)化識別策略,若某一考生經(jīng)常出現(xiàn)疑似異常行為狀態(tài)的確診，則下一次異常識別中，減少判定異常行為姿態(tài)所需要持續(xù)的時(shí)間，優(yōu)先判斷是否為考試異常狀態(tài)，進(jìn)而提高分析的效率。

2.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)的Openpose考試多人異常行為及口罩佩戴檢測方法，其特征在于：所述S3中改進(jìn)的Openpose為一種雙并行卷積網(wǎng)絡(luò)模型，所述雙并行卷積網(wǎng)絡(luò)模型同時(shí)使用兩個(gè)卷積網(wǎng)絡(luò)，一個(gè)卷積網(wǎng)絡(luò)從圖像中定位人體關(guān)鍵部位的位置，另一個(gè)卷積網(wǎng)絡(luò)則用于連接候選關(guān)鍵部位組成肢體，再將這兩個(gè)卷積網(wǎng)絡(luò)的結(jié)果匯總進(jìn)行姿勢組裝，完成對圖像中人體姿勢的檢測。

3.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)的Openpose考試多人異常行為及口罩佩戴檢測方法，其特征在于：所述S3中Openpose的主要算法包括局部區(qū)域親和算法匈牙利算法。

4.根據(jù)權(quán)利要求1所述的一種基于改進(jìn)的Openpose考試多人異常行為及口罩佩戴檢測方法，其特征在于：所述S4中狀態(tài)1：當(dāng)學(xué)生左手或右手手腕關(guān)鍵點(diǎn)在連續(xù)五次識別的幀圖像中位置超過指定區(qū)域，即定義為異常狀態(tài)1；狀態(tài)2：當(dāng)學(xué)生的在連續(xù)十五次識別的幀圖像面部五個(gè)關(guān)鍵點(diǎn)中任意關(guān)鍵點(diǎn)的位置低于閾值時(shí)且手腕關(guān)鍵點(diǎn)位置低于一定閾值時(shí)，即定義為異常狀態(tài)2；狀態(tài)3：當(dāng)學(xué)生面部的左側(cè)或右側(cè)眼睛和耳朵這兩個(gè)關(guān)鍵點(diǎn)在連續(xù)五次識別的幀圖像中均丟失即定義為狀態(tài)3；狀態(tài)4：當(dāng)學(xué)生面部的五個(gè)關(guān)鍵點(diǎn)中的任意一個(gè)關(guān)鍵點(diǎn)位置在連續(xù)十次識別的幀圖像中經(jīng)常超過閾值，則定義為異常狀態(tài)4。