[發(fā)明專(zhuān)利]用于教學(xué)輔助的提醒方法及提醒裝置

在審

• 申請(qǐng)?zhí)枺?/td>: 202110884553.8
• 申請(qǐng)日: 2021-08-03
• 公開(kāi)（公告）號(hào): CN113705360A
• 公開(kāi)（公告）日: 2021-11-26
• 發(fā)明（設(shè)計(jì)）人: 曾紹瑋
• 申請(qǐng)（專(zhuān)利權(quán)）人: 重慶工業(yè)職業(yè)技術(shù)學(xué)院
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/46;G06N3/04
• 代理公司: 北京潤(rùn)平知識(shí)產(chǎn)權(quán)代理有限公司 11283
• 代理人: 李紅

1.一種用于教學(xué)輔助的提醒方法，其特征在于，所述提醒方法包括：

獲取基于YOLOv4網(wǎng)絡(luò)訓(xùn)練的班級(jí)人員模型；

實(shí)時(shí)獲取教室內(nèi)上課視頻圖像，將每一上課視頻幀圖像數(shù)據(jù)輸入所述班級(jí)人員模型，得到每一上課視頻幀圖像數(shù)據(jù)中的班級(jí)人員目標(biāo)框；并將每一上課視頻幀圖像數(shù)據(jù)中的班級(jí)人員目標(biāo)框與圖像預(yù)設(shè)劃分區(qū)域?qū)?yīng)關(guān)聯(lián)；

響應(yīng)于異常行為區(qū)域確認(rèn)信號(hào)，獲取當(dāng)前時(shí)刻的上課視頻幀圖像數(shù)據(jù)，以及將所述異常行為區(qū)域確認(rèn)信號(hào)對(duì)應(yīng)的圖像預(yù)設(shè)劃分區(qū)域中的班級(jí)人員目標(biāo)框內(nèi)的人像數(shù)據(jù)進(jìn)行人臉識(shí)別處理，得到相應(yīng)的人臉識(shí)別結(jié)果；

根據(jù)所述人臉識(shí)別結(jié)果，確定異常行為人員終端位置編碼信息；

根據(jù)異常行為人員終端位置編碼信息，發(fā)送相應(yīng)的提示信息。

2.根據(jù)權(quán)利要求1所述的提醒方法，其特征在于，所述獲取基于YOLOv4網(wǎng)絡(luò)訓(xùn)練的班級(jí)人員模型，包括：

1)建立教室內(nèi)上課視頻數(shù)據(jù)集；

2)建立YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)；

3)使用ImageNet大型數(shù)據(jù)集對(duì)步驟2)中得到的YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行訓(xùn)練，得到預(yù)訓(xùn)練模型，再對(duì)YOLOv4網(wǎng)絡(luò)結(jié)構(gòu)進(jìn)行特定訓(xùn)練參數(shù)設(shè)定；

4)使用所述上課視頻數(shù)據(jù)集對(duì)所述預(yù)訓(xùn)練模型進(jìn)行迭代訓(xùn)練，直到損失函數(shù)收斂，得到基于YOLOv4網(wǎng)絡(luò)訓(xùn)練的班級(jí)人員模型。

3.根據(jù)權(quán)利要求1所述的提醒方法，其特征在于，所述異常行為區(qū)域確認(rèn)信號(hào)基于以下條件生成：

獲取每一圖像預(yù)設(shè)劃分區(qū)域中每個(gè)班級(jí)人員目標(biāo)框的位置；

計(jì)算每一圖像預(yù)設(shè)劃分區(qū)域中相鄰班級(jí)人員目標(biāo)框的位置之間的距離的方差；

在圖像預(yù)設(shè)劃分區(qū)域?qū)?yīng)的方差滿足預(yù)設(shè)條件時(shí)，得到待定圖像預(yù)設(shè)劃分區(qū)域，并獲取教師終端的異常行為區(qū)域信號(hào)；

根據(jù)所述教師終端的異常行為區(qū)域信號(hào)確定圖像預(yù)設(shè)劃分區(qū)域，并與所述待定圖像預(yù)設(shè)劃分區(qū)域進(jìn)行區(qū)域一致性確認(rèn)；

當(dāng)確認(rèn)一致時(shí)，輸出異常行為區(qū)域確認(rèn)信號(hào)。

4.根據(jù)權(quán)利要求1所述的提醒方法，其特征在于，所述將異常行為區(qū)域確認(rèn)信號(hào)對(duì)應(yīng)的圖像預(yù)設(shè)劃分區(qū)域中的班級(jí)人員目標(biāo)框內(nèi)的人像數(shù)據(jù)進(jìn)行人臉識(shí)別處理，得到相應(yīng)的人臉識(shí)別結(jié)果，包括：

獲取班級(jí)人員目標(biāo)框內(nèi)的圖像；

將班級(jí)人員目標(biāo)框內(nèi)的圖像運(yùn)用LBPH人臉識(shí)別算法，得到LBP編碼直方圖集合，將LBP編碼直方圖集合與班級(jí)人員的LBPH圖進(jìn)行比較；

若比較結(jié)果為一致，所述人臉識(shí)別結(jié)果為班級(jí)人員目標(biāo)框人臉識(shí)別正常；

若比較結(jié)果為不一致，所述人臉識(shí)別結(jié)果為班級(jí)人員目標(biāo)框人臉識(shí)別異常。

5.根據(jù)權(quán)利要求4所述的提醒方法，其特征在于，所述根據(jù)人臉識(shí)別結(jié)果，確定異常行為人員終端位置編碼信息，包括：

若所述人臉識(shí)別結(jié)果為班級(jí)人員目標(biāo)框人臉識(shí)別異常，確定班級(jí)人員目標(biāo)框人臉識(shí)別異常對(duì)應(yīng)的班級(jí)人員目標(biāo)框的位置；

若所確定的班級(jí)人員目標(biāo)框的位置屬于人員終端位置編碼信息所在范圍，確定該人員終端位置編碼信息為異常行為人員終端位置編碼信息。

6.一種用于教學(xué)輔助的提醒裝置，其特征在于，所述提醒裝置包括：

人員識(shí)別模塊，用于：

獲取基于YOLOv4網(wǎng)絡(luò)訓(xùn)練的班級(jí)人員模型，實(shí)時(shí)獲取教室內(nèi)上課視頻圖像，將每一上課視頻幀圖像數(shù)據(jù)輸入所述班級(jí)人員模型，得到每一上課視頻幀圖像數(shù)據(jù)中的班級(jí)人員目標(biāo)框；并將每一上課視頻幀圖像數(shù)據(jù)中的班級(jí)人員目標(biāo)框與圖像預(yù)設(shè)劃分區(qū)域?qū)?yīng)關(guān)聯(lián)；

異常區(qū)域判斷模塊，用于響應(yīng)于異常行為區(qū)域確認(rèn)信號(hào)，獲取當(dāng)前時(shí)刻的上課視頻幀圖像數(shù)據(jù)，以及將所述異常行為區(qū)域確認(rèn)信號(hào)對(duì)應(yīng)的圖像預(yù)設(shè)劃分區(qū)域中的班級(jí)人員目標(biāo)框內(nèi)的人像數(shù)據(jù)進(jìn)行人臉識(shí)別處理，得到相應(yīng)的人臉識(shí)別結(jié)果；

提醒模塊，用于根據(jù)所述人臉識(shí)別結(jié)果，確定異常行為人員終端位置編碼信息，以及根據(jù)異常行為人員終端位置編碼信息，發(fā)送相應(yīng)的提示信息。