[發(fā)明專利]一種基于目標(biāo)檢測的學(xué)生行為檢測方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910620750.1
• 申請(qǐng)日: 2019-07-10
• 公開（公告）號(hào): CN110414380A
• 公開（公告）日: 2019-11-05
• 發(fā)明（設(shè)計(jì)）人: 鄭銳;申瑞民;姜飛
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 上?？剖⒅R(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 翁惠瑜

1.一種基于目標(biāo)檢測的學(xué)生行為檢測方法，其特征在于，包括以下步驟：

S1、建立包含學(xué)生行為信息的數(shù)據(jù)集，所述學(xué)生行為包括舉手、站立和睡覺；

S2、建立學(xué)生行為檢測模型，該模型為基于殘差網(wǎng)絡(luò)ResNet-101的改進(jìn)Faster R-CNN模型；

S3、基于所述數(shù)據(jù)集，采用在線困難樣本挖掘方法對(duì)學(xué)生行為檢測模型進(jìn)行訓(xùn)練；

S4、利用訓(xùn)練后的學(xué)生行為檢測模型檢測待測視頻，獲得學(xué)生行為結(jié)果；

其中，所述殘差網(wǎng)絡(luò)ResNet-101采用多層特征融合策略，所述殘差網(wǎng)絡(luò)ResNet-101的第5個(gè)卷積階段包括多個(gè)具有不同感受野大小的分支。

2.根據(jù)權(quán)利要求1所述的一種基于目標(biāo)檢測的學(xué)生行為檢測方法，其特征在于，所述多個(gè)具有不同感受野的分支上采用具有不同空洞率的空洞卷積，用于檢測對(duì)應(yīng)尺度的物體。

3.根據(jù)權(quán)利要求2所述的一種基于目標(biāo)檢測的學(xué)生行為檢測方法，其特征在于，所述分支上采用具有不同空洞率的空洞卷積的具體方法為：若干分支采用的空洞率數(shù)值從小到大間隔分布，將不同尺度大小的物體分配給具有對(duì)應(yīng)空洞率的分支。

4.根據(jù)權(quán)利要求1所述的一種基于目標(biāo)檢測的學(xué)生行為檢測方法，其特征在于，所述多層特征融合策略是將所述殘差網(wǎng)絡(luò)ResNet-101的第3、4個(gè)卷積階段的特征進(jìn)行融合以提升特征圖分辨率。

5.根據(jù)權(quán)利要求4所述的一種基于目標(biāo)檢測的學(xué)生行為檢測方法，其特征在于，將第3、4個(gè)卷積階段的特征進(jìn)行融合具體為：

將第3個(gè)卷積階段輸出中鄰近的四個(gè)點(diǎn)合并到通道維度中，再與第4個(gè)卷積階段特征進(jìn)行拼接，最后通過1x1的卷積使融合后的特征圖通道維度與第5個(gè)卷積階段的輸入維度一致。

6.根據(jù)權(quán)利要求1所述的一種基于目標(biāo)檢測的學(xué)生行為檢測方法，其特征在于，步驟S3所述在線困難樣本挖掘方法具體為：

S301、隨機(jī)采集包含若干幀圖片數(shù)據(jù)的數(shù)據(jù)；

S302、將所述數(shù)據(jù)輸入學(xué)生行為檢測模型進(jìn)行前向傳播，生成的N個(gè)感興趣區(qū)域；

S303、計(jì)算每個(gè)所述感興趣區(qū)域的損失，基于損失進(jìn)行排序，選取損失最高的若干個(gè)感興趣區(qū)域進(jìn)行反向傳播，更新參數(shù)。

7.根據(jù)權(quán)利要求1所述的一種基于目標(biāo)檢測的學(xué)生行為檢測方法，其特征在于，步驟S1所述數(shù)據(jù)集建立的具體過程為：

S101、將包含記錄了學(xué)生行為的視頻組成數(shù)據(jù)庫；

S102、將所述視頻切分為幀，對(duì)于每一幀圖像，標(biāo)注出幀中學(xué)生行為類別和邊框；

S103、為每一幀圖像保存一個(gè)記錄行為類別和位置信息的數(shù)據(jù)，整理并存儲(chǔ)所述數(shù)據(jù)，獲得數(shù)據(jù)集。

8.根據(jù)權(quán)利要求7所述的一種基于目標(biāo)檢測的學(xué)生行為檢測方法，其特征在于，所述視頻在不同場景、不同攝像頭角度和不同光照條件下拍攝獲得。