[發(fā)明專利]一種基于目標(biāo)檢測(cè)的學(xué)生行為檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910620750.1
• 申請(qǐng)日: 2019-07-10
• 公開（公告）號(hào): CN110414380A
• 公開（公告）日: 2019-11-05
• 發(fā)明（設(shè)計(jì)）人: 鄭銳;申瑞民;姜飛
• 申請(qǐng)（專利權(quán)）人: 上海交通大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06K9/62
• 代理公司: 上?？剖⒅R(shí)產(chǎn)權(quán)代理有限公司 31225
• 代理人: 翁惠瑜

本發(fā)明涉及一種基于目標(biāo)檢測(cè)的學(xué)生行為檢測(cè)方法，包括以下步驟：S1、建立包含學(xué)生行為信息的數(shù)據(jù)集，所述學(xué)生行為包括舉手、站立和睡覺；S2、建立學(xué)生行為檢測(cè)模型，該模型為基于殘差網(wǎng)絡(luò)ResNet?101的改進(jìn)Faster R?CNN模型；S3、基于所述數(shù)據(jù)集，采用在線困難樣本挖掘方法對(duì)學(xué)生行為檢測(cè)模型進(jìn)行訓(xùn)練；S4、利用訓(xùn)練后的學(xué)生行為檢測(cè)模型對(duì)待測(cè)視頻進(jìn)行檢測(cè)，獲得學(xué)生行為結(jié)果并可視化；其中，所述殘差網(wǎng)絡(luò)ResNet?101采用多層特征融合策略，所述殘差網(wǎng)絡(luò)ResNet?101的第5個(gè)卷積階段包括多個(gè)具有感受野大小不同的分支。與現(xiàn)有技術(shù)相比，本發(fā)明具有精度高等優(yōu)點(diǎn)。

技術(shù)領(lǐng)域

本發(fā)明涉及行為檢測(cè)領(lǐng)域，尤其是涉及一種基于目標(biāo)檢測(cè)的學(xué)生行為檢測(cè)方法。

背景技術(shù)

行為檢測(cè)是當(dāng)前人工智能領(lǐng)域的一項(xiàng)重要研究課題，其被廣泛應(yīng)用在公共安防、人機(jī)交互等領(lǐng)域。教室等場(chǎng)景下的學(xué)生行為檢測(cè)是后續(xù)教學(xué)分析中的重要一環(huán)，能夠有效幫助學(xué)校提高教學(xué)質(zhì)量。因此自動(dòng)化檢測(cè)學(xué)生行為能夠大大減輕教師負(fù)擔(dān)，為教學(xué)過程提供持續(xù)的質(zhì)量評(píng)估。然而，真實(shí)的教室場(chǎng)景中存在分辨率低、學(xué)生行為姿態(tài)多樣、遮擋嚴(yán)重等問題。同時(shí)，不同教室的攝像頭拍攝角度、拍攝距離、光照條件等均存在較大的差別。傳統(tǒng)的行為檢測(cè)方法在真實(shí)教室場(chǎng)景下難以取得較好的效果。隨著近年來深度學(xué)習(xí)的快速發(fā)展，基于卷積神經(jīng)網(wǎng)絡(luò)(CNN)的目標(biāo)檢測(cè)方法也被應(yīng)用于行為檢測(cè)，并且實(shí)現(xiàn)了較好的效果。

現(xiàn)有基于目標(biāo)檢測(cè)的行為檢測(cè)方法分為兩步：建立訓(xùn)練樣本；訓(xùn)練深度卷積神經(jīng)網(wǎng)絡(luò)，網(wǎng)絡(luò)的結(jié)構(gòu)和訓(xùn)練方式?jīng)Q定了最終行為檢測(cè)效果。在以上的技術(shù)框架下，現(xiàn)有的技術(shù)方案主要是設(shè)計(jì)更好網(wǎng)絡(luò)結(jié)構(gòu)、算法流程和訓(xùn)練方式等。目前，兩階段的目標(biāo)檢測(cè)器為主流方法，其首先基于圖片提出若干可能包含物體的區(qū)域，再進(jìn)行分類及回歸得到每個(gè)區(qū)域的類別及坐標(biāo)。經(jīng)典的算法有Faster R-CNN和R-FCN。在目標(biāo)檢測(cè)應(yīng)用于行為檢測(cè)等場(chǎng)景時(shí)，一個(gè)挑戰(zhàn)是從尺度變化巨大的不同物體樣本中學(xué)習(xí)到尺度不變的特征信息。近年來也有一些目標(biāo)檢測(cè)方法被提出，用于解決網(wǎng)絡(luò)的尺度不變性問題。特征金字塔網(wǎng)絡(luò)通過建立神經(jīng)網(wǎng)絡(luò)不同深度的特征金字塔得到高分辨率的特征圖，并根據(jù)目標(biāo)大小在不同深度的特征圖上進(jìn)行檢測(cè)，提高了小目標(biāo)的檢測(cè)效果；圖像金字塔訓(xùn)練方式通過圖片放縮，使用不同尺度下的圖片訓(xùn)練網(wǎng)絡(luò)，使得網(wǎng)絡(luò)能夠?qū)W到尺度不變的特征，提升了檢測(cè)效果。但以上技術(shù)都需要在高分辨率的特征圖或圖片上計(jì)算，導(dǎo)致這類方法推斷速度很慢，難以達(dá)到實(shí)時(shí)的檢測(cè)；而且簡(jiǎn)單地融合多尺度的特征會(huì)影響網(wǎng)絡(luò)深層較強(qiáng)的語義信息，損害大目標(biāo)的檢測(cè)效果，多尺度訓(xùn)練的方式需要更長(zhǎng)的訓(xùn)練時(shí)間，且收斂速度較慢。

發(fā)明內(nèi)容

本發(fā)明的目的就是為了克服上述現(xiàn)有技術(shù)存在的缺陷而提供一種基于目標(biāo)檢測(cè)的學(xué)生行為檢測(cè)方法。

本發(fā)明的目的可以通過以下技術(shù)方案來實(shí)現(xiàn)：

一種基于目標(biāo)檢測(cè)的學(xué)生行為檢測(cè)方法，應(yīng)用于智能教室，包括以下步驟：

S1、建立包含學(xué)生行為信息的數(shù)據(jù)集，所述學(xué)生行為包括舉手、站立和睡覺；

S2、建立學(xué)生行為檢測(cè)模型，該模型為基于殘差網(wǎng)絡(luò)ResNet-101的改進(jìn)Faster R-CNN模型；

S3、基于所述數(shù)據(jù)集，采用在線困難樣本挖掘方法對(duì)學(xué)生行為檢測(cè)模型進(jìn)行訓(xùn)練；

S4、利用訓(xùn)練后的學(xué)生行為檢測(cè)模型對(duì)待測(cè)視頻進(jìn)行檢測(cè)，獲得學(xué)生行為結(jié)果并可視化；

其中，所述Faster R-CNN模型的主干網(wǎng)絡(luò)采用殘差網(wǎng)絡(luò)ResNet-101，所述殘差網(wǎng)絡(luò)ResNet-101采用多層特征融合策略，所述殘差網(wǎng)絡(luò)ResNet-101的第5個(gè)卷積階段包括多個(gè)具有感受野大小不同的分支。

進(jìn)一步地，該方法應(yīng)用場(chǎng)所為教育場(chǎng)所，所述教育場(chǎng)所包括教室。