[發(fā)明專利]一種單階段半監(jiān)督圖像人體目標(biāo)檢測(cè)方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202010114793.5
• 申請(qǐng)日: 2020-02-25
• 公開(kāi)（公告）號(hào): CN111368660A
• 公開(kāi)（公告）日: 2020-07-03
• 發(fā)明（設(shè)計(jì)）人: 陳學(xué)賢;吳斯
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué)
• 主分類號(hào): G06K9/00
• 分類號(hào): G06K9/00;G06N3/04;G06N3/08
• 代理公司: 廣州市華學(xué)知識(shí)產(chǎn)權(quán)代理有限公司 44245
• 代理人: 馮炳輝

本發(fā)明公開(kāi)了一種單階段半監(jiān)督圖像人體目標(biāo)檢測(cè)方法，該方法是從視頻幀中選取少量有真實(shí)標(biāo)簽的圖像，剩下其它視頻幀作為無(wú)真實(shí)標(biāo)簽圖像；兩類圖像同時(shí)送入深度網(wǎng)絡(luò)中訓(xùn)練網(wǎng)絡(luò)；訓(xùn)練過(guò)程會(huì)有所不同，帶有真實(shí)標(biāo)簽圖像可以正常訓(xùn)練，但是無(wú)真實(shí)標(biāo)簽圖像無(wú)法正常訓(xùn)練，所以會(huì)先通過(guò)網(wǎng)絡(luò)獲得高置信度的位置信息作為無(wú)真實(shí)標(biāo)簽圖像的臨時(shí)標(biāo)簽，然后再進(jìn)行正常的訓(xùn)練；為了能夠使網(wǎng)絡(luò)不被臨時(shí)標(biāo)簽的圖像帶偏，通過(guò)后續(xù)篩選和權(quán)重設(shè)置加以限制；直到網(wǎng)絡(luò)模型訓(xùn)練到預(yù)先設(shè)定的次數(shù)。本發(fā)明方法是同時(shí)訓(xùn)練兩類圖像，只需要一個(gè)階段，節(jié)約大量的時(shí)間成本。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)視覺(jué)的技術(shù)領(lǐng)域，尤其是指一種單階段半監(jiān)督圖像人體目標(biāo)檢測(cè)方法。

背景技術(shù)

行人檢測(cè)是利用計(jì)算機(jī)視覺(jué)技術(shù)識(shí)別圖像或者視頻幀中是否存在行人并給予精確定位。該技術(shù)應(yīng)用領(lǐng)域廣泛，可與行人跟蹤、行人重識(shí)別等技術(shù)結(jié)合，能夠很好地應(yīng)用于人工智能系統(tǒng)、車輛輔助駕駛系統(tǒng)、智能視頻監(jiān)控、人體行為分析、智能交通等現(xiàn)實(shí)場(chǎng)景領(lǐng)域。

由于行人一些獨(dú)特的特性，外觀易受穿著顏色、尺度、遮擋、姿態(tài)和視角等多方面影響，使得行人檢測(cè)成為計(jì)算機(jī)視覺(jué)領(lǐng)域中一個(gè)不僅具有研究?jī)r(jià)值而且又極具挑戰(zhàn)性的熱門研究課題。

半監(jiān)督學(xué)習(xí)是模式識(shí)別領(lǐng)域和機(jī)器學(xué)習(xí)領(lǐng)域研究的重點(diǎn)問(wèn)題，也是有監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí)相結(jié)合的一種學(xué)習(xí)方法。半監(jiān)督學(xué)習(xí)使用大量的無(wú)真實(shí)標(biāo)簽數(shù)據(jù)，同時(shí)使用少量真實(shí)標(biāo)簽數(shù)據(jù)，來(lái)進(jìn)行模式識(shí)別工作。當(dāng)使用半監(jiān)督學(xué)習(xí)時(shí)，將會(huì)要求盡量少的人員來(lái)從事工作，同時(shí)，又能夠帶來(lái)比較高的準(zhǔn)確性，因此，半監(jiān)督學(xué)習(xí)目前正越來(lái)越受到人們的重視。

基于統(tǒng)計(jì)學(xué)習(xí)的方法根據(jù)大量的圖像構(gòu)建行人檢測(cè)分類器。提取的特征主要有目標(biāo)的灰度、邊緣、紋理、顏色、梯度直方圖等信息。分類器主要包括神經(jīng)網(wǎng)絡(luò)、SVM、adaboost以及現(xiàn)在被計(jì)算機(jī)視覺(jué)視為寵兒的深度學(xué)習(xí)。由于深度神經(jīng)網(wǎng)絡(luò)，通過(guò)引入具有CNN特征的區(qū)域(R-CNN)獲得了更顯著的增益。DNN或最具代表性的CNN以與傳統(tǒng)方法完全不同的方式起作用。他們擁有更深層次的架構(gòu)，能夠?qū)W習(xí)比淺層更復(fù)雜的功能。此外，表現(xiàn)力和強(qiáng)大的訓(xùn)練算法允許學(xué)習(xí)信息對(duì)象表示，而無(wú)需手動(dòng)設(shè)計(jì)功能。

自R-CNN的提議以來(lái)，已經(jīng)提出了大量改進(jìn)的模型，包括Fast R-CNN，它共同優(yōu)化了分類和邊界框回歸任務(wù)，F(xiàn)aster R-CNN需要額外的子網(wǎng)來(lái)生成區(qū)域提議和YOLO通過(guò)固定網(wǎng)格回歸完成目標(biāo)檢測(cè)。所有這些都比原始R-CNN帶來(lái)不同程度的檢測(cè)性能改進(jìn)，使得實(shí)時(shí)和準(zhǔn)確的物體檢測(cè)變得更加可實(shí)現(xiàn)。

發(fā)明內(nèi)容

本發(fā)明的目的在于克服現(xiàn)有半監(jiān)督訓(xùn)練過(guò)程繁瑣的問(wèn)題，提出了一種單階段半監(jiān)督圖像人體目標(biāo)檢測(cè)方法，該方法只需要訓(xùn)練一輪就可以得到性能良好的檢測(cè)效果，有效的節(jié)省了大量的時(shí)間。

為實(shí)現(xiàn)上述目的，本發(fā)明所提供的技術(shù)方案為：一種單階段半監(jiān)督圖像人體目標(biāo)檢測(cè)方法，包括以下步驟：

S1、對(duì)視頻幀數(shù)據(jù)進(jìn)行劃分，分有真實(shí)標(biāo)簽圖像集合無(wú)真實(shí)標(biāo)簽圖像集合和測(cè)試數(shù)據(jù)集合

S2、從無(wú)真實(shí)標(biāo)簽圖像集合中獲取一張無(wú)真實(shí)標(biāo)簽圖像經(jīng)過(guò)VGG16網(wǎng)絡(luò)和RPN網(wǎng)絡(luò)得到預(yù)測(cè)的位置坐標(biāo)信息和相應(yīng)的得分信息，將高置信度的位置坐標(biāo)信息和得分信息送入到IoU網(wǎng)絡(luò)，得到預(yù)測(cè)交并比信息，選取預(yù)測(cè)交并比大于或等于預(yù)定閾值的人體框預(yù)測(cè)信息作為該無(wú)真實(shí)標(biāo)簽圖像的臨時(shí)標(biāo)簽；

S3、輸入兩張圖像到整個(gè)網(wǎng)絡(luò)的入口，該整個(gè)網(wǎng)絡(luò)是由VGG16、RPN和IoU三個(gè)網(wǎng)絡(luò)組成，記為網(wǎng)絡(luò)VGG16+RPN+IoU，其中一張為步驟S2的無(wú)真實(shí)標(biāo)簽圖像另一張為從真實(shí)標(biāo)簽圖像集合種獲取的真實(shí)標(biāo)簽圖像用于當(dāng)前一輪的訓(xùn)練，用損失函數(shù)進(jìn)行約束；

S4、重復(fù)步驟S2-S3，達(dá)到預(yù)先設(shè)定訓(xùn)練次數(shù)后完成訓(xùn)練；

S5、用測(cè)試數(shù)據(jù)集合對(duì)訓(xùn)練好的完整網(wǎng)絡(luò)VGG16+RPN+IoU進(jìn)行測(cè)試評(píng)估，得到人體目標(biāo)檢測(cè)的結(jié)果。