[發(fā)明專利]一種基于參數(shù)共享的多尺度超分重建的小目標(biāo)檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010060271.1
• 申請(qǐng)日: 2020-01-19
• 公開(kāi)（公告）號(hào): CN111275171B
• 公開(kāi)（公告）日: 2023-07-04
• 發(fā)明（設(shè)計(jì)）人: 趙仲秋;沈浩;黃德雙
• 申請(qǐng)（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號(hào): G06T3/40
• 分類號(hào): G06T3/40;G06N3/045;G06N3/0464;G06N3/084;G06N3/092;G06N3/08;G06V10/82;G06V10/776;G06V10/774
• 代理公司: 安徽合肥華信知識(shí)產(chǎn)權(quán)代理有限公司 34112
• 代理人: 張果果

本發(fā)明公開(kāi)了一種基于參數(shù)共享的多尺度超分重建的小目標(biāo)檢測(cè)方法，該方法包括三個(gè)步驟：（1）將現(xiàn)有的超分?jǐn)?shù)據(jù)集和小目標(biāo)檢測(cè)數(shù)據(jù)集分別在超分網(wǎng)絡(luò)和小目標(biāo)檢測(cè)網(wǎng)絡(luò)上進(jìn)行初步訓(xùn)練，直到損失函數(shù)收斂；（2）然后構(gòu)建基于參數(shù)共享的Skip?Connection多尺度特征重建網(wǎng)絡(luò)結(jié)構(gòu)，在此過(guò)程中，將超分和目標(biāo)檢測(cè)匹配的小型數(shù)據(jù)集輸入該網(wǎng)絡(luò)，首先提取多尺度超分特征，然后對(duì)重建的超分特征進(jìn)行目標(biāo)檢測(cè)；（3）采用基于馬爾可夫決策的多任務(wù)深度網(wǎng)絡(luò)對(duì)超分和小目標(biāo)檢測(cè)任務(wù)進(jìn)行動(dòng)態(tài)協(xié)同訓(xùn)練，最終得到小目標(biāo)檢測(cè)的訓(xùn)練模型。本發(fā)明不僅提升了小目標(biāo)檢測(cè)的識(shí)別率，而且所發(fā)明的動(dòng)態(tài)協(xié)同訓(xùn)練方法也適用于其他的多任務(wù)訓(xùn)練過(guò)程中。

技術(shù)領(lǐng)域

本發(fā)明涉及多尺度超分重建和小目標(biāo)檢測(cè)的相關(guān)算法，特別涉及一種基于參數(shù)共享的多尺度超分重建的小目標(biāo)檢測(cè)方法。

背景技術(shù)

隨著人工智能技術(shù)的不斷更新，目標(biāo)檢測(cè)算法的識(shí)別率正不斷被刷新，并且已經(jīng)應(yīng)用在了很多具體的實(shí)際應(yīng)用中。近年來(lái)，隨著深度學(xué)習(xí)和卷積神經(jīng)網(wǎng)絡(luò)的不斷興起，計(jì)算機(jī)視覺(jué)研究及其相關(guān)技術(shù)都取得了突破性的進(jìn)展，尤其針對(duì)目標(biāo)識(shí)別和檢測(cè)任務(wù)，實(shí)現(xiàn)了將檢測(cè)任務(wù)與識(shí)別任務(wù)統(tǒng)一到一個(gè)網(wǎng)絡(luò)結(jié)構(gòu)中，并且逐漸形成了端到端的網(wǎng)絡(luò)構(gòu)建模式，在實(shí)時(shí)性與準(zhǔn)確性方面均遠(yuǎn)遠(yuǎn)超越了傳統(tǒng)的目標(biāo)檢測(cè)方法。然而，當(dāng)待檢測(cè)的目標(biāo)位于比較復(fù)雜的場(chǎng)景中，或者所獲得的的目標(biāo)尺度過(guò)小，例如在VOC2012與MS-COCO等數(shù)據(jù)集中，當(dāng)前已有的深度網(wǎng)絡(luò)均不能有效地進(jìn)行檢測(cè)和識(shí)別：如具有較高精度的RetinaNet網(wǎng)絡(luò)在MS-COCO測(cè)試數(shù)據(jù)集中對(duì)大(目標(biāo)區(qū)域像素大于96×96)、中、小(目標(biāo)區(qū)域像素小于32×32)目標(biāo)的檢測(cè)精度mAP(mean?Average?Precision)分別為51.2、44.2、24.1。

在實(shí)際的生活場(chǎng)景中，存在大量對(duì)特定小目標(biāo)的檢測(cè)需求，并且檢測(cè)精度還存在很大的提升空間，如：在車(chē)站、機(jī)場(chǎng)、等人流量較多的公眾場(chǎng)所，需要在較大視距條件下檢測(cè)行人、車(chē)輛或者其它的小型物體；在工業(yè)制造或醫(yī)學(xué)診斷領(lǐng)域，需要檢測(cè)的缺陷和異常(裂痕、雜質(zhì)、癌細(xì)胞等)在影像中的相對(duì)尺度非常小，等等。

通過(guò)構(gòu)建多尺度特征融合的網(wǎng)絡(luò)結(jié)構(gòu)，來(lái)增強(qiáng)小目標(biāo)的特征表示。目標(biāo)檢測(cè)網(wǎng)絡(luò)如Inside?Outside?Net(ION)、Feature-fused?SSD、Deconvolutional?SSD(DSSD)等構(gòu)建top-down?and?bottom-up形式的多尺度特征融合結(jié)構(gòu)的網(wǎng)絡(luò)模型，使其具備一定的尺度不變性，能檢測(cè)到較小尺度目標(biāo)。由于淺層特征并不具有很抽象的語(yǔ)義信息，而深層特征往往丟失了目標(biāo)的紋理細(xì)節(jié)信息，因此，將深層與淺層特征直接融合并不能從低分辨率圖像特征中挖掘或重建出新的細(xì)節(jié)特征，反而粗粒度語(yǔ)義特征與細(xì)粒度細(xì)節(jié)特征之間會(huì)互相干擾。因而，SSD、DSSD等目前檢測(cè)效果較好的網(wǎng)絡(luò)傾向于先利用不同尺度的特征進(jìn)行目標(biāo)檢測(cè)，再將各層分支的檢測(cè)結(jié)果按非極大值抑制策略進(jìn)行融合。總之，多尺度特征融合方法能夠一定程度上擴(kuò)大網(wǎng)絡(luò)模型檢測(cè)目標(biāo)的尺度范圍，提高對(duì)小尺度目標(biāo)的檢測(cè)召回率。

目標(biāo)檢測(cè)網(wǎng)絡(luò)中的多尺度特征融合雖然能有效兼顧粗粒度深層特征與細(xì)粒度淺層特征，卻并非是對(duì)目標(biāo)細(xì)節(jié)信息的補(bǔ)充與重建。然而，若將圖像超分辨率作為目標(biāo)檢測(cè)的輔助視覺(jué)任務(wù)，構(gòu)建多任務(wù)網(wǎng)絡(luò)，必然能給小目標(biāo)特征補(bǔ)充或重建細(xì)節(jié)特征，從而有效緩解小目標(biāo)特征粗糙問(wèn)題，提高小尺度目標(biāo)的檢測(cè)精度。構(gòu)建該多任務(wù)網(wǎng)絡(luò)的另一方面好處是，目標(biāo)檢測(cè)任務(wù)注重特定目標(biāo)的定位與分類，它提取的卷積特征側(cè)重于保留(激活)特定目標(biāo)的特征表示而忽略背景信息，這些特征反過(guò)來(lái)又可被超分辨率任務(wù)用來(lái)重建更適合人類視覺(jué)愉悅(前景目標(biāo)相對(duì)背景更加明顯)的高分辨率圖像。由此可見(jiàn)，圖像超分辨率重建任務(wù)和目標(biāo)檢測(cè)任務(wù)互為補(bǔ)充和互相促進(jìn)。然而，將超分和目標(biāo)檢測(cè)仍然存在以下問(wèn)題：

(1)多任務(wù)網(wǎng)絡(luò)模型涉及多個(gè)視覺(jué)任務(wù)，訓(xùn)練時(shí)要求訓(xùn)練集同時(shí)滿足多個(gè)任務(wù)的標(biāo)注條件。然而采集與制作同時(shí)滿足多標(biāo)注條件的大訓(xùn)練集需耗費(fèi)大量資源。并且在當(dāng)前已公布的所有數(shù)據(jù)集中，并不存在這兩種任務(wù)所匹配的相關(guān)數(shù)據(jù)集，主要問(wèn)題就在于目標(biāo)檢測(cè)訓(xùn)練集中的圖像包含多尺度目標(biāo)，但往往分辨率較低，而超分重建任務(wù)訓(xùn)練集中僅僅包含少量的目標(biāo)，且尺度都比較大，并且沒(méi)有目標(biāo)的位置及類別標(biāo)注。