[發(fā)明專(zhuān)利]一種基于深度多層特征融合學(xué)習(xí)的小麥麥蜘蛛檢測(cè)方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201710894737.6
• 申請(qǐng)日: 2017-09-28
• 公開(kāi)（公告）號(hào): CN107808116B
• 公開(kāi)（公告）日: 2020-05-05
• 發(fā)明（設(shè)計(jì)）人: 陳天嬌;王儒敬;謝成軍;張潔;李瑞
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)科學(xué)院合肥物質(zhì)科學(xué)研究院
• 主分類(lèi)號(hào): G06K9/00
• 分類(lèi)號(hào): G06K9/00;G06K9/62
• 代理公司: 合肥國(guó)和專(zhuān)利代理事務(wù)所(普通合伙) 34131
• 代理人: 張祥騫

1.一種基于深度多層特征融合學(xué)習(xí)的小麥麥蜘蛛檢測(cè)方法，其特征在于， 包括以下步驟：

11）小麥麥蜘蛛圖像的收集，收集若干幅小麥麥蜘蛛圖像作為訓(xùn)練圖像，得到若干個(gè)麥蜘蛛圖像訓(xùn)練樣本；

12）通過(guò)標(biāo)記軟件對(duì)麥蜘蛛在訓(xùn)練圖像中進(jìn)行具體位置的標(biāo)記；

13）構(gòu)造小麥麥蜘蛛圖像檢測(cè)模型，構(gòu)造基于Faster-RCNN方法通過(guò)融合不同級(jí)別特征層特征的檢測(cè)模型；構(gòu)造小麥麥蜘蛛圖像檢測(cè)模型包括以下步驟：

21）基于Faster-RCNN方法構(gòu)造小麥麥蜘蛛圖像檢測(cè)模型；所述基于Faster-RCNN方法構(gòu)造小麥麥蜘蛛圖像檢測(cè)模型包括以下步驟：

31）輸入若干個(gè)麥蜘蛛圖像訓(xùn)練樣本，將麥蜘蛛圖像訓(xùn)練樣本的整張訓(xùn)練圖像輸入RPN的共享卷積網(wǎng)絡(luò)進(jìn)行特征提取；

32）通過(guò)RPN區(qū)域生成網(wǎng)絡(luò)生成建議窗口，每張圖片生成300個(gè)建議窗口；

33）將建議窗口映射到Fast-rcnn網(wǎng)絡(luò)的多層卷積feature map上，找到每個(gè)建議窗口在多層卷積層的映射；

34）映射的串聯(lián)融合，將不同層級(jí)的映射作為其對(duì)應(yīng)建議窗口的卷積特征，并分別輸入到Fast-rcnn網(wǎng)絡(luò)的Roi pooling層得到固定的輸出尺寸后， 對(duì)固定尺寸的卷積特征進(jìn)行串聯(lián)融合，通過(guò)Roi pooling層使每個(gè)建議窗口生成固定尺寸的輸出；

35）將固定尺寸的輸出輸入Fast-rcnn網(wǎng)絡(luò)的全連接層；

36）兩個(gè)網(wǎng)絡(luò)輸出層的聯(lián)合訓(xùn)練，全連接層后利用Softmax Loss網(wǎng)絡(luò)輸出層和SmoothL1 Loss網(wǎng)絡(luò)輸出層對(duì)分類(lèi)概率和邊框回歸聯(lián)合訓(xùn)練；

22）區(qū)域生成網(wǎng)絡(luò)RPN和檢測(cè)網(wǎng)絡(luò)fast-rcnn的輪流訓(xùn)練，對(duì)區(qū)域生成網(wǎng)絡(luò)RPN和檢測(cè)網(wǎng)絡(luò)fast-rcnn進(jìn)行輪流訓(xùn)練；所述的區(qū)域生成網(wǎng)絡(luò)和檢測(cè)網(wǎng)絡(luò)fast-rcnn的輪流訓(xùn)練包括以下：

41）對(duì)區(qū)域生成網(wǎng)絡(luò)進(jìn)行端到端的訓(xùn)練，RPN中共享卷積網(wǎng)絡(luò)使用ImageNet預(yù)訓(xùn)練的模型進(jìn)行初始化，參數(shù)記為a0，RPN獨(dú)有的層參數(shù)用高斯分布初始化；

411）若共享卷積網(wǎng)絡(luò)中最后一層特征圖上滑窗對(duì)應(yīng)的輸入圖上Anchor box與groundtruth的IoU值最大，標(biāo)記為正樣本；

412）若Anchor box與ground truth的IoU值大于0.7，標(biāo)記為正樣本；

413）若Anchor box與ground truth的IoU值小于0.3，標(biāo)記為負(fù)樣本；

414）訓(xùn)練區(qū)域生成網(wǎng)絡(luò)的Loss由classification loss和regression loss按一定比重組成的；

42）使用ImageNet預(yù)訓(xùn)練的模型進(jìn)行初始化，使用區(qū)域生成網(wǎng)絡(luò)提取訓(xùn)練集上的建議窗口訓(xùn)練檢測(cè)網(wǎng)絡(luò)fast-rcnn， 此時(shí)共享卷積網(wǎng)絡(luò)參數(shù)得到更新，記為a1；

43）固定卷積層a1，使用上述標(biāo)記的樣本集對(duì)區(qū)域生成網(wǎng)絡(luò)獨(dú)有的層進(jìn)行有監(jiān)督的訓(xùn)練， 微調(diào)區(qū)域生成網(wǎng)絡(luò)獨(dú)有的層；

44）固定卷積層a1，使用區(qū)域生成網(wǎng)絡(luò)提取訓(xùn)練集上的建議窗口，微調(diào)檢測(cè)網(wǎng)絡(luò)fast-rcnn獨(dú)有的層；

14）待檢測(cè)小麥圖像的收集；

15）麥蜘蛛在圖像中具體位置的檢測(cè)，將待檢測(cè)小麥圖像輸入訓(xùn)練完成后的小麥麥蜘蛛圖像檢測(cè)模型進(jìn)行麥蜘蛛的檢測(cè)，定位并標(biāo)記出待檢測(cè)圖像中所有麥蜘蛛在圖像中具體位置以及麥蜘蛛的類(lèi)別概率。

2.根據(jù)權(quán)利要求1所述的一種基于深度多層特征融合學(xué)習(xí)的小麥麥蜘蛛檢測(cè)方法，其特征在于，所述映射的串聯(lián)融合包括以下步驟：

51）Roi pooling層獲取不同大小建議窗口對(duì)應(yīng)的同一層特征圖上不同尺寸的映射；

52）Roi pooling層根據(jù)不同層特征圖對(duì)應(yīng)的Roi pooling參數(shù)，將每個(gè)映射均勻分成M×N塊， 對(duì)每塊均進(jìn)行max pooling；

53）將同一建議窗口不同層級(jí)的卷積映射特征經(jīng)過(guò)Roi pooling層串聯(lián)融合起來(lái)，得到固定尺寸的輸出。

3.根據(jù)權(quán)利要求1所述的一種基于深度多層特征融合學(xué)習(xí)的小麥麥蜘蛛檢測(cè)方法，其特征在于，所述麥蜘蛛在圖像中具體位置的檢測(cè)包括以下步驟：

61）輸入是一張待檢測(cè)小麥圖像，將整張圖片輸入PRN的共享卷積網(wǎng)絡(luò)進(jìn)行特征提取；

62）用RPN生成建議窗口，生成300個(gè)建議窗口；

63）把建議窗口映射到Fast-rcnn網(wǎng)絡(luò)的多層卷積feature map上，找到每個(gè)建議窗口在多層卷積層的映射；

64）將映射作為每個(gè)建議窗口的卷積特征分別輸入到Roi pooling層得到固定的輸出尺寸后串聯(lián)融合，通過(guò)Roi pooling層使每個(gè)建議窗口生成固定尺寸的輸出并輸入全連接層；

65）輸入全連接層后利用Softmax Loss網(wǎng)絡(luò)輸出層和Smooth L1 Loss網(wǎng)絡(luò)輸出層得到分類(lèi)概率和邊框回歸。