[發(fā)明專利]一種基于深度學習的層級葉片病害檢測方法和系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202310353202.3
• 申請日: 2023-04-04
• 公開（公告）號: CN116664480A
• 公開（公告）日: 2023-08-29
• 發(fā)明（設(shè)計）人: 劉斌;楊佳慧;張海曦;劉運松;衛(wèi)星;袁愛紅
• 申請（專利權(quán)）人: 西北農(nóng)林科技大學;陜西省農(nóng)村科技開發(fā)中心
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06V10/764;G06V10/82;G06V10/40;G06V10/25;G06V10/77;G06V10/80;G06V10/766;G06N3/0464;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 錢宇婧

1.一種基于深度學習的層級葉片病害檢測方法，其特征在于，包括：

輸入待檢測圖像，通過骨干網(wǎng)絡(luò)提取不同層級的病害特征，通過特征金字塔網(wǎng)絡(luò)對不同層級的病害特征進行特征融合和特征提取，獲得金字塔特征圖；

將金字塔特征圖輸入至前置區(qū)域提議網(wǎng)絡(luò)，獲得所有類別的病害提議框和葉片提議框；所述前置區(qū)域提議網(wǎng)絡(luò)由5個大小為3×3的特征提取卷積層組成；

在每一個葉片提議框中，通過位置錨框生成器生成預(yù)制錨框，通過后置區(qū)域提議網(wǎng)絡(luò)回歸預(yù)制錨框的中心坐標和大小，獲得位置的回歸參數(shù)和病害類別，生成病害提議框；所述后置區(qū)域提議網(wǎng)絡(luò)包括ROIAlign模塊、注意力模塊和特征卷積層；ROlAlign模塊從葉片提議框中，獲得病葉特征；注意力模塊調(diào)整病葉特征中的權(quán)重，獲得調(diào)整后的病葉特征；特征卷積層基于調(diào)整后的病葉特征獲得病害提議框；

將所有的提議框通過感興趣區(qū)域檢測頭提取特征后，獲得病害和病葉的分類及位置。

2.根據(jù)權(quán)利要求1所述的一種基于深度學習的層級葉片病害檢測方法，其特征在于，金字塔特征圖在前置區(qū)域提議網(wǎng)絡(luò)中生成預(yù)制錨框，通過4個大小為1×1的卷積對閾值錨框的中心位置和寬高進行回歸，得到提議框；通過1個大小為1×1的卷積判別提議框中是否有病害或葉片存在。

3.根據(jù)權(quán)利要求1所述的一種基于深度學習的層級葉片病害檢測方法，其特征在于，從前置區(qū)域網(wǎng)絡(luò)中提取出低層次特征，獲得低層特征聚合模塊；所述低層特征聚合模塊的公式為：

其中，deconv表示反卷積層，maxpool表示最大池化層，L₁和L₀均為特征圖。

4.根據(jù)權(quán)利要求3所述的一種基于深度學習的層級葉片病害檢測方法，其特征在于，ROlAlign模塊基于葉片提議框和低層特征聚合模塊獲得病葉特征。

5.根據(jù)權(quán)利要求1所述的一種基于深度學習的層級葉片病害檢測方法，其特征在于，后置區(qū)域提議網(wǎng)絡(luò)獲得位置的回歸參數(shù)和病害類別，調(diào)整預(yù)制錨框的偏移量，網(wǎng)格生成公式為：

其中P^w,h為前置區(qū)域提議網(wǎng)絡(luò)生成的N個葉片提議框的寬度和高度，ROI^w,h為ROIAlign模塊在水平方向和豎直方向的寬度和高度，S^i,j代表水平方向和豎直方向的網(wǎng)格點步長。

6.根據(jù)權(quán)利要求1所述的一種基于深度學習的層級葉片病害檢測方法，其特征在于，所述感興趣區(qū)域檢測頭從病害提議框中，提取出位置特征，將位置特征對齊后，將對齊的位置特征送入至全連接層，進行病害提議框的再回歸，獲得病害的最終類別和最終的包圍框。

7.根據(jù)權(quán)利要求1所述的一種基于深度學習的層級葉片病害檢測方法，其特征在于，所述前置區(qū)域提議網(wǎng)絡(luò)和后置區(qū)域提議網(wǎng)絡(luò)均通過損失函數(shù)進行反向傳播訓練，獲得訓練后的前置區(qū)域提議網(wǎng)絡(luò)和后置區(qū)域提議網(wǎng)絡(luò)。

8.根據(jù)權(quán)利要求7所述的一種基于深度學習的層級葉片病害檢測方法，其特征在于，所述損失函數(shù)為：

τ代表區(qū)域提議網(wǎng)絡(luò)的層級，τ等于2；為階段回歸損失，為分類損失；為預(yù)置錨框的個數(shù)，等于批次中的圖片張數(shù)。

9.根據(jù)權(quán)利要求1所述的一種基于深度學習的層級葉片病害檢測方法，其特征在于，感興趣區(qū)域檢測頭提取特征后，獲得得分最高的前100個病葉包圍框和病害包圍框，通過非極大值抑制獲得分數(shù)最高的包圍框，獲得病害的分類及位置。

10.一種基于深度學習的層級葉片病害檢測系統(tǒng)，其特征在于，包括：

特征提取單元，用于輸入待檢測圖像，通過骨干網(wǎng)絡(luò)提取不同層級的病害特征，通過特征金字塔網(wǎng)絡(luò)對不同層級的病害特征進行特征融合和特征提取，獲得金字塔特征圖；

病葉生成單元，用于將金字塔特征圖輸入至前置區(qū)域提議網(wǎng)絡(luò)，獲得所有類別的病害提議框和葉片提議框；所述前置區(qū)域提議網(wǎng)絡(luò)由5個大小為3×3的特征提取卷積層組成；

病害生成單元，用于在每一個葉片提議框中，通過位置錨框生成器生成預(yù)制錨框，通過后置區(qū)域提議網(wǎng)絡(luò)回歸預(yù)制錨框的中心坐標和大小，獲得位置的回歸參數(shù)和病害類別，生成病害提議框；所述后置區(qū)域提議網(wǎng)絡(luò)包括ROIAlign模塊、注意力模塊和特征卷積層；ROlAlign模塊從葉片提議框中，獲得病葉特征；注意力模塊調(diào)整病葉特征中的權(quán)重，獲得調(diào)整后的病葉特征；特征卷積層基于調(diào)整后的病葉特征獲得病害提議框；

分類檢測單元，用于將所有的病害提議框通過感興趣區(qū)域檢測頭提取特征后，獲得病害和病葉的分類及位置。