[發明專利]一種基于改進CenterNet的植物冠層密集葉片計數方法

有效

• 申請號: 202110598653.4
• 申請日: 2021-05-31
• 公開（公告）號: CN113191334B
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 陸聲鏈;陳文康;李幗
• 申請（專利權）人: 廣西師范大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/44;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 桂林市華杰專利商標事務所有限責任公司 45112
• 代理人: 周雯

1.一種基于改進CenterNet的植物冠層葉片計數方法，其特征在于，包括如下步驟：

S1、圖像的獲取：采集植物冠層的圖像，并將采集到的圖像按照COCO數據集的格式將圖片命名，同時創建名為Anno和Ima兩個文件夾；

S2、圖像預處理：

S2-1、圖像標記：對步驟S1采集到的圖像，運用圖像標注工具LabelImg對圖像中的葉片進行標記，標注出葉片的位置和分類出每個葉片的種類或者重疊遮擋程度；

S2-2、圖像擴增：若步驟S1采集到的圖像不能達到識別一個種類的葉片需要200張圖片的要求，則進行圖像擴增；選定圖像的保存路徑和標記信息的XML文件路徑，并制定擴增后的圖像輸出路徑，則在原有圖像的基礎上根據需求量進行圖像擴增，選擇圖像的尺寸、旋轉角度、清晰度參數對圖像進行擴增；

S2-3、計算圖片的均值和標準差，步驟如下：

S2-3-1、先將標記且擴增后的數據集圖片放入一個文件夾中；

S2-3-2、運用Opencv庫中的meanStdDev函數計算圖片的均值和標準差；

S2-3-3、運用Opencv庫中的minMaxLoc函數計算圖片像素的最大值、最小值；

S2-3-4、創建用戶自定義葉片種類的Python文件，并將類名改為自定義葉片種類名稱，將步驟S2-3-2得到的均值和標準差和步驟S2-3-3得到的像素值寫入該Python文件中；

S2-4、劃分數據集：將擴增得到的圖像和標記文件劃分成訓練集、測試集、驗證集，訓練集、測試集、驗證集分別占70%、15%、15%；

S3、設置網絡模型參數：在CenterNet網絡模型的配置文件中，根據計算機內存、顯存的大小，以及最終呈現的檢測效果要求，設置卷積神經網絡輸入圖像的尺寸為512*512、識別種類的數量和batch_size值、迭代次數參數；設置使用支持cuda加速的線程數量；

S4、對CenterNet網絡中的目標大小預測損失函數進行優化，得到優化后的目標大小預測損失函數，優化過程如下：

S4-1：在原有的目標大小預測損失函數中，將預測目標尺寸變量S_pk與真實目標尺寸變量S_k的取模運算去掉；

S4-2：用smooth_L1損失函數代替取模運算加到原有的目標大小預測損失函數中；

S5、對CenterNet網絡結構進行改進，得到改進后的CenterNet網絡結構，改進過程如下：

S5-1：在現有的CenterNet網絡結構前，加入空間轉深度模塊，將輸入尺寸為X通道數為3的圖像劃分為四個相同大小的特征圖，每一個特征圖大小為X/4*X/4*3，保持通道數不變的前提下劃分圖像的尺寸；

S5-2、在每個劃分后的特征圖后加入CBAM注意力機制模塊，并且將每個注意力模塊的輸入參數調整為X/4*X/4；

S5-3、在CBAM注意力機制模塊的之后加入空洞卷積的空間金字塔池化模塊，設置空洞卷積的空間金字塔池化模塊中的擴張率為1、6、12、18，將CBAM注意力模塊輸出的特征圖融合為一張圖片輸入DLA-34主干網絡；

S5-4、在DLA-34主干網絡中，將原網絡的單輸出改為每個尺度都輸出特征圖，并采用下采樣將這一尺度得到的特征傳遞至下一尺度的網絡結構中；

S5-5、在DLA-34主干網絡后加入逆向的深度轉空間模塊，將每個尺度輸出的特征圖融合到一個特征圖中，并加入1*1的卷積模塊，將融合后特征圖的尺寸和通道數調整到與網絡輸入的圖像一致，得到改進后的CenterNet網絡結構；

S6、訓練網絡模型：對改進后的CenterNet網絡結構進行參數設置，將設置好參數后的改進CenterNet網絡結構放入配置好環境的計算機中，運用步驟S2-4中劃分好的訓練集中進行訓練；訓練過程中，將測試集中劃分好的圖片放入計算機中進行測試，得到每一個階段訓練的效果，并設置--flip_test參數在訓練過程中使用數據增強，訓練結束后保存訓練好的網絡模型；

S7、運用訓練好的網絡模型進行識別：在計算機上準備拍攝好的葉片圖像，在Python環境下，通過命令行中輸入訓練命令，命令內容包括訓練好的最優葉片檢測模型名稱和要識別的葉片圖片名，在計算機上顯示檢測的結果，并得到圖中葉片的數量。