[發明專利]一種基于改進BiSeNetV2分割網絡的水稻田雜草密度實時統計方法

有效

• 申請號: 202110945568.0
• 申請日: 2021-08-16
• 公開（公告）號: CN113610040B
• 公開（公告）日: 2023-06-27
• 發明（設計）人: 蘭玉彬;黃康華;楊暢;鄧繼忠;謝堯慶;嚴智威;雷落成;葉家杭;羅明達
• 申請（專利權）人: 華南農業大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V10/26;G06V10/82;G06N3/0464;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 羅偉富

1.一種基于改進BiSeNetV2分割網絡的水稻田雜草密度實時統計方法，其特征在于，包括以下步驟：

(1)在邊緣計算嵌入式硬件的控制下，無人機根據預設的航線任務進行水稻田的圖像拍攝采集，并通過無線通信傳輸模塊將所采集的圖片樣本傳輸至地面站；

(2)地面站對所述圖片樣本進行預處理，并對預處理后的圖片樣本進行語義標注，形成標簽圖片；

(3)將步驟(2)中的標簽圖片及相關數據輸入至改進BiSeNetV2分割網絡中進行訓練，并對改進BiSeNetV2分割網絡進行參數調整，得到雜草識別模型；

(4)將所述雜草識別模型進行量化凍結生成PB文件，并移植至邊緣計算嵌入式硬件中，邊緣計算嵌入式硬件對雜草識別模型進行優化加速；

(5)在邊緣計算嵌入式硬件的控制下，無人機根據預設的航線任務對待測水稻田進行圖像拍攝采集，通過所述雜草識別模型對所采集的圖像進行實時識別檢測，且對該水稻田的雜草密度進行計算；

(6)最后通過無線通信傳輸模塊，將實時獲取的雜草識別結果和雜草密度統計結果發送至地面站；同時，返回步驟(5)，無人機繼續進行下一航線任務的飛行作業；

所述改進BiSeNetV2分割網絡，其改進方法包括細節分支的改進，以實現分支結構的輕量化；引入特征融合分支，使分割識別結果更加精確；優化和增強訓練策略，使分割識別結果更加準確；

細節分支的改進，具體為：設計反向殘差結構的Bottleneck模塊作為細節分支每一階段的特征提取層，Bottleneck模塊的第一層通過1×1標準卷積將輸入特征圖映射到高緯度空間，然后連接兩層深度卷積對卷積輸出特征圖進行逐通道卷積，其中第一層深度卷積設置步長為2，用于減少輸出特征圖尺寸，擴大感受野范圍，最后通過一層1×1卷積對特征圖進行逐點卷積輸出；

引入特征融合分支，具體為：包括三個階段，每個階段首先通過級聯操作融合與輸入特征圖具有相同尺度的語義分支和細節分支的輸出特征，接著采用一個3×3卷積對融合后的特征進行提取，最后通過反卷積上采樣操作恢復特征圖的尺寸；

在步驟(5)中，雜草密度計算包括雜草像素占比和雜草所占的實際面積；其中，計算過程如下：

(a)對空間分辨率GSD進行計算，

GSD＝(Sw×100×H)/(imW×Fr)

式中，Sw為相機傳感器的寬度，Fr為相機真實焦距，H為無人機的飛行高度，imW為圖像的寬度；

(b)計算拍攝圖像雜草識別結果中雜草的像元數量N，

式中，x_iw為第i個像素為雜草類設定值的記1，否則記0；K為拍攝圖片的總像素，K＝W×H，其中W、H分別為拍攝圖像的寬和高；

(c)計算拍攝圖像識別結果中雜草的像素占比P_weed，

式中，N為雜草的像元數量，K為拍攝圖像的總像素；

(d)計算拍攝圖像中的雜草所占的實際面積S，

S＝N·GSD²

式中，N為雜草的像元數量。

2.根據權利要求1所述的基于改進BiSeNetV2分割網絡的水稻田雜草密度實時統計方法，其特征在于，在步驟(2)中，對圖片樣本進行預處理，包括對圖片樣本進行旋轉、翻轉以及飽和度和對比度的改變；所述語義標注利用labelme進行。

3.根據權利要求1所述的基于改進BiSeNetV2分割網絡的水稻田雜草密度實時統計方法，其特征在于，優化和增強訓練策略，具體為：在整個特征恢復過程中，特征融合分支中每個階段的卷積輸出都參與增強訓練策略。

4.根據權利要求1所述的基于改進BiSeNetV2分割網絡的水稻田雜草密度實時統計方法，其特征在于，在步驟(3)中，通過評價指標驗證訓練后的改進BiSeNetV2分割網絡，以實現對參數的調整，提高其分割識別精度；其中，評價指標包括混淆矩陣、像素精度以及平均交并比。

5.根據權利要求1所述的基于改進BiSeNetV2分割網絡的水稻田雜草密度實時統計方法，其特征在于，在步驟(6)中，地面站接收到雜草識別結果和雜草密度統計結果后，按航線的劃分區域生成水稻雜草分布密度預測圖。

6.根據權利要求1所述的基于改進BiSeNetV2分割網絡的水稻田雜草密度實時統計方法，其特征在于，所述無人機為四旋翼無人機，搭載可見光工業相機。