[發明專利]一種基于稀疏實例激活與有效位置感知卷積的植物葉片實例分割方法

在審

• 申請號: 202310087795.3
• 申請日: 2023-02-09
• 公開（公告）號: CN116129410A
• 公開（公告）日: 2023-05-16
• 發明（設計）人: 李慶鐵;熊迎軍;李靖;任守綱
• 申請（專利權）人: 上海藍長科技集團有限公司
• 主分類號: G06V20/60
• 分類號: G06V20/60;G06V10/26;G06V10/80;G06V10/82
• 代理公司: 常州西創專利代理事務所(普通合伙) 32472
• 代理人: 王一源

本發明公開了一種基于稀疏實例激活與有效位置感知卷積的植物葉片實例分割方法，首先主干網絡對圖片進行特征提取；然后，實例上下文編碼器將主干網絡中生成的多尺度特征融合，以生成上下文信息更加豐富的單尺度特征圖；最后將生成的特征圖送入基于實例激活圖的分割解碼器中，生成葉片實例的激活圖，本發明針對具有不同表型特征的植物葉片，使用輕量級的網絡架構對其進行實例分割，在保證精度的同時提高了推理速度。以突出葉片實例，用于后續網絡的識別和分割，該方法采用純卷積的架構實現了葉片的實時分割，為植物表型在移動端或邊緣設備上的部署提供了技術支持。

技術領域

本發明涉及圖像處理領域，特別是一種基于稀疏實例激活與有效位置感知卷積的植物葉片實例分割方法。

背景技術

植物葉片分割在高通量植物表型數據獲取任務中起著關鍵作用。目前，多數植物葉片分割方法專注提高模型分割精度，卻忽視模型復雜度和推理速度，給模型在移動設備上部署及實時性應用造成限制，因而，位置感知卷積的方法被應用于植物葉片分割方法中。

植物葉片在揭示植物生長發育中能起到關鍵作用。例如葉面積和葉片的形狀(葉長、葉寬、葉傾角等)與植物的光合作用、呼吸作用、蒸騰作用以及碳和養分同化等多種生理活動密切相關。但是現有的卷積方法雖然可以取得較好的分割效果，但是需要耗費大量的內存和計算代價，transformer方法雖然比較簡單，但是并不能很好的取得精確的分割效果。

發明內容

針對現有技術中存在的問題，本發明提供了一種兼顧精度和速度的改進思路，在植物葉片的表型研究以及部署領域都有著較高的應用價值與前景基于稀疏實例激活與有效位置感知卷積的植物葉片實例分割方法。

本發明的目的通過以下技術方案實現。

一種基于稀疏實例激活與有效位置感知卷積的植物葉片實例分割方法，包括以下步驟：

步驟1：根據輸入的圖像數據，使用主干網絡提取圖像的多維特征；

步驟2：實例上下文編碼器將主干網絡中生成的多尺度特征融合，以生成上下文信息更加豐富的單尺度特征圖；

步驟3：將生成的特征圖送入基于實例激活圖的分割解碼器中，生成葉片實例的激活圖，以突出葉片實例，用于后續網絡的識別和分割。

進一步的，步驟2具體包括：

步驟2-1：對主干網絡傳入的高分辨特征圖使用金字塔池化模塊進行處理；

步驟2-2：將金字塔池化模塊處理后的特征同時進行卷積操作和下采樣操作，與主干網絡中其他不同尺度的特征圖結合；

步驟2-3：將處理后的特征圖進行相應的下采樣操作，下采樣到相同大小后進行結合

進一步的，步驟3具體包括：

步驟3-1：將輸入的特征經過卷積處理后分別輸入到掩碼分支和實例分支中；

步驟3-2：實例分支首先經過一個ePaCC模塊，接下來通過一組稀疏的實例激活圖來定位潛在的實例對象，之后通過一個全連接層生成3個N×D的向量用于后面的二部圖匹配以及掩碼分支生成實例掩碼；

步驟3-3：自實例分支的動態卷積核{W_i}^N生成每一個實例對象的分割掩碼m_i＝w_i×M，最后通過雙線性插值恢復到原始比例的特征圖。

進一步的，步驟3-2中的ePaCC模塊包括:

步驟3-2-1：輸入的特征經過水平和垂直方向上的PaCC算子處理，垂直方向上的PaCC算子的實現方式為：