[發明專利]基于改進多列卷積神經網絡的作物苗期植株計數方法

在審

• 申請號: 202210975343.4
• 申請日: 2022-08-15
• 公開（公告）號: CN115424257A
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 羊海潮;袁皓煜;尹子琴;李毅
• 申請（專利權）人: 大理大學
• 主分類號: G06V20/68
• 分類號: G06V20/68;G06V10/52;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 蘇州中合知識產權代理事務所(普通合伙) 32266
• 代理人: 阮梅

本發明公開基于改進多列卷積神經網絡的作物苗期植株計數方法，包括如下步驟：獲取待估計苗期植株圖像；將待估計苗期植株圖像輸入預設的苗期植株計數模型中，苗期植株計數模型包括多列卷積分支注意力編碼器、多分支融合模塊以及上采樣可視化模塊，多列卷積神經網絡模型用于提取不同尺度大小的特征；多分支特征融合模塊用于將不同尺度大小的特征進行融合并將融合后的特征通過1維卷積濾波層進行注意力映射；上采樣可視化模塊用于將映射后的特征恢復密度圖的分辨率，獲得估計的苗期植株密度圖；計算苗期植株密度圖中像素點概率值并進行累加，得到待估計苗期植株圖像中苗期植株的數量。本發明將提高在大田場景下不同尺度苗期植株的高精度計數。

技術領域

本發明涉及計算機視覺技術領域，尤其涉及基于改進多列卷積神經網絡的作物苗期植株計數方法。

背景技術

近年來，人們提出了一些基于計算機視覺的植株計數方法，可分為傳統的機器學習方法和基于深度學習的方法。傳統的機器學習方法通常通過圖像低階特征對植物進行分割或檢測，并對檢測到的對象進行計數。例如，Gonga等用閾值分割去檢測蘋果色段，進一步通過形態學處理來識別蘋果的計數。Qureshi等從超像素中提取SIFT描述符，并使用SVM對芒果和非芒果區域進行分類及計數。然而，低階圖像特征易受噪聲影響，魯棒性較差，計數精確度難以保障。近年來，隨著深度學習在圖像分類、目標檢測以及圖像分割等方面獲得優異的結果，深度學習開始在植物計數方面進行應用。

基于深度學習的植物計數方法主要有圖像分割和目標檢測兩種方法，Hasan等使用Fast R-CNN圖像分割網絡來檢測苗期植株穗，Madec等使用Fast R-CNN對成熟期后的小麥穗進行檢測，因為其穗和背景的差異較為明顯，所以檢測精度良好。同時圖像分割和目標檢測的有效性和魯棒性是以昂貴的邊界框和像素級注釋為代價的，通常需要大量手動注釋。

隨著深度學習的發展，出現了一種將密度估計引入深度學習中的計數范式，可以直接從圖像中推斷計數。基于密度圖的方法由于穩健的魯棒性和較高可計算性成為計數領域的主流方法，在人群及植株計數領域中被廣泛應用。Lempitsky等將計數轉換為密度圖回歸是一個開創新的工作。自Lempitsky等和Chen等的工作起，學者專家更加專注于對模型進行創新和改進，使其具有更好的魯棒性，如Zhang等使用CSRNet同時估計密度圖和對象計數來進行植株計數，Wu等結合密度圖估計和背景分割來估算水稻幼苗的計數，Xiong等在TasselNetv2中針對穗的局部計數中引入上下文擴展顯著提高計數性能。

在Y.Zhang和Sam兩項工作中利用多列卷積神經網絡(MCNN)具有不同大小的濾波器，以增加對人群的大小魯棒性。然而基于MCNN的植株計數卻鮮有報道，現有研究多是基于簡單背景下的單一尺度物體計數，如Feng等基于改進的MCNN進行大米顆粒計數，Hou等在MCNN中引入先驗圖進行魚餌顆粒計數。

當前基于深度學習的方法針對大田復雜場景下的苗期植株計數面臨著實質性的視覺挑戰，包括：(1)苗期植株的密集種植，會導致極密集的空間分布和嚴重的遮擋(圖11(a))，在檢測過程中容易產生誤判或漏判定等情況；(2)大田場景下存在土壤雜質(秸稈、磚砌)遮擋的情況(圖11(b))，苗期植株只占據圖像中的少量像素，這必須有差異來區分苗期植株主體和背景；(3)由于光照變化引起的視覺差異，光照影像存在低照度和高照度的圖像(圖11(c))；(4)雜草等影響較大的背景雜質，會在檢測過程中造成背景誤差估計，并影響計數精度(圖11(d))；(5)即使在苗期，苗期植株也因為生長差異，有不同的尺寸大小，存在尺度變化問題(圖11(e))。