[發明專利]基于卷積神經網絡的作物葉片分割方法及裝置

在審

• 申請號: 202011183241.6
• 申請日: 2020-10-29
• 公開（公告）號: CN112381835A
• 公開（公告）日: 2021-02-19
• 發明（設計）人: 李莉;趙奇慧;藍天;張淼;田永強
• 申請（專利權）人: 中國農業大學
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 郭亮

本發明實施例提供一種基于卷積神經網絡的作物葉片分割方法及裝置，該方法包括：將包含不同作物葉片的葉片圖像，輸入分割模型的多層卷積網絡進行特征提取；將提取得到的每層特征圖，經特征融合后，分別通過實例類別判別分支，得到實例分類結果，以及通過實例掩碼分支，得到掩碼分割結果；根據所述實例分類結果和所述掩碼分割結果，得到具有類別屬性的實例分割結果；其中，所述分割模型，根據已知實例分割結果和掩碼分割結果的樣本葉片圖像訓練后得到。該方法分別通過兩個分支獲取實例分類結果和掩碼分割結果，使葉片與葉片之間能很好的分割出來。該方法在不同光照和不同背景噪聲干擾等復雜背景下，也具有較高的分割精度和分割速度。

技術領域

本發明涉及圖像處理技術領域，尤其涉及一種基于卷積神經網絡的作物葉片分割方法及裝置。

背景技術

在作物監測領域中，葉片是植物生長過程中反映作物生長狀態的最重要的器官，尤其是在水肥、氣候和品種的影響下，通過對作物葉片的監測，可有效感知作物實際的生長狀態，因此，葉片的分割是作物生長狀態信息獲取中十分重要的環節。

傳統的作物葉片分割一種方法是直接對生長中的作物葉片進行拍攝，通常采用傳統的機器學習算法，如最大類間方差法、標記分水嶺法和聚類分割法等。這種傳統的方法可以解決部分實時分割的問題，但是其分割結果是成片的區域，葉片與葉片之間并不能很好的分割出來，且傳統方法在分割作物葉片的同時，也會把作物莖稈一起分割出來，在背景復雜的情況下，如有雜草、泥土、其他葉片等背景噪聲的干擾下，傳統方法分割的準確度和完整度會大大降低。

發明內容

本發明實施例提供一種基于卷積神經網絡的作物葉片分割方法及裝置，用以解決現有技術中的缺陷。

本發明實施例提供一種基于卷積神經網絡的作物葉片分割方法，包括：根將包含不同作物葉片的葉片圖像，輸入分割模型的多層卷積網絡進行特征提取；將提取得到的每層特征圖，經特征融合后，分別通過實例類別判別分支，得到實例分類結果，以及通過實例掩碼分支，得到掩碼分割結果；根據所述實例分類結果和所述掩碼分割結果，得到具有類別屬性的實例分割結果；其中，所述分割模型，根據已知實例分割結果和掩碼分割結果的樣本葉片圖像訓練后得到。

根據本發明一個實施例的基于卷積神經網絡的作物葉片分割方法，所述將包含不同作物葉片的葉片圖像，輸入分割模型的多層卷積網絡進行特征提取，具體為：將原始圖像劃分為S*S個網格，通過多層卷積網絡對葉片圖像進行特征提取；相應地，得到實例分類結果，具體為：得到S*S個網格中每個網格的實例分類結果。

根據本發明一個實施例的基于卷積神經網絡的作物葉片分割方法，所述通過實例類別判別分支，得到實例分類結果，包括：將特征提取后的H*W*D特征，融合為H*W特征圖，再經上采樣變為原圖大小；經語義類別分割，得到尺寸為S*S*C的特征圖；其中，H、W和D分別為特征圖的高寬像素及深度，C為每個對象實例的語義類別概率。

根據本發明一個實施例的基于卷積神經網絡的作物葉片分割方法，所述通過實例掩碼分支，得到掩碼分割結果，包括：將特征提取后的H*W*D特征圖，融入像素點坐標，得到H*W*(D+2)的特征張量；將尺寸為H*W*(D+2)特征張量形式的特征圖，經過自適應池化和上采樣后，輸出為尺寸為H*W*S*S的特征圖；其中，H、W和D分別為特征圖的高寬像素及深度。

根據本發明一個實施例的基于卷積神經網絡的作物葉片分割方法，將特征提取后的H*W*D特征圖，融入像素點坐標，包括：創建與輸入葉片圖像具有相同空間大小的張量，張量中包含圖像中像素坐標信息，將坐標信息分別進行線性變換，映射到[-1,1]空間；將包含坐標信息的張量與特征提取后的H*W*D特征圖進行拼接。

根據本發明一個實施例的基于卷積神經網絡的作物葉片分割方法，將包含不同作物葉片的葉片圖像，輸入分割模型的多層卷積網絡進行特征提取之前，還包括：對所述葉片圖像進行預處理；所述預處理包括，圖像旋轉、變換尺寸、翻轉、亮度調整和數據集擴充。