[發明專利]基于特征融合的花粉圖像檢測方法及系統

在審

• 申請號: 202110757270.7
• 申請日: 2021-07-05
• 公開（公告）號: CN113688826A
• 公開（公告）日: 2021-11-23
• 發明（設計）人: 李博雅;李建強;王全增
• 申請（專利權）人: 北京工業大學
• 主分類號: G06K9/32
• 分類號: G06K9/32;G06K9/62;G06N3/04
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 趙赫

本發明提供一種基于特征融合的花粉圖像檢測方法，包括：將經預處理的花粉圖像，輸入卷積神經網絡得到淺層特征；基于淺層特征，通過空間注意力模塊生成空間注意力加權特征圖和空間注意力權值矩陣；由空間注意力加權特征圖通過卷積和下采樣生成深層特征圖，由深層特征圖經過通道注意力模塊，生成通道注意力加權特征圖；將空間注意力權值矩陣和通道注意力加權特征圖，輸入到跨連接注意力機制，得到特征融合后的特征圖；將特征融合后的特征圖輸入預測模塊，得到花粉圖像中的花粉信息的檢測結果。本發明通過跨連接注意力機制將淺層特征中花粉細節信息加權融合到深層特征，對深層特征進行優化后，再進行特征融合，可以恢復花粉圖像更多花粉細節。

技術領域

本發明涉及圖像識別技術領域，更具體地，涉及一種基于特征融合的花粉圖像檢測方法及系統。

背景技術

隨著城市化進程的不斷發展，花粉過敏逐漸變為一個重大的公共衛生問題。傳統的人工花粉監測方式因為周期長成本高等缺點，已不能滿足現在的花粉預報需求。因此，開發自動花粉識別系統對于花粉過敏患者的正常生活具有重大意義。

花粉顆粒檢測是花粉自動識別系統的核心任務，目的是從圖片中自動檢測花粉的位置并判斷花粉的所屬類別。而花粉類別的確定，需要比較豐富的細節信息的支持，主要包括花粉的輪廓以及紋理。因此，在特征提取方面，不僅需要考慮深層特征的全局語義信息，更要補充淺層特征中花粉顆粒的空間結構和紋理細節等信息，以實現更精準的花粉分類。

目前研究一般使用特征金字塔進行特征融合，直接將淺層特征和深層特征相加。但是深層特征的下采樣倍率較高，會導致花粉圖片細節丟失嚴重，并且淺層特征中包含了比較多的噪聲，因此，采用直接加和的方式難以恢復精細的花粉細節，會導致花粉類別的確定不精準，影響花粉檢測模型的準確率。

發明內容

針對現有技術中的不足，本發明提供了一種基于特征融合的花粉圖像檢測方法及系統，通過跨連接注意力機制將淺層特征中花粉細節信息加權融合到深層特征，對深層特征進行優化后，再進行特征融合，可以恢復花粉圖像更多花粉細節。

具體地，本發明是通過以下技術方案來實現的：

第一方面，本發明提供了一種基于特征融合的花粉圖像檢測方法，包括：

將經預處理的花粉圖像，輸入卷積神經網絡得到淺層特征；

基于所述淺層特征，通過空間注意力模塊生成空間注意力加權特征圖和空間注意力權值矩陣；

由所述空間注意力加權特征圖通過卷積和下采樣生成深層特征圖，由所述深層特征圖經過通道注意力模塊，生成通道注意力加權特征圖；

將所述空間注意力權值矩陣和所述通道注意力加權特征圖，輸入到跨連接注意力機制，得到特征融合后的特征圖；

將所述特征融合后的特征圖輸入預測模塊，得到花粉圖像中的花粉信息的檢測結果。

進一步地，所述跨連接注意力機制包括：

通過平均池化操作和最大池化操作，對所述空間注意力權值矩陣進行聚合，得到空間相似度權值矩陣；

將通道注意力加權特征圖與數據整形后的空間相似度權值矩陣相乘得到優化后的深層特征圖，并對所述優化后的深層特征圖、下采樣后的空間注意力加權特征圖、所述通道注意力加權特征圖求和，生成特征融合后的特征圖。

進一步地，所述淺層特征通過空間注意力模塊，生成空間注意力加權特征圖和空間注意力權值矩陣，包括：

將淺層特征圖進行卷積并進行矩陣相乘，通過Softmax函數，得到空間注意力權值矩陣；

卷積后的所述淺層特征圖與空間注意力權值矩陣進行矩陣相乘，得到聚合所有空間上下文信息的空間信息融合特征圖；