[發明專利]一種基于高光譜圖像的大豆病蟲害識別方法和裝置

有效

• 申請號: 202210947014.9
• 申請日: 2022-08-09
• 公開（公告）號: CN115019215B
• 公開（公告）日: 2022-12-09
• 發明（設計）人: 魏日令;徐曉剛;王軍;馬寅星;虞舒敏
• 申請（專利權）人: 之江實驗室
• 主分類號: G06V20/17
• 分類號: G06V20/17;G06V20/10;G06V10/82;G06V10/764;G06V10/26;G06V10/778
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

1.一種基于高光譜圖像的大豆病蟲害識別方法，其特征在于，包括以下步驟：

步驟一，利用無人機搭載的高光譜相機與RGB相機在不同高度拍攝高光譜圖像及其對應的RGB圖像，得到采集的高光譜數據集及其對應的RGB數據集；

步驟二，基于開源RGB數據集對步驟一采集的高光譜數據集進行數據增廣；

步驟三，對開源RGB數據集和采集的RGB數據集中的圖像進行植株區域分割，得到掩膜圖像，將掩膜圖像與對應的高光譜圖像進行像素點相乘得到含植株區域的圖像，再進行預處理計算出各類別平均光譜特性曲線；

步驟四，將數據增廣后的高光譜數據集輸入大豆病蟲害識別網絡模型，采用課程學習方式以及步驟三得到的各類別平均光譜特性曲線進行模型訓練，得到訓練好的大豆病蟲害識別網絡模型；

所述大豆病蟲害識別網絡模型以Transformer為主干網絡，包括光譜特性曲線提取模塊和分類預測模塊；所述光譜特性曲線提取模塊用于提取大豆植株區域圖像的光譜特性曲線，之后與同類別的平均光譜特性曲線計算損失函數；所述分類預測模塊對提取到的光譜特性曲線進行分類；

所述課程學習方式為在迭代訓練過程中逐步提升難訓練的損失函數權重，具體表達式為：

其中，均是課程學習的權重；、 分別為初始權重、當前的迭代次數、總迭代次數；分別為分類損失函數、負皮爾森相關性系數、時域及頻域損失函數；其中，為計算當前高光譜圖像的光譜特性曲線與對應類別的平均光譜特性曲線的皮爾森相關性系數并取負值；的計算則通過分別對當前高光譜圖像的光譜特性曲線與對應類別的平均光譜特性曲線先取傅里葉變換的頻譜，然后對兩個頻譜取平均絕對誤差；

步驟五，采用訓練好的大豆病蟲害識別網絡模型，對采集輸入的高光譜圖像進行預測分類，輸出最終預測的蟲害類別。

2.如權利要求1所述的一種基于高光譜圖像的大豆病蟲害識別方法，其特征在于，所述步驟二，具體包括以下子步驟：

步驟2.1，加載已經在開源RGB數據集上訓練完成的高光譜圖像重建網絡，所述高光譜圖像重建網絡采用MST++算法；

步驟2.2，將網上收集到的大豆植株RGB圖像輸入到加載完成的高光譜圖像重建網絡中，得到重建生成的對應的高光譜圖像并保存，即得到生成的高光譜數據集，并將生成的高光譜數據集合并至由無人機采集的高光譜數據集中，記為總的高光譜數據集，數據集的標簽按照類別數分別是 ，其中，為類別數，表示有類圖像數據；

步驟2.3，對總的高光譜數據集中所有的高光譜圖像及對應的RGB圖像進行隨機翻轉和裁剪。

3.如權利要求2所述的一種基于高光譜圖像的大豆病蟲害識別方法，其特征在于，所述步驟三，具體包括以下子步驟：

步驟3.1，應用現有的開源圖像分割算法對每一張RGB圖像進行大豆植株區域分割，得到大豆植株區域的Mask掩膜圖像；

步驟3.2，將得到的Mask掩膜圖像與對應的高光譜圖像的每一光譜頻段的圖像進行像素點的相乘，得到高光譜圖像中只含有大豆植株區域的圖像；

步驟3.3，然后對只含有大豆植株區域的圖像進行歸一化，表達式為：

其中，為輸入圖像即輸入的只含有大豆區域的圖像；為輸出的歸一化后的圖像；分別為輸入圖像中最大的像素值與最小的像素值；

在進行歸一化之后將圖像尺寸縮小至 ，w為寬，h為高；

步驟3.4，分別統計每個類別中尺寸縮小后的圖像的光譜特性曲線，得到各類別平均光譜特性曲線。

4.如權利要求3所述的一種基于高光譜圖像的大豆病蟲害識別方法，其特征在于，所述步驟3.4具體為：計算尺寸縮小后的圖像的每個頻譜波段的平均像素值，以此類推，計算所有的頻譜波段平均像素值，最終按順序排列出該圖像的光譜特性曲線；之后，分別計算每一類中所有的光譜特性曲線，并對所有的光譜特性曲線取平均值，最終得到個平均光譜特性曲線。

5.一種基于高光譜圖像的大豆病蟲害識別裝置，其特征在于，包括一個或多個處理器，用于實現權利要求1至4中任一項所述的基于高光譜圖像的大豆病蟲害識別方法。

6.一種計算機可讀存儲介質，其特征在于，其上存儲有程序，該程序被處理器執行時，實現權利要求1至4中任一項所述的基于高光譜圖像的大豆病蟲害識別方法。