[發明專利]一種融合多源異構數據的松材線蟲病受害木識別深度學習方法

在審

• 申請號: 202211639316.6
• 申請日: 2022-12-20
• 公開（公告）號: CN116051982A
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 張曉麗;王耿;李英博;李霓雯;柴國奇;賈翔
• 申請（專利權）人: 北京林業大學
• 主分類號: G06V20/10
• 分類號: G06V20/10;G06V20/17;G06V10/764;G06V10/82;G06V10/80
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種融合多源異構數據的松材線蟲病受害木識別深度學習方法，其特征是：

獲取無人機搭載的高光譜傳感器和LiDAR傳感器采集的地面數據，分別對高光譜數據和點云數據進行預處理，得到預處理后的高光譜數據和點云數據；將預處理好的點云數據生成.shp格式文件，并將高光譜數據賦值到點云數據上，得到融合數據；將單木樣本數據標記受害類型，并利用高斯噪聲抖動參數生成新的點云數據，實現樣本擴增，并以3：1：6的比例分為訓練集、驗證集和測試集，得到樣本數據集；最后利用BH3DNet分類模型對樣本數據集進行訓練和驗證，用測試集進行精度測試，得到單木尺度的各感病時期植株的分類結果。

2.根據權利要求1所述的數據融合方法，其特征是：

所述融合數據方法包括根據影像的內外方位元素，將LiDAR點云的3D坐標(X,Y,Z)代入共線條件方程，計算出對應點云3D坐標在影像上的像素位置，進而通過ArcGIS中的值提取至點工具獲取高光譜數據所有通道的灰度值。計算出每個3D點對應的光譜信息后，將點云三維坐標和光譜信息組合為增強的點云數據。

3.根據權利要求1所述的提供一種樣本擴增的方法，其特征是：

為了提高模型泛化能力和魯棒性，采用數據增廣的策略進一步擴充數據集。首先對每棵單株點云沿垂直軸隨機旋轉一個角度，然后根據所有單株點云的平均點密度，對單株點云中的每個點進行一個均值為零、標準差范圍為0.02～0.06的高斯噪聲抖動來生成新的點云數據。

4.根據權利要求1所述的提供一種網絡模型BH3DNet，其特征是：

該網絡模型包含一個共享特征編碼器(Shared?Encoder)和兩個并行解碼器(SemDecoder和InsDecoder)。共享特征編碼器采用PointNet++網絡對點云進行特征編碼。其中解碼器SemDecoder用于語義類別預測，而InsDecoder解決實例分割問題。具體來說，網絡的輸入為n個重疊塊，每個重疊塊中包含2048個點，點的維度為274，包括XYZ坐標、高光譜全譜帶的271個波段和歸一化坐標。首先，經過四個SetAbstraction模塊、四個FeaturePropagation模塊和一個多層感知機后，特征編碼器將其編碼為n×2048×(271+D)的共享特征矩陣，其中D是每個點的特征維數。然后，兩個并行的分支分別獲取這個特征矩陣，并進行點級語義預測和實例分割。語義預測分支將共享特征矩陣解碼，輸出形狀為n×2048×M的語義預測，其中M為語義類別數。實例分割分支利用共享特征矩陣預測形狀為n×2048×E的每個點的實例嵌入，其中E為嵌入的維數。3D點云的實例嵌入表示點與點之間的實例關系，在嵌入空間中，屬于同一實例的3D點彼此靠近，而不同實例的3D點盡可能遠的分開。

5.根據權利要求4所述的網絡BH3DNet是在Pytorch中實現的，其特征是：

網絡結構具體參數如表1所示。模型訓練中的參數epoch設置為200，用于訓練，通過損失函數的梯度來更新模型參數。批次大小Batch?Size設置為16，采用SGD優化器在單個GPU上完成訓練，動量設置為0.9；初始學習率設置為0.01，每50個epoch后，衰減率設置為0.5；對于實例分割分支，設置拉力損失和推力損失的邊距分別為＝0.5,＝1.5，輸出實例嵌入維度為32。在模型測試階段，在實例嵌入上應用帶寬為0.7的均值漂移算法確定實例標簽，然后使用區塊合并算法合并來自所有窗口的實例嵌入。最后，采用非最大抑制來產生最終的語義實例預測，輸出為單木尺度上的最終分類結果，取值為0、1、2和3；0表示無松材線蟲病害的健康木，1表示松材線蟲病害的早期疫木，2表示松材線蟲病害的中期疫木，3表示松材線蟲病害的晚期疫木。