[發明專利]基于自監督學習及多任務學習的高光譜開放集分類方法

有效

• 申請號: 202110748974.8
• 申請日: 2021-07-02
• 公開（公告）號: CN113392931B
• 公開（公告）日: 2023-02-10
• 發明（設計）人: 慕彩紅;劉逸;孫慶虎;王蓉芳;馮婕;劉若辰
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06V10/764
• 分類號: G06V10/764;G06V10/774;G06V10/82;G06N3/0464;G06N3/0895;G06V20/10
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 王品華;王喜媛

1.一種基于自監督學習和多任務學習的高光譜開放集分類方法，其特征在于，包括：

(1)獲取一幅三維高光譜圖像X∈R^m×n×b和對應的標簽圖Y∈R^m×n，其中，R表示實數域符號，m表示X和Y的行像素點個數，n表示X和Y的列像素點個數，b代表高光譜圖像的波段個數；

(2)對獲取的三維高光譜開放集X進行歸一化的預處理；

(3)對預處理后的圖像進行0像素邊緣填充操作，并逐像素遍歷圖像生成鄰域塊，將生成的所有鄰域塊作為數據集合；

(4)生成訓練數據集與測試數據集：

(4a)將數據集合中所有已知類別的鄰域塊作為自監督預訓練數據集；

(4b)從數據集合中的所有已知類別中，每類抽取20個有標簽鄰域塊，作為有監督訓練數據集，并將每個鄰域塊的中心像素點的標簽作為該鄰域塊的標簽；

(4c)將數據集合中的所有鄰域塊作為測試數據集；

(5)構建由特征提取子網絡、數據重建子網絡和分類子網絡構成的神經網絡模型，該特征提取子網絡的輸出分別與數據重建子網絡及分類子網絡的輸入相連；其中的特征提取子網絡、數據重建子網絡和分類子網絡的結構和參數分別如下：

所述特征提取子網絡，其結構依次為：第1二維卷積層→第1規范層→第1激活函數層→第2二維卷積層→第2激活函數層→第3二維卷積層→融合層→全局平均池化層，其中，所述融合層是將第1二維卷積層和第3二維卷積層經由加法操作相融合；其中第1、第2、第3二維卷積層的卷積核長度均設置為3，卷積步長均設置為1每個規范層的動量因子均設置為0.9；全局平均池化層的池化長度設置為2；每個激活函數層的激活函數均設置為ReLU激活函數；

所述數據重建子網絡，其結構依次為：第1二維反卷積層→第2規范層→第3激活函數層→第2二維反卷積層→第4激活函數層→第3二維反卷積層→第3規范層→第5激活函數層→第4二維反卷積層→第6激活函數層→第5二維反卷積層；其參數設置為：第1二維反卷積層的卷積核長度設置為1，卷積步長設置為1；將第2、第3、第4、第5二維反卷積層的卷積核長度均設置為3，卷積步長均設置為1；將第3激活函數層到第6激活函數層的激活函數均設置為ReLU激活函數；

所述分類子網絡，其結構為：全連接層→第7激活函數層；其中全連接層的輸出神經元的個數設置為類別數，第7激活函數設置為Softmax激活函數；

(6)依次利用自監督學習方法和多任務學習方法對神經網絡模型進行訓練，得到訓練好的神經網絡模型；其中依次利用自監督學習方法和多任務學習方法對神經網絡模型進行訓練，實現如下：

(6a)利用自監督學習方法進行第一階段的訓練：

(6a1)將自監督訓練集輸入到網絡中，經過特征提取網絡得到訓練樣本的特征向量，將特征向量輸入到數據重建網絡得到重建數據：

其中，x_i是第i個輸入訓練樣本，表示特征提取子網絡函數，表示第i個訓練樣本經過特征提取子網絡后得到的輸出特征向量，f_r(·)是重建子網絡函數，是第i個訓練樣本的重建數據；

(6a2)設置網絡學習率為0.01，停止迭代次數為1000，重建損失函數為：

其中，||·||₁表示進行l₁范數計算，x_i是第i個輸入訓練樣本，是第i個訓練樣本的重建數據；

(6a3)采用梯度下降法，通過最小化重建損失函數l_r，優化特征提取子網絡和數據重建子網絡的網絡參數，直到達到停止迭代次數為止，得到通過第一階段訓練后的網絡；

(6b)利用多任務學習方法進行第二階段的訓練：

(6b1)將有監督訓練集輸入到第一階段訓練后的網絡中，經過其中的特征提取子網絡得到訓練樣本的特征向量，將該特征向量分別通過其中的數據重建子網絡和分類子網絡得到訓練樣本的重建數據和類別概率向量；

(6b2)學習率設置為0.001，設置停止迭代次數為200，設置加權總損失函數如下為：其中，λ_c和λ_r是控制多任務網絡的交叉熵損失l_c和重建損失l_r的權重參數，l_c為交叉熵損失函數，表示為：

式中，m是樣本總數，y_i是第i個樣本使用one-hot編碼方式的真實樣本標簽，是第i個樣本經過模型預測后得到的屬于所有類的概率向量；

(6b3)采用梯度下降法，通過迭代最小化多任務損失函數l_a，直到達到停止迭代次數為止，得到通過第二階段訓練后的網絡，即最終訓練好的神經網絡模型；

(7)利用訓練好的網絡對測試樣本進行預測：

(7a)通過網絡中的特征提取子網絡和分類子網絡得到測試樣本的類別標簽，通過網絡中的特征提取子網絡和重建子網絡得到重建損失；

(7b)將重建損失輸入到威布爾分布模型計算得出該測試數據屬于未知類的概率P；

(7c)通過實驗設定閾值T，將屬于未知類的概率P與閾值T進行比較：

若PT，則將數據預測為未知類別，

若PT，則將數據預測為(7a)中得到的類別標簽。