[發明專利]一種基于多視點深度特征融合SENet網絡的分類方法

有效

• 申請號: 202010373506.2
• 申請日: 2020-05-06
• 公開（公告）號: CN111582363B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 朱浩;馬夢茹;洪世寬;馬文萍;張俊;焦李成
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06F18/25
• 分類號: G06F18/25;G06F18/214;G06F18/241;G06T7/90
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 高博

1.一種基于多視點深度特征融合SENet網絡的分類方法，其特征在于，包括以下步驟：

S1、從數據集中讀入多光譜影像，包括配準后的PAN和MS圖像數據以及對應的只有部分區域的類標ground?truth圖；

S2、利用讀入的MS和PAN圖像進而構造MS_fusion和PAN_fusion，具體為：

S201、利用MS?data制作MS_fusion為：

MS_fusion＝IIHS{I_fusion，H,S}

其中，IIHS為反色彩空間變換，I_fusion為MS的融合分量亮度的顏色，H為色度，S為飽和度，具體為：

S2011、保留MS的原始分辨率，將PAN采樣到與MS相同的大小并表示為PAN1，然后將MS從RGB空間分解為IHS空間；

S2012、對PAN1和MS的I分量分別進行離散小波變換；

S2013、保留MS原有的低頻平滑分量，將PAN對應的高頻分量加入到其他三個高頻分量中看，通過反離散小波變換得到融合分量I_fusion；

S2014、將得到的I_fusion分量與原H、S分量反變換為RGB空間；

S202、利用PAN?data制作PAN_fusion為：

其中，LL_PAN為PAN圖經過離散小波變換之后的的低頻分量，LH_PAN為PAN圖的水平高頻分量，HL_PAN為PAN圖的垂直高頻分量，HH_PAN為PAN圖的對角高頻分量，為色度分量的水平高頻部分，為色度分量的垂直高頻部分，為色度分量的對角高頻部分，具體為：

S2021、將MS的光譜信息加入PAN，將MS圖的I分量向上采樣到與PAN相同的大小，表示為I1，然后用DWT分別對PAN和I₁進行變換；

S2022、保留原PAN的低頻平滑(LL)分量，將I₁對應的高頻分量加入到其他三個高頻分量中，最后通過IDWT得到融合分量PAN_fusion；

S3、構造多視點深度特征融合的SQUEEZE-AND-EXCITATION分類網絡；從PAN和MS圖像中提取一對對應的圖像塊作為輸入，PAN的大小為64*64*1，MS的大小為16*16*4，利用切片的方式進行截取，對數據進行預處理；使用三個模塊提取融合特征，每個模塊的輸出是下一個模塊的輸入，進行特征提取；將獲得的特性經過池化后，轉換為一個特征向量，并經過三個完全連接的層，最終估計出PAN和MS塊對的每一類概率；

S4、使用交叉熵損失構造網絡的損失函數；

S5、超參數的調整；

S6、用訓練數據集對分類模型進行訓練，得到訓練好的分類模型；

S7、將測試數據集的樣本塊作為訓練好的分類模型的輸入，利用訓練好的分類模型對測試數據集進行分類。

2.根據權利要求1所述的基于多視點深度特征融合SENet網絡的分類方法，其特征在于，步驟S2013中，融合分量I_fusion為：

其中，為下采樣PAN圖之后的水平高頻分量，為下采樣PAN圖之后的垂直高頻分量，為下采樣PAN圖之后的對角高頻分量，DWT(I)為對I分量求解離散小波變換。

3.根據權利要求1所述的基于多視點深度特征融合SENet網絡的分類方法，其特征在于，步驟S3中，預處理具體為：

S3011、混入PAN和MS得到PAN_fusion和MS_fusion，PAN和MS塊都經過兩個卷積層，PAN特征圖與MS特征圖具有相同的維數；

S3012、采用串聯方式融合PAN和MS。

4.根據權利要求1所述的基于多視點深度特征融合SENet網絡的分類方法，其特征在于，步驟S3中特征提取具體為：

S3021、通過一個SENet塊通過學習的方式自動獲取每個特征通道的重要度，然后根據重要度對有用特征進行增強；

S3022、將SENet塊的輸出特征加入到SENet塊的輸入特征中，補償SENet過程中全局池化導致的有用信息的丟失；

S3023、用三種不同大小的卷積核對特征進行卷積運算。