[發明專利]基于光譜約束和殘差注意力網絡的高光譜全色銳化方法

在審

• 申請號: 202210873617.9
• 申請日: 2022-07-24
• 公開（公告）號: CN115100075A
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 馮婕;周子昱;焦李成;張向榮;尚榮華;李陽陽;王蓉芳;慕彩虹
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T5/50;G06T11/00;G06V10/58;G06V20/10;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

1.一種基于光譜約束和殘差注意力網絡的高光譜全色銳化方法，其特征在于，采用深度反投影網絡對低分辨率高光譜圖像塊進行語義信息提取和空間上采樣對齊，對單通道全色圖像與多通道高光譜圖像進行逐通道直方圖匹配擴充通道和光譜對齊，構建含有不同大小卷積核的卷積模塊和三維注意力模塊的殘差注意力網絡，構造一個同時含有空間約束損失和光譜約束項的損失函數作為網絡總損失函數；該高光譜全色銳化方法的步驟包括如下：

步驟1.生成訓練集：

步驟1.1，將一張高光譜圖像均分為N個互不重疊的標準高光譜圖像塊，N≥10；

步驟1.2，根據Wald協議要求，對每個標準高光譜圖像塊中可見光波段逐像素求均值得到均值圖像，將均值圖像塊作為該標準高光譜圖像塊的單通道全色圖像塊；

步驟1.3，對每個標準高光譜圖像下采樣，得到低分辨率高光譜圖像塊；

步驟1.4，將每個標準高光譜圖像塊與其對應的單通道全色圖像塊和低分辨率高光譜圖像塊組成一個樣本對，取T各樣本對組成訓練集，1≤T≤N；

步驟2.對低分辨率高光譜圖像塊進行空間對齊：

采用深度反投影網絡對低分辨率高光譜圖像塊進行語義信息提取和空間上采樣對齊，得到T₁個上采樣高光譜圖像塊，T₁＝T；

步驟3.對單通道全色圖像塊進行光譜對齊：

對單通道全色圖像塊與多通道高光譜圖像塊進行逐通道直方圖匹配，得到光譜對齊后的T₂多通道全色圖像塊，T₂＝T；

步驟4.構建殘差注意力網絡：

步驟4.1，搭建一個用于抑制冗余信息的三維注意力模塊，其結構依次為：通道注意力子模塊、第一乘法器、空間注意力子模塊、第二乘法器；

所述通道注意力子模塊的結構依次為：平均池化層、最大池化層、第一卷積層、第一激活函數層、第二卷積層、第二激活函數層；將平均池化層和最大池化層的計算維度均設置為1，將第一、第二卷積層的卷積核大小均設置為1*1，卷積核數量分別為16和64，滑動步長均為1，填充寬度均為0；第一激活函數層采用線性整流函數實現；第二激活函數層采用Sigmoid函數實現；

所述空間注意力子模塊的結構依次為：平均池化層、最大池化層、卷積層、激活函數層；將平均池化層和最大池化層的計算維度均設置為1；卷積層的卷積核大小設置為3*3，卷積核數量為1；激活函數層采用Sigmoid函數實現；

當數據輸入到三維注意力模塊處理時，第一乘法器將通道注意力子模塊的輸出與原始輸入數據進行相乘操作的結果，輸入到空間注意力子模塊，空間注意力子模塊的輸出結果與第一乘法器的相乘操作結果一起輸入第二乘法器將空間注意力子模塊進行乘法運算，得到三維注意力模塊的整體輸出數據；

步驟4.2，搭建10個結構相同的卷積模塊，每個卷積模塊的結構依次為：卷積層、批標準化層、激活函數層；將第一、第二、第七、第八卷積模塊中卷積層的卷積核大小均設置為1*1，卷積核數量均為64，滑動步長均為1，填充寬度均為0；將第三、第四、第五、第六卷積模塊卷積層的卷積核大小均設置為3*3，卷積核數量均為64，滑動步長均為1，填充寬度均為2；將第九、第十卷積模塊中卷積層的卷積核大小均設置為1*1，卷積核數量均為C，C為步驟1中高光譜圖像的通道數，滑動步長均為1，填充寬度均為0；第一至第十批標準化層均采用批標準化函數實現；第一至第十激活函數層均采用線性整流函數實現；

步驟4.3，將第一卷積模塊、第二卷積模塊、三維注意力模塊、第三卷積模塊、第四卷積模塊、第五卷積模塊、第六卷積模塊、第七卷積模塊、第八卷積模塊、第九卷積模塊、第十卷積模塊級聯組成殘差注意力網絡；

當數據輸入三維注意力模塊、第三、第四、第五、第六卷積模塊進行處理時，使用殘差運算，即將每個模塊的輸入特征數據和輸出特征數據進行像素級數值加合作為下一模塊的輸入特征數據；

步驟5.訓練殘差注意力網絡：

步驟5.1，用T₁個上采樣高光譜圖像塊逐像素減去與其對應的T₂個多通道全色圖像塊中的像素值，得到T₃張殘差圖像，T₁、T₂、T₃的取值對應相等；

步驟5.2，將所有殘差圖像輸入到殘差注意力網絡中，通過網絡逐級前傳，輸出重構后的圖像；

步驟5.3，用訓練集樣本對中的T₄個標準高光譜圖像塊像逐素減去與其對應的T₂個多通道全色圖像塊中的像素值，得到T₅個目標圖像，T₄、T₂、T₅的取值對應相等；

步驟5.4，構造一個同時含有空間約束損失和光譜約束項的損失函數作為網絡總損失函數，利用Adam算法對網絡總損失函數進行優化計算并迭代更新殘差注意力網絡參數，得到訓練好的殘差注意力網絡；

所述網絡總損失函數L(·)如下：

其中，Θ為待訓練的網絡參數，L_SAM(·)表示光譜約束損失函數,R和分別表示重構圖像和目標圖像，β表示兩個損失項之間的權重參數，其取值為[0,10]范圍內的任意實數，L_MSE(·)表示空間約束損失函數，K表示訓練集樣本對的總數，Σ表示求和操作，h表示目標圖像的高，w表示目標圖像的寬，arccos(·)表示反余弦操作，和分別表示第k張重構圖像中第p個像素對應的向量和第k'張目標圖像中第q個像素對應的向量，k和k'的取值對應相等，p和q的取值對應相等，·,·表示內積操作，||·||₂表示取L₂范數操作，c表示目標圖像的通道數，和分別表示第m張重構圖像中第v個像素對應向量的第b個維度的值和第m'張目標圖像中第u個像素對應向量的第d個維度的值，m和m'的取值對應相等，v和u的取值對應相等，b和d的取值對應相等；

步驟6.對高光譜圖像進行全色銳化：

步驟6.1，采用與步驟2和步驟3相同的方法，對待全色銳化的高光譜圖像進行處理，得到上采樣高光譜圖像和多通道全色圖像；

步驟6.2，采用與步驟5.1相同的方法，對上采樣高光譜圖像和多通道全色圖像進行處理，得到二者的殘差圖像；

步驟6.3，將殘差圖像輸入到訓練好的殘差注意力網絡中，輸出重構圖像，將重構圖像與多通道全色圖像加合，得到全色銳化后的高光譜圖像。