[發明專利]一種基于深度先驗信息的高光譜圖像超分辨率方法

在審

• 申請號: 202011025262.5
• 申請日: 2020-09-25
• 公開（公告）號: CN112184553A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 陳捷;王修珩
• 申請（專利權）人: 西北工業大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04;G06N3/08
• 代理公司: 西北工業大學專利中心 61204
• 代理人: 金鳳

1.一種基于深度先驗信息的高光譜圖像超分辨率方法，其特征在于，包括以下步驟：

步驟1：從圖像庫中獲取同一場景的低分辨率高光譜圖像Y、高分辨率彩色圖像Z和高分辨率高光譜圖像X；獲取低分辨率高光譜圖像Y的光譜通道數為J；對低分辨率高光譜圖像Y和高分辨率彩色圖像Z進行歸一化處理；再對低分辨率高光譜圖像Y的每個光譜通道分別進行雙三次插值得到插值后高光譜圖像Y_up；構造配對圖像集(Y_up，Z；X)；

步驟2：構建雙流融合網絡并采用配對圖像集(Y_up，Z；X)訓練網絡；

步驟2-1：構建殘差網絡模塊：從輸入到輸出依次為卷積層a₁、批標準化層b₁、激活層c₁、卷積層a₂、批標準化層b₂和疊加層d₁；輸入特征通過跳躍連接和批標準化層b₂的輸出一起輸入疊加層d₁；

步驟2-2：構建雙流融合神經網絡：

雙流融合神經網絡包括兩個分支；

第一分支從輸入到輸出依次為：卷積層a₃、激活層c₂、P個殘差網絡模塊和卷積層a₄；第二分支從輸入到輸出依次為：卷積層a₅、激活層c₃、Q個殘差網絡模塊和卷積層a₆；第一分支和第二分支的輸出再一起合流輸入特征拼接層，之后依次為卷積層a₇、批標準化層b₃、激活層c₄、卷積層a₈和疊加層d₂；卷積層a₈包含J個3×3的濾波器，步長為1；

第二分支中激活層c₃的輸出通過跳躍連接和卷積層a₈的輸出一起輸入疊加層d₂；

步驟2-3：選用圖像集(Y_up，Z；X)中三分之二的圖像對作為訓練集，其余三分之一作為測試集；在訓練集的每幅圖像中隨機選取圖像自身尺寸1/h大小的M個圖像塊，再將每幅圖像中的M個圖像塊進行隨機翻轉和鏡像；將經過上述處理的插值后高光譜圖像Y_up中的圖像塊作為第一分支的輸入，將經過上述處理的高分辨率彩色圖像Z中的圖像塊作為第二分支的輸入，將經過上述處理的高分辨率高光譜圖像X作為標簽圖像；

損失函數定義如下：

||F(Y_up，Z；Θ)-X||₁

其中，F(*)代表雙流融合神經網絡映射，Θ代表雙流融合神經網絡模型參數；

步驟2-4：利用Adam優化算法，設置初始學習率為e，每次向前傳播時隨機取f個樣本，算法迭代g代；訓練完成得到雙流融合神經網絡模型參數；

步驟3：將測試集中的插值后高光譜圖像Y_up和高分辨率彩色圖像Z輸入步驟2訓練完成的雙流融合神經網絡，得到深度先驗信息表征X_f；

步驟4：構造帶正則項的目標函數：

其中，B表示模糊矩陣，S表示下采樣矩陣，表示數據保真項，表示正則項，μ∈[10^-8，1]表示正則項參數，R表示光譜響應函數；

步驟5：在μ的取值范圍[10^-8，1]內等間隔選取若干個不同的正則項參數μ值，對步驟4中帶正則項的目標函數求導并置為0，將目標函數轉化為Sylvester方程，利用FUSE算法求解在不同的正則項參數μ下的X的解X_u；

步驟6：基于最大曲率準則估計最優正則項參數μ^*；

步驟6-1利用X_u計算數據保真項和正則項的值：

式中，J₁(μ)表示數據保真項的值，J₂(μ)表示正則項的值；

步驟6-2：計算由點(J₁(μ)，J₂(μ))組成的曲線曲率，表示為：

步驟6-3：利用最大曲率準則，將使κ(μ)最大值對應的μ作為最佳正則項參數μ^*；

步驟7：輸出最優正則項參數μ^*下的對應的超分辨圖像完成高光譜圖像超分辨。