[發明專利]基于無監督多階段融合網絡的遙感圖像超分辨率重建方法

有效

• 申請號: 202110911768.4
• 申請日: 2021-08-10
• 公開（公告）號: CN113538246B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 路文;張立澤;黃源飛;何立火;張弘毅;徐浩然;鄭永;朱振杰
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/084;G06V10/44;G06V10/774;G06N3/0464
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 田文英;王品華

1.一種基于無監督多階段融合網絡的遙感圖像超分辨率重建方法，其特征在于，構建由初始特征表示模塊、多尺度特征融合模塊和圖像重建模塊組成多階段融合網絡；生成包含高分辨率圖像塊和低分辨率圖像塊的非匹配的訓練集，利用構建一致性損失函數對網絡依次進行內容一致性、感知內容一致性和感知分布一致性三個階段的訓練；該重建方法的步驟包括如下：

步驟1，構建多階段融合網絡：

(1a)搭建一個由特征提取子模塊組和一個卷積層級聯組成多尺度特征融合模塊，將卷積層的特征映射圖總數設置為64，卷積核大小為3×3，補零為1，步長為1；

所述特征提取子模塊組由8個結構相同和參數相等的特征提取子模塊密集連接組成，每個特征提取子模塊由殘差單元組、1個通道融合層和1個卷積層級聯組成；將通道融合層的特征映射圖總數設置為128，將卷積層的特征映射圖總數設置為64，卷積核大小為1×1，步長為1；

(1b)搭建一個由第1卷積層，第2卷積層，激活層，第3卷積層級聯的圖像重建模塊；將第1層卷積層的卷積核的個數設置為64×低分辨率圖像的放大倍數×低分辨率圖像的放大倍數，卷積核的大小為3×3，補零為1，步長為1；將第2卷積層設置為亞像素卷積層，參數為低分辨率圖像的放大倍數；激活層采用線性整流函數；將第3卷積層的卷積核的個數為3，卷積核大小為3×3，補零為1，步長為1；

(1c)將初始特征表示模塊，多尺度特征融合模塊和圖像重建模塊級聯組成多階段融合網絡；

步驟2，生成非匹配的訓練集：

(2a)將至少1000張低分辨率低質量的遙感圖像和至少400張高分辨率高質量的遙感圖像組成數據集，且對數據集中的每張圖像進行預處理；

(2b)將預處理后的每張低分辨率低質量遙感圖像隨機裁剪為74×74的小圖像塊，將每張高分辨率高質量遙感圖像隨機裁剪為74×放大倍數的大圖像塊；

(2c)將裁剪后所有的低分辨率圖像塊和高分辨率圖像塊組成非匹配的訓練集；

步驟3，構建一致性損失函數：

(3a)構建內容一致性損失函數l_CC如下：

其中，||·||₁表示1-范數操作，Down(·)表示雙立方插值下采樣操作，表示將訓練集中的第i張低分辨率圖像塊輸入到多階段融合網絡后網絡輸出的圖像塊，表示訓練集中第i張低分辨率圖像塊；

(3b)構建感知內容一致性損失函數l_PCC如下：

其中，表示將經過高斯模糊處理后輸入VGG19網絡中得到的深層特征圖，表示將經過雙立方插值上采樣后輸入VGG19網絡中得到的深層特征圖，表示將經過雙立方插值下采樣后輸入VGG19網絡中得到的淺層特征圖，表示將輸入VGG19網絡中得到的淺層特征圖；

(3c)構建感知分布一致性損失函數l_Gen如下：

其中，表示求數學期望操作，log(·)表示以10為底的對數操作，表示訓練集中第i張高分辨率圖像塊，表示在條件下，對判斷真偽操作，表示在條件下，對判斷真偽操作；

(3d)構建判別損失函數如下：

其中，l_Dis表示判別損失函數；

步驟4，對多階段融合網絡進行內容一致性訓練：

將訓練集所有的低分辨率圖像塊依次輸入到多階段融合網絡，該網絡進行前向傳播得到超分后的高分辨率圖像塊，使用內容一致性損失函數計算該階段網絡的誤差值，將誤差值輸入到Adam優化器中，計算網絡每個卷積層的每個卷積核的所有梯度，迭代更新多階段融合網絡每個卷積層的每個卷積核的權重500代，完成對多階段融合網絡的內容一致性訓練，保存該階段訓練好的多階段融合網絡中每個卷積層的每個卷積核的所有權重；

步驟5，對內容一致性訓練后的多階段融合網絡進行感知內容一致性訓練：

將訓練集所有的低分辨率圖像塊依次輸入到一致性訓練后的多階段融合網絡中，該網絡進行前向傳播得到超分后的高分辨率圖像塊，使用感知內容一致性損失函數計算該階段網絡的誤差值，將網絡的誤差值輸入到Adam優化器中，計算網絡每個卷積層的每個卷積核的所有梯度，迭代更新網絡每個卷積層的每個卷積核的權重500代，完成對多階段融合網絡的感知內容一致性訓練，保存該階段訓練好的多階段融合網絡中每個卷積層的每個卷積核的所有權重；

步驟6，對感知內容一致性訓練后的多階段融合網絡進行感知分布一致性訓練：

(6a)將訓練集所有的低分辨率圖像塊依次輸入到感知內容一致性訓練后得多階段融合網絡，該網絡進行前向傳播得到超分后的高分辨率圖像塊，使用感知分布一致性損失函數計算該階段網絡誤差值；將網絡的誤差值輸入到Adam優化器中，計算網絡每個卷積層的每個卷積核的所有梯度，更新多階段融合網絡每個卷積層的每個卷積核的所有權重；

(6b)將重建后的高分辨率圖像塊和訓練集中的高分辨率圖像塊輸入到判別網絡中，使用判別損失函數計算判別網絡的誤差值，將判別網絡的誤差值輸入到Adam優化器中，計算判別網絡每個卷積層的每個卷積核的所有梯度，更新判別網絡每個卷積層的每個卷積核的所有權重；

(6c)依次重復執行步驟(6a)、(6b)，對感知內容一致性訓練后的多階段融合網絡和判別網絡進行交替訓練，迭代更新參數300代，得到最終訓練好的多階段融合，保存訓練好多階段融合網絡中每個卷積層的每個卷積核的所有權重；

步驟7，對遙感圖像進行超分辨率重建：

將待重建的低分辨率遙感圖像輸入到訓練好的多階段融合網絡，輸出該圖像的高分辨率圖像。