[發明專利]基于多層耦合卷積神經網絡的多光譜遙感圖像Pan-sharpening方法

有效

• 申請號: 201910013887.0
• 申請日: 2019-01-08
• 公開（公告）號: CN109801218B
• 公開（公告）日: 2022-09-20
• 發明（設計）人: 吳澤彬;蔡婉婷;錢瑩;徐洋;韋志輝
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06T5/50
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 陳鵬

1.一種基于多層耦合卷積神經網絡的多光譜遙感圖像Pan-sharpening方法，其特征在于，通過兩個卷積自編碼器分別提取輸入圖像與輸出圖像的高層特征，并通過耦合卷積網絡在兩個高層特征間建立特征映射層的同時在網絡的輸入與輸出圖像間建立端到端連接，最終微調整體網絡框架；該方法分為訓練階段和測試階段，具體步驟如下：

訓練階段：

步驟1，預處理LM-HR圖像和HR-MS圖像，生成LM-HR圖像塊和HR-MS圖像塊，將LM-HR圖像塊作為輸入，HR-MS圖像塊作為輸出；其中，圖像LM-HR與圖像HR-MS分別取N個圖像塊，生成圖像塊和圖像塊大小分別32×32×5與32×32×4；

步驟2，通過兩個卷積自編碼器分別提取LM-HR圖像塊和HR-MS圖像塊的隱層特征，其中N表示從圖像中取出的圖像塊個數；

卷積自編碼器分為編碼器和解碼器兩步驟，其中編碼器部分為卷積層，解碼器部分為反卷積層；兩個卷積自編碼器的編碼器模型分別為：

其中，k表示卷積核的個數，設置為16；權重W₁^k和分別表示兩個卷積層的第k個卷積核，大小為7×7；和分別表示兩個卷積層的第k個偏置項；與圖像塊LH_i和HM_i分別進行卷積(*)后生成k個特征圖，分別是h^k(LH_i)和h^k(HM_i)；f(·)是激活函數Relu，公式如下所示：

f(x)＝max(0,x)

兩個卷積自編碼器的解碼器模型分別為：

其中，h^k(LH_i)和h^k(HM_i)是兩個卷積自編碼器的隱含層，即圖像塊的兩幅特征圖；權重和分別表示兩個反卷積層的第k個反卷積核，即W₁^k和的轉置，大小為7×7；每張特征圖與對應的卷積核的轉置進行卷積操作并將結果求和，最后加上偏置項c₁和c₂，得到卷積自編碼器的輸出，即和

步驟3，在步驟2中的兩個高層特征間通過三層卷積神經網絡構建特征映射層，得到相應的特征映射關系；

步驟4，運用耦合卷積網絡，保留提取LM-HR圖像塊特征的卷積自編碼器的編碼器部分、提取HR-MS圖像塊特征的卷積自編碼器的解碼器部分以及特征映射層，將保留的卷積層連接得到在輸入與輸出間完整的端到端網絡；采用后向傳播算法對整個網絡微調，更新網絡的權重和偏置項，使網絡達到最優值；

測試階段：

步驟5，輸入測試圖像Test-LM-HR到神經網絡中，得到相對應的融合圖像Test-HR-MS。

2.根據權利要求1所述的基于多層耦合卷積神經網絡的多光譜遙感圖像Pan-sharpening方法，其特征在于，多層耦合卷積神經網絡的參數設置為：圖像塊的大小設置為32×32；在兩個卷積自編碼器中由7×7的感受野和ReLU函數計算得到為16個特征圖K；特征映射層中三層卷積神經網絡的卷積核設置如下：

K＝16，W₃×W₃設置為9×9，f₁(x)為ReLU函數，c₃＝64，W₄×W₄設置為1×1，f₂(x)為ReLU函數，c₄＝32，W₅×W₅設置為5×5，f₃(x)為ReLU函數，c5(K)＝16；

其中，三層卷積神經網絡的卷積核即權重分別為W_m，偏置項為c_m,m＝3,4,5激活函數為f_i(x),i＝1,2,3；

具體的三層構架為：第一層是由9×9的感受野和ReLU函數計算得到64個特征圖，第二層由1×1的感受野和ReLU函數計算得到32個特征圖，最后使用5×5的感受野和ReLU激活函數得到16個特征圖；每個卷積層的步長設置為1，學習率設置為0.0001，優化器選用AdamOptimizer；在每次網絡迭代時批處理的塊數大小設置為100個塊，迭代次數為150,000。