[發明專利]融合弱紋理信息的子母神經網絡圖像超分辨率重建方法

有效

• 申請號: 202010222700.0
• 申請日: 2020-03-26
• 公開（公告）號: CN111507899B
• 公開（公告）日: 2023-07-11
• 發明（設計）人: 傅博;王麗妍;杜飛飛;張天壯;尹月
• 申請（專利權）人: 遼寧師范大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/0464;G06N3/08
• 代理公司: 大連非凡專利事務所 21220
• 代理人: 閃紅霞

1.一種融合弱紋理信息的子母神經網絡圖像超分辨率重建方法，其特征在于按照如下步驟進行：

01部分，使用DIV2K數據集900張自然圖像，訓練RCAN網絡，得到弱紋理信息數據集，具體步驟如下：

步驟C011：將DIV2K數據集900張圖像裁剪為縮小2倍的低分辨率數據集，記為LR_x2；所述DIV2K數據集記為HR；

步驟C012：將LR_x2和HR中對應的600對自然圖像作為訓練集，300對自然圖像作為驗證集，訓練RCAN網絡，所述RCAN網絡結構采用了2個殘差組，2個殘差塊，經過200次迭代更新后得到模型RCAN_model.pt文件，保存驗證集的300張超分辨率重建之后的圖像，記為SR_x2；

步驟C013：將HR和SR_x2中相對應的300張圖像像素值對應相減，得到圖像之間的差分圖，記作Diff_x2數據集，再將Diff_x2數據集通過Sobel算子增強邊緣，得到單通道的弱紋理信息圖，記為Diff_edge_x2數據集；將SR_x2數據集通過Sobel算子增強邊緣，得到單通道的邊緣圖記為SR_edge_x2數據集；

02部分，訓練子網絡-弱紋理預測模型，為母網絡-融合弱紋理信息的超分模型提供數據，具體步驟如下：

步驟C021：將SR_edge_x2數據集中的300張邊緣圖像切塊并輸進子網絡，塊的大小為48*48像素，所切的塊記為SRx2_edge_P_i，1≤i≤16000；

步驟C022：開始訓練M＝16000對應的線性關系模型，記為SubNet?Model，約定變量epoch_edge為子網絡循環訓練的次數，初始為0；

步驟C023：子網絡結構第一部分是一個卷積層，記為Conv_E1，其中包括64個3*3大小的濾波器；第二部分包含分別記為RG_E?1、RG_E?2的2個殘差組和一個卷積層Conv_E2以及一個長跳躍連接，每一個殘差組中包含2個帶有通道注意機制的殘差塊和一個短跳連接；第三部分也是由一個卷積層組成，記為Conv_E3，其中包括1個3*3大小的濾波器；最終得到預測的弱紋理信息圖像集，記為Weak_texture_x2；

步驟C024：通過L1?Loss計算方法求取Weak_texture_x2和Diff_edge_x2圖像集相應的損失函數值，記為loss_edge，置epoch_edge＝epoch_edge+1；當epoch_edge達到150次，網絡停止訓練，保存訓練模型SubNet_model.pt文件；否則將loss_edge值反向傳播，通過ADAM優化算法重新更新參數，再一次進入步驟C022和C023，循環重復訓練；

03部分，使用BSD500數據集的500張自然圖像，利用子網絡訓練得到的弱紋理預測模型訓練母網絡，得到融合弱紋理信息的超分模型，具體步驟如下：

步驟C031：將BSD500數據集的500張自然圖像裁剪為縮小2倍的低分辨率數據集，記為LR_B500_x2，將BSD500數據集記為HR_B500；

步驟C032：將LR_B500_x2數據集中的低分辨率圖像切塊，塊的大小為48*48像素，所切的塊分別記為LR_B500x2_P_i，1≤i≤16000；

步驟C033：構建兩個新的模型，結構分別與RCAN網絡和子網絡結構一致，分別記為RCAN_Model和SubNet_Model*，將RCAN_model.pt模型和SubNet_model.pt模型分別導入RCAN_Model和SubNet_Model*中，并且固定這兩個模型的參數不再更新；

步驟C034：開始訓練母網絡M＝16000對應的線性關系模型，即融合弱紋理信息的超分模型，記為WeakT_Model，約定變量epoch為雙殘差網絡循環訓練的次數，初始化為0；

步驟C0341：將低分辨率圖像塊LR_B500x2_P_i輸入待訓練的母網絡；

步驟C0342：首先進入RCAN_Model模型，得到較清晰的高分辨率圖像塊，記為SR1_x2_P_i,將SR1_x2_P_i通過Sobel算子增強邊緣，得到單通道的弱紋理信息圖像塊，記為SR1_edge_x2_P_i；將SR1_edge_x2_P_i進入SubNet_Model*模型，得到弱紋理信息圖像塊，記為SR1_Weak_texture_x2_P_i；將SR1_Weak_texture_x2_P_i縮小為原來的2倍后與3通道低分辨率圖像塊LR_B500x2_P_i融合，形成四通道圖像塊，記為LR4C_x2_P_i；

步驟C0343：將融合弱紋理信息的低分辨率的四通道圖像塊LR4C_x2_P_i輸入WeakT_Model模型中；

步驟C0344：首先進入弱紋理特征提取層，記為Weak_texture1層；Weak_texture1層由一個卷積層Conv_W1組成，其中包括64個3*3大小的濾波器；其次，進入深層弱紋理特征提取層，記為Deep_Weak_texture2層；Deep_Weak_texture2層中包含分別記為RG_W1，RG_W2的2個殘差組和一個卷積層Conv_W2以及一個長跳躍連接；每一個殘差組中包含2個帶有通道注意機制的殘差塊和一個短跳連接；最后，進入弱紋理重構層，記為Weak_texture3層；Weak_texture3層由一個上采樣層Upsample和卷積層Conv_W3組成，其中包括3個3*3大小的濾波器；最終得到高分辨率的3通道圖像集，記為SR3C_x2；

步驟C035：通過L1?Loss計算方法求取SR3C_x2和HR_B500圖像集相應的損失函數值，記為loss，置epoch＝epoch+1；當epoch達到200次后，網絡停止訓練，保存訓練模型WeakT_model.pt文件；否則將loss值反向傳播，通過ADAM優化算法重新更新參數，再一次進入步驟C034，循環重復訓練；

04部分，將030部分中得到的超分模型網絡模型WeakT_model.pt文件導入到測試代碼中，將弱紋理低分辨率圖像輸入訓練好的融合弱紋理信息的超分模型中，得到清晰圖像并保存結果。