[發明專利]一種基于知識蒸餾的圖像超分辨率增強方法

有效

• 申請號: 201810603516.3
• 申請日: 2018-06-12
• 公開（公告）號: CN108830813B
• 公開（公告）日: 2021-11-09
• 發明（設計）人: 高欽泉;趙巖;童同
• 申請（專利權）人: 福建帝視信息科技有限公司
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40;G06T7/90;G06N3/04
• 代理公司: 福州君誠知識產權代理有限公司 35211
• 代理人: 戴雨君

1.一種基于知識蒸餾的圖像超分辨率增強方法，其特征在于：其包括以下步驟：

1)訓練數據和測試數據的獲取；

1-1)訓練集選擇DIV2K和Flickr2K，一共包括3450張真實圖像，測試集分別選擇了國際公開數據集Set5、Set14、BSDS100、Urban100；

1-2)采用Bicubic下采樣的方法，將訓練集的真實圖像進行3倍下采樣，得到與其對應的一組低分辨率圖像；

1-3)使用opencv庫中的imread()函數分別讀取真實圖像和低分辨率圖像，圖像格式為BGR數據，BGR分別代表彩色空間的藍色、綠色以及紅色部分，

1-4)然后將BGR空間的圖像轉換到YCrCb空間，Y代表明亮度，即灰階值，Cr代表BGR紅色部分與BGR信號亮度值之間的差異，Cb代表BGR藍色部分與BGR信號亮度值之間的差異；

1-5)對YCrCb空間的圖像進行通道分離，只選擇Y通道數據進行訓練，并對Y通道數據進行歸一化處理；

1-6)對Y通道圖像進行裁剪，將裁剪過后的真實圖像塊作為訓練目標，將裁剪過后的低分辨率圖像塊作為網絡訓練時的輸入，每一次迭代所需的訓練數據為32對；

2)教師網絡的訓練；教師網絡擁有較深卷積層的神經網絡模型，

2-1)教師網絡的第一層為特征提取和表示層，由卷積層和非線性激活層組成，非線性激活層選擇ReLU作為激活函數，第一層的操作可用如下公式表示：F₁(X)＝max(0,W₁*X+b₁)式中，W₁,b₁分別為第一層卷積層的權重和偏置，“*”表示卷積操作，ReLU函數的定義為max(0,x)；

2-2)教師網絡的中間層由10個殘差塊組成，每個殘差塊有兩個卷積層，每個卷積層后是激活函數為ReLU的非線性激活層；用一個跳躍連接將第一個卷積層的輸入和第二個卷積層的輸出相加，僅對第一個卷積層的輸入進行殘差學習；每一個殘差塊用如下公式表示：

F_2o+1(X)＝max(0,W_2o+1*F_o(X)+b_2o+1)+F_2o-1(X)(1≤o≤10)

式中，o代表殘差塊序號，F_o(X)代表殘差塊中第一個卷積層和非線性激活層的輸出，W_2o+1和b_2o+1分別代表殘差塊中第二個卷積層的權重和偏置，F_2o-1(X)代表殘差塊的輸入；

2-3)教師網絡的重構層是反卷積層，反卷積層用于將前一層網絡的輸出進行上采樣，使輸出的超分辨率圖像與訓練目標大小相等；

2-4)對于教師網絡的訓練，學習率設置為0.0001，使用MSE函數作為訓練目標和網絡輸出的損失函數，其表達式如下所示：式中，n為訓練樣本數量，Y_i為輸入圖像，Y′_i為預測圖像；

2-5)使用Adam優化方法使損失函數最小化；

3)學生網絡的訓練；

3-1)學生網絡的第一層為特征提取和表示層，其參數設置與教師網絡的第一層相同；

3-2)學生網絡的中間層由3個深度可分離卷積模塊組成，每個模塊都是由一個3×3的深度級卷積層和一個1×1的卷積層組成，深度級卷積層和卷積層后都是一個激活函數為ReLU的非線性激活層，深度級卷積的操作由如下公式表示：

式中，K是大小為D_k×D_k×M的深度卷積核，將K中的第m個濾波器應用于F的第m個特征圖，來產生經濾波的輸出特征圖G的第m個特征圖；

3-3)學生網絡重構層的參數設置與教師網絡的重構層相同；

3-4)學生網絡的學習率，損失函數，優化方法與教師網絡相同；即學習率設置為0.0001，使用MSE函數作為訓練目標和網絡輸出的損失函數，其表達式如下所示：式中，n為訓練樣本數量；

4)教師網絡對學生網絡的指導學習；通過三組指導實驗由學生網絡學習吸收教師網路的特征圖；

5)測試評估圖像重建效果；

6)根據輸出特征圖之間不同的矩陣關系對學生網絡進行進一步指導；

設卷積神經網絡的激活層的輸出張量為A∈R^C×H×W，式中C為特征圖個數，H和W分別為特征圖的高和寬，

函數M將張量A作為輸入，輸出為二維矩陣，即：M：R^C×H×W→R^H×W，且輸出特征圖之間滿足以下關系：

特征圖均值的p次方：

特征圖p次方的均值：

特征圖的最大值：M_max(A)＝max_i＝1,CA_i

特征圖的最小值：M_min(A)＝min_i＝1,CA_i

式中，M為函數，p為冪次方系數，A為卷積神經網絡的激活層的輸出張量，C為特征圖個數，i為特征圖序號。