[發(fā)明專利]一種基于精簡卷積神經(jīng)網(wǎng)絡(luò)的快速視頻超分辨率重建方法

有效

• 申請?zhí)枺?/td>: 201810467095.6
• 申請日: 2018-05-16
• 公開（公告）號: CN108830790B
• 公開（公告）日: 2022-09-13
• 發(fā)明（設(shè)計）人: 蔣剛毅;潘志勇;郁梅;謝登梅;彭宗舉;陳芬;邵華
• 申請（專利權(quán)）人: 寧波大學(xué)
• 主分類號: G06T3/40
• 分類號: G06T3/40
• 代理公司: 寧波甬致專利代理有限公司 33228
• 代理人: 李迎春

1.一種基于精簡卷積神經(jīng)網(wǎng)絡(luò)的快速視頻超分辨率重建方法，其特征在于：包括以下步驟：

(1)、建立網(wǎng)絡(luò)結(jié)構(gòu)：a、將當(dāng)前幀、當(dāng)前幀的前兩幀以及當(dāng)前幀的后兩幀，共五幀作為系統(tǒng)的輸入量，表示為X_T，索引T∈{t-2,t-1,t,t+1,t+2}，其中t表示當(dāng)前時刻，并用Y_t表示重建的當(dāng)前視頻幀；b、將輸入量X_T通過特征提取及通道融合法獲取到融合輸出量，記為H₁，然后將H₁通過特征映射法獲取到映射后的輸出量，記為H₂，再將H₂通過反卷積重建法得到網(wǎng)絡(luò)結(jié)構(gòu)中重建的當(dāng)前視頻幀Y_t；

所述的輸入量X_T通過特征提取及通道融合法獲取到融合輸出量的具體步驟為：(b-01)、首先采用濾波器對輸入量X_T進行卷積提取特征，表示成高維向量，記為H_1T，H_1T＝W_1T*X_T+b_1T，并采用參數(shù)線性糾正單元函數(shù)對H_1T進行非線性操作：H_1T＝max(H_1T,0)+a_1Tmin(0,H_1T)，其中‘*’表示卷積操作，W_1T表示對應(yīng)索引T的大小為f_1T×f_1T×c_1T×n_1T的濾波器，f_1T表示濾波器W_1T的尺寸，c_1T表示輸入X_T的通道數(shù)，n_1T表示濾波器W_1T的個數(shù)，b_1T表示對應(yīng)索引T的1×n_1T的偏置項，a_1T表示H_1T的負(fù)數(shù)部分的系數(shù)，該層操作記為Conv(f_1T×f_1T×c_1T×n_1T)+PReLU，其中PReLU表示參數(shù)線性糾正單元函數(shù)；(b-02)、然后采用通道融合層對上述各個索引的H_1T進行融合，融合后的輸出記為H₁，表示為：H₁＝[H_1t-2,H_1t-1,H_1t，H_1t+1，H_1t+2]，其中，[]操作表示將H_1T在通道維度上進行連接，即經(jīng)過第一部分特征提取及通道融合層后得到的H₁包含了所有輸入的n_1T維特征；

所述的將H₁通過特征映射法獲取到映射后的輸出量的具體步驟為：(b-11)、首先利用通道收縮模塊對融合后的輸出量H₁進行降維，降維后的輸出記為H_2S，H_2S＝max(W_2S*H₁+b_2S,0)+a_2Smin(0,W_2S*H₁+b_2S)，其中，W_2S表示大小為f_2S×f_2S×c_2S×n_2S的濾波器，b_2S表示1×n_2S的偏置項，a_2S表示W(wǎng)_2S*H₁+b_2S的負(fù)數(shù)部分的系數(shù)，該層操作記為Conv(f_2S×f_2S×c_2S×n_2S)+PReLU，其中PReLU表示參數(shù)線性糾正單元函數(shù)；(b-12)、然后采用m個大小為f_2M×f_2M×c_2M×n_2M的濾波器W_2M和1×n_2M的偏置項b_2M對H_2S進行多級映射，并通過PReLU函數(shù)進行非線性變換得到特征向量，得到的特征向量記為H_2M，該層操作記為m×[Conv(f_2M×f_2M×c_2M×n_2M)+PReLU]；(b-13)、接著采用通道擴展模塊對H_2M進行升維，升維后的輸出記為H₂，H₂＝max(W_2E*H_2M+b_2E,0)+a_2Emin(0,W_2E*H_2M+b_2E),其中，W_2E表示大小為f_2E×f_2E×c_2E×n_2E的濾波器，b_2E表示1×n_2E的偏置項，a_2E表示W(wǎng)_2E*H_2M+b_2E的負(fù)數(shù)部分的系數(shù)，該操作記為Conv(f_2E×f_2E×c_2E×n_2E)+PReLU；

(2)、訓(xùn)練網(wǎng)絡(luò)結(jié)構(gòu)：將訓(xùn)練集記為其中X_t^(k)表示t時刻第k個視頻樣本的低分辨率視頻幀訓(xùn)練子圖像，Z_t^(k)表示t時刻第k個視頻樣本的原始全分辨視頻幀訓(xùn)練子圖像，N表示訓(xùn)練樣本個數(shù)，X_t^(k)與Z_t^(k)的縮放比例因子s＝2,3,4；用Y_t^(k)表示重建得到的高分辨率視頻幀子圖像，采用均方差作為目標(biāo)函數(shù)，最小化Y_t^(k)與Z_t^(k)之間的誤差，并估計各網(wǎng)絡(luò)結(jié)構(gòu)中各層的網(wǎng)絡(luò)參數(shù)θ，用隨機梯度下降法對網(wǎng)絡(luò)參數(shù)θ進行更新；為了快速得到不同縮放因子s下的重建模型，先從零開始訓(xùn)練s＝3的模型A，再相應(yīng)地微調(diào)網(wǎng)絡(luò)末端的反卷積層的參數(shù)，而保持所有卷積層參數(shù)不變，分別得到s＝2和s＝4的模型B和模型C；

(3)、利用訓(xùn)練得到的模型A、模型B以及模型C對相應(yīng)縮放因子s下的低分辨率視頻幀X_T進行超分辨率重建，最終得到對應(yīng)縮放因子s下的重建的當(dāng)前視頻幀Y_t。

2.根據(jù)權(quán)利要求1所述的一種基于精簡卷積神經(jīng)網(wǎng)絡(luò)的快速視頻超分辨率重建方法，其特征在于：上述步驟(1)中，反卷積重建法的具體方法為：對升維后的輸出H₂反卷積得到網(wǎng)絡(luò)結(jié)構(gòu)中重建的當(dāng)前視頻幀Y_t，其中，表示反卷積操作，可視為卷積操作的逆運算，W_D3和b_D3分別表示大小為f_D3×f_D3×c_D3×n_D3的反卷積濾波器和1×n_D3維向量的偏置項，該層操作記為：Deconv(f_D3×f_D3×c_D3×n_D3)。