[發明專利]一種基于深度殘差網絡的視頻超分辨率重建方法

在審

• 申請號: 201710561401.8
• 申請日: 2017-07-11
• 公開（公告）號: CN107274347A
• 公開（公告）日: 2017-10-20
• 發明（設計）人: 李根;童同;高欽泉
• 申請（專利權）人: 福建帝視信息科技有限公司
• 主分類號: G06T3/40
• 分類號: G06T3/40;H04N7/01
• 代理公司: 福州君誠知識產權代理有限公司35211
• 代理人: 彭東

1.一種基于深度殘差網絡的視頻超分辨率重建方法，其特征在于：其包括如下步驟：

步驟1，將把高分辨率視頻序列中的當前幀視為關鍵幀，然后再取關鍵幀的前面T幀和后面T幀。因此，視頻序列中的一組高分辨率視頻圖像包含2T+1幀，索引t∈{-T,-T+1,…,0,…T-1,T}；

步驟2，將通過步驟1所獲得的一組高分辨率視頻圖像以縮放比例S生成其一一對應的一組2T+1幀低分辨率視頻圖像序列當前幀的低分辨率視頻圖像為

步驟3，將利用CLG-TV光流模型算法計算所有低分辨率視頻圖像序列與當前幀視頻圖像之間的光流速度矢量，獲得運動補償后的2T幀低分辨率視頻圖像和當前幀的低分辨率視頻圖像索引t∈{-T,-T+1,…,T-1,T}；

步驟4，利用低分辨率視頻圖像分別執行初始階段、串聯卷積層計算階段、殘差塊計算階段和反卷積計算階段，最終獲得一幅其對應的高分辨率視頻圖像F_l′(Y)；

所述步驟4具體包括以下步驟：

步驟4.1，初始階段：輸入的低分辨率視頻圖像進行卷積運算和激活函數運算得到其對應的第1層輸出結果其計算公式是：

其中W_1，t和B_1，t分別是第一層t幀的卷積權值參數和偏置參數；

步驟4.2，串聯階段：將把所有的初始階段輸出結果串聯成一個卷積特征層F₁(Y)，其計算公式是：

步驟4.3，殘差計算階段：殘差計算階段由多個殘差運算塊組成，每個殘差運算塊的計算公式是：

其中W_l¹和W_l²分別是是第l層的第1個和第2個卷積權值參數，和分別是是第l層的第1個和第2個偏置參數。F_l(Y)和F_l-1(Y)分別是第l層和l-1層的輸出結果，第l-1層的輸出結果，F_l-1(Y)是通過跳躍連接的方式與第l層的第n+1個卷積結果相加得到第l層的輸出結果F_l(Y)；

步驟4.4，反卷積計算階段：其計算公式是：

F_l′(Y)＝W_l+3*max(W_l+2*max(W_l+1*F_l(Y)+B_l+1,0)+B_l+2,0)+B_l+3(4)

其中W_l+1和B_l+1分別是第l+1卷積層的卷積權值參數和偏置參數，W_l+2和B_l+2分別是第l+2反卷積層的卷積權值參數和偏置參數，W_l+3和B_l+3分別是第l+3卷積層的卷積權值參數和偏置參數，F_l′(Y)是本發明重建的高分辨率視頻圖像；

步驟5，利用重建的高分辨率視頻圖像F_l′(Y)將與步驟1的高分辨率視頻序列中所對應的的當前幀視頻圖像進行比較，計算兩幅視頻圖像之間的歐式距離；

步驟6，基于計算的歐式距離不斷更新并優化獲得最優的卷積權值參數和偏置參數；

當重建的所有高分辨率視頻圖像與其對應的高分辨率視頻圖像進行比較時沒有獲得預先設定的重建效果，則繼續進行反向傳播，利用梯度下降優化算法更新卷積權值參數和偏置參數，再執行步驟4；

當重建的所有高分辨率視頻圖像與其對應的高分辨率視頻圖像進行比較時已經獲得預先設定的重建效果時，則停止反向傳播，并最終求得步驟4所獲得的卷積權值參數和偏置參數。

2.根據權利要求1所述的一種基于深度殘差網絡的視頻超分辨率重建方法，其特征在于：所述步驟2中縮放比例S包括4倍、3倍和2倍。

3.根據權利要求1所述的一種基于深度殘差網絡的視頻超分辨率重建方法，其特征在于：每個殘差運算塊由2次卷積運算、1次激活函數運算和1次相加運算組成。

4.根據權利要求1所述的一種基于深度殘差網絡的視頻超分辨率重建方法，其特征在于：所述反卷積計算由2次卷積運算、2次激活函數運算和1次反卷積運算組成。