[發明專利]基于雙向循環網絡的高分辨率視頻復原系統及方法

有效

• 申請號: 202110551488.7
• 申請日: 2021-05-20
• 公開（公告）號: CN113163138B
• 公開（公告）日: 2023-01-17
• 發明（設計）人: 胡劍凌;高立杭;馬青靜;曹洪龍
• 申請（專利權）人: 蘇州大學
• 主分類號: H04N5/265
• 分類號: H04N5/265;H04N5/268;G06N3/04;G06N3/08
• 代理公司: 蘇州市中南偉業知識產權代理事務所(普通合伙) 32257
• 代理人: 吳竹慧

1.一種基于雙向循環網絡的高分辨率視頻復原系統，其特征在于，包括：

正向循環模塊，所述正向循環模塊包括多個依次設置的正向處理單元，所述正向處理單元與視頻幀一一對應設置，當前所述正向處理單元根據前一級正向處理單元的輸出、上一時刻視頻幀和當前視頻幀，將當前視頻幀轉化為低頻部分；

反向循環模塊，所述反向循環模塊包括多個依次設置的反向處理單元，所述反向處理單元與視頻幀一一對應設置，當前所述反向處理單元根據前一級反向處理單元的輸出、下一時刻的視頻幀和當前視頻幀，將當前視頻幀轉化為高頻部分；

融合單元，所述融合單元具有多個，所述融合單元與正向處理單元和反向處理單元對應設置，所述融合單元將所述低頻部分與高頻部分融合，獲得高分辨率的視頻幀；

其中，所述正向處理單元將視頻的預設圖像幀轉化為低頻部分，包括以下步驟：

利用卷積層對X_f進行淺層特征提取，獲得淺層特征，其中，為第t幀參考幀，X_f表示正向輸入特征，表示t-1時刻前向傳播時的隱藏狀態，表示t-1時刻前向傳播時的輸出狀態，↓表示特征下采樣；

將淺層特征進行通道拆分，獲得重置信號r和更新信號u兩部分；

將重置信號r與進行點乘，并與級聯得到新的中層特征

中層特征通過殘差網絡進行特征細化，獲得細化后的特征h'_t-1；

將細化后的特征h'_t-1與u組合進行特征更新，獲得輸出分量和隱藏分量其中，和將作為輸入進入下一個時刻的循環，作為第一輸出分量，參與最終t時刻視頻幀的復原過程；

其中，所述將細化后的特征h'_t-1與u組合進行特征更新，獲得輸出分量和隱藏分量包括：

計算uF，

通過卷積層和激活層對uF進行處理，獲得隱藏分量

通過卷積層對uF進行處理，獲得輸出分量

2.根據權利要求1所述的基于雙向循環網絡的高分辨率視頻復原系統，其特征在于，所述殘差網絡包括多個殘差塊。

3.根據權利要求1所述的基于雙向循環網絡的高分辨率視頻復原系統，其特征在于，所述融合單元包括三個通道數為3的殘差塊。

4.一種基于雙向循環網絡的高分辨率視頻復原方法，基于權利要求1-3任一項所述的高分辨率視頻復原系統，其特征在于，包括以下步驟：

S1、進入正向循環模塊，令幀數t＝1，初始化隱藏狀態和輸出狀態采用第1幀的圖像輸入模擬第0幀的圖像輸入；

S2、每一個正向循環單元采用第t-1幀的圖像、第t幀圖像、和作為輸入，獲得正向輸入特征X_f；采用卷積層對正向輸入特征X_f進行淺層特征提取，得到對應的淺層特征F_fin；

S3、采用正向循環單元對淺層特征F_fin進行深層特征細化和錯誤信息刪除，得到下一個時間的隱藏狀態和輸出狀態

令t＝t+1,判斷tk是否成立，若成立，則重復步驟S2，若不成立，則進入步驟S5，并初始化隱藏狀態和輸出狀態采用第k幀的圖像輸入模擬第k+1幀的圖像輸入，其中，k為視頻序列的總幀數；

S4、每一個反向循環單元采用第t幀的圖像、第t+1幀圖像、和作為輸入，以級聯的方式組合，獲得反向輸入特征X_b，采用卷積層對反向輸入特征X_b進行淺層特征提取，得到對應的淺層特征F_bin；

S5、采用反向循環單元對淺層特征F_bin進行深層特征細化和錯誤信息刪除，得到下一個時間的隱藏狀態和輸出狀態令t＝t-1,判斷t0是否成立，若成立，則重復S4，若不成立，則進入S6；

S6、融合正向循環的結果和反向循環的結果，復原獲得高分辨率的視頻序列。

5.根據權利要求4所述的基于雙向循環網絡的高分辨率視頻復原方法，其特征在于，所述S6具體包括：

融合和復原獲得高分辨率的視頻序列。