[發明專利]一種視頻超分辨率處理方法、設備及存儲介質

在審

• 申請號: 202011382211.8
• 申請日: 2020-12-01
• 公開（公告）號: CN112700392A
• 公開（公告）日: 2021-04-23
• 發明（設計）人: 蘇德偉;張平健
• 申請（專利權）人: 華南理工大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T3/60;G06T3/40;G06N3/08;G06N3/04
• 代理公司: 廣州嘉權專利商標事務所有限公司 44205
• 代理人: 常柯陽

1.一種視頻超分辨率處理方法，其特征在于，由視頻處理模型來實現，包括以下步驟：

獲取視頻序列，提取所述視頻序列中參考幀的特征圖和相鄰幀的特征圖；

將所述相鄰幀的特征圖對齊到所述參考幀上；

將對齊后的特征圖進行局部特征融合，獲得局部融合特征圖；

采用視頻洗牌的策略將對齊后的特征圖進行全局特征融合，獲得全局融合特征圖；

將所述局部融合特征圖和所述全局融合特征圖拼接并進行視頻幀重建，獲得高清視頻幀；

將獲得的高清視頻幀進行合并，獲得高分辨的視頻序列；

其中，所述視頻序列中最中間的視頻幀為參考幀，其他視頻幀作為相鄰幀。

2.根據權利要求1所述的一種視頻超分辨率處理方法，其特征在于，所述視頻超分辨率處理方法還包括獲取訓練數據集的步驟，具體為：

獲取高分辨率的視頻，將所述視頻分離為多個高分辨率的視頻幀；

采用圖像插值下采樣技術對每個所述高分辨率的視頻幀進行處理，獲得低分辨率的視頻幀；

根據所述高分辨率的視頻幀和所述低分辨率的視頻幀構建視頻對作為所述視頻處理模型的訓練數據集。

3.根據權利要求1所述的一種視頻超分辨率處理方法，其特征在于，所述視頻處理模型包括淺層特征提取模塊、隱式特征對齊模塊、局部特征融合模塊、全局特征融合模塊以及重建模塊；

所述參考幀和所述相鄰幀以RGB形式輸入到所述淺層特征提取模塊進行特征提取。

4.根據權利要求3所述的一種視頻超分辨率處理方法，其特征在于，所述隱式特征對齊模塊由改進的可變形卷積疊加構成，所述可變形卷積包括參數預測部分和卷積采樣部分；

其中，所述參數預測部分由遞減的多空洞卷積單元對參考幀和相鄰幀進行特征提取，輸出預測的偏移量和調節系數；

所述卷積采樣部分利用所述偏移量和所述調節系數這兩個參數對相鄰幀的特征進行采樣，實現隱式的特征對齊。

5.根據權利要求4所述的一種視頻超分辨率處理方法，其特征在于，所述可變形卷積的隱式對齊過程表示為：

其中，為輸出的對齊后的相鄰幀特征，ω_k表示卷積過程中的系數，即第b個可變形卷層中待對齊的相鄰幀特征，p+p_k表示卷積過程中第k個采樣點的位置，Δp_i,k為卷積核的采樣位置的偏移量，Δm_i,k為卷積核內對應數值的調節系數。

6.根據權利要求3所述的一種視頻超分辨率處理方法，其特征在于，所述局部特征融合模塊從保持時序一致性的角度和保持相鄰幀之間緊密性的角度進行設計，形成一個循環的結構；

所述局部特征融合模塊通過以下方式對特征圖進行局部特征融合：

將輸入相鄰幀的特征圖和所述局部特征融合模塊的上一輪輸出的特征圖進行結合，作為當前循環的輸入，使得相鄰兩幀的信息被充分融合并且信息流能夠從第一幀傳遞到最后一幀。

7.根據權利要求3所述的一種視頻超分辨率處理方法，其特征在于，所述全局特征融合模塊包括視頻洗牌單元、多核卷積單元和逆視頻洗牌單元；

所述視頻洗牌單元用于將輸入的特征圖在通道維度上進行分組，以及交換各個分組后的通道；

所述多核卷積單元用于對特征進行充分融合；

所述逆視頻洗牌單元用于恢復通道的正確分組。

8.根據權利要求1所述的一種視頻超分辨率處理方法，其特征在于，所述視頻超分辨率處理方法還包括優化所述視頻處理模型的參數的步驟，具體為：

獲取預設的優化器和損失函數，設置所述視頻處理模型的參數；

對所述視頻處理模型的神經網絡進行迭代訓練后，通過所述損失函數計算所述神經網絡的損失；

結合所述優化器和計算獲得的損失對所述視頻處理模型的參數進行優化。