[發明專利]視頻時空超分模型構建方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202210344917.8
• 申請日: 2022-03-31
• 公開（公告）號: CN114692765A
• 公開（公告）日: 2022-07-01
• 發明（設計）人: 王正;胡夢順;聶志祥;江奎;肖晶
• 申請（專利權）人: 武漢大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/40;G06V10/80;G06V10/82
• 代理公司: 武漢智權專利代理事務所(特殊普通合伙) 42225
• 代理人: 羅成

1.一種視頻時空超分模型構建方法，其特征在于，包括以下步驟：

獲取視頻幀訓練集，所述視頻幀訓練集包括連續的第一視頻幀、第二視頻幀、第三視頻幀以及與每幀視頻幀對應的原始低分辨率視頻幀和原始高分辨率視頻幀；

對第一視頻幀的原始低分辨率視頻幀和第三視頻幀的原始高分辨率視頻幀進行圖像特征提取，得到第一視頻幀的原始低分辨率視頻幀對應的第一初始低分辨率特征圖、第三視頻幀的原始低分辨率視頻幀對應的第三初始低分辨率特征圖；

基于特征時間插值網絡對第一初始低分辨率特征圖和第三初始低分辨率特征圖進行對齊插幀處理，得到第二視頻幀對應的第二初始低分辨率特征圖；

基于第一初始低分辨率特征圖、第二初始低分辨率特征圖、第三初始低分辨率特征圖以及視頻幀訓練集對卷積神經網絡模型進行訓練，生成視頻時空超分模型；

其中，卷積神經網絡模型包括向上投影模塊、向下投影模塊和圖像重構模塊，向上投影模塊用于重建高分辨率特征序列，向下投影模塊用于重建低分辨率特征序列，圖像重構模塊用于基于向上投影模塊和向下投影模塊之間相互迭代作用的結果進行圖像重構。

2.如權利要求1所述的視頻時空超分模型構建方法，其特征在于，所述向上投影模塊具體用于：

對所述第一初始低分辨率特征圖、所述第二初始低分辨率特征圖和所述第三初始低分辨率特征圖形成的第一低分辨率特征序列進行融合殘差處理和上采樣處理，得到第一高分辨率特征序列；

對所述第一高分辨率特征序列進行下采樣處理，得到第二低分辨率特征序列；

對所述第二低分辨率特征序列和所述第一低分辨率特征序列進行融合殘差處理，得到低分辨率殘差特征序列；

對所述低分辨率殘差特征序列進行超分處理，并將超分處理結果與所述第一高分辨率特征序列進行融合，得到第二高分辨率特征序列，并將所述第二高分辨率特征序列傳輸至所述向下投影模塊。

3.如權利要求2所述的視頻時空超分模型構建方法，其特征在于，所述向下投影模塊具體用于：

對所述第二高分辨率特征序列進行下采樣和融合殘差處理，得到第三低分辨率特征序列；

對所述第三低分辨率特征序列進行融合殘差處理和上采樣處理，得到第三高分辨率特征序列；

對所述第三高分辨率特征序列和所述第二高分辨率特征序列進行融合殘差處理，得到高分辨率殘差特征序列；

對所述高分辨率殘差特征序列進行下采樣處理，并將下采樣處理結果與所述第三低分辨率特征序列進行融合，得到增強后的低分辨率特征序列，并將所述增強后的低分辨率特征序列傳輸至所述向上投影模塊，以供所述向上投影模塊基于所述增強后的低分辨率特征序列迭代得到增強后的高分辨率特征序列。

4.如權利要求1所述的視頻時空超分模型構建方法，其特征在于，所述圖像重構模塊中的損失值L_r的計算公式如下：

式中，λ₁、λ₂、λ₃和λ₄均為常數，ρ表示損失函數，表示與第二視頻幀對應的重建后的低分辨率視頻幀，表示與第二視頻幀對應的原始低分辨率視頻幀，H₁^GT、和分別表示與第一視頻幀、第二視頻幀和第三視頻幀一一對應的原始高分辨率視頻幀，H₁^RT、和分別表示與第一視頻幀、第二視頻幀和第三視頻幀一一對應的重建后的高分辨率視頻幀。

5.如權利要求1所述的視頻時空超分模型構建方法，其特征在于：所述特征時間插值網絡為級聯多尺度結構。

6.如權利要求1所述的視頻時空超分模型構建方法，其特征在于：所述圖像重構模塊中設有重建機制，所述重建機制包括超分倍數與圖像重建模塊中的像素重建層的層數之間的映射關系。

7.如權利要求1所述的視頻時空超分模型構建方法，其特征在于：所述原始低分辨率視頻幀的分辨率為32×32，所述原始高分辨率視頻幀的分辨率為128×128。