[發(fā)明專利]基于改進可變形卷積校正的視頻時空超分辨率方法和裝置

有效

• 申請?zhí)枺?/td>: 202110178143.1
• 申請日: 2021-02-09
• 公開（公告）號: CN113034380B
• 公開（公告）日: 2022-06-10
• 發(fā)明（設計）人: 蔣榮欣;蔡卓駿;田翔;陳耀武
• 申請（專利權）人: 浙江大學
• 主分類號: G06T5/00
• 分類號: G06T5/00;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產(chǎn)權代理有限公司 33224
• 代理人: 曹兆霞

1.一種基于改進可變形卷積校正的視頻時空超分辨率方法，其特征在于，包括以下步驟：

構建包含特征提取模塊、幀間校正模塊以及圖像重建模塊的視頻時空超分辨率網(wǎng)絡，其中，幀間校正模塊包括若干個不同空間尺度的改進可變形卷積校正分支和融合單元，每個改進可變形卷積校正分支用于根據(jù)相鄰視頻幀計算的光流估計和偏移參數(shù)經(jīng)可變性卷積得到分支中間幀特征圖，融合單元用于融合所有分支中間幀特征圖，得到最終的中間幀特征圖；

對視頻時空超分辨率進行網(wǎng)絡參數(shù)優(yōu)化后備用；

應用時，利用特征提取模塊從輸入低分率的相鄰視頻幀提取特征圖，利用幀間校正模塊依據(jù)相鄰視頻幀對應的特征圖在進行校正處理合成中間幀特征圖，利用圖像重建模塊對輸入的中間幀特征圖和相鄰視頻幀對應的特征圖進行幀間與幀內特征的提取，重建輸出高分辨率高幀率的圖像序列。

2.如權利要求1所述的基于改進可變形卷積校正的視頻時空超分辨率方法，其特征在于，所述特征提取模塊包括至少1個卷積層和若干個殘差塊，用于提取低分辨率視頻幀的多通道特征圖，其中，殘差塊包括卷積層、線性整流函數(shù)和點加操作。

3.如權利要求1所述的基于改進可變形卷積校正的視頻時空超分辨率方法，其特征在于，每個改進可變形卷積校正分支對應唯一的空間尺度，包括改進可變形卷積校正單元和偏移參數(shù)計算單元，其中，偏移參數(shù)計算單元用于根據(jù)相鄰視頻幀的特征圖和光流信息經(jīng)過多次卷積操作獲得可變性卷積偏移參數(shù)，改進可變形卷積校正單元用于根據(jù)相鄰視頻幀計算光流信息后，根據(jù)光流信息確定可變性卷積偏移的基底后，根據(jù)可變性卷積偏移參數(shù)和對應的基底，經(jīng)過可變性卷積獲得與空間尺度對應的分支中間幀特征圖。

4.如權利要求3所述的基于改進可變形卷積校正的視頻時空超分辨率方法，其特征在于，所述偏移參數(shù)計算單元包括3個卷積層，相鄰視頻幀的特征圖拼接后輸入至第一卷積層獲得第一卷積結果，第一卷積結果與相鄰改進可變形卷積校正分支的偏移參數(shù)計算單元計算的可變性卷積偏移參數(shù)拼接后輸入至第二卷積層獲得第二卷積結果，第二卷積結果與相鄰視頻幀間的光流信息拼接后輸入至第三卷積，經(jīng)卷積操作獲得當前分支的可變性卷積偏移。

5.如權利要求1所述的基于改進可變形卷積校正的視頻時空超分辨率方法，其特征在于，所述融合單元復用相鄰視頻幀間的光流信息，該光流信息經(jīng)過多次不同尺度的卷積操作后，生成與每個可變形卷積校正分支對應，且與對應可變形卷積校正分支的空間尺度相同的注意力圖，每個可變形卷積校正分支的分支中間幀特征圖與注意力圖點乘后獲得點乘結果，所有分支的點乘結果維度拼接后經(jīng)過卷積層下采樣后輸出與輸入視頻幀特征圖空間尺度相同的中間幀特征圖。

6.如權利要求1所述的基于改進可變形卷積校正的視頻時空超分辨率方法，其特征在于，所述圖像重建模塊包括可變形長短時記憶網(wǎng)絡和若干個殘差塊，其中，可變形長短時記憶網(wǎng)絡用于根據(jù)輸入的相鄰視頻幀的特征圖和中間幀特征圖輸出各幀的高層特征圖，各幀的高層特征圖分貝輸入權重共享的殘差塊組中，輸出與高層特征圖對應的高分辨率高幀率的圖像，組成圖像序列。

7.如權利要求1所述的基于改進可變形卷積校正的視頻時空超分辨率方法，其特征在于，對視頻時空超分辨率進行網(wǎng)絡參數(shù)優(yōu)化前，構建訓練樣本，具體過程為：

將高分辨率高幀率視頻序列切邊，保證空間分辨率為目標縮放倍數(shù)的整數(shù)倍；若序列幀數(shù)為偶數(shù)，則丟棄最后一幀；預處理后的高分辨率高幀率視頻序列作為網(wǎng)絡訓練目標；

按目標縮放倍數(shù)下采樣生成低分辨率高幀率視頻序列；選取其中奇數(shù)幀的低分辨率圖像作為網(wǎng)絡輸入，對應的真實高分辨率圖像為監(jiān)督數(shù)據(jù)，選取其中偶數(shù)幀的低分辨率圖像用于合成中間幀的監(jiān)督數(shù)據(jù)。

8.如權利要求1所述的基于改進可變形卷積校正的視頻時空超分辨率方法，其特征在于，對視頻時空超分辨率進行網(wǎng)絡參數(shù)優(yōu)化時，損失函數(shù)包括兩部分，第一部分是奇數(shù)幀的低分辨率圖像對應的生成高分辨率圖像與真實高分辨率圖像之間的損失，第二部分是偶數(shù)的低分辨率圖像的特征圖與幀間校正模塊生成的中間幀特征圖之間的損失。

9.一種基于改進可變形卷積校正的視頻時空超分辨率裝置，包括計算機存儲器、計算機處理器以及存儲在所述計算機存儲器中并可在所述計算機處理器上執(zhí)行的計算機程序，其特征在于，所述計算機處理器執(zhí)行所述計算機程序時實現(xiàn)權利要求1～8任一項所述的基于改進可變形卷積校正的視頻時空超分辨率方法。