[發明專利]基于跨幀自注意力變換網絡的時空視頻超分辨率重建方法

有效

• 申請號: 202210076937.1
• 申請日: 2022-01-24
• 公開（公告）號: CN114092339B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 隋修寶;張文輝;周明亮;紀程;周逸成
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 朱沉雁

本發明公開了一種基于跨幀自注意力變換網絡的時空視頻超分辨率重建方法，包括以下步驟：采集連續圖片序列，將其進行雙三次插值降采樣，并刪除偶數幀，構成訓練集；構建基于跨幀自注意力變換的時空視頻超分辨率重建網絡；利用訓練集對基于跨幀自注意力變換網絡進行訓練；將低分辨率低幀率的連續圖片序列輸入所述訓練完成的基于跨幀自注意力變換網絡，獲得高幀率高分辨率的連續圖片序列。本發明能夠通過一個端對端的神經網絡同時實現空間和時間尺度的超分辨率，有效提高了對時空特征信息的利用，能夠產生高幀率高分辨率的視頻超分辨率重建效果。

技術領域

本發明涉及計算機視覺技術領域，更具體的說是涉及一種基于跨幀自注意力變換網絡的時空視頻超分辨率重建方法。

背景技術

超分辨率重建技術的目的是將低分辨率的圖片重建成高分辨率的圖片，是計算機視覺領域一個重要分支，該技術廣泛應用于安防監控、醫療成像、視頻轉播、遙感等領域。視頻超分辨率重建技術旨在通過提取當前幀和相鄰幀的信息來對當前幀進行超分辨率重建。相較于單幀超分辨率重建技術，視頻超分辨率重建技術在處理圖像序列時的重建效果更為理想。

隨著深度學習技術的發展，基于深度學習的視頻超分辨率重建技術相較于傳統方法往往能獲得更深的特征信息。而這些信息具有時間和空間上的關聯性，因此，通過端對端的網絡實現時空視頻超分辨率重建成為了可能。目前的時空超分辨率重建技術往往采用的是兩階段方式，即首先通過超分辨率重建技術對空間尺度進行超分重建，再通過插幀方式對之前的超分結果進行插幀實現時間尺度的超分辨率重建。這種兩階段的時空超分辨率重建方式都需要使用大量的計算資源，不利于現實中的應用場景。而且根據目前的算法發展，性能較好的算法多采用深度學習框架，而兩階段的時空超分辨重建方法往往需要對圖片序列進行兩次特征提取，這種操作造成了現有計算資源的浪費，而且會導致前后兩種方法的特征語義不一致導致重建結果在某些場景出現一定模糊。

發明內容

本發明的目的在于提供一種于跨幀自注意力變換網絡的時空視頻超分辨率重建方法，采用端對端的時空視頻超分辨率重建方法同時提高原視頻序列的時間和空間分辨率。

實現本發明的技術解決方案為：一種基于跨幀自注意力變換網絡的時空視頻超分辨率重建方法，包括以下步驟：

S1、采集連續圖片序列作為原始圖片序列，對其進行雙三次插值降采樣，并刪除降采樣后的序列的偶數幀，得到處理后的圖片序列，處理后的圖片序列與原始圖片序列共同構成訓練集。

S2、構建基于跨幀自注意力變換時空視頻超分辨率重建網絡，并對其進行訓練，得到訓練完成的基于跨幀自注意力變換網絡，具體如下：

S21、采用3×3的二維卷積核分別對訓練集中的每幀圖片進行淺層特征提取，獲得對應的淺層特征圖其中c代表經過二維卷積核處理后所得的特征圖的通道數，t代表目前處理的幀序號。

S22、假設和為相鄰的兩幀淺層特征圖，對和做可變形卷積操作，分別得到它們對應的偏置變量和設置可訓練參數α和β，獲得中間幀淺層特征圖

S23、分別將淺層特征圖和碎片化，并附著時序編碼，對應得到處理后相鄰三幀淺層特征圖和的編碼特征圖V、Q和K，利用跨幀自注意力變換網絡相鄰編碼特征圖Q和K做自相關處理，得到最大似然矩陣T。并以最大似然矩陣T為索引，在編碼特征圖V中搜索，搜索過程中采用不同的相關步長，對應獲得不同尺度相似矩陣記為Lv1、Lv2和Lv3。

S24、將當前幀對應的淺層特征圖通過殘差塊進行深層特征提取，并結合最大似然矩陣T和不同尺度的相似矩陣由粗到細地重建出當前幀圖片。

S25、更新卷積和權重，重復S21-S24直至收斂，得到訓練完成的基于跨幀自注意力變換網絡。

S3、利用訓練好的基于跨幀自注意力變換網絡對低分辨率低幀率的連續圖片序列進行處理，獲得高幀率高分辨率的連續圖片序列。

本發明與現有技術相比，其顯著優點在于：