[發(fā)明專利]基于跨幀自注意力變換網絡的時空視頻超分辨率重建方法

有效

• 申請?zhí)枺?/td>: 202210076937.1
• 申請日: 2022-01-24
• 公開（公告）號: CN114092339B
• 公開（公告）日: 2022-05-20
• 發(fā)明（設計）人: 隋修寶;張文輝;周明亮;紀程;周逸成
• 申請（專利權）人: 南京理工大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/04
• 代理公司: 南京理工大學專利中心 32203
• 代理人: 朱沉雁

1.一種基于跨幀自注意力變換網絡的時空視頻超分辨率重建方法，其特征在于，包括以下步驟：

S1、采集連續(xù)圖片序列作為原始圖片序列，對其進行雙三次插值降采樣，并刪除降采樣后的序列的偶數(shù)幀，得到處理后的圖片序列，處理后的圖片序列與原始圖片序列共同構成訓練集；

S2、構建跨幀自注意力變換網絡，并對其進行訓練，得到訓練完成的跨幀自注意力變換網絡，具體如下：

S21、采用3×3的二維卷積核分別對訓練集中的每幀圖片進行淺層特征提取，獲得對應的淺層特征圖其中c代表經過二維卷積核處理后所得的特征圖的通道數(shù)，t代表目前處理的幀序號；

S22、假設和為相鄰的兩幀淺層特征圖，對和做可變形卷積操作，分別得到它們對應的偏置變量和設置可訓練參數(shù)α和β，獲得中間幀淺層特征圖具體如下：

S22-1、通過常規(guī)卷積得到每個卷積點的可學習的參數(shù)偏移量Δx₁、Δx₂：

其中g代表常規(guī)卷積操作；

S22-2、利用可變形卷積算出每個采樣點的偏移變量：

其中，Dconv代表可變形卷積；采樣點為淺層特征圖中的特征像素點；

S22-3、通過設置可訓練參數(shù)α和β獲得相鄰兩幀圖片中間幀的淺層特征圖

S23、分別將淺層特征圖和碎片化，并附著時序編碼，對應得到處理后相鄰三幀淺層特征圖和的編碼特征圖V、Q和K，利用跨幀自注意力變換網絡對相鄰編碼特征圖Q和K做自相關處理，得到最大似然矩陣T；并以最大似然矩陣T為索引，在相鄰一幀的淺層特征圖中搜索，搜索過程中采用不同的相關步長，對應獲得不同尺度相似矩陣記為Lv1、Lv2和Lv3；

S24、將當前幀對應的淺層特征圖通過殘差塊進行深層特征提取，并結合最大似然矩陣T和不同尺度的相似矩陣由粗到細地重建出當前幀圖片；

S25、更新卷積和權重，重復S21-S24直至收斂，得到訓練完成的跨幀自注意力變換網絡；

S3、利用訓練好的跨幀自注意力變換網絡對低分辨率低幀率的連續(xù)圖片序列進行處理，獲得高幀率高分辨率的連續(xù)圖片序列。

2.根據(jù)權利要求1所述的一種基于跨幀自注意力變換網絡的時空視頻超分辨率重建方法，其特征在于，分別將淺層特征圖和碎片化，并附著時序編碼，對應得到處理后相鄰三幀淺層特征圖和的編碼特征圖V、Q和K，利用跨幀自注意力變換網絡對相鄰編碼特征圖Q和K做自相關處理，得到最大似然矩陣T；并以最大似然矩陣T為索引，在相鄰一幀的淺層特征圖中搜索，搜索過程中采用不同的相關步長，對應獲得不同尺度相似矩陣記為Lv1、Lv2和Lv3，具體如下：

S23-1、將和碎片化并附著時序編碼：

其中G代表碎片化后碎片的時序編碼，V為對應的編碼特征圖矩陣，Q為對應的編碼特征圖矩陣，K為對應的編碼特征圖矩陣；

S23-2、通過自注意力計算碎片的相關性t_i,j：

其中，(·,·)代表自相關運算，q_i,j為Q中的區(qū)域(i,j)的碎片，k_i,j為K中的區(qū)域(i,j)的碎片，t_i,j為最大似然矩陣T中區(qū)域(i,j)的相似性；

S23-3、以最大似然矩陣T為索引在相鄰一幀的淺層特征圖中搜索，分別采用不同的相關步長，獲得不同尺度相似矩陣Lv1、Lv2和Lv3：

其中L₁代表相關步長為1的特征索引搜索，L₂代表相關步長為2的特征索引搜索，L₄代表相關步長為4的特征索引搜索。

3.根據(jù)權利要求2所述的一種基于跨幀自注意力變換網絡的時空視頻超分辨率重建方法，其特征在于，S24中，將當前幀對應的淺層特征圖通過殘差塊進行深層特征提取，并結合最大似然矩陣T和不同尺度的相似矩陣由粗到細地重建出當前幀圖片I，具體如下：

F_Lv2＝f(f(F_Lv1)+Lv2)*T^↑

F_Lv3＝f(f(F_Lv2)+Lv3)*(T^↑)^↑

I＝F_Lv1+F_Lv2+F_Lv3

其中f代表殘差塊運算，↑代表上采樣。