[發明專利]基于運動相關性的空間目標視頻超分辨重建方法

在審

• 申請號: 202310558283.0
• 申請日: 2023-05-17
• 公開（公告）號: CN116503256A
• 公開（公告）日: 2023-07-28
• 發明（設計）人: 孫巍;王乾宙;崔睿嘉;田林陽;田玉龍;盧津;孔憲光
• 申請（專利權）人: 西安郵電大學
• 主分類號: G06T3/40
• 分類號: G06T3/40;G06N3/0442;G06N3/048;G06N3/08
• 代理公司: 北京保識知識產權代理事務所(普通合伙) 11874
• 代理人: 尹瑩瑩

1.基于運動相關性的空間目標視頻超分辨重建方法，其特征在于，具體包括以下內容：

S1、淺層特征提取設計：給定若干張低分辨率空間目標圖像序列，基于所述低分辨率空間目標圖像序列進行淺層特征提取操作；

S2、基于短項-長項運動相關性的特征增強設計：對S1中所提取的淺層特征中的每一項特征進行短項-長項運動相關性提取操作，重復S2?M次，實現特征增強操作并獲取對應特征集合；

S3、區域級基于非局部相關信息的特征增強設計：將S2中所得的特征集合進一步進行RNLB操作，實現非局部相關信息的特征增強操作，進而獲得進一步增強處理的特征數據；

S4、目標圖像上采樣：將S3中所得的特征通過多層亞像素卷積方式實現特征到高分辨率圖像的映射，然后再與S1中所述低分辨率空間目標圖像經過雙三次插值后的結果進行加法操作，得到最終重建結果。

2.根據權利要求1所述的基于運動相關性的空間目標視頻超分辨重建方法，其特征在于，所述S1進一步包括如下內容：

對輸入的每張低分辨率空間目標圖像進行SFENet(·)淺層特征提取操作，對于第t幀圖像，將其經過淺層特征提取操作后輸出尺寸為H×W×C特征圖F_0，t的過程表示為：

式中，I_t^L表示第t幀低分辨率空間目標圖像；H＝64，W＝64，C＝64，SFENet(·)操作由兩層的64通道數的卷積核為3×3的二維卷積及一個線性整流函數ReLU激活函數構成。

3.根據權利要求1所述的基于運動相關性的空間目標視頻超分辨重建方法，其特征在于，所述S2進一步包括如下內容：

對于第t幀圖像，將經過基于短項-長項運動相關性的特征增強模塊SLTBG(·)后輸出的特征圖F_i,t的操作過程描述為：

F_i,t＝SLTBG_i,t(F_i-1,t)＝SLTBG_i,t(SLTBG_i-1,t(···(SLTBG_i,t(F_0,t))))?(2)

式中，SLTBG_i,t(·)表示第i次對第t幀圖像進行基于短項-長項運動相關性的特征增強模塊處理，i＝0,1，···，M-1；

其中，所述短項運動相關性的學習具體包括以下內容：

A1、將每一幀先前層輸出特征按通道維度進行堆疊，然后對堆疊后的特征進行卷積核為1×1×1的三維卷積操作，輸出通道數為S的特征圖；

A2、基于A1所述操作對相鄰三幀圖像得到的特征圖進行卷積核為3×3×3的三維卷積操作得到目標特征圖；

所述長項運動相關性的學習具體包括以下內容：

B1、對A2輸出的特征分別執行前向LSTM操作FOR^LSTM(·)和后向LSTM操作BAC^LSTM(·)，第i次對第t幀圖像進行FOR^LSTM(·)的具體操作如下：

式中，表示前向LSTM操作處理第t幀時輸入的特征，表示上一幀記憶單元狀態變量，和當前幀隱藏層狀態變量；U_i,t表示作用在特征上的卷積核為3×3的二維卷積；V_i,t表示作用在隱藏層狀態變量的卷積核為3×3的二維卷積，b_i,t表示V_i,t的偏置項；sigm表示Sigmoid激活函數；e為哈達瑪積；*為二維卷積操作；

B2、經過前向LSTM操作FOR^LSTM(·)和后向LSTM操作BAC^LSTM(·)后，輸出的特征進行通道維度堆疊，并進行卷積核為1×1×1的三維卷積操作以及ReLU激活函數操作，輸出通道數為S的特征。

4.根據權利要求3所述的基于運動相關性的空間目標視頻超分辨重建方法，其特征在于，所述S3進一步包括如下內容：

將特征集合從時間維度劃分成多個包含T個特征的集合，其中每個特征的尺寸為H×W×C，然后將每個特征劃分成多個尺寸為K×K×C的小塊，接著將大小為T×K×K×C的序列特征進行以下操作：

式中，p表示輸出特征的位置索引；q表示空間或時間范圍內所有能訪問到的非局部位置索引；x和y表示操作的輸入和輸出特征；函數f(·)計算了特征點x_p與x_q的相關程度；函數g(·)計算了x_q的一個表征值；f(·)采用嵌入高斯函數進行特征點之間相關程度的計算，具體公式表示為：

f(x_p,x_q)＝exp((W_θx_p)^TW_φx_q)?(7)

式中，W_θ和W_φ表示卷積核為1×1×1的權值；函數g(·)表示權值為W_g的1×1×1卷積操作；

經過RNLB模塊后，輸出的特征上p點位置的特征值通過下式得到：

z_p＝W_zy_p+x_p＝W_zSoftmax((W_θx_p)^TW_φx_q)g(x_q)+x_p?(8)

式中，Soft?max(·)表示Softmax激活函數。