[發明專利]一種基于重建流場的壓縮視頻質量增強方法

在審

• 申請號: 202310059698.3
• 申請日: 2023-01-19
• 公開（公告）號: CN116012272A
• 公開（公告）日: 2023-04-25
• 發明（設計）人: 王正寧;劉旭航;劉帥成;徐宇航;羅興隆;朱旭;匡育衡
• 申請（專利權）人: 電子科技大學
• 主分類號: G06T5/50
• 分類號: G06T5/50;G06T7/269;G06N3/045;G06N3/0464;G06N3/044
• 代理公司: 電子科技大學專利中心 51203
• 代理人: 周劉英

1.一種基于重建流場的壓縮視頻質量增強方法，其特征在于，所述方法包括：

步驟1，構建模型訓練數據集：

對無壓縮視頻序列構成的視頻數據集中的每個視頻進行壓縮編解碼，到得到每個視頻序列所對應的不同壓縮質量視頻；在壓縮編解碼時提取碼流中的先驗信息，包括編碼幀的量化參數QP和運動矢量MV；

視頻數據集中的各視頻幀定義為高質量視頻幀，壓縮編解碼后視頻幀為低質量視頻幀，得到高-低質量視頻對；

對高-低質量視頻對進行圖像預處理，基于指定長度的連續視頻序列的高-低質量視頻對，以及對應的先驗信息得到一個樣本數據，基于一定數量的樣本數據得到模型訓練數據集；

步驟2，構建及訓練視頻增強網絡模型；

所述視頻增強網絡模型包括循環結構和重建模塊；

循環結構包括多個循環單元，每個循環單元對應著輸入的低質量視頻幀序列中的一幀，每個循環單元的輸入包括：當前視頻幀F_t和其相鄰的兩幀關鍵幀{F_p-,F_p+}，以及上一個循環單元中輸出的深度特征H_t-1；其中，關鍵幀根據先驗信息中的量化參數QP進行選擇；每個循環單元用于提取當前視頻幀F_t的深度特征H_t；

所述循環單元包括光流估計模塊、流場融合模塊和多層級連的殘差卷積模塊；

光流估計模塊的輸入為{F_p-,F_t,F_p+}，用于預測當前視頻幀F_t的光流場；

流場融合模塊的輸入包括當前視頻幀F_t的光流和上一視頻幀的編碼運動矢量場MV_t-1，用于對編碼運動矢量場和光流場進行融合，得到重建流場；

將重建流場與上一個循環單元輸出的深度特征H_t-1進行對齊操作，再與當前視頻幀F_t按通道維度進行拼接后輸入多層級連的殘差卷積模塊，得到深度特征H_t；

所述重建模塊包括核注意力特征重建模塊、時域殘差計算模塊和多層卷積層；

其中，時域殘差計算模塊用于計算當前視頻幀F_t與其前后相鄰幀之間的時域殘差，并將計算結果輸入核注意力特征重建模塊；

核注意力特征重建模塊的輸入包括時域殘差計算模塊計算得到的時域殘差和深度特征H_t，用于提取卷積核注意力圖，并基于卷積核注意力圖對特征H_t進行卷積運算，得到當前視頻幀F_t的深度特征

通過多層卷積層對深度特征進行圖像通道數恢復，得到當前視頻幀F_t的殘差圖像；

將當前視頻幀F_t與其殘差圖像求和得到當前視頻幀F_t的視頻質量增強結果

基于預置的損失函數對視頻增強網絡模型進行網絡參數訓練，當達到預置的訓練結束條件時，得到用于目標視頻的視頻增強網絡模型。

2.如權利要求1所述的方法，其特征在于，所述流場融合模塊包括流場權重計算單元和流場重建單元；

其中，權重計算單元依次包括：3×3卷積核的卷積層，激活函數、3×3卷積核的卷積層和Softmax函數；

權重計算單元的輸入為當前視頻幀F_t，Softmax函數用于輸出編碼運動矢量場的每個像素的運動矢量權重ω，從而得到光流場中每個像素的運動矢量的權重1ω，基于加權融合方式對輸入的編碼運動矢量場和光流場進行加權融合，得到重建流場。

3.如權利要求1所述的方法，其特征在于，所述核注意力特征重建模塊提取卷積核注意力圖具體為：首先對時域殘差和深度特征H_t進行通道拼接，再輸入多層級連的卷積塊，該多層級連的卷積塊的輸出再與時域殘差和深度特征H_t的通道拼接結果相加得到卷積核注意力圖；其中，卷積塊包括依次連接的卷積層和激活函數。