[發明專利]基于時空多尺度分析的無參考視頻質量評價方法

有效

• 申請號: 202110589087.0
• 申請日: 2021-05-28
• 公開（公告）號: CN113313682B
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 何立火;湯可凡;高帆;柯俊杰;高新波;路文;張超侖;甘海林
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;H04N17/00
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 陳宏社;王品華

1.一種基于時空多尺度分析的無參考視頻質量評價方法，其特征在于，包括如下步驟：

(1)獲取訓練樣本集X_train和測試樣本集X_test：

獲取自然視頻公知數據集中的V個失真視頻的幀序列F＝{f^v|1≤v≤V}，并隨機選取F中半數以上的幀序列及其對應的真實質量分數組成訓練樣本集X_train＝(F_train；Y_train)，將剩余的幀序列及其對應的真實質量分數組合成測試樣本集X_test＝(F_test；Y_test)，其中，f^v表示數據集中的第v個幀序列，F_train表示訓練幀序列集合，表示第v₁個訓練幀序列，Y_train表示對應的真實質量分數集合，表示對應的真實質量分數，F_test表示測試幀序列集合，表示第v₂個測試幀序列，Y_test表示對應的真實質量分數集合，表示對應的真實質量分數，V≥150，V₂＝V-V₁；

(2)構建基于時空多尺度分析的無參考視頻質量評價模型H：

構建包括順次連接的局部失真特征編碼模塊H_enc、時空多尺度模塊H_mul和時空注意力分析模塊H_pool的無參考視頻質量評價模型H，其中，局部失真特征編碼模塊H_enc采用去除最后一個全連接層的VGG-16網絡結構；時空多尺度模塊H_mul包括并行排布的兩個平均池化層及一個由多個平均池化層組成的下采樣模塊；時空注意力分析模塊H_pool包括順次連接的注意力分析器、歸一化層和全連接層，注意力分析器包括多個全連接層；

(3)對無參考視頻質量評價模型H進行迭代訓練：

(3a)設迭代次數為t，最大迭代次數為T，T≥50，第t次迭代的無參考視頻質量評價模型為H^t，并令t＝1，H^t＝H；

(3b)將訓練樣本集X_train作為無參考視頻質量評價模型H^t的輸入，局部失真特征編碼模塊對F_train中的每個幀序列逐個進行空間失真特征提取，得到空間失真特征

(3c)時空多尺度模塊中的兩個下采樣層及下采樣模塊分別對提取的進行下采樣，具體為：第一個下采樣層中，通過尺度為4的空間平均池化對進行空間下采樣；第二個下采樣層中，通過尺度為4的時間平均池化對進行時間下采樣；采樣模塊中，通過尺度分別為2的時間平均池化和空間平均池化，對依次進行時間下采樣和空間平均池化，從而得到三個尺度的局部時空失真特征矩陣，重新定義這三個局部時空失真特征矩陣的大小使其尺寸統一，并用concat方法將這三個矩陣進行拼接，得到每個幀序列在不同時空尺度上的局部失真特征表示組合成的局部失真信息其中，表示第v₁個幀序列的第i個圖像幀的第j個局部失真特征，表示第v₁個幀序列包含的圖像幀個數，N表示從每個圖像幀中提取的局部失真特征個數；

(3d)時空注意力分析模塊中的注意力分析器對所采集的局部失真信息進行顯著性評估得到注意力權重并通過歸一化層對進行歸一化,得到最終注意力權重利用對進行加權得到全局失真特征最后利用全連接層對進行回歸得到的預測質量分數則F_train的預測質量分數為其中，表示第v₁個幀序列的第i個圖像幀的第j個局部失真特征對應的注意力權重，表示第v₁個幀序列的第i個圖像幀的第j個局部失真特征對應的歸一化后的注意力權重；

(3e)采用最小絕對誤差LAE的公式，通過和Y_train計算時空注意力分析模塊的損失值L_t，并采用反向傳播方法，通過損失值L_t計算的權值參數梯度dω_t，然后采用隨機梯度下降法，通過dω_t對的權值參數ω_t進行更新；

(3f)判斷t≥T是否成立，若是，得到訓練好的無參考視頻質量評價模型H′，否則，令t＝t+1，并執行步驟(3b)；

(4)獲取無參考視頻的質量評價結果：

將測試樣本集X_test作為無參考視頻質量評價模型H′的輸入進行前向傳播，得到X_test的預測質量分數集合其中，表示第v₂個幀序列的預測質量分數。