[發明專利]基于時空多尺度分析的無參考視頻質量評價方法

有效

• 申請號: 202110589087.0
• 申請日: 2021-05-28
• 公開（公告）號: CN113313682B
• 公開（公告）日: 2023-03-21
• 發明（設計）人: 何立火;湯可凡;高帆;柯俊杰;高新波;路文;張超侖;甘海林
• 申請（專利權）人: 西安電子科技大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;H04N17/00
• 代理公司: 陜西電子工業專利中心 61205
• 代理人: 陳宏社;王品華

本發明提出了一種基于時空多尺度分析的無參考視頻質量評價方法，實現步驟為：獲取訓練樣本集和測試樣本集；構建基于時空多尺度分析的無參考視頻質量評價模型；對無參考視頻質量評價模型進行迭代訓練；獲取無參考視頻的質量評價結果。本發明在對無參考視頻質量評價模型進行訓練和獲取質量評價結果的過程中，時空多尺度模塊通過下采樣得到不同尺度的幀序列局部時空失真特征，時空注意力分析模塊對得到的時空失真特征的顯著性進行分析，進而獲取更為準確待測視頻的全局質量表示，避免了現有技術中因為缺失幀序列的失真信息導致視頻質量評價準確度較低的技術問題，有效地提高了復雜的無參考多種幀率視頻質量評價準確度。

技術領域

本發明屬于視頻處理技術領域，涉及一種視頻質量評價方法，具體涉及一種基于時空多尺度分析的無參考視頻質量評價方法，可用于對視頻質量的改善進行指導。

背景技術

近幾年，隨著視頻技術的飛速發展，數字視頻已越來越多地進入人們的工作和日常生活中。通常，視頻需經過采集、壓縮、傳輸和解壓縮等處理階段，而在這些處理階段中，視頻往往會產生一些失真現象，這些失真都會造成視頻質量的降低。因此，尋找一個準確有效的視頻質量評價方法，以指導改善視頻質量變得尤為重要。

視頻質量評價方法根據對原始視頻信息的依賴程度可分為三種：全參考視頻質量評價方法、部分參考視頻質量評價方法和無參考視頻質量評價方法。全參考視頻質量評價方法是指把原始參考視頻與失真視頻在每一個對應幀中的每一個對應像素之間進行比較。部分參考視頻質量評價方法則是針對一個視頻傳輸系統，在發送端提取原始視頻的一些統計特征，將其通過輔助信道傳送到該系統的接收端，并與接收端得到的失真視頻的對應特征進行比較，以獲得相應的視頻質量評價分數。無參考視頻質量評價方法則不需要原始視頻的任何先驗信息，通常使用參考視頻或者相應特征的估計值，直接對失真視頻進行質量評價，這種方法體現了人類的智能。

無參考視頻質量評價方法由于具有靈活性高、實時性好、成本低且不需要任何原始視頻信息等優點，成為了視頻質量評價領域的研究熱點，也是目前發展空間最大、最具實際應用價值的評價方法。傳統的無參考視頻質量評價方法在面對傳統的標準24幀/秒或30幀/秒的視頻時有著較好的評價效果，但因為其并未考慮幀速率對人類視頻質量感知的影響，使得視頻質量評價模型在面對多種幀率視頻尤其是高幀率視頻的時候，評價效果大打折扣。

為了避免忽略時域失真特征，導致傳統的無參考視頻質量評價方法無法很好地面對多種幀率視頻，基于時空特征信息的無參考視頻質量評價方法應運而生，例如，申請公布號為CN112784698A，名稱為“一種基于深層次時空信息的無參考視頻質量評價方法”的專利申請，該發明利用Resnet-50預訓練的深度神經網絡，提取頂層的語義層特征后對特征圖進行均值聚合與標準差聚合，然后分別從兩個方面對時間記憶效應進行建模，在特征整合方面，采用GRU網絡對長期依賴關系進行建模，在質量聚合方面，提出主觀啟發的時間池化模型并將其嵌入到網絡中。但是其存在的缺陷在于，該發明僅提取了一個尺度的時空失真特征，獲取的失真信息并不足夠豐富，導致對于復雜的多種幀率視頻的評價準確度仍有所欠佳。

發明內容

本發明的目的在于克服上述現有技術存在的缺陷，提出一種基于時空多尺度分析的無參考視頻質量評價方法，用于解決現有技術中存在的失真信息不夠豐富導致視頻質量評價準確度較低的技術問題。

為實現上述目的，本發明采取的技術方案包括如下步驟：

(1)獲取訓練樣本集X_train和測試樣本集X_test：