[發明專利]一種融合時空特征的無參考視頻質量評估方法

在審

• 申請號: 202110176125.X
• 申請日: 2021-02-07
• 公開（公告）號: CN112954312A
• 公開（公告）日: 2021-06-11
• 發明（設計）人: 牛玉貞;鐘夢真;陳俊豪
• 申請（專利權）人: 福州大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;G06T7/00;G06T3/40;G06N3/08;G06N3/04;G06K9/62
• 代理公司: 福州元創專利商標代理有限公司 35100
• 代理人: 陳鼎桂;蔡學俊

本發明涉及一種融合時空特征的無參考視頻質量評估方法，包括以下步驟:步驟S1:獲取視頻數據集，作為訓練集；步驟S2:構建空域特征提取子網絡，并基于訓練集下采樣得到的幀集合訓練；步驟S3:構建時域特征提取子網絡，并基于訓練集的殘差圖像序列訓練；步驟S4:根據訓練后的空域特征提取子網絡和時域特征提取子網絡，構建視頻質量評估網絡，并通過注意力機制自適應的調整時域和空域特征對于視頻感知質量的影響，訓練得到視頻質量評估模型；步驟S5:根據得到的視頻質量評估模型，提取待測視頻的時域和空域特征，并計算待測視頻的質量分數。本發明可以顯著提高無參考視頻質量評估的性能。

技術領域

本發明涉及圖像和視頻處理以及計算機視覺領域，具體涉及一種融合時空特征的無參考視頻質量評估方法。

背景技術

隨著社交媒體應用的發展和消費者捕獲設備的普及，人們可以隨時隨地通過便攜式移動設備捕獲視頻來記錄他們的日常生活，并通過各種媒體平臺共享。這導致用戶生成內容(user-generated content，UGC)視頻在互聯網上共享和流式傳輸的數量激增。因此，研究針對消費者視頻的準確視頻質量評估(video quality assessment，VQA)模型來監控、控制和優化這一龐大的內容是非常有必要的。此外由于大部分的用戶并沒有經過專業的培訓，不具備專業的攝像知識導致其中可能包含因相機抖動、傳感器噪音、失焦等引起的失真。而且在視頻的編解碼、存儲、傳輸、處理過程中難以避免地會丟失部分原始數據，導致視頻產生失真現象，出現噪點、變形、扭曲、缺失等現象。失真會不同程度地丟失原始視頻中所包含的信息，從而影響人們對視頻的觀感、影響人們從視頻中獲取信息。對于提供以用戶為中心的視頻服務的組織而言，確保制作和分發鏈之后的視頻能夠滿足視頻接收端的質量要求至關重要。視頻質量評估模型可以根據視頻失真程度來對視頻的質量進行評估，從而為后續的視頻處理提供基礎。視頻質量評估是視頻處理領域的關鍵技術之一，對于當下圖像在醫學、航空、教育、娛樂等領域來說是至關重要的。

視頻的質量評估可分為主觀質量評估和客觀質量評估。其中依賴人工評分的主觀質量評價是最準確合理的質量評估，但是由于它消耗的時間和人力限制了它在現實世界中的廣泛使用。因此，研究者提出了客觀質量評估方法來自動預測失真視頻的視覺質量。根據參考信息的可用性，客觀質量評估方法分為：全參考，半參考和無參考。由于在實際應用中許多視頻并不具有參考視頻，例如用戶生成內容視頻，因為在視頻捕獲過程中，它無法捕獲完全沒有失真的“完美”視頻，參考視頻的附加信息也導致視頻傳輸期間的高帶寬占用。因此不需要參考原始視頻的無參考質量評估方法具有更廣泛的實際應用價值。

現有的大部分無參考視頻質量評估模型主要針對合成失真(如壓縮失真)。真實失真視頻和合成失真視頻之間存在較大的區別，前者可能遭受復雜的混合現實世界失真，且同一視頻在不同的時間段，失真也可能是不同的。并且根據最近的研究，一些合成失真數據集上驗證的最先進的視頻質量評估方法在真實失真視頻數據集上表現不佳。近幾年隨著真實失真視頻質量評估數據集的公開，以及現實應用的迫切需求。我們提出一種融合時空特征的無參考視頻質量評估方法，通過使用視頻殘差圖像序列輸入3D卷積網絡計算得到視頻的時域特征，并應用注意力機制自適應的調整時域和空域失真對于視頻感知質量的影響。該模型可以顯著提高無參考視頻質量評估模型的性能。

發明內容

有鑒于此，本發明的目的在于提供一種融合時空特征的無參考視頻質量評估方法，有效提高無參考視頻質量評估的效率及性能。

為實現上述目的，本發明采用如下技術方案：

一種融合時空特征的無參考視頻質量評估方法，包括以下步驟:

步驟S1:獲取視頻數據集，作為訓練集；

步驟S2:構建空域特征提取子網絡，并基于訓練集下采樣得到的幀集合訓練；

步驟S3:構建時域特征提取子網絡，并基于訓練集的殘差圖像序列訓練；