[發明專利]基于多模態學習的無參考合成視頻質量評價方法

在審

• 申請號: 202211058103.4
• 申請日: 2022-08-30
• 公開（公告）號: CN115423769A
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 彭宗舉;金充充;陳曄曜;陳芬;陳小松;王玲
• 申請（專利權）人: 重慶理工大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06N3/08;G06N3/04
• 代理公司: 重慶博凱知識產權代理有限公司 50212
• 代理人: 張乙山

本發明涉及視頻質量評價技術領域，具體涉及基于多模態學習的無參考合成視頻質量評價方法，包括：獲取待評價的虛擬視點視頻；基于光流估計將待評價的虛擬視點視頻分解成若干個時空域的圖像；將各個時空域的圖像輸入至預訓練的卷積神經網絡學習模型，提取虛擬視點視頻的深度特征；將各個時空域的圖像輸入至經過訓練的稀疏字典學習模型，提取虛擬視點視頻的稀疏特征；基于虛擬視點視頻的深度特征和稀疏特征進行加權回歸，進而計算對應的虛擬視點質量評價分數。本發明通過多模態學習的方式提取虛擬視點視頻隱藏的深度語義信息和人眼主觀感知的稀疏特征，并且無樣本依賴性，從而能夠提高合成視頻無參考質量評價的通用性和魯棒性。

技術領域

本發明涉及視頻質量評價技術領域，具體涉及基于多模態學習的無參考合成視頻質量評價方法。

背景技術

現目前，自由視點視頻、3自由度(Degree-of-freedom,DoF)全景視頻和窗口6DoF(Windowed-6DoF)視頻等沉浸式視頻系統因其良好的人機交互視覺體驗在許多領域具有廣闊的應用前景，如智能監控、VR游戲、醫療診斷等。由于沉浸式視頻系統的攝像設備和網絡傳輸帶寬等受限，需要參考相鄰視點的紋理和深度信息，并采用基于深度圖的繪制(DepthImage Based Rendering,DIBR)技術來生成大量的虛擬視點視頻，以填充遮蔽場景，保證視點間的平滑切換。

然而，繪制得到的虛擬視點視頻存在著較為嚴重的時空失真，主要包括空域上的壓縮失真、時域上的閃爍失真等。這些失真會導致虛擬視點視頻質量的下降，甚至嚴重影響用戶的視覺體驗。因此，建立有效的虛擬視點視頻質量評價指標來判斷沉浸式視頻是否令人感到視覺舒適、是否達到商用標準等是十分有必要的。

近年來，不少學者針對虛擬視點圖像/視頻提出了多種質量評價模型，根據原始信息的參考度可分為三種類型，即全參考(Full-Reference,FR)質量評價模型、半參考(Reduced-Reference,RR)質量評價模型和無參考(No-Reference,NR)質量評價模型。基于FR和RR的圖像/視頻質量評價模型雖然有一定的性能競爭性，但在現實生活中，失真視頻所對應的參考視頻基本很難獲取，尤其對虛擬視點視頻來說難度更大，因此FR和RR虛擬視點視頻質量評價模型具有較差的實際應用價值。為此，就有部分學者提出了基于NR的虛擬視點圖像/視頻質量評價模型，但現有的NR質量評價方法嚴重依賴于手工特征提取，這需要在失真已知的情況下對每一種失真進行人為分析并提取特征，因此現有的NR質量評價方法一般只對特定的數據庫有效，具有較低的通用性和魯棒性。

綜上所述，如何避免手工提取失真特征的困難，充分利用學習的方法，提出一種通用性和魯棒性更強的NR虛擬視點圖像/視頻質量評價方法是亟需解決的問題。

發明內容

針對上述現有技術的不足，本發明所要解決的技術問題是：如何提供一種基于多模態學習的無參考合成視頻質量評價方法，通過多模態學習的方式提取虛擬視點視頻隱藏的深度語義信息和人眼主觀感知的稀疏特征，并且無樣本依賴性，從而能夠提高合成視頻無參考質量評價的通用性和魯棒性。

為了解決上述技術問題，本發明采用了如下的技術方案：

基于多模態學習的無參考合成視頻質量評價方法，包括：

S1：獲取待評價的虛擬視點視頻；

S2：基于光流估計將待評價的虛擬視點視頻分解成若干個時空域的圖像；

S3：將各個時空域的圖像輸入至預訓練的卷積神經網絡學習模型，提取虛擬視點視頻的深度特征；

S4：將各個時空域的圖像輸入至經過訓練的稀疏字典學習模型，提取虛擬視點視頻的稀疏特征；

S5：基于虛擬視點視頻的深度特征和稀疏特征進行加權回歸，進而計算對應的虛擬視點質量評價分數作為待評價虛擬視點視頻的質量評價結果。