[發明專利]一種無參考非對稱虛擬視點立體視頻質量評價方法

有效

• 申請號: 201910905772.2
• 申請日: 2019-09-24
• 公開（公告）號: CN110636282B
• 公開（公告）日: 2021-04-09
• 發明（設計）人: 彭宗舉;崔帥南;鄒文輝;陳芬;郁梅
• 申請（專利權）人: 寧波大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N13/106
• 代理公司: 寧波誠源專利事務所有限公司 33102
• 代理人: 鄧青玲

本發明涉及一種無參考非對稱虛擬視點立體視頻質量評價方法，包括：分別對待評估虛擬視點立體視頻的左視點視頻和右視點視頻的亮度通道中的每幀圖像進行兩次下采樣，并根據下采樣得到的3種尺度下對應的圖像計算出左、右視點的空域局部特征和空域全局特征以及左、右視點的時域局部特征和時域全局特征；并分別組成左視點特征向量和右視點特征向量；同時，計算出左視點視頻的權重和右視點視頻的權重；將左視點特征向量和右視點特征向量與對應的左視點視頻權重和右視點視頻權重進行融合，得到立體特征向量；最后，將立體特征向量作為輸入量，使用隨機森林技術，計算得到待評估的虛擬視點立體視頻的客觀質量評價值。該評價方法更符合人眼主觀感知。

技術領域

本發明涉及視頻質量評價領域，特別涉及一種無參考非對稱虛擬視點立體視頻質量評價方法。

背景技術

當前，三維視頻和自由視點視頻(FVV)的應用越來越廣泛，為用戶提供了生動逼真的視覺體驗。在傳輸過程中，受到網絡帶寬的限制，無法傳輸所有視點的視頻。而多視點視頻加深度(MVD)的表達方式只需對多個視點的彩色視頻和深度視頻編碼，并且在解碼端可以利用基于深度圖的繪制(DIBR)技術生成多個虛擬視點。然而，大多數現有的基于DIBR的虛擬視點繪制方法仍不完善，合成的虛擬視點視頻可能存在空洞、偽影和畸變等多種幾何失真。而用戶在觀看FVV視頻時可以從多個視角觀看3D場景，在觀看時進行視點切換的過程中存在左右視點為非對稱的情況，即左(右)視點為原始視點，右(左)視點為繪制視點。現有的虛擬視點質量評價方法并沒有考慮左右視點為非對稱虛擬視點失真的情況，不能很好地反映人眼主觀感知質量。因此，需要一種質量評價方法對左右視點為非對稱失真的虛擬視點立體視頻進行有效地判斷。符合人眼主觀感知的評價方法也可以作為反饋指導虛擬視點繪制算法來提高最終的虛擬視點視頻質量。

近年來，質量評價問題受到越來越多研究者的關注，多種圖像/視頻質量評價方法已經被提出。主觀評價可以以最直接的方式反映人眼主觀感受，但需要耗費大量時間和精力，因此，需要一種客觀評價方法替代人眼主觀評價。根據是否需要參考原始圖像/視頻，客觀質量評價方法可以分為三類，即全參考(FR)、半參考(RR)和無參考(NR)。FR和RR客觀評價方法均需要參考原始圖像/視頻的全部或部分信息。NR評價方法評價圖像/視頻質量，不需要參考任何信息。和FR和RR評價方法相比，NR質量評價方法的研究更具挑戰性。而利用DIBR技術得到的虛擬視點視頻大多數不存在參考視頻，因此需要引入針對虛擬視點視頻的無參考視頻質量評價方法。

發明內容

本發明所要解決的技術問題是針對現有技術的現狀，提供一種能有效提高客觀評價結果且保證與人眼主觀感知一致性的無參考非對稱虛擬視點立體視頻質量評價方法。

本發明解決上述技術問題所采用的技術方案為：一種無參考非對稱虛擬視點立體視頻質量評價方法，其特征在于包括以下步驟：

步驟1、輸入左右視點為非對稱失真的待評估虛擬視點立體視頻，并分別提取待評估虛擬視點立體視頻的左視點視頻V^L和右視點視頻V^R，其中，左視點視頻V^L和右視點視頻V^R的寬度均為W，高度均為H，視頻幀的總數均為N；

步驟2、分別提取左視點視頻V^L的亮度通道I^L和右視點視頻V^R的亮度通道I^R；其中，左視點視頻的亮度通道I^L和右視點視頻的亮度通道I^R中的第n幀圖像分別記為和