[發明專利]一種基于多層級質量因子的全景視頻評估方法及系統

有效

• 申請號: 201710683578.5
• 申請日: 2017-08-11
• 公開（公告）號: CN107483920B
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 王晶;楊舒;費澤松;張博
• 申請（專利權）人: 北京理工大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N5/265
• 代理公司: 北京理工正陽知識產權代理事務所(普通合伙) 11639
• 代理人: 唐華

本發明涉及一種基于多層級質量因子的全景視頻評估方法及系統，屬于多媒體技術領域。本發明將輸入一段無損全景視頻和一段同樣內容的損傷視頻，輸出損傷視頻的質量評估結果，實現對損傷視頻的自動評估；其思想是基于多層級的感興趣區域計算多個質量因子，以應對全景視頻中的重要區域對視頻質量影響較大的問題；然后通過融合模型將多層級質量因子進行融合，模型參數可由主觀數據學習得到，以應對全景視頻用戶的主觀能動性。本方法適用于全景視頻質量評估：由于考慮并融合了多層級的用戶感興趣區域對視頻質量的影響，得到的損傷視頻的質量評價估值與主觀實驗的評價結果更一致，更適用于對全景視頻質量的自動評價。

技術領域

本發明涉及一種全景視頻質量評估方法，特別涉及一種基于多層級質量因子的全景視頻評估方法及系統，屬于多媒體技術領域。

背景技術

隨著虛擬現實(Virtual Reality,簡稱VR)技術的發展,普通的平面視頻正逐漸被360度全景視頻所取代。全景視頻是指針對一個固定的觀察點提供水平范圍360度，垂直范圍180度自由瀏覽的視頻，可以給予VR用戶更強的沉浸感以及更加身臨其境的體驗。隨著這種新型多媒體業務的普及，全景視頻的用戶體驗質量對于虛擬現實系統中關鍵技術的發展以及傳輸網絡的優化具有重要意義。然而，全景視頻質量評估是一個復雜問題，因為相比于普通平面視頻，全景視頻觀看者的體驗會受到多種因素的影響，包括更多的心理和生理因素的影響、感興趣區域等主觀因素的影響。傳統的視頻質量評估方法不能準確反映全景視頻的質量。研究適用于全景視頻的評估方法及系統對于VR技術的發展和普及具有重要意義。

發明內容

本發明的目的是對虛擬現實系統中的全景視頻質量進行評估，提出一種基于多層級質量因子的全景視頻評估方法及系統，該系統輸入一段無損全景視頻和一段同樣內容的損傷視頻，輸出損傷視頻的質量評估結果，實現對損傷視頻的自動評估。

本發明的思想是基于多層級的感興趣區域計算多個質量因子，以應對全景視頻中的重要區域對視頻質量影響較大的問題；然后通過融合模型將多層級質量因子進行融合，模型參數可由主觀數據學習得到，以應對全景視頻用戶的主觀能動性。

本發明的目的是通過以下技術方案解決的：一種基于多層級質量因子的全景視頻評估方法及系統包括一種基于多層級質量因子的全景視頻評估方法及一種基于多層級質量因子的全景視頻評系統。

其中，一種基于多層級質量因子的全景視頻評估方法，簡稱本方法；一種基于多層級質量因子的全景視頻評系統，簡稱本系統。

本系統包括全景視頻輸入模塊、感興趣區域提取模塊、多層級質量因子計算模塊、時域處理模塊和多層級質量因子融合模塊。

本系統各模塊的連接關系如下：

全景視頻輸入模塊與感興趣區域提取模塊相連，感興趣區域提取模塊與多層級質量因子計算模塊相連；多層級質量因子計算模塊和時域處理模塊相連；時域處理模塊和多層級質量因子融合模塊相連。

本系統各模塊的功能如下：

全景視頻輸入模塊的功能是對輸入的視頻文件進行解碼得到全景幀圖像對；感興趣區域提取模塊的功能是提取全景圖像的多層級感興趣區域矩陣；多層級質量因子計算模塊的功能是根據感興趣區域矩陣計算全景圖像的質量因子；時域處理模塊的功能是根據全景圖像的質量因子計算全景視頻的質量因子；多層級質量因子融合模塊的功能是將全景視頻的質量因子進行融合得到損傷視頻的自動評估結果。

一種基于多層級質量因子的全景視頻評估方法，包括以下步驟：

步驟一：全景視頻輸入模塊對輸入本系統的一對全景視頻源文件進行視頻處理和解碼處理，得到全景幀圖像對；