[發明專利]一種由視野視頻質量推理全景視頻質量的方法

在審

• 申請號: 202010419170.9
• 申請日: 2020-05-18
• 公開（公告）號: CN111696081A
• 公開（公告）日: 2020-09-22
• 發明（設計）人: 馬展;孟宇
• 申請（專利權）人: 南京大學
• 主分類號: G06T7/00
• 分類號: G06T7/00;G06K9/46
• 代理公司: 江蘇法德東恒律師事務所 32305
• 代理人: 李媛媛

本發明公開了一種由視野視頻質量推理全景視頻質量的方法。具體步驟如下：(1)對完整的360°全景視頻進行視覺顯著度預測計算；(2)基于視覺顯著度計算的結果進行視場坐標計算和對應的權重計算；(3)使用沉浸式的視場視頻質量模型進行質量評價，并結合權重計算出被選擇的高顯著度區域的質量系數；(4)計算未被選中的低顯著度區域的質量系數；(5)對高顯著度視場區域的質量系數和低顯著度區域質量系數進行線性加權求和，得出完整的全景視頻質量評價結果。利用本方法能夠結合主觀用戶行為將針對傳統平面視頻質量評價的方法擴展到360°全景沉浸式視頻質量評價場景中，預測結果更加貼近真實用戶主觀的質量感知規律。

技術領域

本發明涉及計算視覺領域，尤其涉及一種由視野視頻質量推理全景視頻質量的方法。

背景技術

視頻質量評價技術的目的是評價經過包括壓縮、重映射等有損處理后的視頻質量，在圖像壓縮和視頻編碼等領域有著廣泛的應用。而隨著各個應用領域對高效、可靠的視頻質量評估算法的需求日益增加，大量的新質量評價算法也在被不斷提出并刷新性能上限，有一些是全新設計的新算法，有一些則是在舊有算法的基礎上進行改進和應用場景的革新。但是隨著媒體內容的形式越來越多樣化，一些新的媒體形式如自由視點視頻、3D立體視頻和360°全景視頻等內容也給視頻質量評價的相關研究帶來了挑戰，相比于重新設計新的質量評價算法，如何將已有的算法進行擴展，以適應新的應用場景也是非常值得研究的一個課題。

隨著相關的上下游產業鏈的完善和重點環節的軟硬件技術發展，沉浸式虛擬現實技術正在被越來越多的人所熟知。而作為虛擬現實相關資源的主要承載形式和虛擬現實用戶的主要消費內容，360°全景視頻被越來越多的用戶所接受和消費，并且在基礎教育、心理干預和疏導、技術職業培訓等領域發揮著越來越重要的作用。

360°全景視頻作為一種新的媒體內容，在視頻質量評價方面也帶來了一些全新的挑戰。在視頻的采集端，傳統平面視頻通常只有一個鏡頭進行內容的拍攝。而360°全景視頻在拍攝時通常由多個鏡頭同時拍攝，然后對內容進行畸變矯正和拼接后形成完整的360°全景內容。而在后續的傳輸和存儲過程中，360°全景內容會被以非均勻的方式映射到平面上進行壓縮編碼和傳輸。相比于傳統的平面視頻，這些處理流程會給360°全景視頻引入額外的質量損失。而當視頻內容在客戶端進行播放時，用戶通常佩戴頭戴式顯示設備進行觀看。和傳統平面視頻將完整的內容直接呈現于用戶的視場中心不同，用戶在觀看360°全景視頻時只能以視場為單位進行局部內容的觀看，并且可以依靠轉頭等動作進行觀看區域的自主選擇。一方面沉浸式的觀看方式隔絕了外界的視覺干擾，而自由度較高和局部可見的特點則決定了用戶的質量感知結果更多的會受局部內容的影響。上述的這些區別必然導致針對原本在傳統平面視頻上有效的質量評價方法在針對360°全景視頻時產生較大的誤差。

目前將傳統平面視頻的質量評估推廣到360°全景視頻領域的改進主要圍繞在從球面到平面分非均勻映射帶來的影響。而根據沉浸式用戶觀看行為分析的結果顯示，不同的用戶在觀看相同的360°全景視頻內容時的頭動數據呈現出了高度的一致性。即不同的用戶傾向于觀看的區域和停留的觀看時長都是相似的。更進一步地，在沉浸式觀看環境中，當用戶經過對整個場景的快速觀察后，就會傾向于固定觀看某些區域。基于這樣的一致性結合前述局部內容對質量感知結果的主要影響，在相關的算法中根據用戶行為的特點對完整的360°全景視頻進行分區域的質量評估來得出最終的結果是很有必要的。

目前存在的一些針對360°全景視頻的質量評價方法很少考慮到用戶行為對質量感知的影響，而相比于從拼接畸變和非均勻映射的角度對傳統質量評價方法進行優化，從用戶側的變化出發去對一些視頻質量評價方法進行優化以適應360°全景視頻質量評價的需求是很有必要的。如何進行合理的設計來充分結合用戶行為優化360°全景視頻的質量評價方案，從而將現有的傳統視頻質量評價算法推廣到360°全景視頻并獲取較好的性能表現，成為十分重要的課題。

發明內容

針對以上的現有技術分析和存在的問題，本發明的目的在于提出一種由視野視頻質量推理全景視頻質量的方法。