[發明專利]一種基于多層級質量因子的全景視頻評估方法及系統

有效

• 申請號: 201710683578.5
• 申請日: 2017-08-11
• 公開（公告）號: CN107483920B
• 公開（公告）日: 2018-12-21
• 發明（設計）人: 王晶;楊舒;費澤松;張博
• 申請（專利權）人: 北京理工大學
• 主分類號: H04N17/00
• 分類號: H04N17/00;H04N5/265
• 代理公司: 北京理工正陽知識產權代理事務所(普通合伙) 11639
• 代理人: 唐華

1.一種基于多層級質量因子的全景視頻評估系統，其特征在于：基于多層級的感興趣區域計算多個質量因子，以應對全景視頻中的重要區域對視頻質量影響較大的問題；然后通過融合模型將多層級質量因子進行融合，模型參數可由主觀數據學習得到，以應對全景視頻用戶的主觀能動性；

本系統包括全景視頻輸入模塊、感興趣區域提取模塊、多層級質量因子計算模塊、時域處理模塊和多層級質量因子融合模塊；

本系統各模塊的連接關系如下：

全景視頻輸入模塊與感興趣區域提取模塊相連，感興趣區域提取模塊與多層級質量因子計算模塊相連；多層級質量因子計算模塊和時域處理模塊相連；時域處理模塊和多層級質量因子融合模塊相連；

本系統各模塊的功能如下：

全景視頻輸入模塊的功能是對輸入的視頻文件進行解碼得到全景幀圖像對；感興趣區域提取模塊的功能是提取全景圖像的多層級感興趣區域矩陣；多層級質量因子計算模塊的功能是根據感興趣區域矩陣計算全景圖像的質量因子；時域處理模塊的功能是根據全景圖像的質量因子計算全景視頻的質量因子；多層級質量因子融合模塊的功能是將全景視頻的質量因子進行融合得到損傷視頻的自動評估結果。

2.一種基于多層級質量因子的全景視頻評估方法，其特征在于:包括以下步驟：

步驟一：全景視頻輸入模塊對輸入本系統的一對全景視頻源文件進行視頻處理和解碼處理，得到全景幀圖像對；

步驟一中，輸入的一對全景視頻源文件中的全景視頻為一段無損參考視頻S′和一段與參考視頻內容相同的損傷視頻S，損傷視頻S中的損傷包括人為引入的模糊、加噪以及編碼為主的處理造成的損傷，也包括網絡傳輸過程中由丟包以及誤碼為主的原因造成的損傷；

其中，無損參考視頻也稱為參考視頻；

得到的全景幀圖像對包含由參考視頻得到的參考幀圖像，和由損傷視頻得到的損傷幀圖像；

步驟二：感興趣區域提取模塊，采用圖像處理和計算機視覺算法對步驟一輸出的全景幀圖像進行感興趣區域提取，輸出多層級感興趣區域矩陣集合；

步驟三：多層級質量因子計算模塊，采用質量評估算法，基于步驟二輸出的多層級感興趣區域矩陣集合，計算步驟一輸出的全景幀圖像對的加權差異，輸出N組幀圖像對的多層級質量因子集合；

步驟四：時域處理模塊，輸入步驟三得到的N組圖像多層級質量因子集合，按照時域處理方法，融合成為一組，輸出損傷視頻S的多層級質量因子集合

其中，時域處理方法以平均以及加權平均為主；

步驟五：多層級質量因子融合模塊，輸入步驟四得到的多層級質量因子集合，采用融合模型融合為一個質量評價結果

輸出該結果Q，即損傷視頻S的質量評價結果。

3.根據權利要求2所述的一種基于多層級質量因子的全景視頻評估方法，其特征在于:步驟一中，輸入的一對全景視頻源文件中的全景視頻為一段無損參考視頻S′和一段與參考視頻內容相同的損傷視頻S，損傷視頻S中的損傷包括人為引入的模糊、加噪以及編碼為主的處理造成的損傷，也包括網絡傳輸過程中由丟包以及誤碼為主的原因造成的損傷；

其中，無損參考視頻也稱為參考視頻；

步驟1.1判斷輸入本系統的一對全景視頻源文件是否具有相同的分辨率、幀率和時長，以及相同的映射格式，包括經緯圖映射、六面體映射以及四棱錐映射為主的映射，并根據判斷結果進行相應操作：

1.1A若輸入本系統的一對全景視頻源文件具有相同的分辨率、幀率和時長，以及相同的映射格式，則跳至步驟1.2；

1.1B輸入本系統的一對全景視頻源文件不具有相同的分辨率、幀率和時長，以及相同的映射格式，則在全景視頻輸入模塊對損傷視頻進行以像素插值、復制幀圖像、映射變換為主的視頻處理，使得損傷視頻與參考視頻具有相同的分辨率、幀率和時長，以及相同的映射格式；

步驟1.2使用以ffmpeg為主的解碼工具，根據輸入本系統的一對全景視頻源文件的編碼格式，進行解碼處理，將每個全景視頻解碼為多幀圖像，從而得到全景幀圖像對，其中，全景視頻源文件的視頻幀數為N,得到的全景幀圖像對為N組，包括由參考視頻得到的N個參考幀圖像和由損傷視頻得到的N個損傷幀圖像，每個全景幀圖像的寬和高分別為W和H。