[發明專利]基于多視圖特征學習的無參考立體視頻質量客觀評價方法

有效

• 申請號: 201710566720.8
• 申請日: 2017-07-12
• 公開（公告）號: CN109429051B
• 公開（公告）日: 2020-08-18
• 發明（設計）人: 楊嘉琛;王煥玲;姜斌;朱英豪
• 申請（專利權）人: 天津大學
• 主分類號: H04N13/106
• 分類號: H04N13/106;H04N13/275;H04N19/154;H04N17/00;G06T7/246
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 吳學穎

本發明公開了一種基于多視圖特征學習的無參考立體視頻質量客觀評價方法：對圖像序列進行曲波變換，提取系數作為紋理特征；將八個相鄰像素點與中心像素點比較；產生十種輸出模式；計算每種模式出現頻率，取平均值作為空域紋理特征；降維處理，得到空域特征；獲得相鄰圖像運動強度特征，求平均值作為時域特征；立體感知域視圖進行DCT變換，DCT系數建模，提取形狀參數，求平均值作為立體感知域特征；進行SVM訓練；利用評價模型分別預測，得到客觀質量分數；加權得到最終質量分數。本發明結合空域、時域和立體感特征對于立體視頻質量的影響，進行立體視頻質量評價，提高立體視頻客觀質量評價的準確性。

技術領域

本發明涉及視頻處理領域，更具體的說，是涉及一種基于多視圖特征學習的無參考立體視頻質量客觀評價方法。

背景技術

由于3D能夠帶給觀眾立體感和更真實的觀看體驗，因此三維視頻技術已經受到工業產品生產商和電子產品消費者的廣泛關注。然而，視頻的采集、編碼壓縮、傳輸、處理以及顯示過程中的任何一個環節都有可能引起視頻的失真，導致視頻質量下降，因此視頻質量評價的研究對推動圖像和視頻處理技術的發展具有重要意義。

立體視頻質量評價方法分為主觀質量評價和客觀質量評價兩種方法。主觀質量評價方法是通過一組受測試者按照相應的實驗標準觀看一系列的視頻序列，并判斷相應的感知質量的過程；客觀評價方法是通過計算模型來評價視頻質量，并且使評價結果盡可能與主觀結果相一致的方法。與客觀質量評價方法相比，主觀評價方法過程繁瑣，耗時較長，花費較大，很難在實時性要求較高的系統中得到應用，因此研究者開始廣泛致力于客觀質量評價方法的研究。如今的立體視頻客觀質量評價方法大多是有參考的，需要原始視頻信息，然而在實際應用中，原始視頻很難獲取，因此探索無參考的立體視頻質量客觀評價方法顯得尤為重要。

發明內容

本發明的目的是為了克服現有技術中的不足，提供一種基于多視圖特征學習的無參考立體視頻質量客觀評價方法，結合空域特征、時域特征和立體感特征對于立體視頻質量的影響，進行立體視頻質量評價，提高立體視頻客觀質量評價的準確性。

本發明的目的是通過以下技術方案實現的。

本發明的基于多視圖特征學習的無參考立體視頻質量客觀評價方法，每個失真立體視頻對由左視點視頻和右視點視頻組成，包括以下步驟：

第一步：對組成左視點視頻和右視點視頻的圖像序列分別進行曲波變換，提取每幅圖像的曲波變換系數作為紋理特征；

第二步：對于每個曲波變換系數子帶，任選一點作為中心像素點，將八個相鄰像素點的曲波系數與中心像素點的曲波系數進行比較，大于中心像素點的相鄰像素點的位置標記為1，否則為0；3×3鄰域內的八個相鄰像素點經比較產生八位二進制數，即得到該窗口中心像素點的LBP值，總共產生十種不同的輸出模式(0～9)；最終在每個曲波變換系數子帶中計算每種輸出模式的出現頻率，并在左視點視頻和右視點視頻的所有幀上取平均值，將其作為立體視頻質量評價的空域紋理特征；

第三步：用主成分分析法對第二步中的空域紋理特征進行降維處理，得到最終的空域特征；

第四步：利用新三步搜索法獲得相鄰兩幀圖像之間運動矢量，并提取圖像的運動強度特征，最終對視頻所有圖像序列的運動強度特征求平均值作為最終的時域特征；

第五步：對左視點視頻和右視點視頻做差運算，得到立體視頻的立體感知域視圖，在其每個子圖像塊上進行DCT變換，然后在整幅圖像上對所有DCT變換系數進行分布統計，利用廣義高斯概率分布對立體感知域視圖的DCT變換系數進行建模，并提取形狀參數作為DCT變換系數分布的特征，最終在視頻所有圖像序列上求形狀參數平均值作為衡量立體感失真程度的特征，即立體感知域特征；