[發明專利]一種基于視差引導融合的虛擬參考幀生成方法

有效

• 申請號: 202010169654.2
• 申請日: 2020-03-12
• 公開（公告）號: CN111464814B
• 公開（公告）日: 2022-01-04
• 發明（設計）人: 雷建軍;張宗千;鄭澤勛;石雅南
• 申請（專利權）人: 天津大學
• 主分類號: H04N19/593
• 分類號: H04N19/593;H04N19/136;H04N19/105;H04N19/184
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種基于視差引導融合的虛擬參考幀生成方法，所述方法包括以下步驟：構建多級感受野擴張模塊提取多尺度深層特征；構建視差注意力融合模塊轉換多尺度特征之間的視差關系并進行融合；將多級感受野擴張模塊與視差注意力融合模塊整合進網絡框架，搭建出視差引導的生成網絡；將視差引導的生成網絡嵌入編碼框架，生成虛擬參考幀。本發明為當前編碼幀提供高質量的參考，從而提高預測的準確度，進而提升編碼效率。

技術領域

本發明涉及虛擬參考幀生成領域，尤其涉及一種基于視差引導融合的虛擬參考幀生成方法。

背景技術

多視點視頻是一種典型的三維視頻表示方法，它通過對同一場景記錄多個視點的信息，為用戶提供身臨其境的體驗。但是多視點視頻數據量遠遠大于傳統彩色視頻，這給多視點視頻的存儲和傳輸帶來了嚴峻的挑戰。為此，3D-HEVC編碼標準引入了很多適用于多視點視頻和深度視頻的編碼工具。

對于多視點視頻編碼，除了傳統的時域幀間預測技術以外，3D-HEVC還采納了視點間預測技術。在進行預測編碼過程中，將來自相鄰視點的重建幀添加到當前編碼圖片的參考圖片列表中。在編碼當前塊時，編碼器會搜索參考圖片列表中的每一張參考圖片，利用率失真優化算法找出最佳匹配塊。因此，參考圖片列表中圖片的質量會直接影響編碼效率，提高參考圖片的質量是一個值得探索的方向。直接將視點間參考圖片添加到參考圖片列表中能夠有效的提高多視點視頻的編碼效率。然而，由于相鄰視點間的視差關系卻沒有被充分利用，這使得預測結果仍不夠準確。為了進一步提高編碼效率，Chen等^[1]使用縮放的參考層偏移量來修正視點間參考圖片，從而提高預測的準確度，進而提高編碼效率；Wong等^[2]采用亞采樣塊匹配技術以較低的復雜度實現了基于水平縮放和裁剪的視差補償預測，有效的提高了編碼效率。

近年來，深度學習技術在計算機視覺和圖像處理領域取得了廣泛的研究，并取得了顯著的成果。受此啟發，研究學者也開始將深度學習技術引進到2D視頻編碼領域，并在幀內預測、幀間預測、環路濾波等方面取得了較高的編碼效益。對于幀間預測，Yan等^[3]提出一種基于卷積神經網絡的分數像素運動補償方法，利用卷積神經網絡實現分數像素插值，有效的提高了編碼效率；Zhao等^[4]提出一種深度虛擬參考幀生成方法，首先找到與當前編碼幀最鄰近的兩個重建幀，然后通過可分離卷積網絡生成一個虛擬參考幀，并以此作為一個額外參考，提高了預測的準確度。

發明人在實現本發明的過程中，發現現有技術中至少存在以下缺點和不足：

現有多視點視頻編碼方法沒有充分利用相鄰視點之間的視差關系，使得預測編碼過程不夠準確；現有人工修正視點間參考圖片的算法，適用性較差，且容易引入人工偽影，編碼性能有待進一步提高；目前利用深度學習技術提升多視點視頻編碼效率的算法較少，且缺乏一種能夠利用視差關系生成虛擬參考幀的深度學習算法。

參考文獻

[1]L.Chen,M.M.Hannuksela,and H.Li,“DisparityCompensated Inter-LayerMotion Prediction Using Standardized HEVC Extensions,”in IEEE InternationalSymposium on Circuits and Systems.,pp.2776-2779,2015.

[2]K.M.Wong,L.M.Po,K.W.Cheung,C.W.Ting,K.H.Ng,and X.Xu,“HorizontalScaling and ShearingBased Disparity-Compensated Prediction for Stereo VideoCoding,”IEEE Trans.Circuits Syst.Video Technol.,vol.22,no.12,pp.1457-1470,June.2012.