[發明專利]一種3D視頻智能多域聯合預測編碼方法及裝置

有效

• 申請號: 202010434088.3
• 申請日: 2020-05-21
• 公開（公告）號: CN111669601B
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 雷建軍;石雅南;侯春萍;張宗千;彭勃
• 申請（專利權）人: 天津大學
• 主分類號: H04N19/597
• 分類號: H04N19/597;H04N19/147;H04N19/149;H04N19/103;H04N19/50;G06N3/04;G06N3/08
• 代理公司: 天津市北洋有限責任專利代理事務所 12201
• 代理人: 李林娟

本發明公開了一種3D視頻智能多域聯合預測編碼方法及裝置，包括：1)獲取多域參考信息：將當前編碼塊的左側、上方以及左上方在步長范圍內的重構像素區域作為空域參考信息；將相鄰幀時域相關性的幀間預測塊作為時域參考信息；將通過視點合成預測技術獲得的視點合成預測塊作為視點間參考信息；2)構建時空預測網絡，以時空域參考信息為輸入，獲得時空域預測結果；3)根據時空域預測結果和視點合成預測塊構建多域聯合預測網絡，獲得最終的多域預測結果。裝置包括：存儲器、處理器及存儲在存儲器上并可在處理器上運行的計算機程序，所述處理器執行所述程序時實現所述的方法步驟。

技術領域

本發明涉及3D視頻編碼領域，尤其涉及一種3D視頻智能多域聯合預測編碼方法及裝置。

背景技術

隨著3D技術的發展，3D視頻編碼成為多媒體領域的一大研究熱點。3D視頻相比于2D視頻，具有更多的數據量，給視頻的存儲和傳輸帶來了巨大挑戰。因此，如何實現高效的3D視頻壓縮編碼具有重要的理論研究意義和實際應用價值。

HEVC(High Efficiency Video Coding，高效視頻編碼)作為新一代視頻編碼標準，有效提升了壓縮效率。作為HEVC的3D擴展，3D-HEVC采用基于MVD(Multiview Videoplus Depth，多視點加深度)視頻格式的編碼架構，在HEVC已有技術基礎上，新增了用于多視點視頻和深度視頻編碼的技術。3D-HEVC編碼標準在對3D視頻序列進行壓縮編碼時，是基于塊進行的。對于當前待編碼塊，幀內預測利用了視頻序列的空間相關性，幀間預測利用了視頻序列的時間相關性，視點間預測利用了視頻序列的視點間相關性。如何融合利用視頻序列的空域相關性、時域相關性、視點域相關性，對當前待編碼塊進行預測編碼，成為提高預測準確度的關鍵。

近年來，隨著人工智能的發展，尤其是深度學習技術在3D技術領域的發展，為視頻壓縮編碼提供了新的思路。Huo針對平面彩色視頻，利用當前編碼塊的空域相鄰已編碼像素信息，提出了一種基于CNN的運動補償增強(CNNMCR)方法。Wang針對HEVC的幀間預測只利用視頻的時域信息導致預測準確度受限的問題，提出了一種結合時空信息并利用神經網絡得到更準確幀間預測的方法。受此啟發，利用深度網絡學習3D視頻的多域相關性，更大程度去除冗余信息，從而實現3D視頻的高效壓縮編碼，具有重要的研究意義和研究價值。

深度學習用于視頻編碼領域經證實已取得了一定的效果，然而這些算法限于平面視頻領域，在3D視頻編碼方面，基于深度學習的方法還不是很多；特別是對于3D視頻的時域、空域、視點域相關性，目前并未有方法將多域信息融合進行預測編碼，3D視頻的多域相關性沒有得到充分利用。

發明內容

本發明提供了一種3D視頻智能多域聯合預測編碼方法及裝置，本發明綜合分析挖掘3D視頻的時域、空域和視點域相關性，提出用CNN融合多域參考信息，并提出一種分級多域預測機制來解決多域參考信息融合的問題；此外，在分級預測機制中，構建了一種有效的多域聯合預測網絡，且在網絡中設計了一個多尺度編碼單元用以提取特征，用CNN解決3D視頻的多域聯合預測問題，詳見下文描述：

一種3D視頻智能多域聯合預測編碼方法，所述方法包括以下步驟：

1)獲取多域參考信息：

將當前編碼塊的左側、上方以及左上方在步長范圍內的重構像素區域作為空域參考信息；將相鄰幀時域相關性的幀間預測塊作為時域參考信息；將通過視點合成預測技術獲得的視點合成預測塊作為視點間參考信息；

2)構建時空預測網絡，以時空域參考信息為輸入，獲得時空域預測結果；

3)根據時空域預測結果和視點合成預測塊構建多域聯合預測網絡，獲得最終的多域預測結果。

其中，所述以時空域參考信息為輸入具體為：