[發明專利]一種基于全景顯著性的立體全景視頻快速編碼方法

有效

• 申請號: 202010175774.3
• 申請日: 2020-03-13
• 公開（公告）號: CN111464805B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 杜寶禎;蔣剛毅;郁梅;鄭雪蕾;晁涌
• 申請（專利權）人: 寧波大學
• 主分類號: H04N13/161
• 分類號: H04N13/161
• 代理公司: 寧波奧圣專利代理有限公司 33226
• 代理人: 周玨

本發明公開了一種基于全景顯著性的立體全景視頻快速編碼方法，其對立體全景視頻中的右視點視頻幀進行顯著性計算；結合顯著性計算結果將右視點視頻幀中除最左側和最上側的最大編碼單元外的其余最大編碼單元分為顯著塊和非顯著塊，針對顯著塊和非顯著塊分別采用兩種不同的編碼快速終止方式，針對非顯著塊，利用當前編碼單元時空域相鄰塊的最優劃分深度來預測和修正當前編碼單元的遞歸深度區間；針對顯著塊，通過計算并比較當前編碼單元的均方根誤差與基于全景感知失真的編碼單元劃分閾值的大小關系，來判斷當前編碼單元是否已達到最優劃分深度；優點是有效降低了編碼單元的遞歸復雜度，節省了編碼時間。

技術領域

本發明涉及一種視頻編碼技術，尤其是涉及一種基于全景顯著性的立體全景視頻快速編碼方法。

背景技術

近年來，隨著多媒體網絡的飛速發展，立體全景視頻系統以其全新的視覺體驗越來越受到人們的歡迎。立體全景視頻系統可以為觀察者提供左右兩個通道視點信息，這使得用戶在觀看立體全景視頻時，又增加了單視點全景視頻所沒有的深度感信息，真正做到“身臨其境”。因此，立體全景視頻系統在虛擬現實、模擬駕駛等領域有更廣闊的應用前景。但是，更好的視覺體驗帶來的是視頻數據量和處理方面的代價。目前，立體全景視頻的編碼時間復雜度過高也成為制約其大量應用的瓶頸之一。因此，如何對該類視頻進行有效編碼壓縮，是立體全景視頻系統推廣應用的亟待解決的問題。

發明內容

本發明所要解決的技術問題是提供一種基于全景顯著性的立體全景視頻快速編碼方法，其編碼時間復雜度低。

本發明解決上述技術問題所采用的技術方案為：一種基于全景顯著性的立體全景視頻快速編碼方法，其特征在于包括以下步驟：

步驟1：將ERP投影格式的立體全景視頻中當前待處理的除第1幀以外的右視點視頻幀定義為當前幀；其中，當前幀的寬度為W且高度為H；

步驟2：對當前幀進行顯著性計算，得到當前幀的3D-Sobel顯著圖；

步驟3：將當前幀中當前待處理的最大編碼單元定義為當前最大編碼單元；其中，當前最大編碼單元的尺寸為64×64；

步驟4：判斷當前最大編碼單元是否為當前幀中最上側或最左側的最大編碼單元，如果是，則采用3D-HEVC視頻編碼器對當前最大編碼單元進行編碼，再執行步驟11；否則，執行步驟5；

步驟5：計算當前幀的3D-Sobel顯著圖中與當前最大編碼單元對應的尺寸為64×64的區域的顯著性強度，記為SI_LCU；并計算當前幀的3D-Sobel顯著圖中與當前最大編碼單元對應的尺寸為64×64的區域的全景顯著性閾值，記為TH_S；然后判斷SI_LCU≥TH_S是否滿足，如果滿足，則判定當前最大編碼單元為顯著塊，將當前最大編碼單元重新定義為當前編碼單元，然后執行步驟9；如果不滿足，則判定當前最大編碼單元為非顯著塊，然后執行步驟6；

步驟6：令D_LCU(View)表示當前幀對應的左視點視頻幀中與當前最大編碼單元對應的已編碼最大編碼單元的最優遞歸深度均值，令D_LCU(Col)表示當前幀的前一幀右視點視頻幀中與當前最大編碼單元對應的已編碼最大編碼單元的最優遞歸深度均值，令D_LCU(LT)表示當前最大編碼單元的已編碼左上側最大編碼單元的最優遞歸深度均值，令D_LCU(L)表示當前最大編碼單元的已編碼左側最大編碼單元的最優遞歸深度均值，令D_LCU(T)表示當前最大編碼單元的已編碼上側最大編碼單元的最優遞歸深度均值；然后預測當前最大編碼單元的遞歸深度區間，記為[D_min,D_max]，其中，D_min表示當前最大編碼單元的最小劃分深度，D_max表示當前最大編碼單元的最大劃分深度，min()為取最小值函數，max()為取最大值函數，符號為向下取整符號，符號為向上取整符號；