[發明專利]一種基于全景顯著性的立體全景視頻快速編碼方法

有效

• 申請號: 202010175774.3
• 申請日: 2020-03-13
• 公開（公告）號: CN111464805B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 杜寶禎;蔣剛毅;郁梅;鄭雪蕾;晁涌
• 申請（專利權）人: 寧波大學
• 主分類號: H04N13/161
• 分類號: H04N13/161
• 代理公司: 寧波奧圣專利代理有限公司 33226
• 代理人: 周玨

1.一種基于全景顯著性的立體全景視頻快速編碼方法，其特征在于包括以下步驟：

步驟1：將ERP投影格式的立體全景視頻中當前待處理的除第1幀以外的右視點視頻幀定義為當前幀；其中，當前幀的寬度為W且高度為H；

步驟2：對當前幀進行顯著性計算，得到當前幀的3D-Sobel顯著圖；

步驟3：將當前幀中當前待處理的最大編碼單元定義為當前最大編碼單元；其中，當前最大編碼單元的尺寸為64×64；

步驟4：判斷當前最大編碼單元是否為當前幀中最上側或最左側的最大編碼單元，如果是，則采用3D-HEVC視頻編碼器對當前最大編碼單元進行編碼，再執行步驟11；否則，執行步驟5；

步驟5：計算當前幀的3D-Sobel顯著圖中與當前最大編碼單元對應的尺寸為64×64的區域的顯著性強度，記為SI_LCU；并計算當前幀的3D-Sobel顯著圖中與當前最大編碼單元對應的尺寸為64×64的區域的全景顯著性閾值，記為TH_S；然后判斷SI_LCU≥TH_S是否滿足，如果滿足，則判定當前最大編碼單元為顯著塊，將當前最大編碼單元重新定義為當前編碼單元，然后執行步驟9；如果不滿足，則判定當前最大編碼單元為非顯著塊，然后執行步驟6；

步驟6：令D_LCU(View)表示當前幀對應的左視點視頻幀中與當前最大編碼單元對應的已編碼最大編碼單元的最優遞歸深度均值，令D_LCU(Col)表示當前幀的前一幀右視點視頻幀中與當前最大編碼單元對應的已編碼最大編碼單元的最優遞歸深度均值，令D_LCU(LT)表示當前最大編碼單元的已編碼左上側最大編碼單元的最優遞歸深度均值，令D_LCU(L)表示當前最大編碼單元的已編碼左側最大編碼單元的最優遞歸深度均值，令D_LCU(T)表示當前最大編碼單元的已編碼上側最大編碼單元的最優遞歸深度均值；然后預測當前最大編碼單元的遞歸深度區間，記為[D_min,D_max]，其中，D_min表示當前最大編碼單元的最小劃分深度，D_max表示當前最大編碼單元的最大劃分深度，min()為取最小值函數，max()為取最大值函數，符號為向下取整符號，符號為向上取整符號；

步驟7：跳轉到以當前最大編碼單元為根節點的四叉樹結構中劃分深度為D_min的CU層，采用3D-HEVC視頻編碼器對該CU層中的所有編碼單元以深度優先遍歷的方式進行編碼，針對該CU層中的任一個編碼單元，將其作為當前編碼單元，在當前編碼單元編碼后先判斷當前編碼單元的最大劃分深度是否已達到D_max或當前編碼單元的最大劃分深度是否已達到3，如果已達到，則繼續以深度優先遍歷的方式對當前編碼單元的未編碼的兄弟節點進行編碼，直至當前編碼單元的所有兄弟節點編碼完成，再執行步驟11；如果未達到，則執行步驟8；

步驟8：計算當前幀的3D-Sobel顯著圖中與當前編碼單元對應的區域的顯著性強度，記為SI_CU，然后比較SI_CU與SI_LCU，如果SI_CU＞SI_LCU，則計算當前編碼單元的遞歸深度區間，記為[D_min,D′_max]，然后令D_max＝D′_max，再返回步驟7繼續執行；如果SI_CU≤SI_LCU，則計算當前編碼單元的遞歸深度區間，記為[D_min,D″_max]，然后令D_max＝D″_max，再返回步驟7繼續執行；其中，D_CU(View)表示當前幀對應的左視點視頻幀中與當前編碼單元對應的已編碼的編碼單元的最優遞歸深度均值，D_CU(Col)表示當前幀的前一幀右視點視頻幀中與當前編碼單元對應的已編碼的編碼單元的最優遞歸深度均值，D_CU(LT)表示當前編碼單元的已編碼左上側編碼單元的最優遞歸深度均值，D_CU(L)表示當前編碼單元的已編碼左側編碼單元的最優遞歸深度均值，D_CU(T)表示當前編碼單元的已編碼上側編碼單元的最優遞歸深度均值；

步驟9：利用BJND模型計算當前編碼單元的感知失真均方根誤差，記為MSE_Bjnd；并計算當前編碼單元的統計均方根誤差，記為MSE_S，再計算得到基于全景感知失真的編碼單元劃分閾值，記為TH_split，TH_split＝η₁MSE_S+η₂MSE_Bjnd；其中，e表示自然基數，k為斜率，取值為-2.3334，Q_step表示當前編碼單元的量化步長，QP表示當前編碼單元的量化參數，MSE_Col表示當前幀的前一幀中與當前編碼單元對應的已編碼的編碼單元的均方根誤差，表示當前幀的前一幀中與當前編碼單元對應的已編碼的編碼單元的量化步長，QP_Col表示當前幀的前一幀中與當前編碼單元對應的已編碼的編碼單元的量化參數，b表示截距，取值為6.3751，N×N表示當前編碼單元的尺寸，N的值為64或32或16或8，η₁和η₂均為調節因子，η₁+η₂＝1；

步驟10：計算當前編碼單元的均方根誤差，記為MSE_Cur；然后比較MSE_Cur與TH_split的大小，若MSE_Cur≤TH_split，則認為當前編碼單元已達到最優劃分深度，不需要再進一步劃分，采用3D-HEVC視頻編碼器對當前編碼單元進行編碼，再執行步驟11；若MSE_Cur＞TH_split，則跳轉到以當前最大編碼單元為根節點的四叉樹結構中劃分深度為D_min的CU層，采用3D-HEVC視頻編碼器對該CU層中的所有編碼單元以深度優先遍歷的方式進行編碼，針對該CU層中的任一個編碼單元，將其作為當前編碼單元，然后返回步驟9繼續執行，直至當前編碼單元的所有兄弟節點編碼完成，再執行步驟11；

步驟11：將當前幀中下一個待處理的最大編碼單元作為當前最大編碼單元，然后返回步驟4繼續執行，直至當前幀中的所有最大編碼單元均處理完畢，之后執行步驟12；

步驟12：將ERP投影格式的立體全景視頻中下一幀待處理的右視點視頻幀作為當前幀，然后返回步驟2繼續執行，直至ERP投影格式的立體全景視頻中的所有視頻幀均處理完畢。