[發明專利]基于立方體投影格式的立體全景圖像顯著區域預測方法

有效

• 申請號: 201911273003.1
• 申請日: 2019-12-12
• 公開（公告）號: CN111178163B
• 公開（公告）日: 2023-06-09
• 發明（設計）人: 蔣剛毅;張君君;陳華;宋洋;郁梅
• 申請（專利權）人: 寧波大學
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V20/40;G06V10/26;G06V10/56
• 代理公司: 寧波奧圣專利代理有限公司 33226
• 代理人: 周玨

1.一種基于立方體投影格式的立體全景圖像顯著區域預測方法，其特征在于包括以下步驟：

步驟1：將待處理的寬度為W且高度為H的立體全景圖像處理成立方體投影格式的立體全景圖像，記為I^CMP，I^CMP由6個面組成，I^CMP表述為I^CMP＝(V₁,V₂,V₃,V₄,V₅,V₆)；其中，V₁表示I^CMP的左部面，V₂表示I^CMP的前部面，V₃表示I^CMP的右部面，V₄表示I^CMP的后部面，V₅表示I^CMP的頂部面，V₆表示I^CMP的底部面；

步驟2：構建I^CMP的水平局部面，記為V_hl；并構建I^CMP的水平全局面，記為V_hg；

所述的步驟2中，V_hl由8個面組成，V_hl表述為V_hl＝(V₁,V₂,V₃,V₄,V₁',V₂',V₃',V₄')；V_hg由2個面組成，V_hg表述為V_hg＝(V_hg1,V_hg2)；其中，V₁'表示V₁向左移動L₁個像素點距離后得到的面，V₂'表示V₂向左移動L₁個像素點距離后得到的面，V₃'表示V₃向左移動L₁個像素點距離后得到的面，V₄'表示V₄向左移動L₁個像素點距離后得到的面，M表示V₁、V₂、V₃、V₄、V₅、V₆的寬和高，V_hg1由V₁、V₂、V₃、V₄按順序拼接成一行而成，V_hg1的寬度為4M且高度為M，V_hg2表示V_hg1向左移動L₂個像素點距離后得到的面，M'表示V_hg1的寬度，即M'＝4M；

步驟3：計算V_hl的顯著圖，記為S_hl；并計算V_hg的顯著圖，記為S_hg；其中，S_hl和S_hg的寬度一致且高度一致；

所述的步驟3的具體過程為：

步驟3_1：將V_hl中的每個面和V_hg中的每個面均作為待處理的面；

步驟3_2：將當前待處理的面定義為當前面；

步驟3_3：對當前面進行超像素分割，分割得到多個超像素塊；

步驟3_4：對當前面中的每個超像素塊進行張量分解，得到當前面中的每個超像素塊的張量域第一子帶；然后將當前面中的每個超像素塊的張量域第一子帶中的所有像素點的像素值的均值作為該超像素塊的顏色特征；再計算當前面中的每兩個超像素塊的顏色特征之間的距離，將當前面中的第i個超像素塊的顏色特征與第j個超像素塊的顏色特征之間的距離記為distc_i,j，distc_i,j＝||c_i-c_j||₂；其中，1≤i≤Num，1≤j≤Num，i≠j，Num表示當前面中的超像素塊的個數，Num＞1，c_i表示當前面中的第i個超像素塊的顏色特征，c_j表示當前面中的第j個超像素塊的顏色特征，符號“||?||₂”為求2-范數符號；

步驟3_5：計算當前面的左視圖與右視圖的視差圖；然后將視差圖中的每個超像素塊中的所有像素點的像素值的均值作為當前面中的每個超像素塊的深度特征，即將視差圖中的第i個超像素塊中的所有像素點的像素值的均值作為當前面中的第i個超像素塊的深度特征；再計算當前面中的每兩個超像素塊的深度特征之間的距離，將當前面中的第i個超像素塊的深度特征與第j個超像素塊的深度特征之間的距離記為distd_i,j，distd_i,j＝||d_i-d_j||₂；其中，d_i表示當前面中的第i個超像素塊的深度特征，c_j表示當前面中的第j個超像素塊的深度特征；

步驟3_6：計算當前面中的每兩個超像素塊之間的特征距離，將當前面中的第i個超像素塊與第j個超像素塊之間的特征距離記為dist_i,j，dist_i,j＝λ_c×distc_i,j+λ_d×distd_i,j；其中，λ_c表示distc_i,j的權重，λ_d表示distd_i,j的權重，λ_c+λ_d＝1；

步驟3_7：計算當前面中的每兩個超像素塊之間的邊權重，將當前面中的第i個超像素塊與第j個超像素塊之間的邊權重記為wt_i,j，其中，e表示自然基數，σ為常數，符號“||?||”為求歐氏距離符號；

步驟3_8：以當前面中的每個超像素塊為節點構造圖模型，記為G，G＝(X,E)；其中，X表示所有節點構成的集合，即當前面中的所有超像素塊構成的集合，E表示所有邊構成的集合，當前面中的第i個超像素塊與第j個超像素塊之間的邊的邊權重為wt_i,j；

步驟3_9：計算G的關聯矩陣和度矩陣，對應記為WT和D，WT＝[wt_i,j]_Num×Num，D＝diag{D_1,1,D_2,2,...,D_i,i,...,D_Num,Num}；其中，diag{}表示構造一個對角矩陣操作，D_i,i＝∑_jwt_i,j，D_1,1、D_2,2、D_Num,Num均根據D_i,i＝∑_jwt_i,j計算得到；

步驟3_10：采用前景先驗方法，將G中的所有節點視為查詢節點，計算G的指示向量，記為y，y＝[y₁,…,y_i,…,y_Num]^T；其中，y₁,…,y_i,…,y_Num對應表示y中的第1個元素、……、第i個元素、……、第Num個元素，若G中的第1個節點為查詢節點則令y₁＝1，若G中的第i個節點為查詢節點則令y_i＝1，若G中的第Num個節點為查詢節點則令y_Num＝1，“[]^T”表示向量或矩陣的轉置；

步驟3_11：計算當前面的顯著圖，記為f^*，f^*＝(D-α×WT)^-1y；其中，α為常數，α＝0.99，()^-1表示向量或矩陣的逆；

步驟3_12：將下一個待處理的面作為當前面，然后返回步驟3_3繼續執行，直至V_hl中的所有面和V_hg中的所有面處理完畢；

步驟3_13：計算S_hl和S_hg，其中，S_hl1由V_hl中的V₁、V₂、V₃、V₄各自的顯著圖按順序拼接成一行而成，S_hl1的寬度為4M且高度為M，M表示V₁、V₂、V₃、V₄、V₅、V₆的寬和高，S_hl3表示S_hl2向右移動L₁個像素點距離后得到的圖像，S_hl2由V_hl中的V₁'、V₂'、V₃'、V₄'各自的顯著圖按順序拼接成一行而成，S_hl2的寬度為4M且高度為M，S_hg1表示V_hg1的顯著圖，S_hg1的寬度為4M且高度為M，S_hg3表示S_hg2向右移動L₂個像素點距離后得到的圖像，M'＝4M，S_hg2表示V_hg2的顯著圖，S_hg2的寬度為4M且高度為M；

步驟4：使用S_hl加權S_hg，得到I^CMP的水平面顯著圖，記為S_hv；其中，S_hv的寬度為4M且高度為M，M表示V₁、V₂、V₃、V₄、V₅、V₆的寬和高；

步驟5：構建I^CMP的垂直面，記為V_v；

步驟6：計算V_v的顯著圖；然后將V_v的顯著圖作為I^CMP的垂直面顯著圖，記為S_vv；其中，的寬度為M且高度為3M；

步驟7：將S_hv在寬度方向上從左往右以M個像素點為距離進行切分，獲得四個面，將S_hv表述為S_hv＝(S₁,S'₂,S₃,S₄)；并將S_vv在高度方向上從上往下以M個像素點為距離進行切分，獲得三個面，將S_vv表述為S_vv＝(S₅,S”₂,S₆)；然后計算I^CMP的顯著圖，記為S_CMP，S_CMP＝(S₁,S₂,S₃,S₄,S₅,S₆)，其中，令(x₁,x₂)表示S_hv中的像素點的坐標位置，1≤x₁≤4M,1≤x₂≤M，S₁表示S_hv中坐標位置在1≤x₁≤M，1≤x₂≤M范圍內的所有像素點構成的面，S'₂表示S_hv中坐標位置在M+1≤x₁≤2M，1≤x₂≤M范圍內的所有像素點構成的面，S₃表示S_hv中坐標位置在2M+1≤x₁≤3M，1≤x₂≤M范圍內的所有像素點構成的面，S₄表示S_hv中坐標位置在3M+1≤x₁≤4M，1≤x₂≤M范圍內的所有像素點構成的面，令(x'₁,x'₂)表示S_vv中的像素點的坐標位置，1≤x'₁≤M,1≤x'₂≤3M，S₅表示S_vv中坐標位置在1≤x'₁≤M，1≤x'₂≤M范圍內的所有像素點構成的面，S”₂表示S_vv中坐標位置在1≤x'₁≤M，M+1≤x'₂≤2M范圍內的所有像素點構成的面，S₆表示S_vv中坐標位置在1≤x'₁≤M，2M+1≤x'₂≤3M范圍內的所有像素點構成的面，S₁表示S_CMP的左部面，S₂表示S_CMP的前部面，S₃表示S_CMP的右部面，S₄表示S_CMP的后部面，S₅表示S_CMP的頂部面，S₆表示S_CMP的底部面；

步驟8：將S_CMP處理成等矩形投影格式的圖像，記為S_ERP；然后使用緯度增強權重w加權S_ERP，得到待處理的立體全景圖像的顯著圖，記為S_w，將S_w中坐標位置為(a,b)的像素點的像素值記為S_w(a,b)，S_w(a,b)＝S_ERP(a,b)×w(a,b)；其中，1≤a≤W,1≤b≤H，S_ERP(a,b)表示S_ERP中坐標位置為(a,b)的像素點的像素值，w(a,b)表示w中下標為(a,b)的元素的值，