[發(fā)明專利]一種基于混合顯著性檢測(cè)的點(diǎn)云視頻自適應(yīng)切分方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110684433.3
• 申請(qǐng)日: 2021-06-21
• 公開(kāi)（公告）號(hào): CN113393467B
• 公開(kāi)（公告）日: 2022-10-28
• 發(fā)明（設(shè)計(jì)）人: 黎潔;張聰;李奇越;王梟;韓玲;王慧宇;陳勇;彭濤
• 申請(qǐng)（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號(hào): G06T7/10
• 分類號(hào): G06T7/10;G06T7/136;G06V10/762;G06V10/75;G06V10/40;G06K9/62;H04N13/117;H04N13/194
• 代理公司: 安徽省合肥新安專利代理有限責(zé)任公司 34101
• 代理人: 陸麗莉;何梅生

1.一種基于混合顯著性檢測(cè)的點(diǎn)云視頻自適應(yīng)切分方法，其特征是，所述點(diǎn)云視頻自適應(yīng)切分方法按如下步驟進(jìn)行：

步驟一、將一個(gè)點(diǎn)云視頻在時(shí)間上劃分成T個(gè)幀組，每個(gè)幀組包含F(xiàn)幀點(diǎn)云圖像，令幀組集合為{G₁,G₂,...,G_t,...,G_T}，其中，G_t表示點(diǎn)云視頻中第t個(gè)幀組，1≤t≤T；T表示視頻長(zhǎng)度；

將第t個(gè)幀組G_t的每一幀在空間上均勻切分成數(shù)目為K＝L×L×L的切塊并得到第t個(gè)幀組G_t的切塊集合，記為{I_t,f,1,I_t,f,2,...,I_t,f,k,...,I_t,f,K}，其中，I_t,f,k表示第t個(gè)幀組G_t內(nèi)第f幀中的第k個(gè)切塊，L是每個(gè)切塊的邊長(zhǎng)；1≤k≤K，1≤f≤F；

令第t個(gè)幀組G_t的切塊集合中每個(gè)切塊的空間坐標(biāo)為{p_t,f,1,p_t,f,2,...,p_t,f,k,...,p_t,f,K}，其中，p_t,f,k表示第t個(gè)幀組G_t內(nèi)第f幀中第k個(gè)切塊I_t,f,k的中心點(diǎn)的三維坐標(biāo)；

步驟二、計(jì)算第t個(gè)幀組G_t內(nèi)切塊集合的內(nèi)部離散值；

令切塊集合中第k個(gè)切塊I_t,f,k的點(diǎn)集合為{P_t,f,k,1,P_t,f,k,2,...,P_t,f,k,n,...,P_t,f,k,N}，其中，P_t,f,k,n表示第t個(gè)幀組G_t內(nèi)第f幀中第k個(gè)切塊I_t,f,k的第n個(gè)點(diǎn)，1≤n≤N；N表示第k個(gè)切塊I_t,f,k內(nèi)點(diǎn)個(gè)數(shù)；

令切塊I_t,f,k內(nèi)點(diǎn)集合的亮度大小為其中，表示第t個(gè)幀組G_t內(nèi)第f幀的第k個(gè)切塊I_t,f,k中的第n個(gè)點(diǎn)的亮度大小；

計(jì)算第k個(gè)切塊I_t,f,k內(nèi)點(diǎn)集合的亮度值的平均值，記為并作為第t個(gè)幀組G_t內(nèi)第k個(gè)切塊I_t,f,k的亮度值；

計(jì)算點(diǎn)集合的快速點(diǎn)特征直方圖，記為其中，表示第t個(gè)幀組G_t內(nèi)第f幀中第k個(gè)切塊I_t,f,k的第n個(gè)點(diǎn)的FPFH特征向量；

計(jì)算第k個(gè)切塊I_t,f,k內(nèi)點(diǎn)集合的FPFH的方差，記為并作為第t個(gè)幀組G_t內(nèi)第k個(gè)切塊I_t,f,k的內(nèi)部離散值；

步驟三、計(jì)算第t個(gè)幀組G_t內(nèi)所有切塊的塊間差異值；

步驟3.1、利用式(3)計(jì)算第k個(gè)切塊I_t,f,k在第d維度上的FPFH特征向量

式(3)中，表示第t個(gè)幀組G_t內(nèi)第f幀中第k個(gè)切塊I_t,f,k的第n個(gè)點(diǎn)在第d維度上的FPFH特征向量；1≤d≤D；D表示FPFH特征向量的維度；

步驟3.2、利用式(4)計(jì)算第t個(gè)幀組G_t內(nèi)第k個(gè)切塊I_t,f,k和第j個(gè)切塊I_t,f,j之間的卡方距離χ²(I_t,f,k,I_t,f,j)；

式(4)中，表示第t個(gè)幀組G_t內(nèi)第j個(gè)切塊I_t,f,j的FPFH特征向量；

步驟3.3、利用式(5)計(jì)算第t個(gè)幀組G_t內(nèi)第k個(gè)切塊I_t,f,k和第j個(gè)切塊I_t,f,j之間的亮度距離γ²(I_t,f,k,I_t,f,j)：

式(5)中，表示第t個(gè)幀組G_t內(nèi)第j個(gè)切塊I_t,f,j的亮度值；

步驟3.4利用式(6)計(jì)算第t個(gè)幀組G_t內(nèi)第k個(gè)切塊I_t,f,k和第j個(gè)切塊I_t,f,j之間的特征距離ψ²(I_t,f,k,I_t,f,j)：

ψ²(I_t,f,k,I_t,f,j)＝χ²(I_t,f,k,I_t,f,j)+λ·γ²(I_t,f,k,I_t,f,j) (6)

式(6)中，λ是權(quán)重系數(shù)；

步驟3.5、利用式(7)計(jì)算塊間差異值

式(7)中，R表示與第k個(gè)切塊I_t,f,k鄰近的切塊數(shù)目；p_t,f,j表示第t個(gè)幀組G_t內(nèi)第j個(gè)切塊I_t,f,j的空間位置；||p_t,f,k-p_t,f,j||表示第k個(gè)切塊I_t,f,k和第j個(gè)切塊I_t,f,j的空間距離；

步驟四、計(jì)算第t個(gè)幀組G_t內(nèi)所有切塊的幀間變化值；

步驟4.1、令當(dāng)前第k個(gè)切塊I_t,f,k為目標(biāo)切塊，其所在的幀為目標(biāo)幀；記目標(biāo)幀的前一幀為參考幀；

步驟4.2、令在參考幀中與目標(biāo)切塊I_t,f,k相同空間位置的切塊為參考切塊，記為I_t,f-1,k；

步驟4.3、以參考切塊I_t,f-1,k為中心，生成一個(gè)體積為S×S×S尺寸的搜索空間，其中，S為搜索空間的邊長(zhǎng)；

步驟4.4、在搜索空間內(nèi)以C為間距，且C＜L，生成數(shù)目為的待匹配切塊集合，記為{I_t,f,k,1,I_t,f,k,2,...,I_t,f,k,m,...,I_t,f,k,M}，I_t,f,k,m表示第t個(gè)幀組G_t內(nèi)第f幀中第k個(gè)切塊I_t,f,k對(duì)應(yīng)的搜索空間中第m個(gè)切塊，1≤m≤M；

步驟4.5、計(jì)算目標(biāo)切塊I_t,f,k與待匹配切塊集合內(nèi)所有切塊的特征距離，記為其中，表示目標(biāo)切塊I_t,f,k與待匹配切塊I_t,f,k,m之間的特征距離；

步驟4.6、將集合中的最小距離值所對(duì)應(yīng)的匹配切塊記為I_t,f-1,min，用于表示和目標(biāo)切塊I_t,f,k最相似的切塊；

步驟4.7、利用式(8)計(jì)算目標(biāo)切塊I_t,f,k和匹配切塊I_t,f-1,min的幀間變化值

式(8)中，P_t,f-1,min第t個(gè)幀組G_t內(nèi)第f幀中第k個(gè)切塊I_t,f,k對(duì)應(yīng)的匹配切塊I_t,f-1,min的空間位置；

步驟4.8、按照步驟4.1到步驟4.7的過(guò)程對(duì)第t個(gè)幀組G_t內(nèi)第2幀到第F幀中所有切塊進(jìn)行處理，從而得到每一幀的切塊幀間變化值，記為

步驟4.9、將第2幀到第F幀中對(duì)應(yīng)切塊的幀間變化值相加得到第t個(gè)幀組G_t內(nèi)第k個(gè)切塊的幀間變化值

步驟五、利用式(1)構(gòu)造第t個(gè)幀組G_t的損失函數(shù)l_t：

式(1)中，x_t,k表示第t個(gè)幀組G_t內(nèi)第k個(gè)切塊I_t,f,k的顯著值變量；x_t,j表示第t個(gè)幀組G_t內(nèi)第j個(gè)切塊I_t,f,j的顯著值變量；S_t.z,k表示幀組內(nèi)第k個(gè)切塊I_t,f,k的第z個(gè)值，其中，z＝1表示第k個(gè)切塊I_t,f,k的塊內(nèi)離散值z(mì)＝2表示第k個(gè)切塊I_t,f,k的塊間差異值z(mì)＝3表示第k個(gè)切塊I_t,f,k的幀間變化值R表示與第k個(gè)切塊I_t,f,k的鄰近的切塊數(shù)目；W_t,k,j表示第k個(gè)切塊I_t,f,k和第j個(gè)切塊I_t,f,j的權(quán)重系數(shù)，并有：

式(2)中，σ是控制常量；p_t,f,j表示第t個(gè)幀組G_t內(nèi)第f幀中第j個(gè)切塊I_t,f,j的中心點(diǎn)的三維坐標(biāo)；

步驟六、采用CPLEX求解器對(duì)損失函數(shù)l_t進(jìn)行最優(yōu)化求解，從而得到第t個(gè)幀組G_t內(nèi)切塊顯著值集合{x_t,1,x_t,2,…,x_t,k,…,x_t,K}；

步驟七、根據(jù)第t個(gè)幀組G_t內(nèi)切塊集合的顯著值，采用自上而下的層次聚類將第t個(gè)幀組G_t內(nèi)的切塊集合進(jìn)行聚類，從而得到切塊簇；將切塊集合內(nèi)屬于相同切塊簇的切塊合成一個(gè)新的切塊；

步驟八、按照步驟一到步驟七的過(guò)程對(duì)點(diǎn)云視頻內(nèi)所有幀組進(jìn)行處理，從而得到點(diǎn)云視頻的所有切塊并作為自適應(yīng)切分結(jié)果。

2.根據(jù)權(quán)利要求1所述的點(diǎn)云視頻自適應(yīng)切分方法，其特征是，所述步驟七是按如下過(guò)程進(jìn)行的：

步驟7.1、將切塊顯著值集合{x_t,1,x_t,2,…,x_t,k,…,x_t,K}中所有顯著值分別作為一個(gè)獨(dú)立的類簇；

步驟7.2、根據(jù)切塊顯著值計(jì)算兩兩類簇之間的特征距離，找到距離最小的兩個(gè)類簇A_i和A_j；

步驟7.3、合并類簇A_i和A_j為一個(gè)類簇A_k；

步驟7.4、利用式(9)計(jì)算合并后的A_k的切塊顯著值：

式(9)中，x_t,i和x_t,j表示類簇A_i和A_j的切塊顯著值，當(dāng)類簇內(nèi)只有一個(gè)切塊時(shí)，則類簇的切塊顯著值等于該切塊的切塊顯著值；

步驟7.5、當(dāng)合并后的類簇的數(shù)目達(dá)到閾值V時(shí)，表示完成第t個(gè)幀組G_t的聚類；否則，將合并后的聚類代入步驟7.2-步驟7.5的過(guò)程進(jìn)行處理。