[發(fā)明專利]一種場(chǎng)景點(diǎn)云語義分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811204443.7
• 申請(qǐng)日: 2018-10-16
• 公開（公告）號(hào): CN109410307B
• 公開（公告）日: 2022-09-20
• 發(fā)明（設(shè)計(jì)）人: 李坤;楊鑫;尹寶才;張強(qiáng);魏小鵬
• 申請(qǐng)（專利權(quán)）人: 大連理工大學(xué)
• 主分類號(hào): G06T15/30
• 分類號(hào): G06T15/30;G06N3/04;G06N3/08
• 代理公司: 大連理工大學(xué)專利中心 21200
• 代理人: 溫福雪;侯明遠(yuǎn)

1.一種場(chǎng)景點(diǎn)云語義分割方法，其特征在于，步驟如下：

(1)局部坐標(biāo)系平面卷積的構(gòu)建：將點(diǎn)云投影到利用PCA技術(shù)對(duì)點(diǎn)云分解產(chǎn)生的三個(gè)坐標(biāo)平面，并在三個(gè)坐標(biāo)平面分別構(gòu)造卷積模塊來對(duì)點(diǎn)云進(jìn)行局部特征的提取；

(1.1)局部坐標(biāo)系平面估計(jì)：

對(duì)于點(diǎn)云中每個(gè)點(diǎn)p，首先通過局部的協(xié)方差分析來估計(jì)它的局部坐標(biāo)系平面；具體來講，對(duì)于滿足||p-q||R的一個(gè)球域中的點(diǎn)集q，對(duì)于切平面的估計(jì)，點(diǎn)p的切平面的方向是由協(xié)方差矩陣∑_qrr^T的特征向量來決定的，r＝q-p；值最小的特征向量決定了切平面的法向量n_p，另外的兩個(gè)特征向量i和j決定切平面的兩個(gè)坐標(biāo)軸的方向；

(1.2)局部坐標(biāo)系平面卷積：

用點(diǎn)集q表示來自于點(diǎn)p的半徑為R的球域范圍中的點(diǎn)，并將q分別投影到p的三個(gè)坐標(biāo)平面上；對(duì)于每個(gè)點(diǎn)p，定義F(p)為點(diǎn)p的一個(gè)函數(shù)，用于編碼顏色、幾何特征或來自網(wǎng)絡(luò)中間層的抽象特征；對(duì)于卷積的構(gòu)建，點(diǎn)p的切平面π_p，定義S(u)是切平面上位置u上的連續(xù)信號(hào)量，c(u)是位置u上的卷積核參數(shù)，其中u∈R²；

因此在點(diǎn)p處的卷積操作定義如下：

(1.3)信號(hào)差值：

對(duì)于切平面，信號(hào)插值目標(biāo)是用p的鄰域點(diǎn)集q的信號(hào)量F(q)來估計(jì)切平面中參與卷積運(yùn)算的每個(gè)位置的信號(hào)量S(u)；首先將q投影到p的切平面上，產(chǎn)生一個(gè)投影點(diǎn)集合v＝(r^Ti,r^Tj)；定義：

S(v)＝F(q). (2)

這樣，點(diǎn)集v散落在圖像平面中；因此將這些信號(hào)量進(jìn)行插值來估計(jì)S(u)在參與卷積運(yùn)算的每個(gè)位置的信號(hào)量：

∑_v(w(u,v)·S(v)) (3)

這里，w(u,v)是卷積核的權(quán)重，并且滿足∑_vw＝1；用比較簡(jiǎn)單的插值方法：最近鄰(NN)插值；在這種插值策略中，

最后重新給在點(diǎn)p處進(jìn)行切平面卷積操作的公式：

(1.4)池化層：

通過將點(diǎn)云信號(hào)量散列到常規(guī)3D網(wǎng)格上實(shí)現(xiàn)池化；對(duì)于散落到同一個(gè)網(wǎng)格中的點(diǎn)集，通過平均池化來聚合其信號(hào)量；考慮點(diǎn)集P＝{p}和對(duì)應(yīng)的信號(hào)量{F(p)}，令g代表一個(gè)體素網(wǎng)格并令V_g代表P中被散列到g中的點(diǎn)集；假設(shè)V_g非空，則將其所有點(diǎn)的信息通過平均池化匯聚到一個(gè)點(diǎn)上：

(2)點(diǎn)云語義分割模塊：

(2.1)模塊輸入：

該模塊的輸入為大規(guī)模的室內(nèi)、室外密集場(chǎng)景點(diǎn)云，點(diǎn)云的數(shù)量沒有限制，點(diǎn)云的輸入特征包含RGBXYZ的信息，需要經(jīng)過預(yù)處理轉(zhuǎn)化為RGB、深度D、高度H、法向量N來作為輸入特征；

(2.2)模塊架構(gòu)：

點(diǎn)云語義分割模塊是一個(gè)自編碼結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，其作用是實(shí)現(xiàn)對(duì)輸入點(diǎn)云語義信息的預(yù)測(cè)，公式如下：

I_out＝f_seg(I_in；θ_f) (7)

上式中，I_out是網(wǎng)絡(luò)對(duì)點(diǎn)云關(guān)于n個(gè)類別語義信息的預(yù)測(cè)，I_in是輸入的包含RGBDHN信息的場(chǎng)景點(diǎn)云；f_seg(·)表示自編碼結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)，θ_f表示網(wǎng)絡(luò)模型的權(quán)重參數(shù)；其中，自編碼結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)的編碼器中包含2個(gè)池化層，目的是通過池化層來聚合卷積模塊輸出的特征并減少特征的空間維度；每個(gè)池化層前面都有3個(gè)卷積模塊來獲取點(diǎn)云的局部信息；解碼器中通過上采樣層來恢復(fù)特征的空間維度，每個(gè)上采樣層之前同樣包含3個(gè)卷積模塊；在編碼器和解碼器的對(duì)應(yīng)層之間增加兩個(gè)跳越連接使網(wǎng)絡(luò)更好地預(yù)測(cè)目標(biāo)的細(xì)節(jié)；

在每個(gè)卷積模塊中，在局部坐標(biāo)系平面卷積之后首先使用一個(gè)1×1卷積進(jìn)一步將特征通道數(shù)擴(kuò)充2倍，接著使用深度可分離卷積實(shí)現(xiàn)對(duì)冗余特征的解耦，最后使用一個(gè)1×1的的卷積核來對(duì)特征的融合與壓縮；

(3)訓(xùn)練方法

采用包含8個(gè)類別的Semantic3D的室外點(diǎn)云場(chǎng)景數(shù)據(jù)集和包含13個(gè)類別的S3DIS的室外場(chǎng)景數(shù)據(jù)集；采用數(shù)據(jù)驅(qū)動(dòng)的方法來對(duì)模型進(jìn)行訓(xùn)練，為了解決三維數(shù)據(jù)集缺乏的問題，分別將Semantic3D的室外點(diǎn)云場(chǎng)景數(shù)據(jù)集和S3DIS的室外場(chǎng)景數(shù)據(jù)集中場(chǎng)景點(diǎn)云水平旋轉(zhuǎn)10次將樣本數(shù)量增加10倍；

點(diǎn)云語義分割模塊中自編碼結(jié)構(gòu)的卷積神經(jīng)網(wǎng)絡(luò)采用反向傳播與隨機(jī)梯度下降的方法訓(xùn)練；對(duì)于一個(gè)輸入的場(chǎng)景點(diǎn)云，使用帶有類別權(quán)重的交叉熵作為損失函數(shù)L_seg，利用式(8)計(jì)算權(quán)重，其中，類別i的權(quán)重w_i為樣本中屬于類別i的點(diǎn)的數(shù)量D_i與樣本中所有類別的點(diǎn)的數(shù)量D_k的比值的對(duì)數(shù)的相反數(shù)，這是為了緩解數(shù)據(jù)集中的類別不平衡現(xiàn)象，防止數(shù)量占多數(shù)的點(diǎn)云支配網(wǎng)絡(luò)的訓(xùn)練：

利用式(9)計(jì)算網(wǎng)絡(luò)總誤差，其中N表示場(chǎng)景點(diǎn)云中點(diǎn)的個(gè)數(shù)，y_l表示點(diǎn)l的輸出在真實(shí)類別所對(duì)應(yīng)的得分，w_l為點(diǎn)l所屬類別的權(quán)重；

獲取訓(xùn)練誤差后，網(wǎng)絡(luò)將沿著梯度的反方向來對(duì)網(wǎng)絡(luò)的參數(shù)進(jìn)行更新，迭代直至收斂。