[發(fā)明專利]一種點云、體素和多視圖融合的深度學(xué)習(xí)方法

有效

• 申請?zhí)枺?/td>: 202010897101.9
• 申請日: 2020-08-31
• 公開（公告）號: CN111951368B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設(shè)計）人: 唐可可;陳禹宏;顧釗銓;田志宏;殷麗華;李默涵;李樹棟;仇晶;韓偉紅
• 申請（專利權(quán)）人: 廣州大學(xué)
• 主分類號: G06T15/00
• 分類號: G06T15/00;G06T15/08;G06N3/0464;G06V10/80
• 代理公司: 廣州三環(huán)專利商標代理有限公司 44202
• 代理人: 顏希文;郝傳鑫

本發(fā)明提出一種點云、體素和多視圖融合的深度學(xué)習(xí)方法，包括步驟一：設(shè)定輸入為一幀的全部點云數(shù)據(jù)的集合；步驟二：提取在每個點上的單個點特征；步驟三：將點云進行歸一化處理，然后進行體素化操作，生成體素網(wǎng)格，進而提取體素特征；步驟四：得到體素的多個2D視圖放入ResNet網(wǎng)絡(luò)中提取點云視圖特征；步驟五：投影層將點云視圖特征投影到原體素網(wǎng)格中；步驟六：將體素特征和投影到原體素網(wǎng)格的點云視圖特征一起進行降體素操作，把體素特征和投影到原體素網(wǎng)格的點云視圖特征返還給點云；步驟七：將點云的單個點特征、返還給點云的體素特征和點云視圖特征進行融合。

技術(shù)領(lǐng)域

本發(fā)明涉及一種點云、體素和多視圖融合的深度學(xué)習(xí)方法，屬于計算機視覺領(lǐng)域和神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域。

背景技術(shù)

隨著三維點云的快速發(fā)展，對三維點云進行深度學(xué)習(xí)已經(jīng)越來越受歡迎?，F(xiàn)階段的三維點云深度學(xué)習(xí)主要有三種方法：基于點云的(pointbased)；基于體素的(voxelbased)和基于多視圖的(multi-viewbased)。其中基于點云的方法主要是直接對點進行處理；基于體素的方法是先對點云進行體素化，然后再將體素化后的點云放入三維卷積神經(jīng)網(wǎng)絡(luò)(3DCNN)中進行特征提??；多視圖的方法是將同一個三維物體，轉(zhuǎn)化為不同視角下“拍攝”所得到的二維圖像，將這些二維圖像作為訓(xùn)練數(shù)據(jù)，使用二維卷積進行特征提取。

在現(xiàn)有實現(xiàn)方案方面，主要是在NeurIPS2019上提出的一篇論文中提出的PVCNN模型，論文名稱：“Point-Voxel?CNN?for?Efficient?3D?Deep?Learning”，采用基于體素的方法和基于點云的方法結(jié)合的方式，主要是基于體素的分支采用粗粒度的鄰域特征提取；在基于點的分支采用細粒度的逐點特征提取，最后再聚合兩種特征實現(xiàn)更優(yōu)的點云深度學(xué)習(xí)。

基于體素的方法會有極大的內(nèi)存消耗；基于點云的方法大多數(shù)時間浪費在構(gòu)造稀疏數(shù)據(jù)上，而不是在實際特征提取上；基于多視圖的方法首先就是網(wǎng)絡(luò)不允許我們無限制的使用各個視角的圖片，所以固定數(shù)量的多視角圖片可能無法將三維模型完全表示出來，很可能出現(xiàn)信息的丟失，比如物體自遮擋等，還有就是使用二維圖片本身就會損失一些三維上的結(jié)構(gòu)信息。

雖然PVCNN已經(jīng)融合了兩種方法，使得其在場景分割和3D形狀分類中取得了很好的效果，但其性能還需要得到進一步的提高。本發(fā)明主要提出了一種基于上述三種方法結(jié)合的三維點云深度學(xué)習(xí)方法，它能夠?qū)Ⅻc云進行高效的深度學(xué)習(xí)，不僅能夠?qū)W習(xí)到點云的單點信息，而且也能夠高效的學(xué)習(xí)點云的局部和全局信息。由于每條支路對點只掃描一次且采用低分辨率體素化，該方法具有十分高效的運算速度。在某些情況下，由于多視圖提取了視圖特征，在更高效的同時還具有更好的效果。

發(fā)明內(nèi)容

本發(fā)明提出一種點云、體素和多視圖融合的深度學(xué)習(xí)方法，能夠使其在3D形狀分類和場景分割上有更少的內(nèi)存占用和更好的效果，具體技術(shù)方案如下：

一種點云、體素和多視圖融合的深度學(xué)習(xí)方法，包括如下步驟：

步驟一：設(shè)定輸入為一幀的全部點云數(shù)據(jù)的集合；

步驟二：提取在每個點上的單個點特征；

步驟三：將點云進行歸一化處理，然后進行體素化操作，生成體素網(wǎng)格，進而提取體素特征；

步驟四：得到體素的多個2D視圖放入ResNet網(wǎng)絡(luò)中提取點云視圖特征；

步驟五：投影層將點云視圖特征投影到原體素網(wǎng)格中；

步驟六：將體素特征和投影到原體素網(wǎng)格的點云視圖特征一起進行降體素操作，把體素特征和投影到原體素網(wǎng)格的點云視圖特征返還給點云；

步驟七：將點云的單個點特征、返還給點云的體素特征和點云視圖特征進行融合。

優(yōu)選的，所述單個點特征的提取采用多層感知機進行提取。