[發(fā)明專利]一種基于實(shí)例嵌入與語(yǔ)義融合的三維點(diǎn)云場(chǎng)景分割方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010769175.4
• 申請(qǐng)日: 2020-08-03
• 公開（公告）號(hào): CN111968121B
• 公開（公告）日: 2021-12-03
• 發(fā)明（設(shè)計(jì)）人: 饒?jiān)撇?/a>;張孟涵;王藝霖;薛俊民
• 申請(qǐng)（專利權(quán)）人: 電子科技大學(xué)
• 主分類號(hào): G06T7/10
• 分類號(hào): G06T7/10;G06N3/04;G06N3/08
• 代理公司: 電子科技大學(xué)專利中心 51203
• 代理人: 周劉英

本發(fā)明公開了一種基于實(shí)例嵌入與語(yǔ)義融合的三維點(diǎn)云場(chǎng)景分割方法，屬于圖像處理技術(shù)領(lǐng)域。本發(fā)明針對(duì)基于深度學(xué)習(xí)的三維場(chǎng)景分割方法存在的技術(shù)問(wèn)題，提出了一種基于實(shí)例嵌入與語(yǔ)義融合的三維點(diǎn)云場(chǎng)景分割方法。首先進(jìn)行點(diǎn)云映射及特征擴(kuò)展，然后進(jìn)行深度神經(jīng)網(wǎng)絡(luò)模型設(shè)置及訓(xùn)練，并基于訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)實(shí)現(xiàn)三維場(chǎng)景的分割處理。同時(shí)，還引入新的CRF進(jìn)行分割結(jié)果優(yōu)化。本發(fā)明基于三維點(diǎn)云的幾何特性，所提取的各特征向量除去點(diǎn)云基本信息之外，通過(guò)三維點(diǎn)云的每個(gè)點(diǎn)的本地與鄰域?qū)傩裕瑪U(kuò)展了一系列新的屬性來(lái)描述三維點(diǎn)云的特性：散射性、線性、平面性和垂直性，提升分割性能；并基于所引入的新的CRF函數(shù)模型進(jìn)一步提升對(duì)三維點(diǎn)云場(chǎng)景的分割性能。

技術(shù)領(lǐng)域

本發(fā)明屬于圖像處理技術(shù)領(lǐng)域，具體涉及三維點(diǎn)云場(chǎng)景實(shí)例分割與語(yǔ)義分割相結(jié)合的三維場(chǎng)景分割技術(shù)。

背景技術(shù)

隨著低成本的3D傳感器(如Kinect)和光場(chǎng)攝像機(jī)的日益普及，開啟了許多基于3D的應(yīng)用，如自動(dòng)駕駛、機(jī)器人、移動(dòng)導(dǎo)航、虛擬現(xiàn)實(shí)和3D游戲。三維點(diǎn)云的自動(dòng)理解、分割識(shí)別已成為計(jì)算機(jī)圖形學(xué)重要的研究分支，當(dāng)前很多研究都在致力于該領(lǐng)域，并取得了許多成果。比如：在自動(dòng)駕駛上，三維點(diǎn)云分割技術(shù)對(duì)場(chǎng)景的處理、理解、識(shí)別等提供了很多實(shí)時(shí)輔助，幫助駕駛系統(tǒng)更快速準(zhǔn)確的規(guī)劃路徑方案及把握突發(fā)情況。

三維數(shù)據(jù)與二維圖片數(shù)據(jù)在數(shù)據(jù)采集、數(shù)據(jù)處理、幾何特征、數(shù)據(jù)特性等方面都有較大的不同。圖片數(shù)據(jù)通常表示為二維矩陣數(shù)據(jù)格式(例如RGB pixel array)，三維數(shù)據(jù)具有更高的復(fù)雜性，有多種表達(dá)形式。常見(jiàn)的三維數(shù)據(jù)分為三種：(1)三維點(diǎn)云數(shù)據(jù)，由深度傳感器或機(jī)載雷達(dá)掃描得到的深度數(shù)據(jù)；(2)三維mesh數(shù)據(jù)，由一組三角面片組成的三維數(shù)據(jù)，比較適合做數(shù)據(jù)建模與渲染；(3)三維柵格數(shù)據(jù)，將一個(gè)場(chǎng)景根據(jù)設(shè)置的分辨率大小，均勻切割成正方形柵格塊，每個(gè)柵格根據(jù)其內(nèi)部是否存在原始數(shù)據(jù)劃分為兩部分，形成規(guī)則網(wǎng)格數(shù)據(jù)。

近年研究者提出基于深度學(xué)習(xí)的三維場(chǎng)景分割方法，主要有以下三種：

(1)基于視圖的方法：將三維對(duì)象投影至二維視圖集合中，對(duì)每個(gè)二維視圖集合中每個(gè)二維視圖使用傳統(tǒng)的二維卷積神經(jīng)網(wǎng)絡(luò)，最后對(duì)每個(gè)二維視圖中特征進(jìn)行聚合完成分割任務(wù)。但該方法問(wèn)題一在于如何選擇視圖集中每個(gè)視圖的角度。問(wèn)題二在于視圖集對(duì)三維模型的表達(dá)不全面，僅僅表達(dá)每個(gè)視角的數(shù)據(jù)，損失大量的位置空間數(shù)據(jù)，對(duì)三維場(chǎng)景的分割造成很大誤差，導(dǎo)致分割結(jié)果并不理想。

(2)基于三維體素的方法：將非結(jié)構(gòu)化幾何空間數(shù)據(jù)轉(zhuǎn)化為三維空間規(guī)則網(wǎng)格數(shù)據(jù)，并使用三維卷積網(wǎng)絡(luò)對(duì)該數(shù)據(jù)進(jìn)行訓(xùn)練。對(duì)于該方法，需選擇其分辨率，即采用多大尺寸的網(wǎng)格邊長(zhǎng)。若網(wǎng)格邊長(zhǎng)過(guò)大，會(huì)損失較多精度，同時(shí)造成非常低的量化噪聲錯(cuò)誤，限制分割結(jié)果的精確度，反之網(wǎng)格邊長(zhǎng)過(guò)小，會(huì)產(chǎn)生很多空白區(qū)域，造成計(jì)算資源的浪費(fèi)。且該方法的時(shí)間和空間的復(fù)雜度會(huì)隨著分辨率的增長(zhǎng)成O(n³)增長(zhǎng)。

(3)基于三維點(diǎn)云的方法：該方法主要包括兩種模式：(1)將三維點(diǎn)云映射到平面上再進(jìn)行計(jì)算，該方法將三維點(diǎn)云投影到空間坐標(biāo)軸上后使用不影響三維點(diǎn)云數(shù)據(jù)的循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，最后將各方相向上的特征進(jìn)行聚合。(2)直接使用原始三維點(diǎn)云數(shù)據(jù)，進(jìn)行端到端訓(xùn)練的三維點(diǎn)云網(wǎng)絡(luò)。該方法主要是將原始三維點(diǎn)云投射到高維中去，之后使用置換不變性對(duì)三維點(diǎn)云進(jìn)行處理，最后通過(guò)多層感知器(Multi-Layer Perceptron，MLP)將三維點(diǎn)云映射到對(duì)應(yīng)的標(biāo)簽上。

發(fā)明內(nèi)容

本發(fā)明的發(fā)明目的在于：針對(duì)上述存在的問(wèn)題，提供一種基于實(shí)例嵌入與語(yǔ)義融合的三維點(diǎn)云場(chǎng)景分割方法，從而提升分割效果。

本發(fā)明的基于實(shí)例嵌入與語(yǔ)義融合的三維點(diǎn)云場(chǎng)景分割方法包括下列步驟：

步驟1、點(diǎn)云映射及特征提取：

步驟101：將三維點(diǎn)云空間劃分為體素空間，從而得到多個(gè)體素塊；并將同一體素塊內(nèi)的所有點(diǎn)云的位置屬性的均值作為映射后的新的點(diǎn)云位置屬性；