[發(fā)明專(zhuān)利]三維全卷積網(wǎng)絡(luò)實(shí)現(xiàn)方法、設(shè)備及電子設(shè)備

有效

• 申請(qǐng)?zhí)枺?/td>: 201611260656.2
• 申請(qǐng)日: 2016-12-30
• 公開(kāi)（公告）號(hào): CN108268879B
• 公開(kāi)（公告）日: 2020-10-02
• 發(fā)明（設(shè)計(jì)）人: 殷鵬
• 申請(qǐng)（專(zhuān)利權(quán)）人: 法法汽車(chē)（中國(guó)）有限公司
• 主分類(lèi)號(hào): G06K9/62
• 分類(lèi)號(hào): G06K9/62
• 代理公司: 北京潤(rùn)平知識(shí)產(chǎn)權(quán)代理有限公司 11283
• 代理人: 羅攀;肖冰濱

本發(fā)明實(shí)施例提供一種三維全卷積網(wǎng)絡(luò)實(shí)現(xiàn)方法、三維全卷積網(wǎng)絡(luò)實(shí)現(xiàn)設(shè)備及電子設(shè)備，該方法包括：接收初始點(diǎn)云信息，該初始點(diǎn)云信息采用樹(shù)狀存儲(chǔ)結(jié)構(gòu)；以及對(duì)該初始點(diǎn)云信息進(jìn)行通過(guò)所述三維全卷積網(wǎng)絡(luò)的多層卷積及全卷積運(yùn)算，以得到含有若干類(lèi)類(lèi)型信息的反體積像素預(yù)測(cè)信息。由于3D環(huán)境中包含豐富的集合特性信息，傳統(tǒng)的基于視覺(jué)的解決方法無(wú)法有效的對(duì)3D場(chǎng)景進(jìn)行實(shí)時(shí)分析，本發(fā)明實(shí)施例提出一種基于樹(shù)型結(jié)構(gòu)樹(shù)的3D卷積方案，可完成對(duì)與3D點(diǎn)云環(huán)境的語(yǔ)義分類(lèi)，提高對(duì)于3D環(huán)境的理解。

技術(shù)領(lǐng)域

本發(fā)明涉及計(jì)算機(jī)領(lǐng)域，具體地，涉及一種三維全卷積網(wǎng)絡(luò)實(shí)現(xiàn)方法、三維全卷積網(wǎng)絡(luò)實(shí)現(xiàn)設(shè)備及電子設(shè)備。

背景技術(shù)

近幾年來(lái)，隨著深度學(xué)習(xí)的不斷發(fā)展，圖像領(lǐng)域中的目標(biāo)檢測(cè)、目標(biāo)識(shí)別、場(chǎng)景分割、場(chǎng)景理解等問(wèn)題上已經(jīng)取得了巨大的突破，但是針對(duì)于目前的深度學(xué)習(xí)框架基本都是基于2D信息，針對(duì)于3D數(shù)據(jù)(基于深度信息的3D數(shù)據(jù)或者基于激光點(diǎn)云的3D信息)的研究工作還比較少，其中一種比較關(guān)鍵的問(wèn)題是針對(duì)于3D數(shù)據(jù)的卷積操作的計(jì)算復(fù)雜度要遠(yuǎn)遠(yuǎn)大于2D數(shù)據(jù)的卷積操作。

以ImageNet為例，如果在第一層卷積網(wǎng)絡(luò)的輸入圖片的規(guī)格為244×244×3(3通道RGB)，輸出為96×7×7(96個(gè)濾波器，7x7的卷積核)，則其所需要的操作數(shù)為96×(224/2)×(224/2)；對(duì)于同樣邊大小的三維數(shù)據(jù)224×224×224×3(每個(gè)點(diǎn)三個(gè)通道RGB)，輸出為96×7×7×7，則其所需要的操作為96×(224/2)×(224/2)×(224/2)，是二維空間卷積計(jì)算的112倍。對(duì)于ImageNet的Model C模型，二維卷積網(wǎng)絡(luò)總共所需要的操作約為5.3x10¹⁰次計(jì)算，三維卷積所需要的計(jì)算約為6.1x10¹²。但是針對(duì)于無(wú)人車(chē)環(huán)境感知的3D點(diǎn)云數(shù)據(jù)，取50m x50m x10m的三維空間，柵格分辨率取0.1m，則對(duì)應(yīng)的數(shù)據(jù)大小為500×500×100(不考慮顏色信息)，這樣帶來(lái)的計(jì)算復(fù)雜度遠(yuǎn)不能滿(mǎn)足實(shí)時(shí)性的要求。

發(fā)明內(nèi)容

本發(fā)明實(shí)施例的目的是提供一種三維全卷積網(wǎng)絡(luò)實(shí)現(xiàn)方法、三維全卷積網(wǎng)絡(luò)實(shí)現(xiàn)設(shè)備及電子設(shè)備，其可針對(duì)上述背景技術(shù)中所提及的一個(gè)或多個(gè)問(wèn)題，給出解決方案，實(shí)現(xiàn)云端地圖更新。

為了實(shí)現(xiàn)上述目的，本發(fā)明一實(shí)施例提供一種三維全卷積網(wǎng)絡(luò)實(shí)現(xiàn)方法，該方法包括：接收初始點(diǎn)云信息，該初始點(diǎn)云信息采用樹(shù)狀存儲(chǔ)結(jié)構(gòu)；以及對(duì)該初始點(diǎn)云信息進(jìn)行通過(guò)所述三維全卷積網(wǎng)絡(luò)的多層卷積及全卷積運(yùn)算，以得到含有若干類(lèi)類(lèi)型信息的反體積像素預(yù)測(cè)信息。

可選的，所述點(diǎn)云信息采用八叉樹(shù)存儲(chǔ)結(jié)構(gòu)。

可選的，所述對(duì)該初始點(diǎn)云信息進(jìn)行通過(guò)所述三維全卷積網(wǎng)絡(luò)的多層卷積及全卷積運(yùn)算包含：在所述初始點(diǎn)云信息內(nèi)查找非空子節(jié)點(diǎn)及其相鄰子節(jié)點(diǎn)的信息；以及對(duì)查找得到的信息進(jìn)行3D卷積核計(jì)算。

可選的，對(duì)查找得到的信息進(jìn)行3D卷積核計(jì)算包含：對(duì)查找得到的N×N×N的節(jié)點(diǎn)信息，通過(guò)以下公式計(jì)算得到卷積結(jié)果：

其中，I(m,i)表示八叉樹(shù)地圖第m層的第i個(gè)子節(jié)點(diǎn)，D(I(m,j),I(m,i))表示空間中節(jié)點(diǎn)I(m,j)與節(jié)點(diǎn)I(m,i)之間歐氏距離，S(m,i)表示以I(m,i)為中心，邊長(zhǎng)為N的立方體節(jié)點(diǎn)集合，C(m,i)表示節(jié)點(diǎn)I(m,j)所對(duì)應(yīng)的卷積計(jì)算結(jié)果，K為大小為N³的卷積核。

可選的，在對(duì)查找得到的信息進(jìn)行3D卷積核計(jì)算之后，該方法還包括：對(duì)所述卷積結(jié)果以向父節(jié)點(diǎn)回溯的方式進(jìn)行下采樣。

可選的，在所述初始點(diǎn)云信息內(nèi)查找非空子節(jié)點(diǎn)及其相鄰子節(jié)點(diǎn)的信息之前，該方法還包括：對(duì)所述初始點(diǎn)云信息按照以下公式進(jìn)行濾波處理：