[發(fā)明專利]一種基于深度圖的室內(nèi)實(shí)時(shí)三維語(yǔ)義分割方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110297418.3
• 申請(qǐng)日: 2021-03-19
• 公開（公告）號(hào): CN113139965A
• 公開（公告）日: 2021-07-20
• 發(fā)明（設(shè)計(jì)）人: 顏成鋼;路榮豐;裘健鋆;朱尊杰;孫垚棋;張繼勇;張勇東
• 申請(qǐng)（專利權(quán)）人: 杭州電子科技大學(xué)
• 主分類號(hào): G06T7/10
• 分類號(hào): G06T7/10;G06T17/00;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務(wù)所(特殊普通合伙) 33240
• 代理人: 朱月芬

本發(fā)明公開了一種基于深度圖的室內(nèi)實(shí)時(shí)三維語(yǔ)義分割方法。首先通過RGB?D相機(jī)運(yùn)用三維稠密實(shí)時(shí)重建的技術(shù)，來(lái)完成實(shí)時(shí)重建，得到三維稠密的TSDF體素三維模型；然后通過計(jì)算機(jī)圖形學(xué)的方法來(lái)進(jìn)行平面檢測(cè)，通過實(shí)時(shí)的平面檢測(cè)，將平面部分剔除后，三維模型剩下的就是各個(gè)獨(dú)立的三維物體的體素模型；最后獲得的相互隔離的三維物體的體素模型放入到三維卷積神經(jīng)網(wǎng)絡(luò)中，進(jìn)而快速和準(zhǔn)確地實(shí)現(xiàn)實(shí)時(shí)三維語(yǔ)義分割的任務(wù)。本發(fā)明方法分割的結(jié)果能更好的表現(xiàn)出物體的紋理信息，能夠進(jìn)一步直接使用在AR或VR場(chǎng)景中。更加的就有可解釋性，同時(shí)也大大的降低了算力，能夠?qū)崿F(xiàn)實(shí)時(shí)的語(yǔ)義分割；更加適用于大場(chǎng)景的三維語(yǔ)義分割。

技術(shù)領(lǐng)域

本發(fā)明屬于計(jì)算機(jī)視覺中的三維物體語(yǔ)義分割領(lǐng)域，具體涉及一種充分利用計(jì)算機(jī)圖形學(xué)來(lái)提高三維語(yǔ)義分割的效率和準(zhǔn)確率的一種方法，可以應(yīng)用于三維稠密重建，動(dòng)態(tài)重建，AR和VR領(lǐng)域。

背景技術(shù)

目前在三維空間中做語(yǔ)義分割，多是利用二維圖像來(lái)做語(yǔ)義分割后投影到三維空間中來(lái)完成語(yǔ)義分割，或者是在三維激光雷達(dá)獲得的點(diǎn)云圖上直接進(jìn)行三維語(yǔ)義分割，還有少部分的一些方法是通過RGB-D相機(jī)進(jìn)行三維重建，將整個(gè)稠密重建的結(jié)果直接扔到一個(gè)端到端的三維卷積神經(jīng)網(wǎng)絡(luò)中進(jìn)行語(yǔ)義分割。

其中，基于二維圖像來(lái)做語(yǔ)義分割，將二維語(yǔ)義分割結(jié)果投射到三維空間來(lái)實(shí)現(xiàn)在三維空間中的語(yǔ)義分割的方法，雖然可以憑借二維分割來(lái)實(shí)現(xiàn)簡(jiǎn)單的三維語(yǔ)義分割，但是該方法中的二維圖像自然的缺失了三維空間中的距離的維度，從原理上會(huì)導(dǎo)致三維分割精度不足的問題。同時(shí)該方法受限制于二維分割精度，二維的彩色圖像在黑暗或強(qiáng)光場(chǎng)景時(shí)，二維分割結(jié)果往往會(huì)失效，使得三維分割效果進(jìn)一步受到影響，所以使得該方法具有魯棒性低和不能充分利用三維物體深度信息的局限性。

現(xiàn)階段在無(wú)人駕駛領(lǐng)域中比較流行的方法是直接在激光雷達(dá)獲得的三維的點(diǎn)云上進(jìn)行深度學(xué)習(xí)，來(lái)完成語(yǔ)義分割的任務(wù)。該方法雖然進(jìn)一步的利用了深度信息，但是無(wú)法利用物體的顏色信息，這使得該方法對(duì)于外形較為一致，但其他信息明顯不同的物體的識(shí)別能力有明顯的不足；同時(shí)該方法用來(lái)獲得數(shù)據(jù)的激光雷達(dá)在造價(jià)上比較昂貴，并不適合于家庭市場(chǎng)上的推廣，在應(yīng)用場(chǎng)合有著一定的局限性；同時(shí)該方法中利用的點(diǎn)云數(shù)據(jù)很難將三維物體表面的紋理表現(xiàn)出來(lái)，也無(wú)法滿足三維稠密重建領(lǐng)域、AR和VR領(lǐng)域中對(duì)分割效果的要求。

近年來(lái)，也有一些方法利用現(xiàn)有的三維重建技術(shù)，將三維重建的最終結(jié)果存儲(chǔ)為體素或者三角面片等三維數(shù)據(jù)格式，再將整個(gè)三維模型作為輸入，利用三維神經(jīng)網(wǎng)絡(luò)來(lái)對(duì)整個(gè)三維模型進(jìn)行端到端的訓(xùn)練，完成三維語(yǔ)義分割的任務(wù)。該方法更進(jìn)一步的利用三維物體的顏色和深度信息，同時(shí)也具有較好的三維物體紋理。但是該方法在三維場(chǎng)景模型逐漸變大的情況下，大量使用多尺度的三維卷積神經(jīng)網(wǎng)絡(luò)導(dǎo)致計(jì)算量急劇膨脹，同時(shí)方法中大量的使用三維的RPN，也大大加大了該方法的計(jì)算量，使得該方法不能直接應(yīng)用實(shí)時(shí)的三維語(yǔ)義分割的任務(wù)中。

本專利發(fā)明了一種直接利用RGB-D采集到的信息進(jìn)行室內(nèi)實(shí)時(shí)三維語(yǔ)義分割的方法。

方案內(nèi)容

針對(duì)現(xiàn)有技術(shù)中存在的不足，本發(fā)明提供一種基于深度圖的室內(nèi)實(shí)時(shí)三維語(yǔ)義分割方法。

本發(fā)明在實(shí)時(shí)重建的過程利用計(jì)算機(jī)圖形學(xué)的方法能夠?qū)崟r(shí)地進(jìn)行平面檢測(cè)，通過對(duì)平面的檢測(cè)，我們將室內(nèi)場(chǎng)景中不同的三維物體進(jìn)行空間上的分割，然后逐個(gè)對(duì)分離的三維物體分別進(jìn)行物體識(shí)別和語(yǔ)義分割。該過程由于使用了平面檢測(cè)的方法，大大的減少了三維卷積神經(jīng)網(wǎng)絡(luò)的使用，減輕了算力，實(shí)現(xiàn)了實(shí)時(shí)語(yǔ)音室內(nèi)實(shí)時(shí)三維語(yǔ)義分割。

一種基于深度圖的室內(nèi)實(shí)時(shí)三維語(yǔ)義分割方法，包括步驟如下：

步驟(1)、基于RGB-D相機(jī)的實(shí)時(shí)稠密重建階段；

通過RGB-D相機(jī)運(yùn)用三維稠密實(shí)時(shí)重建的技術(shù)(FastFusion)，來(lái)完成實(shí)時(shí)重建，得到三維稠密的TSDF體素三維模型，為接下來(lái)的實(shí)時(shí)三維語(yǔ)義分割搭建好實(shí)時(shí)的三維模型。

步驟(2)、實(shí)時(shí)重建三維模型的平面檢測(cè)階段；