[發明專利]一種基于深度圖的室內實時三維語義分割方法

在審

• 申請號: 202110297418.3
• 申請日: 2021-03-19
• 公開（公告）號: CN113139965A
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 顏成鋼;路榮豐;裘健鋆;朱尊杰;孫垚棋;張繼勇;張勇東
• 申請（專利權）人: 杭州電子科技大學
• 主分類號: G06T7/10
• 分類號: G06T7/10;G06T17/00;G06N3/04;G06N3/08
• 代理公司: 杭州君度專利代理事務所(特殊普通合伙) 33240
• 代理人: 朱月芬

1.一種基于深度圖的室內實時三維語義分割方法，其特征在于，包括步驟如下：

步驟(1)、基于RGB-D相機的實時稠密重建階段；

通過RGB-D相機運用三維稠密實時重建的技術，來完成實時重建，得到三維稠密的TSDF體素三維模型，為接下來的實時三維語義分割搭建好實時的三維模型；

步驟(2)、實時重建三維模型的平面檢測階段；

得到三維實時重建的模型之后，即TSDF體素三維模型，通過計算機圖形學的方法來進行平面檢測，通過實時的平面檢測，將平面部分剔除后，三維模型剩下的就是各個獨立的三維物體的體素模型，即通過平面檢測來完成了對室內三維物體相互隔離；

步驟(3)、將實時三維重建場景中單獨的三維物體的體素模型進行三維語義檢測和分割；

將步驟(2)獲得的相互隔離的三維物體的體素模型放入到三維卷積神經網絡中，進而快速和準確地實現實時三維語義分割的任務。

2.根據權利要求1所述的一種基于深度圖的室內實時三維語義分割方法，其特征在于，步驟(1)具體操作如下:

該階段首先對RGB-D相機采集到的深度圖進行轉換和預處理，首先將深度圖的灰度值轉換為以米為單位的浮點深度值，然后依據不同需求對深度圖采用雙邊濾波處理，然后計算深度圖對應的三維點云和每個點的法向量；

接著引入相機當前輸入的頂點和法向量，以及從TSDF體素空間投影得到的模型頂點和法向量，使用ICP算法來計算兩幀之間相機的位置和姿態變化，從而得到當前相機的位置和姿態；

然后將當前的深度圖融合到已重建好的TSDF體素空間中，通過跟蹤得到的相機位置和姿態，將當前深度相機所觀測到的場景加權融合到TSDF體素空間中，使得歷史觀測幀和新的觀測幀能夠融合在一個三維模型中；

最后將TSDF體素空間中的表面投影到當前相機位置和姿態上，用于下一幀時刻相機位置和姿態的估計，通過光線投影法插值計算當前相機位置和姿態下的深度圖像，并計算對應的頂點和法向量，作為下一幀跟蹤相機姿態的輸入；

初始情況下，通過獲得的第一幀的RGB-D相機采集到的深度圖和彩色圖片直接生成TSDF模型；

該階段實時的將深度圖不斷地融合到三維TSDF模型中，實現了實時三維稠密重建，為接下來進行平面檢測和物體的語義分割提供了三維的TSDF模型。

3.根據權利要求2所述的一種基于深度圖的室內實時三維語義分割方法，其特征在于，步驟(2)具體操作如下:

在當前幀中新重建出來的三維體素模型中，隨機確定一個體素點P,并將其和其周圍其他體素構成多個平面，再計算出這些平面各自的法向量；通過比較這些平面對應的法向量之間的夾角，得到這些平面的曲率，從而判斷這些小平面是否構成一個大的平面；當兩個平面的法向量之間的夾角小于2°時，則判定這兩個小平面是在一個大平面內，同時設置并更新相應的平面ID，由此體素點開始，遍歷整個新的三維重建的模型；當同一個ID的平面的面積大于設定閾值時，則判定該平面在該三維模型中是一個能夠承載不同物體的平面，比如地面、桌面等，便不作為三維空間中具體物體的行列；將除組成承載不同物體的平面的體素外的其他的體素點，全部認為是物體的組成體素；

在遍歷所有體素完成后，將所有的承載物體的平面的體素進行刪除，此時空間中的所有物體都因為承載其的平面被刪除了，每個物體都獨自在一個三維空間中，此時再遍歷所有體素，將此時還連接在一起的體素認為是同一個物體，即通過計算機圖形學的方法將三維空間中所有的三維物體都單獨隔離開。

4.根據權利要求3所述的一種基于深度圖的室內實時三維語義分割方法，其特征在于，步驟(3)具體操作如下:

通過實施重建三維模型的平面檢測階段，能夠得到各個分離開的三維物體的體素模型，然后將不同的三維物體模型分別放入到三維卷積神經網絡中進行三維的特征提取，該三維卷積神經網絡部分采用8層三維卷積網絡，其中第一層三維卷積層的卷積核是2*2*2，步長為2，填充寬度為0，采用ReLU作為激活函數；第二層卷積核為1*1*1，步長為1，填充寬度為0，采用ReLU作為激活函數；第三層卷積核為3*3*3，步長為1，填充寬度為1，采用ReLU作為激活函數；第四層卷積核為1*1*1，步長為1，填充寬度為0，采用ReLU作為激活函數；第五層卷積核為1*1*1，步長為1，填充寬度為0，采用ReLU作為激活函數；第六層卷積核為3*3*3，步長為1，填充寬度為1，采用ReLU作為激活函數；第七層卷積核為1*1*1，步長為1，填充寬度為0，采用ReLU作為激活函數；第八層卷積核為2*2*2，步長為2，填充寬度為0，采用ReLU作為激活函數；得到三維模型的特征圖(體)，然后將該三維特征經過三層全連接層，最終輸出三維物體的物體類別；將通過三維卷積神經網絡的三維物體的特征圖(體)再通過一個全卷積層，對三維物體進行mask語義分割。