[發明專利]一種三維人體語義分割方法、終端設備及存儲介質

有效

• 申請號: 202110707264.0
• 申請日: 2021-06-24
• 公開（公告）號: CN113378756B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 王宗躍;陳文平;陳智鵬
• 申請（專利權）人: 深圳市賽維網絡科技有限公司;集美大學
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V40/10;G06V10/26;G06V10/82;G06T3/00;G06N3/04
• 代理公司: 廈門市精誠新創知識產權代理有限公司 35218
• 代理人: 何家富

本發明涉及一種三維人體語義分割方法、終端設備及存儲介質，該方法中,首先設計一個基于空洞卷積，并行核卷積和注意力機制的人體多視圖語義分割方法，可以充分提取人體點云投影到二維的像素級特征；然后設計了一個基于稀疏卷積和場景補全的人體體素語義分割方法，稀疏卷積可以較少內存消耗，場景補全可以輔助網絡更好的分割人體不同部位；最后將基于多視圖，體素和原始人體點云的三分支語義分割方法結合到一起并通過高斯加權交叉熵損失監督，改進了傳統三維點云普遍使用單階段語義分割方法的思想。

技術領域

本發明涉及計算機視覺領域，尤其涉及一種三維人體語義分割方法、終端設備及存儲介質。

背景技術

點云語義分割是語義分割的三維形式，其使用三維點云代替二維圖像中的像素。點云可以通過多種方式獲取。第一種從光譜圖像間接生成點云，通過攝像機類似的電光系統獲取多視圖圖像，并根據攝影測量或計算機視覺理論中的原理計算三維點信息；第二種激光雷達采集點云，激光雷達利用激光能量來測量傳感器與采集對象之間的距離，雷達系統分為機載雷達掃描(ALS)，地面雷達掃描(TLS)，移動雷達掃描(MLS)和無人駕駛掃描(ULS)系統；第三種通過RGB-D傳感器獲取RGB和深度信息，深度圖中包含每個像素的3D空間位置可直接用于產生點云；第四種通過干涉性合成孔徑雷達(INSAR)采集點云，合成孔徑雷達斷層掃描法和持久性散射器干涉法可將SAR圖像原理延申到點云。

點云語義分割在各個領域有著廣泛的應用，包括城市規劃，森林遙感監控，機器人場景感知，自動駕駛等。例如通過語義分割對城市建筑物，道路，綠化等進行分割進而輔助城市規劃；通過語義分割對高大灌木，植被，河流等進行分割進而輔助森林遙感監控；通過語義分割對室內家居，障礙物進行識別輔助機器人場景感知；通過語義分割對室外車輛，斑馬線，行人進行分割輔助車輛自動駕駛。

目前主流的語義分割方法為基于點的方法。基于點的方法直接以原始點云作為網絡輸入。基于體素的方法會受到內存的嚴格限制，因此在低分辨率情況下，多個點或者多個體素可能合并為一個網格而變得難以區分。基于多視圖的方法存在遮擋，光照或者相機姿態未對準的情況，因此無法在標準3D分割基準上達到SOTA性能。當涉及本地鄰居搜索時，基于點的方法很難達到實時要求。

發明內容

為了解決上述問題，本發明提出了一種三維人體語義分割方法、終端設備及存儲介質。

具體方案如下：

一種三維人體語義分割方法，包括以下步驟：

S1：采集原始人體點云C_raw，并將其投影到多個虛擬攝像機視圖中，生成多副二維人體圖像；

S2：針對每副人體圖像計算其中每個像素的分割結果，并將多幅人體圖像中對應的各像素的分割結果進行融合后，得到人體點云中每個點的第一語義分割結果S_img；

S3：對原始人體點云進行體素化處理，得到人體點云的體素表示；通過基于稀疏卷積和子流形稀疏卷積的U-Net網絡對每個點的體素進行卷積后，將卷積結果轉換為點狀特征F_point，并將點狀特征F_point轉換為形狀先驗特征F_shape；

S4：將點狀特征F_point輸入第一全連接網絡中，并將第一全連接網絡的輸出輸入編碼器解碼器網絡中，得到語義場景補全結果S_complete；

S5：將形狀先驗特征F_shape和語義場景補全結果S_complete輸入到點-體素模塊內，點-體素模塊首先從語義場景補全結果S_complete中選擇所有非空體素的幾何中心作為新人體點云C_new，然后使用k最近鄰算法查詢原始人體點云C_raw中的最近點；