[發(fā)明專利]一種三維人體語義分割方法、終端設(shè)備及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202110707264.0
• 申請日: 2021-06-24
• 公開（公告）號: CN113378756B
• 公開（公告）日: 2022-06-14
• 發(fā)明（設(shè)計）人: 王宗躍;陳文平;陳智鵬
• 申請（專利權(quán)）人: 深圳市賽維網(wǎng)絡(luò)科技有限公司;集美大學(xué)
• 主分類號: G06V20/64
• 分類號: G06V20/64;G06V40/10;G06V10/26;G06V10/82;G06T3/00;G06N3/04
• 代理公司: 廈門市精誠新創(chuàng)知識產(chǎn)權(quán)代理有限公司 35218
• 代理人: 何家富

1.一種三維人體語義分割方法，其特征在于，包括以下步驟：

S1：采集原始人體點云C_raw，并將其投影到多個虛擬攝像機視圖中，生成多副二維人體圖像；

S2：針對每副人體圖像計算其中每個像素的分割結(jié)果，并將多幅人體圖像中對應(yīng)的各像素的分割結(jié)果進行融合后，得到人體點云中每個點的第一語義分割結(jié)果S_img；

S3：對原始人體點云進行體素化處理，得到人體點云的體素表示；通過基于稀疏卷積和子流形稀疏卷積的U-Net網(wǎng)絡(luò)對每個點的體素進行卷積后，將卷積結(jié)果轉(zhuǎn)換為點狀特征F_point，并將點狀特征F_point轉(zhuǎn)換為形狀先驗特征F_shape；

S4：將點狀特征F_point輸入第一全連接網(wǎng)絡(luò)中，并將第一全連接網(wǎng)絡(luò)的輸出輸入編碼器解碼器網(wǎng)絡(luò)中，得到語義場景補全結(jié)果S_complete；

S5：將形狀先驗特征F_shape和語義場景補全結(jié)果S_complete輸入到點-體素模塊內(nèi)，點-體素模塊首先從語義場景補全結(jié)果S_complete中選擇所有非空體素的幾何中心作為新人體點云C_new，然后使用k最近鄰算法查詢原始人體點云C_raw中的最近點；

S6：將新人體點云C_new和原始人體點云C_raw輸入圖卷積網(wǎng)絡(luò)，并將圖卷積網(wǎng)絡(luò)的輸出輸入第二全連接網(wǎng)絡(luò)后，得到每個點的第二語義分割結(jié)果S_voxel；

S7：將原始人體點云C_raw直接輸入PointNet網(wǎng)絡(luò)中，得到每個點的第三語義分割結(jié)果S_point；

S8：將第一、第二和第三語義分割結(jié)果S_img、S_voxel和S_point相加后，得到三維人體語義分割結(jié)果。

2.根據(jù)權(quán)利要求1所述的三維人體語義分割方法，其特征在于：步驟S2中針對每副人體圖像計算其中每個像素的分割結(jié)果的過程包括以下步驟：

S201：針對每副人體圖像提取其特征圖；

S202：將特征圖輸入多個并行的遵循金字塔結(jié)構(gòu)的可變核卷積模塊；

S203：將多個可變核卷積模塊的輸出通過注意力池化層進行融合；

S204：將注意力池化層融合后的結(jié)果輸入全卷積網(wǎng)絡(luò)層中，輸出人體圖像中每個像素的分割結(jié)果。

3.根據(jù)權(quán)利要求2所述的三維人體語義分割方法，其特征在于：步驟S201中通過卷積網(wǎng)絡(luò)提取每副人體圖像的特征圖。

4.根據(jù)權(quán)利要求3所述的三維人體語義分割方法，其特征在于：卷積網(wǎng)絡(luò)采用ResNet50網(wǎng)絡(luò)結(jié)果，并采用空洞卷積替換ResNet50中的普通卷積層。

5.根據(jù)權(quán)利要求1所述的三維人體語義分割方法，其特征在于：步驟S3中體素化處理采用八叉樹算法進行。

6.根據(jù)權(quán)利要求1所述的三維人體語義分割方法，其特征在于：步驟S3中將卷積結(jié)果轉(zhuǎn)換為點狀特征F_point采用最近鄰插值算法進行。

7.根據(jù)權(quán)利要求1所述的三維人體語義分割方法，其特征在于：步驟S3中將點狀特征F_point轉(zhuǎn)換為形狀先驗特征F_shape采用多層感知機進行。

8.根據(jù)權(quán)利要求1所述的三維人體語義分割方法，其特征在于：還包括S9：將第一、第二和第三語義分割結(jié)果S_img、S_voxel和S_point分別進行加權(quán)交叉熵損失計算，并通過高斯函數(shù)調(diào)整不同損失之間的比例，得到最終的分割結(jié)果。