[發(fā)明專利]一種四維點(diǎn)云自動語義分割標(biāo)注系統(tǒng)及方法

有效

• 申請?zhí)枺?/td>: 202210273992.X
• 申請日: 2022-03-20
• 公開（公告）號: CN114359562B
• 公開（公告）日: 2022-06-17
• 發(fā)明（設(shè)計）人: 呂呈剛;趙捷
• 申請（專利權(quán)）人: 寧波博登智能科技有限公司
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/774;G06V10/764;G06K9/62;G06T7/10
• 代理公司: 上海劍秋知識產(chǎn)權(quán)代理有限公司 31382
• 代理人: 徐浩俊

1.一種四維點(diǎn)云自動語義分割標(biāo)注方法，使用四維點(diǎn)云自動語義分割標(biāo)注系統(tǒng)，其特征在于，所述四維點(diǎn)云自動語義分割標(biāo)注系統(tǒng)包括：

數(shù)據(jù)上傳模塊，上傳四維點(diǎn)云數(shù)據(jù)集到控制模塊；

數(shù)據(jù)采樣模塊，對所述四維點(diǎn)云數(shù)據(jù)集采樣得到樣本集；

前端模塊，與用戶進(jìn)行交互，進(jìn)行指令獲取和數(shù)據(jù)展示；

四維點(diǎn)云自動標(biāo)注模塊，對所述四維點(diǎn)云數(shù)據(jù)集進(jìn)行預(yù)處理，訓(xùn)練及推理四維點(diǎn)云自動語義分割標(biāo)注模型；

指令發(fā)送模塊，將所述指令發(fā)送到所述四維點(diǎn)云自動標(biāo)注模塊；

結(jié)果獲取模塊，獲取所述四維點(diǎn)云自動標(biāo)注模塊關(guān)于所述四維點(diǎn)云數(shù)據(jù)集的推理結(jié)果；

控制模塊，連接所述數(shù)據(jù)上傳模塊、所述數(shù)據(jù)采樣模塊、所述前端模塊、所述指令發(fā)送模塊、所述結(jié)果獲取模塊，負(fù)責(zé)所述指令的控制和所述數(shù)據(jù)的收發(fā)，通過所述指令發(fā)送模塊和所述結(jié)果獲取模塊與所述四維點(diǎn)云自動標(biāo)注模塊進(jìn)行通信；

響應(yīng)于用戶的上傳所述四維點(diǎn)云數(shù)據(jù)集的請求，所述前端模塊發(fā)送數(shù)據(jù)給所述控制模塊；所述控制模塊控制所述數(shù)據(jù)上傳模塊完成所述數(shù)據(jù)的獲取，再控制所述數(shù)據(jù)采樣模塊完成所述樣本集的采樣；采樣完成后，所述前端模塊完成數(shù)據(jù)標(biāo)注；響應(yīng)于用戶的開始訓(xùn)練請求，所述前端模塊發(fā)送訓(xùn)練請求給所述控制模塊，所述控制模塊通過所述指令發(fā)送模塊通知所述四維點(diǎn)云自動標(biāo)注模塊開始自動訓(xùn)練并完成自動標(biāo)注；自動標(biāo)注完成后，所述控制模塊通過所述結(jié)果獲取模塊取得標(biāo)注結(jié)果，并在所述前端模塊進(jìn)行所述標(biāo)注結(jié)果展示；

所述四維點(diǎn)云自動語義分割標(biāo)注方法包括如下步驟：

S100、采樣四維點(diǎn)云數(shù)據(jù)集獲得樣本集，在所述數(shù)據(jù)采樣模塊對所述四維點(diǎn)云數(shù)據(jù)集進(jìn)行采樣，得到所述樣本集；

S200、樣本集的人工標(biāo)注，在所述前端模塊對所述樣本集進(jìn)行人工標(biāo)注；

S300、四維點(diǎn)云預(yù)處理，在所述四維點(diǎn)云自動標(biāo)注模塊對所述四維點(diǎn)云預(yù)處理；

所述步驟S300包括：

S310、數(shù)據(jù)下載，所述四維點(diǎn)云自動標(biāo)注模塊下載數(shù)據(jù)集、下載樣本集、下載標(biāo)注信息；

S320、點(diǎn)云多幀疊加，對N幀時序上連續(xù)的點(diǎn)云做疊加，進(jìn)行疊加時，對所述點(diǎn)云原時序索引進(jìn)行記錄；

S330、坐標(biāo)系轉(zhuǎn)換和圓柱體體素化，將多幀疊加后的所述點(diǎn)云的坐標(biāo)（z，y，x）從笛卡爾坐標(biāo)系轉(zhuǎn)換成極坐標(biāo)（p, r, z），隨后進(jìn)行圓柱體體素化，得到各點(diǎn)的體素中心點(diǎn)坐標(biāo)和索引；

S340、點(diǎn)云特征拼接，將所述點(diǎn)云的時序索引，所述點(diǎn)云的笛卡爾坐標(biāo)（z，y，x）和所述點(diǎn)云的極坐標(biāo)（p,r,z）信息拼接成一個大張量，作為訓(xùn)練所述四維點(diǎn)云自動語義分割標(biāo)注模型的輸入；

S400、四維點(diǎn)云自動語義分割標(biāo)注模型訓(xùn)練，在所述四維點(diǎn)云自動標(biāo)注模塊中訓(xùn)練所述四維點(diǎn)云自動語義分割標(biāo)注模型，所述四維點(diǎn)云自動語義分割標(biāo)注模型為深度神經(jīng)網(wǎng)絡(luò)模型，所述深度神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu)包括兩組多層感知機(jī)以及由稀疏卷積層構(gòu)成的編碼器和解碼器，每組多層感知機(jī)包含三個多層線性感知機(jī)，第一組中三個多層感知機(jī)的特征數(shù)量逐層遞增，第二組中三個多層感知機(jī)的特征數(shù)量逐層遞減；

所述深度神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練流程包括：

S410、所述四維點(diǎn)云輸入所述第一組多層感知機(jī)，輸出的特征映射到各體素位置得到所述圓柱體體素化的特征；

S420、所述圓柱體體素化的特征經(jīng)過所述編碼器和所述解碼器，所述解碼器輸出的結(jié)果與體素標(biāo)簽計算voxel-wise損失；

S430、所述第一組多層感知機(jī)的輸出特征另送入所述第二組多層感知機(jī)進(jìn)行后續(xù)運(yùn)算；

S440、所述解碼器輸出的結(jié)果送入所述第二組多層感知機(jī)，輸出與點(diǎn)云標(biāo)簽計算point-wise損失；

S500、模型推理以及結(jié)果后處理，在所述四維點(diǎn)云自動標(biāo)注模塊中進(jìn)行模型推理以及結(jié)果后處理；

S600、人工質(zhì)檢和微調(diào)，在所述前端模塊進(jìn)行人工質(zhì)檢和微調(diào)。

2.如權(quán)利要求1所述的四維點(diǎn)云自動語義分割標(biāo)注方法，其特征在于，所述步驟S100包括：

S110、上傳點(diǎn)云數(shù)據(jù)，在所述前端模塊，用戶創(chuàng)建并上傳所述四維點(diǎn)云數(shù)據(jù)集；

S120、劃分待標(biāo)注數(shù)據(jù)，所述數(shù)據(jù)采樣模塊自動將所述四維點(diǎn)云數(shù)據(jù)集以相同間隔采樣出小批待標(biāo)注數(shù)據(jù)作所述為樣本集。

3.如權(quán)利要求1的四維點(diǎn)云自動語義分割標(biāo)注方法，其特征在于，所述步驟S500還包括：

S510、單幀推理，用保存的四維點(diǎn)云自動語義分割標(biāo)注模型權(quán)重來對四維點(diǎn)云數(shù)據(jù)集中的每一幀點(diǎn)云做推理；

S520、推理結(jié)果后處理，對所述每一幀點(diǎn)云的推理結(jié)果進(jìn)行多數(shù)投票，得到最終的點(diǎn)云分割結(jié)果；

S530、結(jié)果上傳，所述四維點(diǎn)云自動標(biāo)注模塊將語義分割結(jié)果上傳所述控制模塊；

S540、結(jié)果可視化，所述控制模塊對語義分割結(jié)果進(jìn)行可視化操作，并在所述前端模塊將可視化的結(jié)果進(jìn)行展示。