[發明專利]模型結構、模型訓練方法、單體化方法、設備及介質

在審

• 申請號: 202210629730.2
• 申請日: 2022-06-06
• 公開（公告）號: CN114882224A
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 譚可成;劉昊;何維;劉承照;許強紅
• 申請（專利權）人: 中國電建集團中南勘測設計研究院有限公司
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/42;G06V10/80;G06V10/764;G06V10/82;G06T7/73;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長沙正奇專利事務所有限責任公司 43113
• 代理人: 盧宏;曾利平

1.一種模型的結構，其特征在于，包括：

編碼模塊，用于將PKL格式的大場景地物點云編碼成輸入向量；

骨干網絡，用于對所述輸入向量進行特征提取，得到第一特征向量；

目標生成模塊，用于對所述第一特征向量進行特征提取，得到全局特征向量，對所述全局特征向量進行特征提取，得到第二特征向量；對所述第二特征向量進行計算，得到第三特征向量，對所述第三特征向量中每個元素進行歸一化處理，得到每個候選框的置信度分數；對所述第二特征向量進行計算，得到第五特征向量，其中所述第五特征向量的每(1,6)維表示候選框的最大坐標點和最小坐標點；將候選框的最大坐標點、最小坐標點以及對應的置信度分數進行拼接得到候選框的參數向量；

特征融合模塊，用于對所述第一特征向量進行特征提取，得到第六特征向量；對所述第六特征向量與所述全局特征向量進行拼接、特征提取，得到第八特征向量；

Point-RoIAlign模塊，用于對所述候選框的參數向量和第八特征向量進行坐標映射處理，得到每個候選框對應的點云集合；

實例預測網絡，用于根據所述Point-RoIAlign模塊輸出的每個候選框的點云集合輸出單個地物的預測點云集合。

2.如權利要求1所述的模型的結構，其特征在于：所述骨干網絡采用RandLA-Net結構。

3.如權利要求1所述的模型的結構，其特征在于：所述目標生成模塊包括第一特征提取層、第二特征提取層、預測分支、回歸分支以及拼接層；

所述第一特征提取層包括1個MLP層，第一特征提取層利用1個MLP層對所述第一特征向量進行特征提取，得到全局特征向量；

所述第二特征提取層包括2個MLP層，第二特征提取層利用2個MLP層對所述全局特征向量進行特征提取，得到第二特征向量；

所述預測分支包括第一全連接層和第一激活層，通過所述第一全連接層對所述第二特征向量進行計算，得到第三特征向量，通過所述第一激活層對所述第三特征向量中每個元素進行歸一化處理，得到每個候選框的置信度分數；

所述回歸分支包括第二全連接層，通過所述第二全連接層對所述第二特征向量進行計算，得到第五特征向量；

所述拼接層，用于將候選框的最大坐標點、最小坐標點以及對應的置信度分數進行拼接得到候選框的參數向量。

4.如權利要求1所述的模型的結構，其特征在于：所述特征融合模塊包括第三特征提取層、拼接層和第四特征提取層；

所述第三特征提取層包括2個MLP層，第三特征提取層利用1個MLP層對所述第一特征向量進行特征提取，得到點特征向量，再利用另1個MLP層對所述點特征向量進行特征提取，得到第六特征向量；

所述拼接層，用于對所述第六特征向量與所述全局特征向量進行拼接，得到第七特征向量；

第四特征提取層包括2個MLP層，第四特征提取層利用2個MLP層對所述第七特征向量進行深度特征提取，得到第八特征向量。

5.如權利要求1～4中任一項所述的模型的結構，其特征在于：所述實例預測網絡包括第五特征提取層、Mask預測分支和實例輸出層；

所述第五特征提取層采用PointNet網絡結構，利用PointNet網絡結構對所述Point-RoIAlign模塊輸出的候選框的點云集合進行特征提取，得到第九特征向量；

所述Mask預測分支包括MLPs層和第二激活層，通過MLPs層和第二激活層對所述第九特征向量進行計算，得到地物的預測mask；

所述實例輸出層，用于利用預測mask剔除所述第九特征向量中的噪聲點，得到第十特征向量；通過MLPs層和第三激活層對所述第十特征向量進行計算得到每個地物的置信度分數，選擇置信度分數最高的類別作為地物的預測類別，并輸出不同類別地物的預測點云集合。