[發明專利]模型結構、模型訓練方法、單體化方法、設備及介質

在審

• 申請號: 202210629730.2
• 申請日: 2022-06-06
• 公開（公告）號: CN114882224A
• 公開（公告）日: 2022-08-09
• 發明（設計）人: 譚可成;劉昊;何維;劉承照;許強紅
• 申請（專利權）人: 中國電建集團中南勘測設計研究院有限公司
• 主分類號: G06V10/26
• 分類號: G06V10/26;G06V10/42;G06V10/80;G06V10/764;G06V10/82;G06T7/73;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長沙正奇專利事務所有限責任公司 43113
• 代理人: 盧宏;曾利平

本發明公開了一種模型結構、模型訓練方法、單體化方法、設備及介質，該模型訓練方法包括獲取大場景地物的原始三維點云數據；將所述原始三維點云數據制作成標準樣本格式文件；對所述標準樣本格式文件中的點云樣本進行預處理，生成PKL格式樣本文件；構建大場景地物單體化模型，所述大場景地物單體化模型包括編碼模塊、骨干網絡、目標生成模塊、特征融合模塊、Point?RoIAlign模塊和實例預測網絡；利用所述PKL格式樣本文件中的點云樣本對所述大場景地物單體化模型進行訓練，得到訓練好的大場景地物單體化模型。本發明通過最小化匹配代價函數來實現單個地物的預測，并通過point mask預測來實現最終的地物分割，有效消除了聚類等傳統處理手段的缺陷。

技術領域

本發明屬于計算機視覺領域，尤其涉及一種模型的結構、大場景地物單體化模型訓練方法、大場景地物單體化方法、電子設備及計算機可讀存儲介質。

背景技術

傾斜攝影的三維建模因其高效率、高真實感、低生產成本的優勢，已成為大規模大場景三維重建的重要手段，但因其數據結構的限制，傾斜攝影三維模型無法做到對單個地物的單獨選取，降低了模型數據的價值和實用性。以征地移民為例，對房屋、農田、林地等面積的統計等，現階段主要依靠大量實地調研人員通過現場走訪和測量進行實測，或者通過衛星圖像進行人工勾勒，統計數據極為困難。因此，傾斜攝影單體化技術是傾斜攝影技術亟需突破的瓶頸。

基于遙感影像進行地物識別的方式，存在房屋僅能提取屋檐頂部面積、水泥屋頂和水泥地面難以區分、樹木遮擋房頂等問題；且二維圖像只含有RGB顏色信息，在使用時無法與三維模型進行聯動。

三維點云相比二維影像具有更加豐富的空間結構信息，在傾斜攝影單體化過程中對于局部細節特征的獲取更有優勢。隨著深度學習在三維點云領域的應用興起，基于點云數據的單體化成為新的解決思路。

申請公布號為CN113822914A，名稱為傾斜攝影測量模型單體化方法、計算機裝置及產品、介質的專利文獻中，采用聚類實現三維點云大場景地物單體化，但事實上，直接將一個點云聚類成多個實例對象是一項非常困難的工作，其原因如下：

(1)一個點云通常包含大量的點，導致聚類效率極其緩慢；

(2)不同的3D場景中實例數量通常變化很大，聚類算法無法自適應調整參數；

(3)實例規模差異顯著，同類地物中有些尺寸非常小，有些體量巨大，導致聚類算法難以完整性的提取實例；

(4)每個點都只有一個非常弱的特征，即3D坐標和顏色；導致點和實例定義之間的語義差距十分巨大。

因此，該單體化方法針對大場景地物分割通常容易出現過分割或欠分割現象，其技術路線過于理想化難以實現應用。

發明內容

本發明的目的在于提供一種模型結構、模型訓練方法、單體化方法、設備及介質，以解決三維點云大場景下小目標地物難以單體化分割的問題，以及聚類算法實現大場景下地物單體化效率低、精度差的問題。

本發明是通過如下的技術方案來解決上述技術問題的：一種模型的結構，包括：

編碼模塊，用于將PKL格式的大場景地物點云編碼成輸入向量；

骨干網絡，用于對所述輸入向量進行特征提取，得到第一特征向量；

目標生成模塊，用于對所述第一特征向量進行特征提取，得到全局特征向量，對所述全局特征向量進行特征提取，得到第二特征向量；對所述第二特征向量進行計算，得到第三特征向量，對所述第三特征向量中每個元素進行歸一化處理，得到每個候選框的置信度分數；對所述第二特征向量進行計算，得到第五特征向量，其中所述第五特征向量的每(1,6)維表示候選框的最大坐標點和最小坐標點；將候選框的最大坐標點、最小坐標點以及對應的置信度分數進行拼接得到候選框的參數向量；