[發明專利]一種基于點云的3D場景圖生成方法、系統、設備及可讀存儲介質

在審

• 申請號: 202111673556.3
• 申請日: 2021-12-31
• 公開（公告）號: CN114266863A
• 公開（公告）日: 2022-04-01
• 發明（設計）人: 魏平;危文文;王帥杰;鄭南寧
• 申請（專利權）人: 西安交通大學
• 主分類號: G06T17/00
• 分類號: G06T17/00;G06N3/04;G06N3/08
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 李鵬威

1.一種基于點云的3D場景圖生成方法，其特征在于，包括以下步驟：

S1，基于語義關系和幾何關系建立3D場景圖數據集；

S2，從3D場景圖數據集中提取基礎點云特征；

S3，基于生成的基礎點云特征進行點云目標檢測生成3D邊界框；

S4，建立場景圖生成初始網絡模型，采用基礎點云特征及對應生成的3D邊界框訓練場景圖生成初始網絡模型直至達到設定最大迭代次數，得到場景圖生成網絡模型，將室內環境的原始數據整理為標準的點云格式，利用場景圖生成網絡模型生成3D場景圖。

2.根據權利要求1所述的一種基于點云的3D場景圖生成方法，其特征在于，語義關系包括用于描述物體間的內在關系的identical、same set和part of；幾何關系包括用于描述物體間的相對位置關系的support、on、below、above、near、beside、pushedin、pulled out和pulledin。

3.根據權利要求1所述的一種基于點云的3D場景圖生成方法，其特征在于，采用最遠點采樣算法對輸入點云進行下采樣，然后使用最近鄰算法檢索以采樣點為中心的其他點云從而形成若干個點簇，最后采用一組全連接層對點簇進行特征提取，并將每個點簇提取得到的特征作為其對應的采樣點的特征。

4.根據權利要求3所述的一種基于點云的3D場景圖生成方法，其特征在于，采用距離反比加權平均的KNN來進行特征內插，其計算公式為：

其中d(·)為兩點的歐式距離，f^(j)(x)為點x的第j維特征。

5.根據權利要求1所述的一種基于點云的3D場景圖生成方法，其特征在于，采用八維向量[cls,x,y,z,l,w,h,θ]來表征基于基礎點云特征的物體的3D邊界框，其中cls為框的類別，[x,y,z]為框的中心坐標，[l,w,h]為框的長、寬、高，θ為框沿水平方向的轉角。

6.根據權利要求1所述的一種基于點云的3D場景圖生成方法，其特征在于，將基礎點云特征輸入至投票模塊，投票模塊預測每一點的坐標偏置Δx_i和特征偏置Δa_i,最后輸出g＝{g_i|g_i＝[x_i+Δx_i；a_i+Δa_i],i＝1,…,M}，一個候選框生成模塊將投票模塊的輸出進行聚類，并通過一組全連接層得到初始的Q個候選框，然后經過一個3D NMS模塊過濾掉重疊的候選框，最終得到所預測的q個邊界框。

7.根據權利要求1所述的一種基于點云的3D場景圖生成方法，其特征在于，以基礎點云特征和3D邊界框的幾何屬性值為輸入；對每個3D邊界框，首先查詢到所有在該邊界框內部的點，然后將這些點按照它們到邊界框中心的距離進行排序；經過排序的點以及它們對應的特征通過雙向LSTM網絡對點之間的上下文信息進行編碼，再經過一個2層的MLP網絡，即可得到最后的邊界框RoI特征。

8.一種基于點云的3D場景圖生成系統，其特征在于，包括：

數據處理模塊，用于基于語義關系和幾何關系建立3D場景圖數據集，并從3D場景圖數據集中提取基礎點云特征，基于生成的基礎點云特征進行點云目標檢測生成3D邊界框；

3D場景圖生成模塊，用于根據基礎點云特征及對應生成的3D邊界框訓練場景圖生成初始網絡模型直至達到設定最大迭代次數，得到場景圖生成網絡模型，將室內環境的原始數據整理為標準的點云格式，利用場景圖生成網絡模型生成3D場景圖。

9.一種終端設備，包括存儲器、處理器以及存儲在所述存儲器中并可在所述處理器上運行的計算機程序，其特征在于，所述處理器執行所述計算機程序時實現權利要求1至7任一項所述方法的步驟。

10.一種計算機可讀存儲介質，所述計算機可讀存儲介質存儲有計算機程序，其特征在于，所述計算機程序被處理器執行時實現權利要求1至7任一項所述方法的步驟。