[發明專利]一種多機協同構建三維點云地圖的方法、裝置和存儲介質

有效

• 申請號: 202010798203.5
• 申請日: 2020-08-07
• 公開（公告）號: CN111951397B
• 公開（公告）日: 2022-06-24
• 發明（設計）人: 張濤;李少朋;馬天云
• 申請（專利權）人: 清華大學
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T7/73;G06T3/40
• 代理公司: 北京德琦知識產權代理有限公司 11018
• 代理人: 吳點;鄭紅娟

1.一種多機協同構建三維點云地圖的方法，其特征在于，包括：

獲取至少一個客戶端采集的深度圖像幀和RGB圖像幀，并基于所述深度圖像幀和RGB圖像幀生成待檢測關鍵幀；

對所述待檢測關鍵幀進行位姿優化，并將位姿優化后的所述待檢測關鍵幀確定為待融合關鍵幀，以及，基于所述待融合關鍵幀和與所述待融合關鍵幀對應的位姿關系及與所述待融合關鍵幀關聯的地圖點數據進行三維點云地圖融合，生成融合三維點云地圖；

基于所述融合三維點云地圖對所述待檢測關鍵幀進行全局位姿優化，并獲取優化后的所述客戶端在采集所述深度圖像幀和所述RGB圖像幀時的位姿信息，所述位姿信息包括四元數位姿參數、三維坐標和采集時間戳；

根據所述位姿信息將所述客戶端采集的所述深度圖像幀和所述RGB圖像幀轉換為點云數據，并基于所述采集時間戳將所述點云數據進行拼接，生成待展示場景的三維點云地圖。

2.根據權利要求1所述的方法，其特征在于，所述并將位姿優化后的所述待檢測關鍵幀確定為待融合關鍵幀的步驟包括：

在所述待檢測關鍵幀組成的待檢測關鍵幀庫中為當前的所述待檢測關鍵幀選取具有重疊關系的所述待檢測關鍵幀作為候選關鍵幀；

將所述候選關鍵幀與當前的所述待檢測關鍵幀進行投影匹配，并將投影匹配后滿足匹配閾值的所述候選關鍵幀作為當前的所述待檢測關鍵幀的所述待融合關鍵幀。

3.根據權利要求2所述的方法，其特征在于，所述在所述待檢測關鍵幀組成的待檢測關鍵幀庫中為當前的所述待檢測關鍵幀選取具有重疊關系的所述待檢測關鍵幀作為候選關鍵幀的步驟包括：

計算當前的所述待檢測關鍵幀和對應的至少一個共視關鍵幀的相似度，并選擇數值最小的所述相似度作為預設閾值；

基于所述預設閾值，在所述待檢測關鍵幀庫中篩選出與當前的所述待檢測關鍵幀的相似度高于預設閾值的所述待檢測關鍵幀作為所述候選關鍵幀。

4.根據權利要求3 所述的方法，其特征在于，所述在所述待檢測關鍵幀庫中篩選出與當前的所述待檢測關鍵幀的相似度高于預設閾值的所述待檢測關鍵幀作為所述候選關鍵幀的步驟中，在確定所述待檢測關鍵幀的相似度高于所述預設閾值后，所述方法進一步包括：

判斷所述待檢測關鍵幀和對應的所述共視關鍵幀組成的集合與前一候選關鍵幀及其對應的所述共視關鍵幀組成的所述集合是否重合；

當連續重合的所述集合的數值大于預設連續閾值時，將連續重合的多個所述待檢測關鍵幀中的最后一個所述待檢測關鍵幀作為所述候選關鍵幀。

5.根據權利要求2所述的方法，其特征在于，所述在所述待檢測關鍵幀組成的待檢測關鍵幀庫中為當前的所述待檢測關鍵幀選取具有重疊關系的所述待檢測關鍵幀作為候選關鍵幀的步驟和所述將所述候選關鍵幀與當前的所述待檢測關鍵幀進行投影匹配的步驟之間，所述方法進一步包括：

通過所述候選關鍵幀對應的所述客戶端獲取與所述候選關鍵幀對應的地圖點的第一三維坐標，以及通過所述待檢測關鍵幀對應的所述客戶端獲取與所述待檢測關鍵幀對應的地圖點的第二三維坐標；

將所述候選關鍵幀的所述第一三維坐標和所述待檢測關鍵幀的所述第二三維坐標進行詞袋模型匹配，并過濾匹配失敗的所述候選關鍵幀；

迭代計算所述候選關鍵幀的位姿變換矩陣，并在迭代至最大次數時仍未生成所述候選關鍵幀的位姿變換矩陣時過濾所述候選關鍵幀。

6.根據權利要求5所述的方法，其特征在于，所述將所述候選關鍵幀與當前的所述待檢測關鍵幀進行投影匹配的步驟包括：

將所述待檢測關鍵幀的所述地圖點投影至三維空間，生成在三維空間的空間點，并將所述空間點投影至所述候選關鍵幀進行投影匹配。

7.根據權利要求1所述的方法，其特征在于，所述基于所述融合三維點云地圖對所述待檢測關鍵幀進行位姿優化的步驟包括：

計算所述待檢測關鍵幀在所述融合三維點云地圖中的重投影誤差，并基于所述重投影誤差對所述待檢測關鍵幀進行位姿優化。