[發(fā)明專利]一種多機協(xié)同構(gòu)建三維點云地圖的方法、裝置和存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202010798203.5
• 申請日: 2020-08-07
• 公開（公告）號: CN111951397B
• 公開（公告）日: 2022-06-24
• 發(fā)明（設(shè)計）人: 張濤;李少朋;馬天云
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06T17/05
• 分類號: G06T17/05;G06T7/73;G06T3/40
• 代理公司: 北京德琦知識產(chǎn)權(quán)代理有限公司 11018
• 代理人: 吳點;鄭紅娟

本申請公開了一種多機協(xié)同構(gòu)建三維點云地圖的方法、裝置和存儲介質(zhì)，具體為獲取多個客戶端采集的深度圖像幀和RGB圖像幀，并生成待檢測關(guān)鍵幀，將位姿優(yōu)化后的待檢測關(guān)鍵幀確定為待融合關(guān)鍵幀，基于待融合關(guān)鍵幀和與待融合關(guān)鍵幀對應(yīng)的位姿關(guān)系及與待融合關(guān)鍵幀關(guān)聯(lián)的地圖點數(shù)據(jù)進行三維點云地圖融合，獲取優(yōu)化后的客戶端在采集深度圖像幀和RGB圖像幀時的位姿信息進行點云數(shù)據(jù)的轉(zhuǎn)換，生成待展示場景的三維點云地圖。本申請實施例通過服務(wù)端與多個客戶端之間進行通信，并在多個客戶端協(xié)同SLAM結(jié)束后，服務(wù)端輸出每個客戶端的七自由度相機位姿，并優(yōu)化所有客戶端的高精度相機位姿進行場景稠密重建，使重建結(jié)果可以得到進一步應(yīng)用，且提升了建圖精度。

技術(shù)領(lǐng)域

本申請涉及計算機視覺技術(shù)領(lǐng)域，尤其涉及一種多機協(xié)同構(gòu)建三維點云地圖的方法、裝置和存儲介質(zhì)。

背景技術(shù)

即時定位與建圖(Simultaneous Localization and Mapping,SLAM)是機器人的重要功能之一，隨著RGB-D相機的硬件成本的逐漸下降和普及程度的提高，基于RGB-D相機的SLAM技術(shù)也逐漸成熟。視覺SLAM是運動重建(Structure from motion，SFM)的一種實時版本，現(xiàn)有的大部分協(xié)同SLAM系統(tǒng)只能進行半稠密建圖，無法將三維點云地圖進一步應(yīng)用于機器人導(dǎo)航、AR等功能，因此將視覺SLAM和SFM起來，利用視覺SLAM輸出的高精度位姿，進行場景重建，可以進一步得到稠密三維點云地圖，從而使三維點云地圖得到進一步應(yīng)用。在很多應(yīng)用場景中，一個視覺SLAM平臺很難滿足收集場景數(shù)據(jù)和建圖的需求，因此多機器人協(xié)同SLAM的研究受到越來越多的關(guān)注。目前的多機器人協(xié)同視覺SLAM系統(tǒng)大多為集中式架構(gòu)，客戶端部署在移動機器人、無人機等設(shè)備上，計算能力有限，因此僅進行圖像特征提取和初步位姿求解等過程，服務(wù)端部署在計算能力更強的計算設(shè)備中，負責(zé)執(zhí)行位姿優(yōu)化、建圖等對計算能力要求更高的功能。

發(fā)明內(nèi)容

本申請實施例提供了一種多機協(xié)同構(gòu)建三維點云地圖的方法，克服了多機協(xié)同構(gòu)建三維點云地圖的應(yīng)用場景限制和構(gòu)圖精度較低的問題。

該方法包括：

獲取至少一個客戶端采集的深度圖像幀和RGB圖像幀，并基于所述深度圖像幀和RGB圖像幀生成待檢測關(guān)鍵幀；

對所述待檢測關(guān)鍵幀進行位姿優(yōu)化，并將位姿優(yōu)化后的所述待檢測關(guān)鍵幀確定為待融合關(guān)鍵幀，以及，基于所述待融合關(guān)鍵幀和與所述待融合關(guān)鍵幀對應(yīng)的位姿關(guān)系及與所述待融合關(guān)鍵幀關(guān)聯(lián)的地圖點數(shù)據(jù)進行三維點云地圖融合，生成融合三維點云地圖；

基于所述融合三維點云地圖對所述待檢測關(guān)鍵幀進行全局位姿優(yōu)化，并獲取優(yōu)化后的所述客戶端在采集所述深度圖像幀和所述RGB圖像幀時的位姿信息，所述位姿信息包括四元數(shù)位姿參數(shù)、三維坐標(biāo)和采集時間戳；

根據(jù)所述位姿信息將所述客戶端采集的所述深度圖像幀和所述RGB圖像幀轉(zhuǎn)換為點云數(shù)據(jù)，并基于所述采集時間戳將所述點云數(shù)據(jù)進行拼接，生成待展示場景的三維點云地圖。

可選地，在所述待檢測關(guān)鍵幀組成的待檢測關(guān)鍵幀庫中為當(dāng)前的所述待檢測關(guān)鍵幀選取具有重疊關(guān)系的所述待檢測關(guān)鍵幀作為候選關(guān)鍵幀；

將所述候選關(guān)鍵幀與當(dāng)前的所述待檢測關(guān)鍵幀進行投影匹配，并將投影匹配后滿足匹配閾值的所述候選關(guān)鍵幀作為當(dāng)前的所述待檢測關(guān)鍵幀的所述待融合關(guān)鍵幀。

可選地，計算當(dāng)前的所述待檢測關(guān)鍵幀和對應(yīng)的至少一個共視關(guān)鍵幀的相似度，并選擇數(shù)值最小的所述相似度作為預(yù)設(shè)閾值；

基于所述預(yù)設(shè)閾值，在所述待檢測關(guān)鍵幀庫中篩選出與當(dāng)前的所述待檢測關(guān)鍵幀的相似度高于預(yù)設(shè)閾值的所述待檢測關(guān)鍵幀作為所述候選關(guān)鍵幀。

可選地，在確定所述待檢測關(guān)鍵幀的相似度高于所述預(yù)設(shè)閾值后，所述方法進一步包括：