[發明專利]一種多相機集中式協同SLAM方法及系統

在審

• 申請號: 202010147198.1
• 申請日: 2020-03-05
• 公開（公告）號: CN111369628A
• 公開（公告）日: 2020-07-03
• 發明（設計）人: 孫賽;李驪
• 申請（專利權）人: 南京華捷艾米軟件科技有限公司;北京華捷艾米科技有限公司
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/77;G06T7/579;G06T7/246;G06T7/292;G06F16/29
• 代理公司: 暫無信息
• 代理人: 暫無信息

本發明公開了一種多相機集中式協同SLAM方法及系統，包括服務端和多個客戶端，服務端根據客戶端局部地圖及其更新信息建立、更新服務端地圖，對服務端地圖進行地圖內位置識別，并對存在重疊部分的服務端地圖進行地圖匹配、地圖合并。本發明將多個客戶端的局部地圖合并為統一的地圖，并在該地圖中同時對每個相機進行定位。本發明通過服務端合并地圖，每個客戶端能夠利用更多的場景信息，因此定位精度更高；可用于室內外環境的相機定位，可應用在手機、平板等移動客戶端，是多人增強現實應用中的核心技術，奠定了實現多人AR的基礎。

技術領域

本發明涉及同時定位與地圖構建，尤其是一種多相機集中式協同SLAM方法及系統。

背景技術

SLAM(Simultaneous Localization and Mapping，多客戶端協同同時定位與地圖構建)最早源于機器人領域，其目標是在一個未知的環境中實時重建環境的三維結構并同時對機器人自身進行定位。其主要思想是：一方面，依靠已創建的地圖信息進行自定位；另一方面，根據定位結果對地圖進行更新。視覺SLAM技術根據拍攝的視頻信息推斷出相機在未知環境中的位姿,并同時構建環境地圖,其基本原理為多視圖幾何原理。視覺SLAM的目標為同時恢復出每幀圖像對應的相機運動參數C₁...C_m，以及場景三維結構X₁...X_n。其中每個相機運動參數C_i包含了相機的位置和方向信息，通常表示為一個3×3的旋轉矩陣R_i和一個三維平移向量P_i。

隨著AR領域的火熱發展，作為AR領域核心技術之一的視覺SLAM技術也需要進行改進以滿足上層應用新的需求。例如，多人AR游戲這種新的娛樂形式，需要多個用戶同時對疊加在真實場景中的虛擬物體進行操作。因此為了滿足這種應用的需求，底層的SLAM方法需要將多個客戶端對應的多個地圖合并為一個共同的地圖，并在該地圖下同時對每個客戶端進行定位。當然，多相機協作亦可用于搜索、救援以及農業等應用，正是這些應用催生了各種協同SLAM方法。

多相機協作有望提高定位、建圖任務的魯棒性和效率，在多人增強現實應用中具有巨大潛力。SLAM正是實現協作的核心技術，它使得每個客戶端可以共同定位并構建環境地圖。然而，這個技術的關鍵挑戰在于強大的通信、高效的數據管理以及客戶端之間的有效信息共享。

發明內容

發明目的：針對上述現有技術存在的缺陷，本發明旨在提供一種能夠滿足多人AR需求的用于單目、雙目和RGB-D相機的集中式協同SLAM方法。

技術方案：一種多相機集中式協同SLAM方法，包括如下步驟：

服務端獲取各客戶端局部地圖及其更新信息；

服務端根據客戶端局部地圖及其更新信息建立、更新服務端地圖，對服務端地圖進行地圖內位置識別，并對存在重疊部分的服務端地圖進行地圖匹配、地圖合并。

進一步的，所述服務端獲取各客戶端局部地圖及其更新信息前，還包括如下步驟：

相機將拍攝的圖像序列傳輸至其所屬客戶端的視覺里程計；

視覺里程計根據圖像序列估計每幀圖像的相機位姿，并建立、更新局部地圖；

客戶端的通信模塊將局部地圖及其更新信息發送至服務端；所述更新信息包括新關鍵幀和地圖點。

為使得客戶端能夠進行長期定位，進一步的，所述視覺里程計根據圖像序列估計每幀圖像的相機位姿，并建立、更新局部地圖的方法包括：在視覺里程計根據圖像序列估計每幀圖像的相機位姿時，若某一幀圖像跟蹤丟失，則通過重定位恢復正常的跟蹤流程；