[發明專利]基于特征匹配網絡的SLAM方法、系統、設備及存儲介質

在審

• 申請號: 202210228298.6
• 申請日: 2022-03-08
• 公開（公告）號: CN114608558A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 陳宗海;朱鎮坤;戴德云;王紀凱;徐萌;林士琪;魏超
• 申請（專利權）人: 中國科學技術大學
• 主分類號: G01C21/00
• 分類號: G01C21/00;G01C21/20;G06N3/08;G06T7/73
• 代理公司: 北京凱特來知識產權代理有限公司 11260
• 代理人: 鄭立明;韓珂

1.一種基于特征匹配網絡的SLAM方法，其特征在于，包括：

利用深度學習方法，針對基于匹配任務的特征提取網絡，通過SLAM的運行模式進行訓練；

將訓練得到的基于匹配任務的特征提取網絡嵌入至SLAM系統框架中；

通過訓練得到的基于匹配任務的特征提取網絡對單目相機拍攝的圖像進行特征點的提取，并對提取的相鄰兩幀圖像的對應的特征點進行匹配，對匹配的特征點對求解相應的旋轉矩陣和平移向量，用于對車輛的定位，并通過三角化求得物體點在世界坐標系下的位置，完成建圖任務。

2.根據權利要求1所述的一種基于特征匹配網絡的SLAM方法，其特征在于，所述利用深度學習方法，基于針對匹配任務的特征提取網絡，通過SLAM的運行模式進行訓練的步驟包括：

構建基于匹配任務的特征提取網絡，并選取包含RGB圖像與對應深度圖像的訓練數據集；

對于訓練數據集中的每一幀RGB圖像，隨機利用相鄰圖像構成一個圖像匹配對；一個圖像匹配對中的兩個圖像稱為第一圖像與第二圖像；

對于每一個圖像匹配對，輸入至基于匹配任務的特征提取網絡后獲得熱圖對，記為H₁與H₂；在熱圖H₁與H₂上分別隨機選取n個關鍵點；對熱圖H₁和H₂上的關鍵點進行最近鄰匹配得到初步點匹配結果M，并按照設定比例隨機在初步點匹配結果M選取點匹配對，所選取的點匹配對集合記為M_s；

對點匹配對集合M_s中的單個點匹配對(p_i,p′_j)，其中p_i∈H₁,p′_j∈H₂,p_i＝(x_i,y_i),p′_j＝(x′_j,y′_j)，表示p_i與p′_j分別為熱圖H₁與H₂上的關鍵點，(x_i,y_i)表示關鍵點p_i在圖像坐標系下的位置坐標，(x′_j,y′_j)表示關鍵點p′_j在圖像坐標系下的位置坐標；按照第一圖像的幀數從相應深度圖像中獲取關鍵點p_i的深度然后借助訓練數據集中包含的相機的內參矩陣K，得到關鍵點p_i位置坐標(x_i,y_i)對應于第一圖像在相機坐標系下的位置點P_i的3D坐標(X_i,Y_i,Z_i)，并結合訓練數據集中的標注信息確定第一圖像與第二圖像的真實位姿，獲得位置點P_i對應的第二圖像在相機坐標系下的位置點P_j的3D坐標(X_j,Y_j,Z_j)；之后，通過相機的內參矩陣K，將位置點P_j的3D坐標(X_j,Y_j,Z_j)投影至第二圖像的圖像坐標系下得到相應的位置點p_j在圖像坐標系下的位置坐標(x_j,y_j)；

計算圖像坐標系下的位置坐標(x_j,y_j)與(x′_j,y′_j)的距離，作為點匹配對(p_i,p′_j)的匹配誤差，綜合匹配對集合M_s中所有點匹配對的匹配誤差構建損失函數，訓練所述基于匹配任務的特征提取網絡。