[發明專利]一種基于單目視覺的定位與地圖構建方法

有效

• 申請號: 202110591607.1
• 申請日: 2021-05-28
• 公開（公告）號: CN113298904B
• 公開（公告）日: 2022-12-02
• 發明（設計）人: 齊詠生;陳培亮;劉利強;李永亭;董朝鐵
• 申請（專利權）人: 內蒙古工業大學
• 主分類號: G06T11/00
• 分類號: G06T11/00;G06V20/40;G06N3/04;G06N3/08;G06T5/00;G06T7/10;G06T7/246
• 代理公司: 北京冬瓜知識產權代理事務所(普通合伙) 11854
• 代理人: 李佳

1.一種基于單目視覺的定位與地圖構建方法，其特征在于，包括以下步驟：

(1)采用Mask R-CNN神經網絡對創建地圖的視頻幀進行處理，分割出環境中的先驗動態目標得到分割的圖像幀；

(2)利用低成本跟蹤模塊將所述分割的圖像幀定位在地圖中；

(3)將經過上述步驟處理的分割的圖像幀運用多視圖幾何模塊進行動態目標的跟蹤檢測定位；

(4)對地圖中被動態目標遮擋部分的背景進行基于時間加權濾波的背景修復；

(5)獲取上述步驟(1)-(4)所建立的地圖，當發生地圖跟蹤失敗時，自適應生成一個新的局部地圖，并在回環時將該地圖與之前所建立的地圖進行融合以實現多地圖構建線程；

所述步驟(3)中，運用多視圖幾何模塊的方法包括：

S11、先計算各地圖點從上一幀投影到當前幀像素點的深度；

S12、計算上一幀和當前幀該像素點反投影的視差角，用視差角與設定閾值進行比較，若大于閾值則認為是動態點，同時采用上一幀與當前幀像素點的重投影誤差進行判斷，若誤差大于設定閾值，則認為是動態點；

S13、將所有檢測到的動態點去除，生成一個新的分割的圖像幀進行跟蹤檢測定位；

檢測所述動態點的方法包括：

利用三角測量的方法計算上一幀的像素點x投影到當前幀像素點x'的深度z_proj，如下：

式中：—x'的反對稱矩陣，兩者之間為點乘關系；

計算x和x'的反向投影之間的視差角α；

式中：—圖中的向量，代表圖中由點x、X計算出的向量xX；—圖中的向量，代表圖中由點x’、X’計算出的向量x’X’；

判斷α角度是否大于設定閾值β，若大于β，則認為該動態點被遮擋，忽略此動態點；

其中，當為靜態點也有存在大于β的情形，因此增加如下限定條件，即先獲取當前幀像素點x'的深度z'，再計算其重投影誤差z_proj，最后比較z'與z_proj的差值Δz，

Δz＝z_proj-z' (3)

式中：z_proj—重投影誤差；z'—深度；

若Δz超過閾值τ_z，則認為像素點x'屬于動態點，否則反之；

所述步驟(4)中，所述基于時間加權濾波的背景修復的方法包括：

回溯前n個時刻的關鍵幀圖像來進行背景修復，令不同時間的關鍵幀所占的融合權重不同，越靠近當前幀的關鍵幀權重越大，則有：

式中：KFS_i—t_i時刻的關鍵幀；KFS_c—當前關鍵幀；

上述公式利用n個關鍵幀合成一個關鍵幀用于背景修復；

所述步驟(5)中，多地圖構建線程的方法包括：

S21、創建第一個地圖M₀及其局部關鍵幀數據庫KFS₀，并將其傳入到多地圖構建線程中，再由跟蹤線程、局部建圖線程和回環檢測線程在地圖M₀中進行跟蹤和建圖，在跟蹤線程沒有跟丟的前提下多地圖構建線程處于空閑狀態；

S22、第n次跟蹤線程跟丟后，跟蹤線程將創建一個新的地圖M_n及其局部關鍵幀數據庫KFS_n，并將其傳遞給多地圖構建線程中的全局地圖M和全局關鍵幀數據庫；

S23、跟蹤線程嘗試重新初始化，初始化成功后，就會通知各線程將跟蹤和建圖的任務轉移到局部地圖M_n中運行，此時多地圖構建線程會掃描新地圖的局部關鍵幀數據庫KFS_n中存儲的關鍵幀，并與之前的全局關鍵幀數據庫中存儲的關鍵幀進行匹配；

S24、遍歷之前所有的局部關鍵幀數據庫KFS₀～KFS_n-1，并用下述公式(6)計算之前所有關鍵幀與當前關鍵幀之間的最小相似性評分來查詢之前的地圖中是否有與當前關鍵幀K_c匹配的關鍵幀；

式中：S—之前所有關鍵幀與當前關鍵幀之間的最小相似性評分；

n—視覺詞匯數；

a_i—第i種特征點在全局關鍵幀數據庫中出現的次數；

b_i—第i種特征點在局部關鍵幀數據庫中出現次數；

S25、對每一個M_i∈[M₀～M_n-1]局部地圖中的關鍵幀K_j，若它與K_c有超過十五個匹配點，則讓求解器來計算它們之間的相似變換，或者對每個K_j執行隨機采樣一致性迭代，直到找到具有足夠匹配點的K_j，或者所有的候選幀都失敗；若隨機采樣一致性迭代后能夠返回一個相似變換，則可對這個相似變換進行優化，若優化之后仍有足夠的匹配點，則K_j被認為是一個回環關鍵幀，而所有在K_j及其相鄰幀中看到的地圖點都會在K_c被檢測和重投影，再利用計算出的相似變換搜索更多的匹配幀，若所有的匹配幀對應的點數超過閾值，則認為此處為回環；

S26、將檢測到回環的地圖與當前地圖進行地圖融合，并對相機位姿進行優化，最后生成新的全局地圖M'；

所述地圖融合的方法包括：

先計算出K_c與K_j的相似變換矩陣S_cw，再利用S_cw將局部地圖M_n與產生回環的地圖M_i通過回環融合連接在一起，若這兩個地圖是第一次融合，則檢索M_n的所有關鍵幀和地圖點，否則就只檢索K_c的相鄰幀及其地圖點，之后再將K_c的位姿設置為S_cw進行校正，并將檢測到的每個關鍵幀的位姿用下列方程轉換為地圖M_i坐標系下的坐標：

T_ic＝T_iw*T_wc (7)

T_corr＝T_ic*T_wc (8)

式中：T_iw—校正前檢索到的關鍵幀位姿；T_wc—校正前K_c的逆位姿；T_ic—需要校正的位姿；T_corr—在M_i坐標系中對檢索到的關鍵幀進行校正后的位姿。

2.根據權利要求1所述的基于單目視覺的定位與地圖構建方法，其特征在于，當合成后的關鍵幀有少量空缺部分未被修復的情況下，采用對合成關鍵幀的像素進行平滑濾波來修復少量未被修復的部分，其計算方法包括：

當像素位置第i₁～i₂行到第j₁～j₂列未被修復，則設置平滑閾值k，進行平滑濾波，計算公式如下：

式中：u_i,j—圖像修復前圖像第i行第j列的像素值；u'_i,j—圖像修復后圖像第i行第j列的像素值。