[發明專利]一種動態場景下基于語義分割的直接法視覺定位方法

有效

• 申請號: 202010098733.9
• 申請日: 2020-02-18
• 公開（公告）號: CN111340881B
• 公開（公告）日: 2023-05-19
• 發明（設計）人: 潘樹國;盛超;高旺;譚涌;趙濤;喻國榮
• 申請（專利權）人: 東南大學
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06V10/26;G06V10/82;G06N3/09
• 代理公司: 南京經緯專利商標代理有限公司 32200
• 代理人: 朱小兵

1.一種動態場景下基于語義分割的直接法視覺定位方法，其特征在于，包括以下步驟：

步驟1、采集原始圖像，并利用深度學習中的圖像語義分割技術分割所述原始圖像中的動態物體，獲得包含動態物體像素級語義信息的語義圖像；

步驟2、在所述原始圖像中提取候選點，并根據步驟1獲取的語義圖像剔除動態區域候選點，僅保留靜態區域候選點；

步驟3、基于步驟2中保留的靜態區域候選點，結合圖像金字塔模型和步驟1獲取的語義圖像估計相機位姿；

步驟4、基于滑動窗口和步驟1獲得的語義圖像對關鍵幀位姿進行優化；

在步驟2中，在原始圖像中提取候選點，并保留靜態區域候選點，具體包含如下步驟：

步驟2.1、對于關鍵幀I_i，將其劃分成d×d的圖像塊；

步驟2.2、設定梯度閾值T，對于每一個圖像塊，選擇在該圖像塊的所有像素點中梯度最大且大于閾值T的像素點p作為預選候選點；

步驟2.3、若圖像塊中所有像素點的梯度均小于閾值T，令T′＝0.75×T，選擇在該圖像塊的所有像素點中梯度最大且大于閾值T′的像素點p作為預選候選點；

步驟2.4、設定像素間隔D，記p點上、下、左、右間隔為D的四個像素點為p₁，p₂，p₃，p₄；

步驟2.5、對于p點及其相鄰的p₁，p₂，p₃，p₄，根據語義圖像中對應位置的像素值判斷是否將p點保存為候選點：

若中，有一項為0，則認為預選候選點p處于動態區域，執行剔除操作；

若全部為1，則認為預選候選點p處于靜態區域，執行保留操作；

在步驟3中，采用金字塔模型恢復相機運動，具體包含如下步驟：

步驟3.1、對于關鍵幀I_i，以0.5的縮放因子對圖像進行縮放，分別獲得相對于I_i分辨率的圖像，將I_i與縮放后的三張圖像按照分辨率由低到高的順序構造圖像金字塔，圖像金字塔第k層圖像記為并對金字塔各層進行如步驟2所述的靜態區域候選點提取；

步驟3.2、對于后續幀I_j及其對應的語義圖像構造與步驟3.1同樣的圖像金字塔，圖像金字塔第k層的圖像和對應的語義圖像分別記為和

步驟3.3、對于中的單個候選點p，計算其投影到圖像上形成的光度誤差：

其中，p′是p在上的投影點，t_i和t_j分別是圖像I_i和I_j的曝光時間，a_i，a_j，b_i，b_j是圖像的光度傳遞函數參數，N_p是包括p點及周圍相鄰點共8個點的集合，w_p是權重因子，||.||_γ是Huber范數；

步驟3.4、對于每個候選點p，根據其在中投影點p′的位置，計算一個剔除標簽決定該點的投影殘差是否去除：

步驟3.5、將中各點的投影殘差進行累加，并剔除投影到動態區域的殘差，得到了金字塔第k層的投影殘差和：

步驟3.6、以在k-1層的相對位姿優化結果T^k-1作為本次優化的初值，利用高斯牛頓法對進行優化，可以獲得第k層的關鍵幀和第k層的后續幀之間的相對位姿T^k；

步驟3.7、對金字塔的所有層按照由上至下的順序重復步驟3.3-3.6，最終獲得關鍵幀I_i和后續幀I_j之間的相對位姿。