[發明專利]基于場景坐標回歸網絡的視覺重定位方法、系統、裝置

有效

• 申請號: 202110548049.0
• 申請日: 2021-05-19
• 公開（公告）號: CN113269831B
• 公開（公告）日: 2021-11-16
• 發明（設計）人: 曹志強;管培育;譚民;李忠輝;亢晉立;顧農
• 申請（專利權）人: 北京能創科技有限公司;中國科學院自動化研究所
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T3/40;G06T11/40;G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于場景坐標回歸網絡的視覺重定位方法，其特征在于，該方法包括：

步驟S100，服務機器人通過相機獲取周圍環境的原始彩色圖像；

步驟S200，基于所述原始彩色圖像，構建三個維度為H×W×1的張量，對第一個張量中(n,m,0)位置處的值用m填充，構成第一坐標圖；對第二個張量中(n,m,0)位置處的值用n填充，構成第二坐標圖；對第三個張量中(n,m,0)位置處的值用該位置與坐標原點的歐式距離進行填充，構成距離圖；其中，n＝0,1,…,H-1，m＝0,1,…,W-1，H和W分別為原始彩色圖像的高度和寬度；

步驟S300，將原始彩色圖像與構建的第一坐標圖、第二坐標圖以及距離圖拼接起來，并送入場景坐標回歸網絡的特征提取器進行特征提取，得到源特征圖；

步驟S400，通過所述場景坐標回歸網絡的特征變換器對所述源特征圖進行特征變換，得到變換后的特征圖；

步驟S500，將變換后的特征圖與源特征圖相加，作為最終的特征圖，最終的特征圖送入所述場景坐標回歸網絡的回歸器進行回歸，得到3D坐標圖和不確定性圖；所述不確定性圖的每一個元素反映了該元素在3D坐標圖中對應的3D坐標的不確定度；

步驟S600，對原始彩色圖像對應的第一坐標圖、第二坐標圖進行8倍下采樣，分別得到第三坐標圖和第四坐標圖；對第三坐標圖和第四坐標圖進行拼接，作為2D像素坐標圖；基于所述不確定性圖，對3D坐標圖和2D像素坐標圖分別進行過濾處理，得到3D坐標集合和2D像素坐標集合；

步驟S700，基于所述3D坐標集合和對應的2D像素坐標集合，通過PnP算法獲取服務機器人的位姿，從而實現服務機器人的視覺重定位。

2.根據權利要求1所述的基于場景坐標回歸網絡的視覺重定位方法，其特征在于，所述特征提取器基于八個依次連接的卷積層構建；其中，各卷積層均采用3×3的卷積核和ReLU激活函數，步長分別為(1,1)、(2,2)、(2,2)、(1,1)、(2,2)、(1,1)、(1,1)和(1,1)，輸出維度分別為H×W×64、和其中符號為向上取整符號。

3.根據權利要求1所述的基于場景坐標回歸網絡的視覺重定位方法，其特征在于，所述特征變換器包括三個卷積操作、四個維度變換操作、一個矩陣乘法操作和一個加權求和操作。

4.根據權利要求3所述的基于場景坐標回歸網絡的視覺重定位方法，其特征在于，“通過所述場景坐標回歸網絡的特征變換器對所述源特征圖進行特征變換”，其方法為：

將源特征圖經過特征變換器的第一卷積操作和第二卷積操作分別處理后得到第一關鍵特征圖K和第一查詢特征圖Q；

K和Q分別通過第一維度變換操作和第二維度變換操作得到第二關鍵特征圖K’和第二查詢特征圖Q’；

對Q’和K’進行矩陣乘法操作，得到第一動態卷積核Ker’；

Ker’通過第三維度變換操作得到第二動態卷積核Ker；

以Ker為第三卷積操作的動態卷積核，對源特征圖進行卷積操作處理，得到注意力參數矩陣A；

A經過softmax歸一化后獲得歸一化后的注意力參數矩陣A_norm；

對于源特征圖的每個空間位置(i,j)，取以(i,j)為中心的a×a大小的局部塊N_a(i，j)，并從A_norm中獲得(i,j)對應的局部注意力參數矩陣A_norm(i，j)進而將A_norm(i，j)經過第四維度變換操作得到維度為a×a的局部注意力塊P_(i，j)；其中，a為第二預設常數；

通過將N_a(i，j)與P_(i，j)進行加權求和操作，獲得(i,j)位置處的變換后的特征，所有變換后的特征構成變換后的特征圖。

5.根據權利要求1所述的基于場景坐標回歸網絡的視覺重定位方法，其特征在于，所述回歸器基于三個依次連接的卷積層構建；其中，三個依次連接的卷積層均采用1×1的卷積核，步長均為(1,1)，輸出維度分別為h×w×4096、h×w×4096、h×w×4，且前兩個卷積層采用ReLU激活函數，其中h、w分別表示源特征圖的高度和寬度，