[發明專利]基于生成式對抗網絡的統一場景視覺定位方法

有效

• 申請號: 202010517260.1
• 申請日: 2020-06-09
• 公開（公告）號: CN111724443B
• 公開（公告）日: 2022-11-08
• 發明（設計）人: 高偉;韓勝;吳毅紅
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06T7/33;G06T7/174;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產權代理事務所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

1.一種基于生成式對抗網絡的統一場景視覺定位方法，其特征在于，該方法包括：

步驟S100，獲取查詢圖像，并通過語義分割網絡對該查詢圖像進行語義分割，得到語義標簽圖；

步驟S200，將所述語義標簽圖與所述查詢圖像拼接，并通過預訓練的生成式對抗網絡的生成器進行翻譯，將翻譯后的圖像作為第一圖像；

步驟S300，提取所述第一圖像的全局描述子、二維局部特征；將所述第一圖像的全局描述子分別與預設的圖像庫中的各圖像的全局描述子進行匹配，得到候選圖像；所述圖像庫為查詢圖像對應場景的圖像經過語義分割、生成器翻譯后存儲的數據庫；

步驟S400，獲取候選圖像對應預構建的三維模型；將二維局部特征與所述三維模型中候選圖像確定范圍內的三維點云進行匹配，得到二維-三維匹配點對；

步驟S500，基于各二維-三維匹配點對，通過PnP-RANSAC框架計算所述查詢圖像對應的6自由度相機位姿；

所述生成式對抗網絡其在訓練的過程中采用雙向重建損失、循環一致性損失、對抗性損失進行優化；所述雙向重建損失包括L1損失、MS-SSIM損失；

所述生成式對抗網絡其訓練方法為：

獲取訓練樣本集；所述訓練樣本集包括查詢圖像、數據庫圖像；所述數據庫圖像為查詢圖像對應場景的圖像；

對所述查詢圖像、所述數據庫圖像，分別通過語義分割網絡對其進行語義分割，并與其本身進行拼接；將拼接后的查詢圖像作為第二圖像，將拼接后的數據庫圖像作為第三圖像；

通過生成式對抗網絡的生成器將第二圖像、第三圖像分別分解為內容編碼、風格編碼；

將第二圖像的風格編碼、內容編碼與第三圖像的風格編碼、內容編碼進行重組后解碼；基于解碼后的圖像，通過生成式對抗網絡的判別器獲取其對應的損失值，并對網絡參數進行更新。

2.根據權利要求1所述的基于生成式對抗網絡的統一場景視覺定位方法，其特征在于，所述生成式對抗網絡其損失值的計算方法為：

其中，E_A是X_A域的編碼器，E_B是X_B域的編碼器，G_A是X_A域的解碼器，G_B是X_B域的解碼器，D_A是試圖區分X_A中翻譯圖像和真實圖像的判別器，D_B是試圖區分X_B中翻譯圖像和真實圖像的判別器，表示網絡在X_A域的對抗性損失值，表示網絡在X_B域的對抗性損失值，L_cyc表示將X_A、X_B域中的圖像分別翻譯到對方域，再翻譯回原域后，翻譯圖像相對于原圖像的重建損失值，表示X_A域中的圖像x_A經編碼-解碼操作后相對于原圖像的重建損失值，表示X_B域中的圖像x_B經編碼-解碼操作后相對于原圖像的重建損失值，表示X_A域中的內容編碼c_A經解碼-編碼操作后相對于原內容編碼的重建損失值，表示X_B域中的內容編碼c_B經解碼-編碼操作后相對于原內容編碼的重建損失值，表示X_A域中的風格編碼s_A經解碼-編碼操作后相對于原風格編碼的重建損失值，表示X_B域中的風格編碼s_B經解碼-編碼操作后相對于原風格編碼的重建損失值，λ_cyc、λ_x、λ_c、λ_s分別表示各損失函數對應的權重，X_A表示查詢圖像在生成器中對應的場景，X_B表示數據庫圖像在生成器中對應的場景。

3.根據權利要求1所述的基于生成式對抗網絡的統一場景視覺定位方法，其特征在于，所述二維局部特征其通過Superpoint提取。