[發(fā)明專利]基于生成式對抗網(wǎng)絡(luò)的統(tǒng)一場景視覺定位方法

有效

• 申請?zhí)枺?/td>: 202010517260.1
• 申請日: 2020-06-09
• 公開（公告）號: CN111724443B
• 公開（公告）日: 2022-11-08
• 發(fā)明（設(shè)計）人: 高偉;韓勝;吳毅紅
• 申請（專利權(quán)）人: 中國科學(xué)院自動化研究所
• 主分類號: G06T7/73
• 分類號: G06T7/73;G06T7/80;G06T7/33;G06T7/174;G06T3/40;G06N3/04;G06N3/08
• 代理公司: 北京市恒有知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11576
• 代理人: 郭文浩;尹文會

本發(fā)明屬于視覺定位領(lǐng)域，具體涉及一種基于生成式對抗網(wǎng)絡(luò)的統(tǒng)一場景視覺定位方法、系統(tǒng)、裝置，旨在解決現(xiàn)有視覺定位方法定位精度低、魯棒性差的問題。本系統(tǒng)方法包括：獲取查詢圖像并進(jìn)行語義分割，得到語義標(biāo)簽圖；將語義標(biāo)簽圖與查詢圖像拼接并進(jìn)行翻譯；提取翻譯后的查詢圖像的全局描述子、二維局部特征，并將翻譯后的圖像的全局描述子與圖像庫中的各圖像的全局描述子進(jìn)行匹配，得到候選圖像；獲取候選圖像對應(yīng)的三維模型，將二維局部特征與三維模型中候選圖像確定范圍內(nèi)的三維點(diǎn)云進(jìn)行匹配，得到二維?三維匹配點(diǎn)對；計算查詢圖像對應(yīng)的6自由度相機(jī)位姿。本發(fā)明可獲得查詢圖像對應(yīng)的高精度相機(jī)位姿，并可實(shí)現(xiàn)長時間跨度下的魯棒視覺定位。

技術(shù)領(lǐng)域

本發(fā)明屬于視覺定位領(lǐng)域，具體涉及一種基于生成式對抗網(wǎng)絡(luò)的統(tǒng)一場景視覺定位方法、系統(tǒng)、裝置。

背景技術(shù)

視覺定位是三維空間視覺領(lǐng)域的一項(xiàng)關(guān)鍵技術(shù)，其核心目標(biāo)是在全局坐標(biāo)系下估計相機(jī)的6自由度姿態(tài)。它的主要難點(diǎn)之一是如何應(yīng)對查詢圖像和數(shù)據(jù)庫圖像在長時間跨度下的外觀變化所帶來的挑戰(zhàn)。當(dāng)前常見的視覺定位方法側(cè)重于從圖像中提取更魯棒的特征來應(yīng)對場景差異的影響。

現(xiàn)有主流的視覺定位方法主要有以下三種：

(1)基于結(jié)構(gòu)的視覺定位；

(2)基于圖像的視覺定位；

(3)基于學(xué)習(xí)的視覺定位；

其中，第(1)種方法側(cè)重于將查詢圖像上的特征點(diǎn)與三維模型中存放的所有特征點(diǎn)直接匹配，參與運(yùn)算的數(shù)據(jù)規(guī)模很大，且只考慮局部特征，很難對環(huán)境變化有良好的魯棒性；第(2)種方法可分為兩個階段，早期的方法是利用提取的全局描述子進(jìn)行檢索，然后將檢索到的最相似數(shù)據(jù)庫圖像的位姿作為查詢圖像的位姿，后來，為了提高定位精度，基于圖像的方法逐漸演變?yōu)樵谌S模型包含的圖像中搜索與查詢圖像最相似的幾張候選圖像，然后再對這些圖像中包含的特征點(diǎn)進(jìn)行匹配，利用得到的二維-三維匹配點(diǎn)對進(jìn)行位姿計算。顯然，第(1)、(2)種方法都嚴(yán)重依賴于對圖像的特征提取，而這些特征在較長的時間跨度內(nèi)變化很大。特別是在光照、天氣或季節(jié)變化很大的具有挑戰(zhàn)性的場景中應(yīng)用時，對算法的魯棒性有更高要求。第(3)種方法試圖使用端到端方法直接回歸相機(jī)姿態(tài)，但目前還無法達(dá)到與傳統(tǒng)方法同等水平的精確度。鑒于此，本發(fā)明提出了一種基于生成式對抗網(wǎng)絡(luò)的統(tǒng)一場景視覺定位方法。

發(fā)明內(nèi)容

為了解決現(xiàn)有技術(shù)中的上述問題，即為了解決現(xiàn)有的視覺定位方法在長時間跨度下由于場景變化導(dǎo)致定位精度低、魯棒性差的問題，本發(fā)明第一方面，提出了一種基于生成式對抗網(wǎng)絡(luò)的統(tǒng)一場景視覺定位方法，該方法包括：

步驟S100，獲取查詢圖像，并通過語義分割網(wǎng)絡(luò)對該查詢圖像進(jìn)行語義分割，得到語義標(biāo)簽圖；

步驟S200，將所述語義標(biāo)簽圖與所述查詢圖像拼接，并通過預(yù)訓(xùn)練的生成式對抗網(wǎng)絡(luò)的生成器進(jìn)行翻譯，將翻譯后的圖像作為第一圖像；

步驟S300，提取所述第一圖像的全局描述子、二維局部特征；將所述第一圖像的全局描述子分別與預(yù)設(shè)的圖像庫中的各圖像的全局描述子進(jìn)行匹配，得到候選圖像；所述圖像庫為查詢圖像對應(yīng)場景的圖像經(jīng)過語義分割、生成器翻譯后存儲的數(shù)據(jù)庫；

步驟S400，獲取候選圖像對應(yīng)預(yù)構(gòu)建的三維模型；將二維局部特征與所述三維模型中候選圖像確定范圍內(nèi)的三維點(diǎn)云進(jìn)行匹配，得到二維-三維匹配點(diǎn)對；

步驟S500，基于各二維-三維匹配點(diǎn)對，通過PnP-RANSAC框架計算所述查詢圖像對應(yīng)的6自由度相機(jī)位姿；

所述生成式對抗網(wǎng)絡(luò)其在訓(xùn)練的過程中采用雙向重建損失、循環(huán)一致性損失、對抗性損失進(jìn)行優(yōu)化；所述雙向重建損失包括L1損失、MS-SSIM損失。

在一些優(yōu)選的實(shí)施方式中，所述生成式對抗網(wǎng)絡(luò)其訓(xùn)練方法為：