[發(fā)明專利]視覺定位特征提取和匹配方法及裝置

有效

• 申請?zhí)枺?/td>: 201811296148.9
• 申請日: 2018-11-01
• 公開（公告）號: CN109614859B
• 公開（公告）日: 2021-01-12
• 發(fā)明（設(shè)計）人: 周杰;鄧磊;于恒;陳寶華;吳垚垚;李健
• 申請（專利權(quán)）人: 清華大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46
• 代理公司: 北京清亦華知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 張潤

本發(fā)明公開了一種視覺定位特征提取和匹配方法及裝置，其中，方法包括以下步驟：獲取車輛的外部圖像和內(nèi)部圖像，并通過場景語義分析提取興趣區(qū)域；分別對外部圖像和內(nèi)部圖像提取基于構(gòu)造虛擬視圖的特征；根據(jù)外部圖像和內(nèi)部圖像區(qū)域化的聚類的增強協(xié)變特征描述符進行特征匹配，以得到匹配點集合；根據(jù)匹配點集合得到最優(yōu)位姿矩陣。該方法可以有效地解決季節(jié)和光照對視覺定位系統(tǒng)的影響，有效提高特征提取和匹配的準確性和可靠性，提高用戶體驗。

技術(shù)領(lǐng)域

本發(fā)明涉及圖像處理技術(shù)領(lǐng)域，特別涉及一種視覺定位特征提取和匹配方法及裝置。

背景技術(shù)

室外車輛在自然場景的視覺定位中，可以采用車輛內(nèi)部地圖與車輛外部環(huán)境匹配定位的方法。但外部環(huán)境受季節(jié)和光照條件的變化影響較大，如道路兩側(cè)樹木的枯榮變化，清晨和正午時的光照劇烈變化等，而且這些變化造成的外部環(huán)境差異，會影響車輛內(nèi)部地圖與外部環(huán)境間的匹配效果，造成視覺定位系統(tǒng)的成功率下降，或者定位誤差變大。

相關(guān)技術(shù)中，通常采用針對場景類型對車輛外部環(huán)境提取相應(yīng)的特征點，如SIFT(Scale-invariant feature transform，旋轉(zhuǎn)不變性特征)，快速旋轉(zhuǎn)特征(ORB)等，特征構(gòu)成外部場景地圖。而后將內(nèi)部地圖與外部地圖間進行特征點匹配。然而，由于自然場景中，行道樹等構(gòu)成了車輛行進過程中可以看到的主要視野，其枯榮變化前后差異巨大，基于相關(guān)技術(shù)中的方法的難以將不同季節(jié)的內(nèi)外部地圖進行特征點匹配，而且類似挑戰(zhàn)同樣發(fā)生在光照條件劇烈變化的情況下，亟待解決。

發(fā)明內(nèi)容

本發(fā)明旨在至少在一定程度上解決相關(guān)技術(shù)中的技術(shù)問題之一。

為此，本發(fā)明的一個目的在于提出一種視覺定位特征提取和匹配方法，該方法可以有效地解決季節(jié)和光照對視覺定位系統(tǒng)的影響，簡單便捷。

本發(fā)明的另一個目的在于提出一種視覺定位特征提取和匹配裝置。

為達到上述目的，本發(fā)明一方面實施例提出了一種視覺定位特征提取和匹配方法，包括以下步驟：獲取車輛的外部圖像和內(nèi)部圖像，并通過場景語義分析提取興趣區(qū)域；分別對所述外部圖像和所述內(nèi)部圖像提取基于構(gòu)造虛擬視圖的特征；根據(jù)所述外部圖像和所述內(nèi)部圖像區(qū)域化的聚類的增強協(xié)變特征描述符進行特征匹配，以得到匹配點集合；根據(jù)所述匹配點集合得到最優(yōu)位姿矩陣。

本發(fā)明實施例的視覺定位特征提取和匹配方法，通過提取季節(jié)和光照不變特征，引導(dǎo)室外車輛進行定位，從而引導(dǎo)室外車輛進行定位，可以有效地解決季節(jié)和光照對視覺定位系統(tǒng)的影響，有效提高特征提取和匹配的準確性和可靠性，提高用戶體驗。

另外，根據(jù)本發(fā)明上述實施例的視覺定位特征提取和匹配方法還可以具有以下附加的技術(shù)特征：

進一步地，在本發(fā)明的一個實施例中，還包括：采集光照和/或季節(jié)不同的所述外部圖像和所述內(nèi)部圖像；對所述外部圖像和所述內(nèi)部圖像進行預(yù)處理，并設(shè)定算法參數(shù)，以提供輸入信息。

進一步地，在本發(fā)明的一個實施例中，所述通過場景語義分析提取興趣區(qū)域，進一步包括：提取圖中季節(jié)不變的區(qū)域，去除季節(jié)變化的區(qū)域，其中，采用深度學(xué)習(xí)語義分割的方法對圖像進行語義分割，以提取所述興趣區(qū)域。

進一步地，在本發(fā)明的一個實施例中，所述分別對所述外部圖像和內(nèi)部圖像提取基于構(gòu)造虛擬視圖的特征，進一步包括：均勻掃描一個尺度、俯仰、旋轉(zhuǎn)的參數(shù)空間，且對于每個參數(shù)生成對應(yīng)視角看原圖的虛擬視圖；在所有的虛擬視圖上檢測協(xié)變特征及其描述子；將同一張圖對應(yīng)的每個虛擬視圖上的特征點結(jié)合虛擬圖像的位姿重投影回原始圖中。

進一步地，在本發(fā)明的一個實施例中，所述根據(jù)所述匹配點集合得到最優(yōu)位姿矩陣，進一步包括：根據(jù)所述匹配點集合并采用RANSAC魯棒估計框架估計相應(yīng)的位姿矩陣，并且剔除錯誤匹配，以得到所述外部圖像和所述內(nèi)部圖像相對位置和姿態(tài)的最終輸出。