[發明專利]一種基于語義誤差圖像的視覺定位方法及裝置

有效

• 申請號: 202011199775.8
• 申請日: 2020-11-02
• 公開（公告）號: CN112102411B
• 公開（公告）日: 2021-02-12
• 發明（設計）人: 蔣杰;辛星;康來;鄒銀;方玉杰;魏迎梅;謝毓湘
• 申請（專利權）人: 中國人民解放軍國防科技大學
• 主分類號: G06T7/73
• 分類號: G06T7/73
• 代理公司: 北京風雅頌專利代理有限公司 11403
• 代理人: 曾志鵬

本說明書一個或多個實施例提供一種基于語義誤差圖像的視覺定位方法及裝置，包括對目標圖像進行特征提取，將提取出的各特征點與構建的三維場景模型的各三維點進行特征匹配，得到至少一個匹配對；對目標圖像進行語義分割處理，得到目標圖像的二維語義圖像，根據二維語義圖像的各像素的語義信息，確定各匹配對的語義信息；根據各匹配對，構建包括至少一個假設位姿的假設位姿池；對于每個假設位姿，構建重投影誤差圖像和語義誤差圖像；根據每個重投影誤差圖像和語義誤差圖像，確定出重投影誤差最小且語義誤差最小的假設位姿作為位姿估計。通過利用語義誤差構成的語義誤差圖像進行最佳位姿的篩選，即使場景發生較大的變化，也能夠達到良好的定位效果。

技術領域

本說明書一個或多個實施例涉及圖像處理技術領域，尤其涉及一種基于語義誤差圖像的視覺定位方法及裝置。

背景技術

視覺定位是根據圖像、三維點云等數據獲取目標周圍的信息，從而得到目標的空間位置及方向，即得到目標的位姿估計，在機器人定位導航、自動駕駛車輛導航、增強現實、三維重建等領域得到了廣泛應用。

目前的視覺定位方法一般分為以下三種：一種是基于三維結構的定位方法，在場景環境變化大、場景中存在大量重復結構、場景的弱紋理、無紋理結構、強光照變化、運動模糊、強視點變化等情況下，該方法的定位精度會大大下降，甚至可能失敗；第二種是基于圖像的定位方法，其主要是通過從圖像數據庫中檢索到的與目標圖像最相似的圖片進行位姿估計，定位精度不高；第三種是基于學習模型的定位方法，預先學習訓練模型，利用模型進行位姿估計，該方法難以處理較大的場景，且每個場景都需要構建模型，不具有通用性。由于上述方法都存在圖像相似度檢索，在實際應用中，光線、季節等變化因素都會對場景造成很大影響，圖像之間的結構重疊會大大減少，導致定位效果下降。

發明內容

有鑒于此，本說明書一個或多個實施例的目的在于提出一種基于語義誤差圖像的視覺定位方法及裝置，在場景變化較大的情況下具有較高的定位精度。

基于上述目的，本說明書一個或多個實施例提供了一種基于語義誤差圖像的視覺定位方法，包括：

對目標圖像進行特征提取，將提取出的各特征點與構建的三維場景模型的各三維點進行特征匹配，得到至少一個匹配對，每個匹配對為特征匹配的所述目標圖像的像素點與所述三維場景模型的三維點；

對所述目標圖像進行語義分割處理，得到所述目標圖像的二維語義圖像，所述二維語義圖像的每個像素點具有對應的語義信息，根據所述二維語義圖像的各像素的語義信息，確定各匹配對的語義信息；

根據至少一個匹配對，構建包括至少一個假設位姿的假設位姿池；

對于所述假設位姿池中的每個假設位姿，構建重投影誤差圖像和語義誤差圖像；所述語義誤差圖像為：由所有匹配對中的三維點構成三維語義圖像，將所述三維語義圖像按照當前假設位姿重投影得到二維圖像，將所述二維圖像的每個理論像素點的語義信息賦予所述二維語義圖像的對應像素點的語義信息后，由所述二維圖像的各理論像素點的語義信息與對應匹配的三維點的語義信息之間的語義誤差構成的圖像；

根據每個假設位姿的重投影誤差圖像和語義誤差圖像，確定出重投影誤差最小且語義誤差最小的假設位姿作為位姿估計。

可選的，構建所述假設位姿池的方法是：

從所有匹配對中隨機選取四個匹配對，根據PNP算法和選取出的四個匹配對，計算得到一個假設位姿，由所有匹配對的隨機組合所計算得到的所有假設位姿，構成所述假設位姿池。

可選的，所述假設位姿的計算方法為：

（5）

其中，R為旋轉矩陣，t為平移矩陣。

可選的，所述根據每個假設位姿的重投影誤差圖像和語義誤差圖像，選取出重投影誤差最小且語義誤差最小的假設位姿作為位姿估計包括：