[發明專利]視覺定位特征提取和匹配方法及裝置

有效

• 申請號: 201811296148.9
• 申請日: 2018-11-01
• 公開（公告）號: CN109614859B
• 公開（公告）日: 2021-01-12
• 發明（設計）人: 周杰;鄧磊;于恒;陳寶華;吳垚垚;李健
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/32;G06K9/46
• 代理公司: 北京清亦華知識產權代理事務所(普通合伙) 11201
• 代理人: 張潤

1.一種視覺定位特征提取和匹配方法，其特征在于，包括以下步驟：

獲取車輛的外部圖像和內部圖像，并通過場景語義分析提取興趣區域，所述通過場景語義分析提取興趣區域，進一步包括：提取所述外部圖像和內部圖像中季節不變的區域，去除季節變化的區域，其中，采用深度學習語義分割的方法對所述外部圖像和內部圖像進行語義分割，以提取所述興趣區域；將所述外部圖像和內部圖像中非興趣區域的部分置為空，以降低后續計算量；

分別對所述外部圖像和所述內部圖像提取基于構造虛擬視圖的特征，所述分別對所述外部圖像和內部圖像提取基于構造虛擬視圖的特征，進一步包括：均勻掃描一個尺度、俯仰、旋轉的參數空間，且對于每個參數生成對應視角看原圖的虛擬視圖；在所有的虛擬視圖上檢測協變特征及其描述子；將所述外部圖像對應的每個虛擬視圖上的特征點結合虛擬圖像的位姿重投影回所述外部圖像，將所述內部圖像對應的每個虛擬視圖上的特征點結合虛擬圖像的位姿重投影回所述內部圖像，以得到所述外部圖像和內部圖像在各個視角中增強協變特征集合；

根據所述外部圖像和所述內部圖像區域化的聚類的增強協變特征集合進行特征匹配，以得到匹配點集合；以及

根據所述匹配點集合得到最優位姿矩陣。

2.根據權利要求1所述的視覺定位特征提取和匹配方法，其特征在于，還包括：

采集光照和/或季節不同的所述外部圖像和所述內部圖像；

對所述外部圖像和所述內部圖像進行預處理，并設定算法參數，以提供輸入信息。

3.根據權利要求1所述的視覺定位特征提取和匹配方法，其特征在于，所述根據所述匹配點集合得到最優位姿矩陣，進一步包括：

根據所述匹配點集合并采用RANSAC魯棒估計框架估計相應的位姿矩陣，并且剔除錯誤匹配，以得到所述外部圖像和所述內部圖像位姿的最終輸出。

4.一種視覺定位特征提取和匹配裝置，其特征在于，包括：

獲取模塊，用于獲取車輛的外部圖像和內部圖像，并通過場景語義分析提取興趣區域，所述獲取模塊進一步用于提取所述外部圖像和內部圖像中季節不變的區域，去除季節變化的區域，其中，采用深度學習語義分割的方法對所述外部圖像和內部圖像進行語義分割，以提取所述興趣區域，將所述外部圖像和內部圖像中非興趣區域的部分置為空，以降低后續計算量；

提取模塊，用于分別對所述外部圖像和所述內部圖像提取基于構造虛擬視圖的特征，所述提取模塊包括：掃描單元，用于均勻掃描一個尺度、俯仰、旋轉的參數空間，且對于每個參數生成對應視角看原圖的虛擬視圖；檢測單元，用于在所有的虛擬視圖上檢測協變特征及其描述子；投影單元，用于將所述外部圖像對應的每個虛擬視圖上的特征點結合虛擬圖像的位姿重投影回所述外部圖像，將所述內部圖像對應的每個虛擬視圖上的特征點結合虛擬圖像的位姿重投影回所述內部圖像，以得到所述外部圖像和內部圖像在各個視角中增強協變特征集合；

匹配模塊，用于根據所述外部圖像和所述內部圖像區域化的聚類的增強協變特征集合進行特征匹配，以得到匹配點集合；以及

優化模塊，用于根據所述匹配點集合得到最優位姿矩陣。

5.根據權利要求4所述的視覺定位特征提取和匹配裝置，其特征在于，還包括：

采集模塊，用于采集光照和/或季節不同的所述外部圖像和所述內部圖像；

處理模塊，用于對所述外部圖像和所述內部圖像進行預處理，并設定算法參數，以提供輸入信息。

6.根據權利要求5所述的視覺定位特征提取和匹配裝置，其特征在于，所述優化模塊進一步用于根據所述匹配點集合并采用RANSAC魯棒估計框架估計相應的位姿矩陣，并且剔除錯誤匹配，以得到所述外部圖像和所述內部圖像位姿的最終輸出。