[發明專利]視覺里程計特征點提取方法、系統、電子設備和存儲介質

有效

• 申請號: 202011302507.4
• 申請日: 2020-11-19
• 公開（公告）號: CN112348855B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 胡建兵
• 申請（專利權）人: 湖南國科微電子股份有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王曉坤

本申請公開了一種視覺里程計特征點提取方法、系統、設備和介質，該方法包括：獲取待處理的多通道圖像，并將多通道圖像輸入預先訓練的CNN神經網絡中，以提取多通道圖像的特征點和對應的置信度信息；判斷特征點的個數是否大于預設數量；如果否，則將多通道圖像相鄰兩幀中提取的特征點輸入預先訓練的LSTM神經網絡；如果是，則按照置信度高低順序從特征點中選取所述預設數量的特征點，并將多通道圖像相鄰兩幀中選取的特征點輸入預先訓練的LSTM神經網絡中，以根據多通道圖像相鄰兩幀中特征點的匹配度選取目標特征點。本申請無需進行多個尺度的數據提取，且LSTM神經網絡可直接完成特征點的稀疏和匹配工作，實現特征點提取的計算加速。

技術領域

本申請涉及圖像處理技術領域，更具體地說，涉及一種視覺里程計特征點提取方法、系統、一種電子設備和一種計算機可讀存儲介質。

背景技術

視覺里程計，用于根據相鄰圖像的信息粗略的估計出相機的運動，為后端提供較好的初始值。具體可通過特征點的提取和匹配，找到相鄰圖像對應點的組合，進而根據這些匹配的點對計算出相機的位姿。

在傳統的視覺里程計特征點提取方案中，一般包括以下流程：將彩色圖像使用灰度變換方法進行灰度化，對灰度化之后的圖像進行圖像亮度均衡和增強，對處理后的圖像進行多個層級的縮放操作，在縮放之后的多級圖像上進行傳統圖像特征的提取，例如sift、orb等，再對得到的圖像特征進行編碼，使用隨機采樣或梯度下降等方法進行特征點的稀疏。然而，這種方案中，由于特征點算子本身基于局部特征提取，所以需要多個層級的圖像進行算法操作，導致計算量消耗過大，且存在大量的比較操作，無法實現大規模的計算加速。

因此，如何解決上述問題是本領域技術人員需要重點關注的。

發明內容

本申請的目的在于提供一種視覺里程計特征點提取方法、系統、一種電子設備和一種計算機可讀存儲介質，實現特征點提取的計算加速。

為實現上述目的，本申請提供了一種視覺里程計特征點提取方法，包括：

獲取待處理的多通道圖像，并將所述多通道圖像輸入預先訓練的CNN神經網絡中，以提取所述多通道圖像的特征點和對應的置信度信息；

判斷所述特征點的個數是否大于預設數量；

如果否，則將所述多通道圖像相鄰兩幀中提取的特征點輸入預先訓練的LSTM神經網絡中；

如果是，則按照置信度高低順序從所述特征點中選取所述預設數量的特征點，并將所述多通道圖像相鄰兩幀中選取的特征點輸入預先訓練的LSTM神經網絡中；

利用所述LSTM神經網絡根據所述多通道圖像相鄰兩幀中特征點的匹配度選取目標特征點。

可選的，所述按照置信度高低順序從所述特征點中選取所述預設數量的特征點，包括：

基于坐標位置對所述特征點進行分區，并按照置信度高低順序基于預設選取規則，從所述特征點中選取所述預設數量的目標特征點，以使所述目標特征點中包含各個分區的特征點。

可選的，所述基于坐標位置對所述特征點進行分區，包括：

基于特征點的坐標位置，將所有所述特征點分為左上區域坐標點、右上區域坐標點、左下區域坐標點和右下區域坐標點。

可選的，所述按照置信度高低順序基于預設選取規則，從所述特征點中選取所述預設數量的目標特征點，包括：

獲取各個所述分區中包含的特征點數量，根據所述特征點數量確定對應的特征點比例；

基于所述特征點比例和所述預設數量，確定各個所述分區中需提取的目標特征點數量；

按照置信度高低順序，分別從各個所述分區中選取對應所述目標特征點數量的目標特征點。