[發明專利]視覺里程計特征點提取方法、系統、電子設備和存儲介質

有效

• 申請號: 202011302507.4
• 申請日: 2020-11-19
• 公開（公告）號: CN112348855B
• 公開（公告）日: 2023-05-02
• 發明（設計）人: 胡建兵
• 申請（專利權）人: 湖南國科微電子股份有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06N3/04
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王曉坤

1.一種視覺里程計特征點提取方法，其特征在于，包括：

獲取待處理的多通道圖像，并將所述多通道圖像輸入預先訓練的CNN神經網絡中，以提取所述多通道圖像的特征點和對應的置信度信息；

判斷所述特征點的個數是否大于預設數量；

如果否，則將所述多通道圖像相鄰兩幀中提取的特征點輸入預先訓練的LSTM神經網絡中；

如果是，則按照置信度高低順序從所述特征點中選取所述預設數量的特征點，并將所述多通道圖像相鄰兩幀中選取的特征點輸入預先訓練的LSTM神經網絡中；

利用所述LSTM神經網絡根據所述多通道圖像相鄰兩幀中特征點的匹配度選取目標特征點。

2.根據權利要求1所述的視覺里程計特征點提取方法，其特征在于，所述按照置信度高低順序從所述特征點中選取所述預設數量的特征點，包括：

基于坐標位置對所述特征點進行分區，并按照置信度高低順序基于預設選取規則，從所述特征點中選取所述預設數量的目標特征點，以使所述目標特征點中包含各個分區的特征點。

3.根據權利要求2所述的視覺里程計特征點提取方法，其特征在于，所述基于坐標位置對所述特征點進行分區，包括：

基于特征點的坐標位置，將所有所述特征點分為左上區域坐標點、右上區域坐標點、左下區域坐標點和右下區域坐標點。

4.根據權利要求2所述的視覺里程計特征點提取方法，其特征在于，所述按照置信度高低順序基于預設選取規則，從所述特征點中選取所述預設數量的目標特征點，包括：

獲取各個所述分區中包含的特征點數量，根據所述特征點數量確定對應的特征點比例；

基于所述特征點比例和所述預設數量，確定各個所述分區中需提取的目標特征點數量；

按照置信度高低順序，分別從各個所述分區中選取對應所述目標特征點數量的目標特征點。

5.根據權利要求1所述的視覺里程計特征點提取方法，其特征在于，所述利用所述LSTM神經網絡根據所述多通道圖像相鄰兩幀中特征點的匹配度選取目標特征點，包括：

利用所述LSTM神經網絡，計算所述多通道圖像相鄰兩幀中每對特征點的協方差矩陣，以確定所述每對特征點的匹配度；

將所述匹配度大于預設閾值的特征點選取為所述目標特征點。

6.根據權利要求1至5任一項所述的視覺里程計特征點提取方法，其特征在于，所述CNN神經網絡以及所述LSTM神經網絡的訓練過程包括：

獲取多通道圖像樣本，并對所述多通道圖像樣本進行圖像增強處理；

利用增強處理后的圖像樣本進行訓練，得到用于提取圖像特征點和置信度信息的CNN神經網絡模型；

對所述CNN神經網絡模型提取的圖像特征點進行稀疏處理，并利用增強處理后圖像樣本的相鄰兩幀對應的圖像特征點進行訓練，得到用于進行特征點篩選的LSTM神經網絡模型。

7.一種視覺里程計特征點提取系統，其特征在于，包括：

特征提取模塊，用于獲取待處理的多通道圖像，并將所述多通道圖像輸入預先訓練的CNN神經網絡中，以提取所述多通道圖像的特征點和對應的置信度信息；

數量判斷模塊，用于判斷所述特征點的個數是否大于預設數量；

第一輸入模塊，用于如果否，則將所述多通道圖像相鄰兩幀中提取的特征點輸入預先訓練的LSTM神經網絡中；

第二輸入模塊，用于如果是，則按照置信度高低順序從所述特征點中選取所述預設數量的特征點，并將所述多通道圖像相鄰兩幀中選取的特征點輸入預先訓練的LSTM神經網絡中；

目標選取模塊，用于利用所述LSTM神經網絡根據所述多通道圖像相鄰兩幀中特征點的匹配度選取目標特征點信息。

8.根據權利要求7所述的視覺里程計特征點提取系統，其特征在于，所述第二輸入模塊，用于：基于坐標位置對所述特征點進行分區，并按照置信度高低順序基于預設選取規則，從所述特征點中選取所述預設數量的目標特征點，以使所述目標特征點中包含各個分區的特征點。