[發明專利]使用運動相關數據改進視覺特征檢測的系統和方法

有效

• 申請號: 201811138861.0
• 申請日: 2018-09-28
• 公開（公告）號: CN109583290B
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 包英澤;陳明裕
• 申請（專利權）人: 百度（美國）有限責任公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06T7/73;G06T7/246
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 馬曉亞;王艷春

1.非暫時性計算機可讀介質或媒介，包括一個或多個指令序列，所述一個或多個指令序列在由一個或多個處理器執行時，致使使用移動系統的運動相關數據進行視覺特征檢測的步驟，所述步驟包括：

從在捕獲前一圖像幀之時或之后到捕獲當前圖像幀之前或之時的時間周期中，接收所述移動系統的運動相關數據；

使用所述運動相關數據中的至少一些來確定用于在所述時間周期的至少一部分期間所述移動系統的運動的旋轉；

對于來自所述前一圖像幀中的一組先前特征的每個先前特征：

給定來自所述前一圖像幀中的一組先前特征的所述前一圖像幀中的先前特征、以及所述旋轉，確定在所述當前圖像幀中所述先前特征的預測位置和角度；

至少使用所述先前特征的預測位置，檢測所述當前圖像幀中一個或多個類似特征；

對所述當前圖像幀中的所檢測到的類似特征中的至少一些執行子像素細化；

在子像素細化之后，丟棄其角分數低于角分數閾值的每個檢測到的類似特征，以獲得所述當前圖像幀中的一組剩余特征；以及

使用所述先前特征中的至少一些和所述剩余特征中的至少一些來更新所述移動系統的位置和方位。

2.根據權利要求1所述的非暫時性計算機可讀介質或媒介，其中，使用所述先前特征中的至少一些和所述剩余特征中的至少一些來更新所述移動系統的位置和方位的步驟包括：

使用所述先前特征中的至少一些和所述剩余特征中的至少一些來執行一個或多個同步定位和地圖創建方法，以更新所述移動系統的位置和方位。

3.根據權利要求1所述的非暫時性計算機可讀介質或媒介，其中，至少使用所述先前特征的預測位置，檢測所述當前圖像幀中一個或多個類似特征的步驟包括：

給定來自所述一組先前特征的先前特征和該先前特征的預測位置：

通過從所述當前圖像幀中的所述預測位置開始執行光流搜索，以識別潛在地與所述先前特征相匹配的候選特征；

響應于用于所述當前圖像幀中的所述候選特征的光流分數高于差異閾值分數，由于所述候選特征與所述先前特征不匹配，將所述候選特征丟棄；以及

響應于用于所述當前圖像幀中的所述候選特征的光流分數未高于差異閾值分數，將所述候選特征歸類為與所述先前特征相匹配。

4.根據權利要求3所述的非暫時性計算機可讀介質或媒介，其中，響應于用于所述當前圖像幀中的所述候選特征的光流分數高于差異閾值分數的步驟還包括：

響應于確定繼續搜索候選特征：

在所述當前圖像幀中的所述先前特征的預測位置的局部圖像塊內的所述當前圖像幀中，搜索候選特征；

響應于用于所述當前圖像幀中的所述候選特征的光流分數高于差異閾值分數，由于所述候選特征與所述先前特征不匹配，將所述候選特征丟棄；以及

響應于用于所述當前圖像幀中的所述候選特征的光流分數未高于差異閾值分數，將所述候選特征歸類為與所述先前特征相匹配；以及

響應于確定停止搜索候選特征，認為在所述當前圖像幀中未發現與所述先前特征相匹配的特征。

5.根據權利要求1所述的非暫時性計算機可讀介質或媒介，其中，特征包括在圖像幀中的位置以及描述子，以及，其中，檢測所述當前圖像幀中一個或多個類似特征的步驟包括：

給定來自所述一組先前特征的先前特征和該先前特征的預測位置：

識別所預測的特征的位置的局部鄰域內的、具有超過閾值的興趣點分數或角點分數的一組候選特征點；

對來自所述一組候選特征點的每個候選特征提取特征描述子；

至少基于特征描述子與所述先前特征的比較，從所述一組候選特征點中選取最佳匹配的特征；以及

利用所述最佳匹配的特征的實際位置來更新所預測的特征的位置。

6.根據權利要求5所述的非暫時性計算機可讀介質或媒介，所述步驟還包括以下步驟：

響應于沒有最佳匹配的特征，丟棄所述先前特征。

7.根據權利要求1所述的非暫時性計算機可讀介質或媒介，所述步驟還包括以下步驟：

對所述當前圖像幀的一個或多個部分執行一個或多個特征識別方法，以識別一組附加特征。