[發明專利]使用運動相關數據改進視覺特征檢測的系統和方法

有效

• 申請號: 201811138861.0
• 申請日: 2018-09-28
• 公開（公告）號: CN109583290B
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 包英澤;陳明裕
• 申請（專利權）人: 百度（美國）有限責任公司
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V20/40;G06T7/73;G06T7/246
• 代理公司: 北京英賽嘉華知識產權代理有限責任公司 11204
• 代理人: 馬曉亞;王艷春

本文中描述的是使用與圖像數據相結合的運動相關數據，通過使用運動相關數據預測特征的位置來改進檢測視覺特征的速度和精度的系統和方法。在實施方式中，給定前一圖像幀中的一組特征并給定下一圖像幀，嘗試定位下一圖像幀中的相同的一組特征。在實施方式中，使用運動相關數據來計算兩個圖像幀之間的相對位姿變換，以及然后可變換特征的圖像位置以獲得它們在下一幀中的位置預測。這樣的過程大大減少了下一圖像幀中特征的搜索空間，從而加速和改進了特征檢測。

相關申請的交叉引用

本申請根據35USC§119(e)要求于2017年9月28日提交的、題為“使用運動相關數據改進視覺特征檢測的系統和方法”的第62/564,864號(案卷號：28888-2158P)美國臨時專利申請的優先權權益，其將Yingze Bao和Mingyu Chen列為發明人。上述專利文獻通過引用以其整體并入本文。

技術領域

本公開總體涉及用于改進圖像處理的系統和方法，該系統和方法對機器人或自主裝置非常有用，有助于此類裝置的定位和地圖創建。

背景技術

機器人系統和自主系統的興起已導致需要這種系統能夠在現實世界中找到它們的位置。當系統不知道它的位置，對它操作的區域沒有進行地圖創建，或者兩者都沒有時，該問題相當復雜。為了解決這個問題，開發了被稱作為同步定位和地圖創建(SLAM)的過程集。SLAM努力將移動系統放置在未知環境中的未知位置中，逐漸地創建其環境的地圖，并同時確定其在地圖內的位置。

對這種系統的地圖創建和定位功能非常重要的一個方面是檢測通過該系統捕獲的圖像中的特征。例如，在視覺SLAM中使用了視覺圖像特征來關聯連續的圖像幀。給定前一幀中的一組特征，好的視覺特征檢測方法試圖識別下一幀中相同的視覺特征。由于其性質，視覺特征檢測必須使用圖像來進行。為了加速該過程，先前的嘗試主要集中在基于圖像的改進上。例如，他們可集中在光流或增強的特征檢測，諸如尺度不變特征變換(SIFT)、加速魯棒特征(SURF)、來自加速段測試的特征(FAST)或高斯差分(DoG)。然而，雖然這些方法有助于識別特征點，但是仍然存在速度、效率和精度的問題。

因此，需要的是有助于改進圖像特征跟蹤的系統和方法。

發明內容

根據本申請的一方面，提供了非暫時性計算機可讀介質或媒介，包括一個或多個指令序列，所述一個或多個指令序列在由一個或多個處理器執行時，致使使用移動系統的運動相關數據進行視覺特征檢測的步驟，所述步驟包括：

從在捕獲前一圖像幀之時或之后到捕獲當前圖像幀之前或之時的時間周期中，接收所述移動系統的運動相關數據；

使用所述運動相關數據中的至少一些來確定用于在所述時間周期的至少一部分期間所述移動系統的運動的旋轉；

對于來自所述前一圖像幀中的一組先前特征的每個先前特征：

給定來自所述前一圖像幀中的一組先前特征的所述前一圖像幀中的先前特征、以及所述旋轉，確定在所述當前圖像幀中所述先前特征的預測位置和角度；

至少使用所述先前特征的預測位置，檢測所述當前圖像幀中一個或多個類似特征；

對所述當前圖像幀中的所檢測到的類似特征中的至少一些執行子像素細化；

在子像素細化之后，丟棄其角分數低于角分數閾值的每個檢測到的類似特征，以獲得所述當前圖像幀中的一組剩余特征；以及

使用所述先前特征中的至少一些和所述剩余特征中的至少一些來更新所述移動系統的位置和方位。

根據本申請的另一方面，提供了用于使用移動系統的運動相關數據進行視覺特征檢測的處理器實施的方法，所述方法包括：

從在捕獲前一圖像幀之時或之后到捕獲當前圖像幀之前或之時的時間周期中，接收所述移動系統的運動相關數據；