[發明專利]一種圖像動態特征去除方法及裝置

在審

• 申請號: 202010915216.6
• 申請日: 2020-09-03
• 公開（公告）號: CN112037261A
• 公開（公告）日: 2020-12-04
• 發明（設計）人: 白立建;李驪
• 申請（專利權）人: 北京華捷艾米科技有限公司
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/269;G06T7/70
• 代理公司: 北京集佳知識產權代理有限公司 11227
• 代理人: 王洋

本發明提供一種圖像動態特征去除方法及裝置，通過IMU輔助計算兩幀圖像間的相機姿態變化信息，進而基于該相機姿態變化信息進行特征點的預測，從而結合跟蹤匹配的結果去除動態點。本發明能夠快速去除動態點，具有計算量小、應用場景廣、精度高、與現有的SLAM技術方案容易集成等優點。

技術領域

本發明涉及計算機視覺技術領域，更具體地說，涉及一種圖像動態特征去除方法及裝置。

背景技術

計算機視覺的技術正在快速發展，基于計算機視覺的自主感知、導航、定位等技術應用場景也正在由簡單到復雜、由靜態到動態的轉變。手機等終端上基于SLAM(Simultanenous Localization and Mapping，同步建圖和定位)技術的AR/VR(AugmentedReality/VirtualReality，增強現實和虛擬現實)應用，也需要面對在動態環境下的物體姿態跟蹤問題。

在這些復雜場景中，物體(機器、人)等相對攝像頭的運動是非剛體的，而傳統的基于剛體假設的物體跟蹤技術(基于圖像特征的)并不能有效應對。解決該問題的思路之一是借助深度學習。通過深度網絡識別可能的非靜態物體(人、車)，并通過對極幾何等方法驗證這些物體上的特征點。目前，深度網絡的計算量仍然較大，大多數情況下需要GPU等特殊計算設備支持。這會帶來功耗、成本等方面的問題。

發明內容

有鑒于此，為解決上述問題，本發明提供一種圖像動態特征去除方法及裝置，技術方案如下：

一種圖像動態特征去除方法，所述方法包括：

獲取視覺感知的不同時間下的多幀圖像；

對于所述多幀圖像中的連續兩幀圖像，基于IMU慣性測量單元計算由時間較早的第一圖像到時間較晚的第二圖像間的相機姿態變化信息；

獲取所述第一圖像上的第一特征點，并基于所述相機姿態變化信息在所述第二圖像上確定所述第一特征點對應的預測特征點；

通過跟蹤匹配在所述第二圖像上確定所述第一特征點對應的跟蹤特征點，并基于所述第一特征點對應的預測特征點和跟蹤特征點去除所述第一特征點中的動態點得到第二特征點。

優選的，所述基于IMU慣性測量單元計算由時間較早的第一圖像到時間較晚的第二圖像間的相機姿態變化信息，包括：

獲取陀螺儀數據，并將所述陀螺儀數據轉換至相機坐標系；

通過對所述相機坐標系下的陀螺儀數據進行數值積分和指數變化得到所述第一圖像與所述第二圖像間的相機旋轉矩陣；

基于所述相機旋轉矩陣計算相機單應性矩陣。

優選的，所述方法還包括：

獲取所述第二特征點對應的跟蹤特征點；

基于對極幾何假設，使用隨機采樣一致性方法處理所述第二特征點和所述第二特征點對應的跟蹤特征點，以去除所述第二特征點中的動態點得到第三特征點。

優選的，所述方法還包括：

在執行所述獲取所述第一圖像上的第一特征點的同時，生成所述第一圖像的特征點數值標簽，所述特征點數值標簽包含不同特征點的標識，同一特征點在不同圖像的特征點數值標簽中的標識相同；

在所述第一特征點/所述第二特征點的動態點去除結束后，更新所述第一圖像的特征點數值標簽；

提取所述第二圖像上除所述第二特征點/所述第三特征點對應的跟蹤特征點外其他的新特征點，并生成所述第二圖像的特征點數值標簽；

通過融合所述第二特征點/所述第三特征點對應的跟蹤特征點、以及所述新特征點，將所述第一圖像最新的特征點數值標簽、以及所述第二圖像的特征點數值標簽進行融合。