[發(fā)明專利]軌跡實例級分割和多運動視覺里程測量方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202110990115.X
• 申請日: 2021-08-26
• 公開（公告）號: CN113705431B
• 公開（公告）日: 2023-08-08
• 發(fā)明（設計）人: 周風余;顧潘龍;延曉輝;尹磊;萬方;夏英翔
• 申請（專利權）人: 山東大學
• 主分類號: G06V40/20
• 分類號: G06V40/20;G06V10/26;G06V10/762;G06V10/764;G06V10/82;G06V10/62;G06N3/045;G06N3/08;G06T7/215;G06T7/246;G06T17/05
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 張慶騫

本發(fā)明屬于機器人領域，提供了一種軌跡實例級分割和多運動視覺里程測量方法及系統(tǒng)。其中，該方法包括獲取機器人周圍環(huán)境圖像序列及每幀圖像的特征點；基于圖像特征點的位置變化構建出特征點軌跡特征；基于特征點軌跡特征對軌跡進行動靜態(tài)分割，為每個動態(tài)軌跡額外輸出一個實例編碼，進而在動態(tài)軌跡中對不同運動物體進行分離；將實例分割結果與動態(tài)實例地圖進行匹配，并剔除實例分割結果中的異常值，進而計算出運動實例的姿態(tài)及相機里程計。

技術領域

本發(fā)明屬于機器人領域，尤其涉及一種軌跡實例級分割和多運動視覺里程測量方法及系統(tǒng)。

背景技術

本部分的陳述僅僅是提供了與本發(fā)明相關的背景技術信息，不必然構成在先技術。

SLAM(simultaneous?localization?and?mapping)是機器人在未知環(huán)境感知自身運動、建立環(huán)境模型的關鍵技術。為應對環(huán)境的動態(tài)變化，研究者在傳統(tǒng)SLAM前端視覺里程計(Visual?Odometry,VO)中加入了運動分割模塊，對SLAM過程產生的特征點軌跡進行運動一致性聚類，分類屬于不同運動剛體的特征點。并基于此提出了多運動視覺里程計(multi-motion?visual?odometry，MVO)，用于在完成SLAM任務的同時，對環(huán)境中存在的多個剛體實例進行運動估計。

為解決環(huán)境中剛體的運動分割問題，當前state-of-art的MVO方法通常有兩種：基于圖像語義的檢測和分割方法和基于特征點幾何特征的運動一致性聚類方法。前者借助深度學習檢測圖像中的運動剛體，為SLAM過程的特征點賦予相應的標簽，這種方案不能對訓練集中沒有出現(xiàn)過的物體進行運動估計，無法適用環(huán)境復雜的商超、家庭等場景。后者利用特征點的幾何特征在歷史上的變化構建特征軌跡，并依賴軌跡間的運動一致性進行聚類，不使用語義信息，泛化性更強，對于絕大部分場景都有較好的適應能力。

這類依賴幾何特征分割動態(tài)軌跡的方法，無論當前圖像中存在多少運動實例，都需要在所有特征軌跡之間重復分析運動關聯(lián)，完成軌跡的分割，計算效率低。再者，算法采用無監(jiān)督方案進行分割，精度提升困難。而且MVO(Multimotion?Visual?Odometry)是應用在動態(tài)場景中，通過視覺landmark恢復相機運動，并追蹤動態(tài)目標的算法。其中基于幾何特征的MVO，不需要語義先驗，適用于更多場景。但在當前研究中，這類方法需要在大量landmark形成的軌跡之間進行多次迭代優(yōu)化，分離運動不一致的landmark，不利于算法精度及總體效率的提升。

發(fā)明內容

為了解決上述背景技術中存在的技術問題，本發(fā)明提供一種軌跡實例級分割和多運動視覺里程測量方法及系統(tǒng)，其能夠提高分割效果及相機里程計算的準確性。

為了實現(xiàn)上述目的，本發(fā)明采用如下技術方案：

本發(fā)明的第一個方面提供一種軌跡實例級分割和多運動視覺里程測量方法。

在一個或多個實施例中，一種軌跡實例級分割和多運動視覺里程測量方法，其包括：

獲取機器人周圍環(huán)境圖像序列及每幀圖像的特征點；

基于圖像特征點的位置變化構建出特征點軌跡特征；

基于特征點軌跡特征對軌跡進行動靜態(tài)分割，為每個動態(tài)軌跡額外輸出一個實例編碼，進而在動態(tài)軌跡中對不同運動物體進行分離；

將實例分割結果與動態(tài)實例地圖進行匹配，并剔除實例分割結果中的異常值，進而計算出運動實例的姿態(tài)及相機里程計。

本發(fā)明的第二個方面提供一種軌跡實例級分割和多運動視覺里程測量系統(tǒng)。

在一個或多個實施例中，一種軌跡實例級分割和多運動視覺里程測量系統(tǒng)，其包括：

特征點獲取模塊，其用于獲取機器人周圍環(huán)境圖像序列及每幀圖像的特征點；