[發明專利]一種基于多模感知與強化學習的機器人導航方法及系統

有效

• 申請號: 202010157337.9
• 申請日: 2020-03-09
• 公開（公告）號: CN111367282B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 鄧寒;黃學欽;張偉;宋然;李貽斌;顧建軍
• 申請（專利權）人: 山東大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

本發明公開了一種基于多模感知與強化學習的機器人導航方法及系統，包括：獲取機器人在設定時刻所觀測場景的RGB圖片，采用訓練好的分割網絡將所述RGB圖片轉換為二元分割圖；分別采集所述設定時刻的激光雷達數據以及機器人的速度度量數據；將所述二元分割圖、激光雷達數據以及機器人的速度度量數據輸入到訓練好的多模融合深度網絡模型中，得到機器人的最優運行策略。本發明采用多模機制可確保對環境更加完整的感知，基于RL的方法可通過在線交互直接學習在無限搜索空間中圍繞周圍環境優化的導航策略，從而產生靈活的動作，從而提高了其避免碰撞的能力。

技術領域

本發明涉及機器人導航技術領域，尤其涉及一種基于多模感知與強化學習 的機器人導航方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在 先技術。

自主導航是移動機器人非常重要的功能，并且一些現有方法已經在結構化 環境中展現出良好的性能。然而，設計一種對于非結構化的真實世界環境可靠 的機器人導航系統仍然具有挑戰性，該環境通常包含具有不可預測軌跡的動態 障礙物。這要求機器人以實時智能地處理與障礙物的各種交互作用。

存在一些依賴于深度學習(DL)的工作來解決復雜環境中機器人導航的挑 戰性問題。然而，基于DL的方法典型地更多地集中于對環境的感知，而沒有顯 式的學習導航策略。少數基于DL的方法在實際的結構化環境中使用離線注釋直 接學習策略，但是，此類注釋不僅耗時且費力，尤其是在非結構化環境中大規 模生成更困難，而且還受一組固定，有限和離散的動作狀態約束。因此，在現 實世界的動態復雜環境中，學習到的策略可能無法滿足導航的要求。

相比之下，強化學習(RL)通過獎勵機制直接學習當前環境的最優策略。 實際上，這與人類的決策過程更加一致，在決策過程中，通過與周圍環境互動 來制定策略，并根據環境的即時響應通過反復試驗直接修改策略模型。此外， RL不需要特別地基于人類受試者提供的策略注釋進行監督學習，因為它通過最 大化預期的長期獎勵來尋找最佳策略。

發明人發現，現有技術在RL中使用雷達數據來學習避障策略。但是，雷達 的稀疏點云只能感知特定高度的信息，無法處理包含任意高度和形狀的障礙物 的復雜環境，不足以訓練實際復雜環境中機器人導航的策略模型。

現有技術研究了基于視覺的RL作為替代方法，然而，從視覺傳感器獲得的 圖像不能明確提供深度信息，在基于視覺的導航工作中，模擬環境與現實環境 之間的差距是不可避免的。無論仿真引擎多么強大，渲染的圖像都不可能完美 地模擬現實世界，因此在模擬環境中訓練的導航系統在現實世界中的表現不太 可能達到同樣的效果，尤其是當它包含車輛和行人等動態障礙時。

發明內容

有鑒于此，本發明提出了一種基于多模感知與強化學習的機器人導航方法 及系統，通過深度強化學習框架融合從RGB圖像和雷達數據中獲得的知識，能 夠實現在高動態和擁擠的現實世界環境中可靠的導航和避免碰撞。

為了實現上述目的，在一些實施方式中，采用如下技術方案：

一種基于多模感知與強化學習的機器人導航方法，包括：

獲取機器人在設定時刻所觀測場景的RGB圖片，采用訓練好的分割網絡將 所述RGB圖片轉換為二元(道路和非道路)分割圖；

分別采集所述設定時刻的激光雷達數據以及機器人的速度度量數據；

將所述二元分割圖、激光雷達數據以及機器人的速度度量數據輸入到訓練 好的多模融合深度網絡模型中，得到機器人的最優運行策略，實現對機器人的 導航。

本發明將分割圖作為RGB圖像的中間表示，分割圖忽略了低級圖像細節的 擾動，在仿真和現實環境中始終保持很高的一致性；將RGB圖像分割圖和雷達 數據融合作為輸入特征數據，能夠實現在高動態和擁擠的現實世界環境中可靠 的導航和避免碰撞。