[發明專利]基于層次化圖神經網絡的多機器人環境探索方法及系統

有效

• 申請號: 202211454807.3
• 申請日: 2022-11-21
• 公開（公告）號: CN115759199B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 程吉禹;張浩;張偉;張林;宋然;李曉磊
• 申請（專利權）人: 山東大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 任歡

本發明提出了基于層次化圖神經網絡的多機器人環境探索方法及系統，涉及多機器人未知環境探索領域。包括：基于拓撲圖的環境建模方法把連續的環境地圖表示為拓撲圖；基于層次化圖神經網絡對拓撲圖進行特征提取，將拓撲圖中不同跳數的特征信息進行聚合，并利用多頭注意力機制對拓撲圖中結點和邊的特征進行融合，得到最終輸出拓撲圖；將最終輸出拓撲圖中單個機器人節點對應的結點特征作為強化學習中對應智能體的狀態，利用多頭注意力機制對來自多個機器人的結點特征進行信息融合，得到機器人系統總狀態價值。本發明有注意性地提取環境拓撲圖中的特征信息，利用多智能體強化學習框架進行策略學習，提升多機器人系統整體的協同性和任務執行效率。

技術領域

本發明屬于多機器人未知環境探索領域，尤其涉及基于層次化圖神經網絡的多機器人環境探索方法及系統。

背景技術

本部分的陳述僅僅是提供了與本發明相關的背景技術信息，不必然構成在先技術。

未知環境探索作為機器人學的一個基本問題，一直是機器人領域研究的熱點問題，同時也是一個重大挑戰。在多機器人未知環境探索任務中，多個機器人被要求通過自身攜帶的傳感器對工作空間的結構信息進行局部感知，在一定條件下與同伴機器人進行通信，協同決策，進而在運動過程中快而準地重構出環境模型。這個任務主要存在兩個個難點：首先第一個難點是多個機器人之間如何恰當的分配任務點，兼顧單個機器人和多機器人系統的整體效率，避免沖突。機器人之間的協同性問題本身也是一個NP-hard的問題。其次，對于環境中特征復雜且數量眾多的實體(機器人隊友，障礙物，地圖邊界信息等)，如何進行合適的建模，并選擇與之適配的特征提取框架以降低決策復雜度也具有一定挑戰性。

針對多個機器人之間的任務分配，現有的工作根據理論基礎不同，大致可以分為基于情感建模的方法，基于拍賣機制的方法和基于深度強化學習的方法。基于拍賣機制的方法雖然在室內探索任務中得到了廣泛應用，但是方法本身可能會帶來較為嚴重的路徑重復，影響系統整體工作效率。基于情感的方法雖然針對路徑重復的問題有所緩解，但是其情感狀態和特征提取均需要人為手動設計，在復雜環境中泛化能力較差。基于強化學習的方法是最近幾年伴隨人工智能的發展而興起的決策問題解決方案，其優點在于可以對復雜的狀態空間和動作空間進行處理，同時兼顧決策的高效性和最優性。

針對環境中特征復雜且數量眾多的實體，拓撲圖被廣泛用于描述實體間的空間和結構特征。然而對于拓撲圖中復雜的拓撲結構信息，現有方法多是采用置換不變式的圖神經網絡進行特征提取。這樣的方式雖然可以對具有變化尺寸和結構的拓撲圖進行特征提取，但是卻很容易忽略拓撲圖中體現的層級信息。

發明內容

為克服上述現有技術的不足，本發明提供了基于層次化圖神經網絡的多機器人環境探索方法及系統，采用層次化圖神經網絡有注意性地提取環境拓撲圖中的特征信息，并利用多智能體強化學習框架進行策略學習，進而提升多機器人系統整體的協同性和任務執行效率。

為實現上述目的，本發明的一個或多個實施例提供了如下技術方案：

本發明第一方面提供了基于層次化圖神經網絡的多機器人環境探索方法。

基于層次化圖神經網絡的多機器人環境探索方法，包括以下步驟：

基于拓撲圖的環境建模方法把連續的環境地圖表示為拓撲圖；

基于層次化圖神經網絡對拓撲圖進行特征提取，將拓撲圖中不同跳數的特征信息進行聚合，并利用多頭注意力機制對拓撲圖中結點和邊的特征進行融合，得到最終輸出拓撲圖；

將最終輸出拓撲圖中單個機器人節點對應的結點特征作為強化學習中對應智能體的狀態，利用多頭注意力機制對來自多個機器人的結點特征進行信息融合，得到機器人系統總狀態價值。

本發明第二方面提供了基于層次化圖神經網絡的多機器人環境探索系統。

基于層次化圖神經網絡的多機器人環境探索系統，包括：