[發明專利]基于層次化圖神經網絡的多機器人環境探索方法及系統

有效

• 申請號: 202211454807.3
• 申請日: 2022-11-21
• 公開（公告）號: CN115759199B
• 公開（公告）日: 2023-09-26
• 發明（設計）人: 程吉禹;張浩;張偉;張林;宋然;李曉磊
• 申請（專利權）人: 山東大學
• 主分類號: G06N3/0464
• 分類號: G06N3/0464;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 任歡

1.基于層次化圖神經網絡的多機器人環境探索方法，其特征在于，包括以下步驟：

基于拓撲圖的環境建模方法把連續的環境地圖表示為拓撲圖；

基于層次化圖神經網絡對拓撲圖進行特征提取，將拓撲圖中不同跳數的特征信息進行聚合，并利用多頭注意力機制對拓撲圖中結點和邊的特征進行融合，得到最終輸出拓撲圖；

將最終輸出拓撲圖中單個機器人節點對應的結點特征作為強化學習中對應智能體的狀態，利用多頭注意力機制對來自多個機器人的結點特征進行信息融合，得到機器人系統總狀態價值；

基于拓撲圖的環境建模方法把連續的環境地圖表示為拓撲圖，具體為：按照一定距離規格對環境進行離散化，將環境中可通行區域和機器人所對應格點作為拓撲圖中的結點，在相鄰的結點之間添加上邊，同時在機器人結點和相鄰結點之間也添加上邊，將環境地圖表示為拓撲圖；

采用一個三維向量來表示節點i的特征：其中，其中R是機器人的集合；W_t是可通行區域的集合；F_t代表t時刻邊界點的集合；表示節點i是否屬于相應的集合；

利用多頭注意力機制對來自多個機器人的結點特征進行信息融合，最終輸出的特征是一維的。

2.如權利要求1所述的基于層次化圖神經網絡的多機器人環境探索方法，其特征在于，基于層次化圖神經網絡對拓撲圖進行特征提取，具體為：

將拓撲圖輸入底層特征聚合模塊，將拓撲圖中每個節點的特征更新為鄰居的特征聚合，邊的特征更新為兩個相鄰節點的特征聚合，迭代K次底層特征聚合模塊，得到K個層次的特征信息和K+1張輸出拓撲圖；

將K+1張輸出拓撲圖輸入層級特征聚合模塊，利用多頭注意力機制對輸出拓撲圖中結點和邊的特征進行融合，得到一張隱藏特征圖；

將隱藏特征圖輸入到輸出層中提取隱藏層的拓撲特征，得到最終輸出拓撲圖。

3.如權利要求1所述的基于層次化圖神經網絡的多機器人環境探索方法，其特征在于，在每個時刻t，機器人系統狀態為多個機器人在時間t之前檢測到的地圖，最終所有智能體的狀態值之和作為整個系統的狀態值。

4.如權利要求1所述的基于層次化圖神經網絡的多機器人環境探索方法，其特征在于，還包括在最終輸出拓撲圖中，將與機器人節點相連的邊作為機器人當前動作值的候選，送入softmax層獲取動作概率分布，基于動作概率分布，機器人決定當前時刻的動作。

5.如權利要求4所述的基于層次化圖神經網絡的多機器人環境探索方法，其特征在于，機器人i的動作表示為：

其中，表示與節點i相鄰的邊的集合，表示最終輸出拓撲圖中與節點j相連的邊。

6.基于層次化圖神經網絡的多機器人環境探索系統，其特征在于：包括：

環境建模模塊，被配置為：基于拓撲圖的環境建模方法把連續的環境地圖表示為拓撲圖；

特征提取模塊，被配置為：基于層次化圖神經網絡對拓撲圖進行特征提取，將拓撲圖中不同跳數的特征信息進行聚合，并利用多頭注意力機制對拓撲圖中結點和邊的特征進行融合，得到最終輸出拓撲圖；

強化學習模塊，被配置為：將最終輸出拓撲圖中單個機器人節點對應的結點特征作為強化學習中對應智能體的狀態，利用多頭注意力機制對來自多個機器人的結點特征進行信息融合，得到機器人系統總狀態價值；

基于拓撲圖的環境建模方法把連續的環境地圖表示為拓撲圖，具體為：按照一定距離規格對環境進行離散化，將環境中可通行區域和機器人所對應格點作為拓撲圖中的結點，在相鄰的結點之間添加上邊，同時在機器人結點和相鄰結點之間也添加上邊，將環境地圖表示為拓撲圖；

采用一個三維向量來表示節點i的特征：其中，其中R是機器人的集合；W_t是可通行區域的集合；F_t代表t時刻邊界點的集合；表示節點i是否屬于相應的集合；

利用多頭注意力機制對來自多個機器人的結點特征進行信息融合，最終輸出的特征是一維的。

7.計算機可讀存儲介質，其上存儲有程序，其特征在于，該程序被處理器執行時實現如權利要求1-5任一項所述的基于層次化圖神經網絡的多機器人環境探索方法中的步驟。

8.電子設備，包括存儲器、處理器及存儲在存儲器上并可在處理器上運行的程序，其特征在于，所述處理器執行所述程序時實現如權利要求1-5任一項所述的基于層次化圖神經網絡的多機器人環境探索方法中的步驟。