[發明專利]一種舞臺環境下的移動智能體動態路徑規劃方法

在審

• 申請號: 202210465123.7
• 申請日: 2022-04-29
• 公開（公告）號: CN114815834A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 劉安東;張柏鑫;倪洪杰;曹瀚仁
• 申請（專利權）人: 浙江工業大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 湯明

本發明公開了一種舞臺環境下的移動智能體動態路徑規劃方法，屬于智能機器人路徑規劃技術領域；首先通過構建全局地圖獲取移動智能體周圍的障礙物信息，將障礙物分類成動態障礙物和靜態障礙物，然后建立局部地圖通過LSTM網絡編碼動態障礙物信息，通過社會注意力機制計算每個動態障礙物的重要性來實現更好的避障。通過構建新的獎勵函數來應對動靜態障礙物的不同躲避情況，從而實現在舞臺復雜環境下的移動智能體的路徑規劃問題。提出新的經驗池更新方法提高網絡訓練的收斂速度，同時對本發明所提的方法進行仿真實驗，證實該算法的優越性，具有很強的實用價值。

技術領域

本發明涉及智能機器人路徑規劃技術領域，具體涉及一種舞臺環境下的移動智能體動態路徑規劃方法。

背景技術

為了滿足基層文化多樣化服務需求，需要在基層小型文化服務綜合體活動空間中開展文化演出、會議議事、展覽閱覽以及民俗活動等文化服務功能。有分類配置的文化設施不能滿足居民對綜合文化需求的期望。小型文化服務綜合體可以較好的解決該問題，其著力點是推行多功能活動空間建設，它可以集成民俗活動、展覽、會議、閱覽等功能，形成一體化的場館服務載體，既滿足了農村基層文化的多樣性和自組織性的需求，又探索出一條滿足我國新農村公共文化服務要求的新模式。

為了減少土地資源的浪費，提高空間利用效率，就需要各種智能移動體協助完成多種功能空間相互快速組合以及切換，因服務空間不同，其功能空間內的配置設施和使用要求也不同，為了達到小型文化綜合體“一廳多用”要求，往往要通過智能移動體協助完成多種功能空間相互快速組合以及切換，實現在小型綜合體空間內擁擠環境下的動態路徑規劃等，從而滿足單一空間多種文化服務需求。

小型文化綜合體空間是一個典型的人、機、物共存環境，在功能空間切換過程中，空間內多個物體裝備需要有其他裝備物情況下進行軌跡規劃運動，實現空間功能的切換服務，所以在切換過程中如何快速地躲避動靜態障礙物，到達目標點，需要我們設計動態路徑規劃算法控制智能移動體，且文化綜合體空間內環境擁擠，對動態路徑規劃算法要求較高。

傳統的動態路徑規劃算法依賴于傳感器的快速刷新來感知周圍障礙物的信息，規劃出來的路徑也會隨著動態障礙物的變化，出現繞路或者不自然軌跡的問題。不能夠預測周圍動態障礙物的運動趨勢，缺乏適應性。對于以上問題，亟需提出一種可以區分動靜態障礙物以及預測動態障礙物趨勢的動態路徑規劃方法。

發明內容

針對現有技術中存在的問題，本發明的目的在于提供一種舞臺環境下的移動智能體動態路徑規劃方法，該方法通過在深度強化學習方法的基礎上設計了新的馬爾可夫決策過程和網絡結構，通過引入社會注意力機制給動態障礙物添加注意力分數，使用長短期記憶神經網絡來解決前饋網絡維數不固定的問題，構建新的獎勵函數來應對動靜態障礙物的不同躲避情況，提出新的經驗池更新方法提高網絡訓練的收斂速度，從而讓移動智能體實現區分動靜態障礙物以及預測動態障礙物的運動趨勢。為了實現上述目的，本發明采用的技術方案如下：

一種舞臺環境下的移動智能體動態路徑規劃方法，包括以下步驟：

1)基于gym庫建立移動智能體和動靜態障礙物的仿真環境模型；

2)設計馬爾代夫決策過程，設計狀態空間S、動作空間A、轉移概率P、獎勵R和折扣因子γ；

3)設計神經網絡結構；

4)使用最佳互惠碰撞避免算法(ORCA)，通過模仿學習預訓練來初始化網絡參數；模仿學習結束之后然后通過移動智能體在仿真環境下的實際交互進行訓練來優化網絡參數；

5)通過自適應時刻估計方法(Adam)訓練神經網絡得到最優值函數:

V^*(u_t)＝∑γ^Δt·Vpref·P(u_t,a_t)

6)通過最大化累計回報來設定最優策略: