[發明專利]基于深度強化學習算法的人群疏散仿真方法及系統

在審

• 申請號: 202010942448.0
• 申請日: 2020-09-09
• 公開（公告）號: CN112231968A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 劉弘;孟祥棟;李信金;趙緣
• 申請（專利權）人: 山東師范大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06Q10/04;G06Q50/26;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

1.基于深度強化學習算法的人群疏散仿真方法，其特征在于，包括：

根據場景信息以及人群參數信息，進行疏散場景仿真模型內的參數的初始化設置；

對人群進行分組，并劃分組內領導者；

各領導者選取最佳出口作為疏散目標，利用改進多智能體深度確定性策略梯度算法進行全局路徑規劃，獲取最優疏散路徑；

組內普通行人跟隨該組內領導者運動。

2.如權利要求1所述的基于深度強化學習算法的人群疏散仿真方法，其特征在于，將各領導者視為智能體，利用改進多智能體深度確定性策略梯度算法進行全局路徑規劃，包括：

設定智能體的可移動方向和當前位置；

設定Critic網絡的獎勵回報機制，對智能體的選擇給與相應獎勵；

每個智能體對應一個Actor網絡與一個Critic網絡，設置單獨的經驗池存放所有智能體每一步的經驗，

訓練Critic網絡和Actor網絡的模型參數，使用N個回合重復訓練步驟，以智能體獲取的回報值最大為目標，直至訓練出每個智能體的優化路徑；

根據獲得的智能體的優化路徑對改進多智能體深度確定性策略梯度算法進行策略優化；

利用優化后策略，獲取智能體的最優疏散路徑。

3.如權利要求2所述的基于深度強化學習算法的人群疏散仿真方法，其特征在于，在訓練過程中，使用數據剪枝算法對經驗池進行優化，具體為：計算輸入經驗池的一組數據的唯一性值，當計算的唯一性值大于設定閾值時，將該組數據輸入經驗池，當計算的唯一性值小于設定閾值時，將該組數據舍棄。

4.如權利要求2所述的基于深度強化學習算法的人群疏散仿真方法，其特征在于，采用交叉熵方法對改進多智能體深度確定性策略梯度算法進行策略優化的過程為：

將獲得的每個智能體的優化路徑，生成一個策略；

將生成的策略作為高斯分布的初始均值，計算高斯分布的期望，根據高斯分布的期望選取智能體的動作樣本；

將高斯分布的期望和智能體的動作樣本輸入至Critic網絡中得到一個Q函數值，根據Q函數值從動作樣本中選取精英樣本，通過精英樣本對高斯分布的期望和方差進行更新，實現改進多智能體深度確定性策略梯度算法的策略優化。

5.如權利要求1所述的基于深度強化學習算法的人群疏散仿真方法，其特征在于，采用K-means方法對人群進行分組，選取最接近群組中心點的個體為領導者。

6.如權利要求1所述的基于深度強化學習算法的人群疏散仿真方法，其特征在于，組內普通行人按照改進社會力模型跟隨領導者運動，當領導者到達出口時，留在出口繼續領導小組，直到所有的人都被疏散。

7.如權利要求1所述的基于深度強化學習算法的人群疏散仿真方法，其特征在于，當最終出口的疏散人數等于總人數時疏散過程結束，并實時存儲疏散人群總數、疏散時間和人群疏散路徑。

8.基于策略優化的深度強化學習算法的人群疏散仿真系統，其特征在于，包括：

初始化設置模塊，根據場景信息以及人群參數信息，進行疏散場景仿真模型內的參數的初始化設置；

組內領導選取模塊，實現對人群進行分組，選取組內領導者；

疏散仿真模塊，以每個領導者選取最佳出口作為疏散目標，利用改進多智能體深度確定性策略梯度算法進行全局路徑規劃，獲取最優疏散路徑，組內普通行人跟隨公該組內領導者運動。

9.一種電子設備，其特征在于，包括存儲器和處理器以及存儲在存儲器上并在處理器上運行的計算機指令，所述計算機指令被處理器運行時，完成權利要求1-7任一項所述的基于深度強化學習算法的人群疏散仿真方法所述的步驟。

10.一種計算機可讀存儲介質，其特征在于，用于存儲計算機指令，所述計算機指令被處理器執行時，完成權利要求1-7任一項所述的基于深度強化學習算法的人群疏散仿真方法所述的步驟。