[發明專利]基于深度強化學習算法的人群疏散仿真方法及系統

在審

• 申請號: 202010942448.0
• 申請日: 2020-09-09
• 公開（公告）號: CN112231968A
• 公開（公告）日: 2021-01-15
• 發明（設計）人: 劉弘;孟祥棟;李信金;趙緣
• 申請（專利權）人: 山東師范大學
• 主分類號: G06F30/27
• 分類號: G06F30/27;G06Q10/04;G06Q50/26;G06N3/04;G06N3/08
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 董雪

本公開公開的基于深度強化學習算法的人群疏散仿真方法及系統，包括：根據場景信息以及人群參數信息，進行疏散場景仿真模型內的參數的初始化設置；對人群進行分組，并劃分組內領導者；各領導者選取最佳出口作為疏散目標，利用改進多智能體深度確定性策略梯度算法進行全局路徑規劃，獲取最優疏散路徑；組內普通行人跟隨該組內領導者運動。在原本的多智能體深度確定性策略梯度算法的基礎上引入對策略進行優化的交叉熵方法與對樣本進行優化的數據剪枝算法，優化了算法的結果，加快了算法的收斂速度，能夠更好地指導人群進行疏散，提高疏散效率。

技術領域

本公開涉及基于深度強化學習算法的人群疏散仿真方法及系統。

背景技術

本部分的陳述僅僅是提供了與本公開相關的背景技術信息，不必然構成在先技術。

隨著經濟發展程度的不斷提高，人們對于日常生活的安全需求也在不斷提高。緊急情況下的人群疏散一直是不可忽視的話題。由于人群內微小的擾動都會對人群的快速疏散造成很大影響，安全隱患較大，如果不能對人群進行有效的控制，很容易導致人群擁擠踩踏事件。為此，通過模擬真實的人群疏散情況，為行人提供合理的疏散方案，制定最佳的疏散路徑減少疏散時間，從而提前規避潛在的人群擁堵踩踏風險，具有重要意義。本研究旨在通過制定最佳的路徑規劃方案，提高疏散效率，預防各種突發情況下的人員傷亡。

人群疏散仿真模型主要有兩種，宏觀模型和微觀模型。宏觀模型從整體出發，不考慮個體行為的局部細節信息。微觀模型從個體的角度考慮每個個體與環境的交互，可以彌補宏觀模型對行人細節描述的不足。關于微觀疏散模型，有社會力模型、元胞自動機模型、格子氣模型等微觀模型分類，它們從單個行人的角度進行建模，考慮到了行人流中個體的種種特征，從而可以更加詳細的描述與反映復雜的行人運動。這其中，社會力模型不僅充分考慮到了人群的各種群體行為特征，而且比其他離散模型具有更加真實且精確的結果。但是原始社會力模型并沒有考慮到人群疏散中存在的“群組”，“小團體”現象，而且當社會力模型運用于大規模人群疏散仿真時，疏散效率明顯下降。

由于傳統的微觀模型運用在大規模人群疏散仿真時效果不好，所以引入了路徑規劃來解決這一問題。現階段的研究大多將強化學習與路徑規劃結合起來，但由于人群運動是一個連續的過程，所以使用強化學習進行仿真時，會產生維度爆炸問題導致算法效率下降。深度強化學習不僅繼承了強化學習的優點，還在其基礎上引入了神經網絡使其可以解決具有高維度狀態空間的決策問題，使其相較于強化學習可以更加適用于人群疏散的應用。其中最為典型的就是多智能體深度確定性策略梯度算法(Multi-Agent DeepDeterministic Policy Gradient)，但是由于算法的復雜性過高，導致算法的收斂速度較慢，并且由于環境的復雜性，算法很難得到一個良好的結果。

發明內容

本公開為了解決上述問題，提出了基于深度強化學習算法的人群疏散仿真方法及系統，在原本的多智能體深度確定性策略梯度算法的基礎上引入對策略進行優化的交叉熵方法(Cross-Entropy Method)與對樣本進行優化的數據剪枝算法(Data PruningAlgorithm)，優化了算法的結果，加快了算法的收斂速度，能夠更好地指導人群進行疏散，提高疏散效率。

為實現上述目的，本公開采用如下技術方案：

在一個或多個實施例中，提出了基于深度強化學習算法的人群疏散仿真方法，包括：

根據場景信息以及人群參數信息，進行疏散場景仿真模型內的參數的初始化設置；

對人群進行分組，并劃分組內領導者；

各領導者選取最佳出口作為疏散目標，利用改進多智能體深度確定性策略梯度算法進行全局路徑規劃，獲取最優疏散路徑；

組內普通行人跟隨該組內領導者運動。

進一步的，將每一組領導者視為智能體，利用改進多智能體深度確定性策略梯度算法進行全局路徑規劃，包括：