[發明專利]基于多Agent共享Q學習的疏散仿真方法及系統

有效

• 申請號: 201810982525.8
• 申請日: 2018-08-27
• 公開（公告）號: CN109086550B
• 公開（公告）日: 2019-05-28
• 發明（設計）人: 劉弘;段培永;韓延彬;李梁;陸佃杰;張桂娟;李焱;鄭向偉
• 申請（專利權）人: 山東師范大學
• 主分類號: G06F17/50
• 分類號: G06F17/50;G06Q10/04;G06Q50/26
• 代理公司: 濟南圣達知識產權代理有限公司 37221
• 代理人: 黃海麗

本發明公開了基于多Agent共享Q學習的疏散仿真方法及系統，搭建疏散場景；搭建人群疏散雙層控制機制，上層空間由管理Agent、導航Agent及知識庫構成，下層空間是待疏散的行人；對人群分組，各群組選出引領者，建立群組與導航Agent的關聯，每組的引領者對應一個導航Agent；各導航Agent在引導各組疏散的過程中，把實時的信息放到管理Agent管理的公告板上；多Agent采用共享的Q學習算法進行學習，共享學習的結果實時發送給導航Agent，以便導航Agent根據全局疏散情況進行路徑規劃；各群組按照對應導航Agent的引導，跟隨引領者向疏散出口疏散。

技術領域

本發明涉及人群疏散計算仿真技術領域，特別是涉及基于多Agent共享Q學習的疏散仿真方法及系統。

背景技術

近年來，隨著社會經濟的高速發展，各種聚集了大量人群的大型公共活動不斷增多，這其中的安全問題引起了越來越多的關注。在一些人員密集的公共建筑場所內，由于在建筑設計上的不合理，以及應急管理方面的不到位，當發生各種緊急突發事件，人員需要緊急撤離時，容易造成疏散人群的擁擠和阻塞，甚至發生嚴重的人員踩踏事故。

當突發事件發生時，人們由于對所處的環境不熟悉，加上心理緊張，不知所措，常常沒有目標的盲目從眾跟隨，而由于這種行為，很容易造成疏散通道及出口擁堵，同時有的通道及出口空閑。

個體的選擇行為特性與獲得的外界環境的信息例如出口、路徑的位置，場所的流量分布等有關。如果行人獲取的信息較少，那么在面對出口和路徑選擇時，將會做出猶豫、從眾或者非理性的行為；如果行人獲取的信息比較全面，那么他將會對出口和路徑的疏散時間進行估算，并做出優化的選擇。由于行人獲取的信息是動態變化的，而且行人之間會進行信息交流，因此行人的信息集合和決策會隨時間動態的變化，表現為動態的選擇行為與信息完備程度的關系。

發明內容

為了解決現有技術的不足，本發明提供了基于多Agent共享Q學習的疏散仿真方法及系統，該方法從人群運動視頻獲取環境及人群的分布信息，搭建疏散場景；然后采用人群疏散導航雙層控制機制，上層空間是多個Agent及知識庫，下層空間是引領者及其分組的群體。對人群分組，各群組選出引領者，通過引領者與導航Agent之間的交互來實現雙層路徑選擇空間信息交換。在疏散過程中，多Agent采用共享的Q學習算法進行學習，導航Agent與群組引領者之間進行實時的疏散路徑信息交互，并最終引領群體高效的完成疏散過程。該方法及系統主要適用于建筑物內人群疏散。

為了解決上述技術問題，本發明采用如下技術方案：

作為本發明的第一方面，提出了基于多Agent共享Q學習的疏散仿真方法；

基于多Agent共享Q學習的疏散仿真方法，包括：

步驟(1)：從視頻中實時獲取環境信息及人群分布信息，搭建疏散仿真場景；設置用于人群疏散控制的雙層空間，上層空間，包括：管理Agent、導航Agent和知識庫，下層空間，包括：待疏散的行人；對人群分組，每組人群選出一個引領者，每組的引領者與對應的導航Agent連接，每個導航Agent均與管理Agent連接；

步驟(2)：每個導航Agent引導對應的組進行疏散，同時每個導航Agent維護自身的Q表，還把實時獲取的信息上傳給管理Agent；

步驟(3)：每個導航Agent根據管理Agent獲取的所有導航Agent上傳的Q表，按設定周期采用共享的Q學習算法進行學習，根據學習結果對導航Agent自身的Q表進行更新；每個導航Agent根據更新后的結果對路徑進行規劃，并將規劃的路徑發送給引領者，引領者根據導航Agent發送過來的信息，引領待疏散的行人進行疏散。

進一步的，從視頻中實時獲取的環境信息，具體包括：疏散場景形狀、建筑結構(包括樓層及障礙物、出口位置以及出口的個數)；