[發明專利]一種基于深度強化學習的動態環境下人群疏散模擬方法

有效

• 申請號: 202011351409.X
• 申請日: 2020-11-27
• 公開（公告）號: CN112348285B
• 公開（公告）日: 2021-08-10
• 發明（設計）人: 龔建華;申申;孫麇;李毅;殷兵曉;武棟
• 申請（專利權）人: 中國科學院空天信息創新研究院;浙江中科空間信息技術應用研發中心
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06Q50/26;G06N3/08
• 代理公司: 北京盛詢知識產權代理有限公司 11901
• 代理人: 陳巍

1.一種基于深度強化學習的動態環境下的人群疏散模擬方法，其特征在于：

采用狀態到動作的映射作為行人智能體行為控制函數，行人疏散模擬的策略π定義為給定狀態下智能體動作的概率分布，即其中S是一個有限狀態集合；A是一個有限動作集合；是狀態轉移概率矩陣，t為某一時刻，a為該t時刻的具體動作，s為該t時刻的具體狀態；

獲取最優策略：對某個策略而言，當累計回報值最大時，時間序列上動作a的集合即為最優疏散策略，其中G_t為t時刻的累計回報值，γ是折扣因子，γ∈[0,1]，R是回報函數，k為未來時間步數、為自然數；

累積回報在狀態s處的期望值定義為狀態值(state-value)函數：

最優策略對應著最優狀態值函數指數學期望，公式(3)指t時刻狀態為s的條件下，采取策略π所能獲得的累積回報期望值；

動作值(action-value)函數定義為：

最優策略對應著最優動作值函數，最優動作值函數為所有策略中值最大的：指數學期望，公式(4)指t時刻狀態為s，采取某個策略a的條件下，采取策略π所能獲得的累積回報期望值；

最優策略通過最大化q^*(s,a)來確定：

其中表示最優的動作函數值，公式(5)指判斷當前狀態s下的動作值a是否屬于最優的動作函數值，如果是的話，該動作a屬于最優策略的一部分；如果不是的話，則不屬于最優策略。

2.根據權利要求1所述的基于深度強化學習的動態環境下的人群疏散模擬方法，其特征在于：

在每個時間步t，智能體接收到環境的狀態信息其中是可能狀態的集合；基于此狀態智能體選擇一個動作其中是狀態S_t下所有動作的集合；一個時間步之后，智能體接收一個數值的回報作為此時刻動作的結果反饋，同時觀察到一個新的環境狀態S_t+1，由此進入下一次交互的循環過程。

3.根據權利要求1所述的基于深度強化學習的動態環境下的人群疏散模擬方法，其特征在于：

行人智能體的類視覺感知器建模方案如下：在水平方向上，在正中間0度、左右30度、左右60度投射射線，在左右5度分別增加兩條射線；在垂直方向上，上半部分不進行感知器建模；下半部分感知器中采用了0度、15度和30度的射線，在視覺中心部分增加了7.5度的射線。

4.根據權利要求1所述的基于深度強化學習的動態環境下的人群疏散模擬方法，其特征在于：

每個行人智能體動作空間建模方案如下：動作被分解為N個維度的原子動作，即動作分支，每個維度d∈{1,...,N}中包含n_d個離散的子動作，則所有可能的原子動作構成的動作空間大小為

5.根據權利要求1所述的基于深度強化學習的動態環境下的人群疏散模擬方法，其特征在于：

使用包圍身體的膠囊體或者立方體劃分個體的身體空間，所述膠囊體或者所述立方體的高度和半徑與個體生理屬性相對應，使用剛體對個體基本運動進行建模。

6.根據權利要求1所述的基于深度強化學習的動態環境下的人群疏散模擬方法，其特征在于：

智能體與環境的交互過程包括智能體感知、智能體運動、環境反饋三個階段；其中智能體感知指的是智能體對環境狀態的觀察，采用高維向量表征智能體對環境狀態的觀察結果；智能體運動通過物理引擎實現，包括運動效果、碰撞檢測和碰撞反饋；環境反饋采用離散的回報函數，在每個時間步做出一定的懲罰，在關鍵節點和目標點給獎勵。

7.根據權利要求6所述的基于深度強化學習的動態環境下的人群疏散模擬方法，其特征在于：

所述高維向量包含了從智能體發出的所有射線所獲取信息的集合，其中，每條射線的基本信息包括三個成分：是否有物體與該射線相交，如果有的話，最近的物體類別是什么，到該物體的距離有多遠。