[發(fā)明專利]基于多智能體深度強化學(xué)習(xí)的人群疏散仿真方法及系統(tǒng)

在審

• 申請?zhí)枺?/td>: 201910028487.7
• 申請日: 2019-01-11
• 公開（公告）號: CN109670270A
• 公開（公告）日: 2019-04-23
• 發(fā)明（設(shè)計）人: 劉弘;鄭尚菲
• 申請（專利權(quán)）人: 山東師范大學(xué)
• 主分類號: G06F17/50
• 分類號: G06F17/50;G06N3/08
• 代理公司: 濟南圣達知識產(chǎn)權(quán)代理有限公司 37221
• 代理人: 黃海麗

1.基于多智能體深度強化學(xué)習(xí)的人群疏散仿真方法，其特征是，包括：

根據(jù)場景信息以及人群參數(shù)信息，進行疏散場景仿真模型內(nèi)的參數(shù)的初始化設(shè)置；

計算每個出口的擁擠度；

實現(xiàn)對全體個體進行分組；選取組內(nèi)領(lǐng)導(dǎo)；

將每一個組內(nèi)領(lǐng)導(dǎo)視為一個智能體Agent，利用多智能體深度確定性策略梯度算法MADDPG進行路徑規(guī)劃，MADDPG算法中的評論員Critic依據(jù)每個出口的擁擠度對智能體的出口選擇給出對應(yīng)的回報獎勵；進而為每個智能體輸出最佳疏散路徑。

2.如權(quán)利要求1所述的方法，其特征是，從視頻中提取指定區(qū)域中的場景信息以及人群參數(shù)信息；所述場景信息，包括若干個子房間且每個子房間被視為一個子區(qū)域；每個子房間設(shè)有一個或多個出口，整個疏散場景設(shè)有一個或多個出口；從視頻中提取指定區(qū)域中的人群參數(shù)信息，是指：利用KLT追蹤算法從所述視頻中提取出人群疏散中個體的初始坐標和運動速度。

3.如權(quán)利要求1所述的方法，其特征是，

在每一個出口處設(shè)置計數(shù)器，用于統(tǒng)計每個出口疏散的人群個體數(shù)，結(jié)合當(dāng)前出口的區(qū)域面積，計算每個出口的擁擠度；

將每個子房間內(nèi)成員劃為一組，如果某成員位于子房間外側(cè)，則將該成員與距離該成員最近的子房間出口所對應(yīng)的子房間成員劃分為一組，實現(xiàn)對全體個體進行分組。

4.如權(quán)利要求1所述的方法，其特征是，針對每個分組中的所有個體，選取距離每個房間的出口最近的個體作為組內(nèi)領(lǐng)導(dǎo)。

5.如權(quán)利要求1所述的方法，其特征是，當(dāng)組內(nèi)領(lǐng)導(dǎo)移動到出口時，該組內(nèi)領(lǐng)導(dǎo)留在出口的位置不變，繼續(xù)領(lǐng)導(dǎo)組內(nèi)剩余組員的疏散，最后輸出各個組內(nèi)領(lǐng)導(dǎo)的疏散路徑。

6.如權(quán)利要求1所述的方法，其特征是，組員接受組內(nèi)領(lǐng)導(dǎo)的引領(lǐng)，利用改進社會力模型計算組員與領(lǐng)導(dǎo)、組員與組內(nèi)其他組員、組員與其他組的組員以及組員與環(huán)境的受力，進行運動，直至疏散結(jié)束。

7.如權(quán)利要求1所述的方法，其特征是，利用多智能體深度確定性策略梯度算法MADDPG進行路徑規(guī)劃，依據(jù)每個出口的擁擠度對智能體的出口選擇給出對應(yīng)的回報獎勵，進而為每個智能體輸出最佳疏散路徑的具體步驟為：

將每一個組內(nèi)領(lǐng)導(dǎo)看成是一個智能體Agent；

設(shè)定智能體的可移動方向和當(dāng)前位置：將疏散場景劃分為網(wǎng)格，設(shè)定智能體的當(dāng)前位置為單個網(wǎng)格的位置坐標，用網(wǎng)格對角線交點的坐標表示；設(shè)定智能體的下一步的可移動方向，包括：上移、下移、左移或右移；

設(shè)置評論員Critic的獎懲機制，獎懲規(guī)則：各智能體與高擁擠度區(qū)域或障礙物大于設(shè)定定距離，若小于等于設(shè)定距離則給予的回報獎勵為負值Q；否則各個組內(nèi)領(lǐng)導(dǎo)從評論員Critic處得到的回報獎勵為正值Q；如果智能體最后找到整個疏散區(qū)域的最終出口，給予相應(yīng)的獎勵為正值Q’；

每個智能體Agent即對應(yīng)一個演員Actor網(wǎng)絡(luò)，且一個演員Actor網(wǎng)絡(luò)對應(yīng)一個評論員Critic網(wǎng)絡(luò)，設(shè)立單獨的經(jīng)驗池用于存儲各個Agent運動行為的狀態(tài)-行為對{當(dāng)前位置狀態(tài)s，當(dāng)前動作a，下一步位置狀態(tài)s_，回報R}；

訓(xùn)練評論員Critic網(wǎng)絡(luò)和演員Actor網(wǎng)絡(luò)的模型參數(shù)，使用N個回合重復(fù)訓(xùn)練步驟，以智能體Agent獲取的回報值最大為目標，直至訓(xùn)練出每個智能體的最短路徑。

8.基于多智能體深度強化學(xué)習(xí)的人群疏散仿真系統(tǒng)，其特征是，包括：

初始化設(shè)置模塊，根據(jù)場景信息以及人群參數(shù)信息，進行疏散場景仿真模型內(nèi)的參數(shù)的初始化設(shè)置；

擁擠度計算模塊，計算每個出口的擁擠度；

組內(nèi)領(lǐng)導(dǎo)選取模塊，實現(xiàn)對全體個體進行分組；選取組內(nèi)領(lǐng)導(dǎo)；

疏散仿真模塊，將每一個組內(nèi)領(lǐng)導(dǎo)視為一個智能體Agent，利用多智能體深度確定性策略梯度算法MADDPG進行路徑規(guī)劃，MADDPG算法中的評論員Critic依據(jù)每個出口的擁擠度對智能體的出口選擇給出對應(yīng)的回報獎勵；進而為每個智能體輸出最佳疏散路徑。