[發(fā)明專利]一種突發(fā)事件下的列車動(dòng)態(tài)調(diào)整方法及系統(tǒng)

有效

• 申請(qǐng)?zhí)枺?/td>: 201811404765.6
• 申請(qǐng)日: 2018-11-23
• 公開（公告）號(hào): CN109740839B
• 公開（公告）日: 2021-06-18
• 發(fā)明（設(shè)計(jì)）人: 董海榮;王榮笙;高士根;樂逸祥;張琦
• 申請(qǐng)（專利權(quán)）人: 北京交通大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06Q10/06
• 代理公司: 北京市商泰律師事務(wù)所 11255
• 代理人: 黃曉軍

1.一種突發(fā)事件下的列車動(dòng)態(tài)調(diào)整方法，其特征在于，包括：

記錄所有突發(fā)事件下的歷史調(diào)圖數(shù)據(jù)，采集當(dāng)前突發(fā)事件的同時(shí)段同方向列車的數(shù)據(jù)信息，確定所述列車的運(yùn)營場(chǎng)景條件，根據(jù)所述數(shù)據(jù)信息和運(yùn)營場(chǎng)景條件搭建場(chǎng)景庫；

調(diào)取當(dāng)前突發(fā)事件下對(duì)應(yīng)的同時(shí)段同方向的歷史調(diào)圖數(shù)據(jù)，根據(jù)歷史調(diào)圖數(shù)據(jù)和馬爾科夫決策過程建立基于歷史數(shù)據(jù)集的環(huán)境模型；所述的基于歷史數(shù)據(jù)集的環(huán)境模型包括通過歷史調(diào)圖數(shù)據(jù)和馬爾科夫決策過程預(yù)測(cè)的狀態(tài)轉(zhuǎn)移概率和回報(bào)值：所述的狀態(tài)轉(zhuǎn)移概率如下式(1)所示：

P(s′|s,a)＝N(s,a,s′)/N(s,a) (1)

所述的回報(bào)值如下式(2)所示：

其中：P(s′|s,a)為當(dāng)前狀態(tài)-動(dòng)作(s,a)轉(zhuǎn)移到下一狀態(tài)s′的轉(zhuǎn)移概率，N(s,a)表示當(dāng)前狀態(tài)s執(zhí)行動(dòng)作a的總次數(shù)，N(s,a,s′)表示從狀態(tài)-動(dòng)作(s,a)轉(zhuǎn)移到下一狀態(tài)s′的次數(shù)；為狀態(tài)-動(dòng)作接收的平均回報(bào)值，reward為每一次狀態(tài)動(dòng)作轉(zhuǎn)移的獎(jiǎng)勵(lì)函數(shù)；

列車總晚點(diǎn)時(shí)間最小的獎(jiǎng)勵(lì)函數(shù)歸一化表示如下式(9)所示：

其中，

列車總晚點(diǎn)數(shù)量最小的獎(jiǎng)勵(lì)函數(shù)歸一化表示如下式(10)所示：

嚴(yán)重干擾下取消的列車數(shù)量最少的獎(jiǎng)勵(lì)函數(shù)歸一化表示如下式(11)所示：

其中，n_s表示當(dāng)前狀態(tài)下的第n列晚點(diǎn)列車，m_s表示當(dāng)前狀態(tài)下線路中晚點(diǎn)列車的總數(shù)量，其中，m_s＜r，閉塞分區(qū)狀態(tài)空間大小設(shè)為2·s^r，其中，2表示閉塞分區(qū)的兩種狀態(tài)：空閑和占用，s表示線路上閉塞分區(qū)的數(shù)量，r表示線路上運(yùn)行列車的數(shù)量，表示當(dāng)前狀態(tài)下第n列晚點(diǎn)列車的晚點(diǎn)時(shí)間，表示當(dāng)前狀態(tài)下的實(shí)績(jī)時(shí)刻，表示當(dāng)前狀態(tài)下的圖定時(shí)刻；cr_s表示當(dāng)前狀態(tài)下取消晚點(diǎn)列車的數(shù)量，μ表示取消列車措施的執(zhí)行與否，取值為0或者1；

根據(jù)所述場(chǎng)景庫和所述的基于歷史數(shù)據(jù)集的環(huán)境模型建立環(huán)境模型，通過智能體對(duì)所述環(huán)境模型進(jìn)行學(xué)習(xí)，得到列車動(dòng)態(tài)調(diào)整模型；

通過列車動(dòng)態(tài)調(diào)整模型對(duì)當(dāng)前突發(fā)事件的同時(shí)段同方向的列車的實(shí)績(jī)運(yùn)行圖進(jìn)行在線動(dòng)態(tài)調(diào)整。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的采集當(dāng)前突發(fā)事件的同時(shí)段同方向列車的數(shù)據(jù)信息，確定所述列車的運(yùn)營場(chǎng)景條件，包括：

所述的列車數(shù)據(jù)信息包括列車車次、列車時(shí)刻表數(shù)據(jù)和列車狀態(tài)；

所述的列車運(yùn)營場(chǎng)景條件包括：鐵路運(yùn)營場(chǎng)景線路的基礎(chǔ)設(shè)施、布局、車站結(jié)構(gòu)和列車作業(yè)時(shí)間。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的根據(jù)歷史調(diào)圖數(shù)據(jù)和馬爾科夫決策過程建立基于歷史數(shù)據(jù)集的環(huán)境模型，包括：所述的馬爾科夫決策過程的參數(shù)表達(dá)式為：S,A,P,R，其中S,A,P,R分別表示狀態(tài)空間、動(dòng)作空間、狀態(tài)轉(zhuǎn)移概率和獎(jiǎng)勵(lì)函數(shù)空間。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于，所述的通過智能體對(duì)所述環(huán)境模型進(jìn)行學(xué)習(xí)，包括：所述智能體通過深度Q學(xué)習(xí)的方法對(duì)所述環(huán)境模型進(jìn)行學(xué)習(xí)。