[發明專利]一種基于強化學習的公交車輛排班方法

在審

• 申請號: 202210431112.7
• 申請日: 2022-04-22
• 公開（公告）號: CN114819617A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 左興權;劉英卓;黃海;艾冠群
• 申請（專利權）人: 北京郵電大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q50/30
• 代理公司: 北京永創新實專利事務所 11121
• 代理人: 易卜

1.一種基于強化學習的公交車輛排班方法，其特征在于：

(1)對于給定的公交線路的發車時刻表，利用強化學習進行車輛排班；將公交車輛排班問題建模為馬爾可夫決策過程，發車時刻表中每個時刻點作為決策點；對于每個時刻點，由智能體根據控制點中車輛的信息，選取一個車輛在該時刻點從該控制點發出，從而覆蓋該時刻點；利用智能體對發車時刻表中的所有時刻點進行逐點決策，使得時刻表中每個時刻都有車輛發出，最終形成車輛排班方案；

(2)車輛排班問題的馬爾可夫決策過程模型包括狀態、動作和獎勵；

狀態為智能體的輸入，包括：當前時刻點所有可選車輛的信息；動作為智能體的輸出，即：選取控制點中的某一車輛在該時刻點發出；獎勵包括：車輛數目和車輛等待時間；

(3)構建公交車輛排班仿真環境，智能體通過與仿真環境的交互，借助強化學習算法來獲取最優策略。

2.根據權利要求1所述的一種基于強化學習的公交車輛排班方法，其特征在于，所述排班仿真環境為車輛運營過程的模擬；

仿真環境中包含運營時間內任一時刻的車輛行駛信息，具體包括車輛位置、行駛方向、運行時間、工作時間和休息時間，這些信息作為智能體的輸入，智能體根據輸入產生輸出的動作，即選擇發出的車輛，動作作用于仿真環境來更新車輛行駛信息；通過智能體與環境的交互，實現車輛運營過程的模擬。

3.根據權利要求1所述的一種基于強化學習的公交車輛排班方法，其特征在于，所述馬爾可夫決策過程，其特征在于：

1)狀態：對于當前控制點內每個可供選擇的車輛，為其構建一個車輛表示向量，該向量包含該車輛與排班相關的行駛信息；可供選擇的車輛指當前時刻停靠在該控制點內的可發車的車輛以及還未發出的車輛；由所有可供選擇車輛的表示向量構成的矩陣，作為狀態；

2)動作：對于每個決策點，智能體的動作為選取一個可供選擇的車輛從該時刻表中發出；動作空間中包括所有的可供選擇的車輛，其中還未發出的車輛表示為一輛車；

3)獎勵：包括主線獎勵和支線獎勵；根據車輛排班問題的優化目標來構造獎勵函數，獎勵需要考慮的因素包括：車輛數目，執行奇數行程的車輛數和時刻點覆蓋情況。