[發明專利]用于在線共享出行平臺的統一訂單派發和車隊管理

在審

• 申請號: 202080017002.5
• 申請日: 2020-02-24
• 公開（公告）號: CN113811915A
• 公開（公告）日: 2021-12-17
• 發明（設計）人: 焦巖;秦志偉
• 申請（專利權）人: 北京嘀嘀無限科技發展有限公司
• 主分類號: G06Q50/30
• 分類號: G06Q50/30;G08G1/123;G06Q10/06;G06N3/08;G06N3/04
• 代理公司: 北京睿派知識產權代理事務所(普通合伙) 11597
• 代理人: 劉鋒

1.一種用于統一搭乘訂單派發和車隊管理的計算機實現的方法，包括：

獲得信息，所述信息包括共享出行平臺的狀態和一組消息；

將所獲得的信息輸入到訓練的分層增強學習(HRL)模型中，其中，所述訓練的HRL模型包括與地區對應的至少一個管理者模塊，以及其中，所述至少一個管理者模塊包括與所述地區中的轄區對應的一組工作者模塊；

基于所述共享出行平臺的狀態和所述一組消息來獲得所述地區中的所述轄區的至少一個目標；以及

對于所述地區中的所述轄區中的每個車輛，基于所述共享出行平臺的狀態、所述一組消息和所述至少一個目標生成車輛動作。

2.根據權利要求1所述的方法，其中，所述共享出行平臺的狀態包括：所述轄區中的可用車輛的數量、所述轄區中的出行訂單的數量、所述轄區的熵、車隊管理群組中的車輛的數量以及所述轄區中的訂單分布。

3.根據權利要求1所述的方法，其中，所述一組消息包括：用于在所述至少一個管理者模塊的至少第一管理者模塊和第二管理者模塊之間進行協調的一組管理者級消息，以及用于在所述一組工作者模塊之間進行通信的一組工作者級消息。

4.根據權利要求1所述的方法，其中，所述一組工作者模塊的每個工作者模塊對應于表示真實世界地理區域的網格世界中的網格單元。

5.根據權利要求1所述的方法，其中，所述車輛動作包括：訂單派發(OD)或車隊管理(FM)。

6.根據權利要求5所述的方法，其中，所述訂單派發包括在所述共享出行平臺中將對應的車輛派遣給乘客。

7.根據權利要求5所述的方法，其中，所述車隊管理包括將對應的車輛重新定位到不同的轄區或將所述對應的車輛保留在所述轄區。

8.根據權利要求5所述的方法，其中，為每個車輛生成所述車輛動作包括：

基于所述共享出行平臺的狀態、所述一組消息和所述至少一個目標來獲得一組特征權重；

獲得一組出行訂單的一組排名特征；

基于所述一組特征權重和所述一組排名特征獲得候選訂單派發任務訂單和候選車隊管理任務訂單的排名列表；以及

為每個車輛從所述排名列表中選擇置頂的車輛動作。

9.根據權利要求1所述的方法，其中，所述至少一個管理者模塊被配置為基于累計駕駛員收入和訂單響應速率來接收響應所述車輛動作的外在酬勞。

10.根據權利要求1所述的方法，其中，所述一組工作者模塊中的每個工作者模塊被配置為基于所述至少一個目標與所述共享出行平臺的狀態隨時間的變化之間的余弦相似度來接收響應所述車輛動作的內在酬勞。

11.一種用于統一搭車訂單派發和車隊管理的系統，其包括一個或多個處理器和耦合到所述一個或多個處理器且配置有指令的一個或多個非瞬態計算機可讀存儲器，所述指令可被所述一個或多個處理器執行以使所述系統執行包括以下的操作：

獲得信息，所述信息包括共享出行平臺的狀態和一組消息；

將所獲得的信息輸入到訓練的分層增強學習(HRL)模型中，其中，所述訓練的HRL模型包括與地區對應的至少一個管理者模塊，以及其中，所述至少一個管理者模塊包括與所述地區中的轄區對應的一組工作者模塊；

基于所述共享出行平臺的狀態和所述一組消息來獲得所述地區中的所述轄區的至少一個目標；以及

對于所述地區中的所述轄區中的每個車輛，基于所述共享出行平臺的狀態、所述一組消息和所述至少一個目標生成車輛動作。

12.根據權利要求11所述的系統，其中，所述一組消息包括：用于在所述至少一個管理者模塊的至少第一管理者模塊和第二管理者模塊之間進行協調的一組管理者級消息，以及用于在所述一組工作者模塊之間進行通信的一組工作者級消息。