[發(fā)明專利]用于在線共享出行平臺的統(tǒng)一訂單派發(fā)和車隊管理

在審

• 申請?zhí)枺?/td>: 202080017002.5
• 申請日: 2020-02-24
• 公開（公告）號: CN113811915A
• 公開（公告）日: 2021-12-17
• 發(fā)明（設(shè)計）人: 焦巖;秦志偉
• 申請（專利權(quán)）人: 北京嘀嘀無限科技發(fā)展有限公司
• 主分類號: G06Q50/30
• 分類號: G06Q50/30;G08G1/123;G06Q10/06;G06N3/08;G06N3/04
• 代理公司: 北京睿派知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11597
• 代理人: 劉鋒

可以將分層多代理增強學(xué)習(xí)用于共享出行平臺的統(tǒng)一訂單派發(fā)和車隊管理?？梢垣@得信息。該信息可以包括共享出行平臺的狀態(tài)和一組消息?？梢詫⑺@得的信息輸入到訓(xùn)練的分層增強學(xué)習(xí)(HRL)模型中。訓(xùn)練的HRL模型可以包括至少一個對應(yīng)于地區(qū)的管理者模塊，并且至少一個管理者模塊可以包括一組工作者模塊，每個工作者模塊對應(yīng)于該地區(qū)的轄區(qū)。可以基于共享出行平臺的狀態(tài)和該組消息來獲得該地區(qū)中的轄區(qū)的至少一個目標(biāo)。可以基于乘車共享平臺的狀態(tài)、該組消息和至少一個目標(biāo)為該地區(qū)中的轄區(qū)中的每個車輛生成車輛動作。

相關(guān)申請交叉引用

本申請要求2019年12月19日提交且標(biāo)題為“用于在線共享出行平臺的統(tǒng)一訂單派發(fā)和車隊管理”的美國非臨時性專利申請16/720,676以及2019年2月26日提交且標(biāo)題為“搭乘訂單派發(fā)的系統(tǒng)和方法”的美國臨時性專利申請62/810,860的優(yōu)先權(quán)。美國非臨時性專利申請16/720,676要求美國臨時性專利申請62/810,860的優(yōu)先權(quán)。上述專利申請通過引用整體并入本文。

技術(shù)領(lǐng)域

本公開一般涉及基于分層多模塊增強學(xué)習(xí)的在線共享出行平臺內(nèi)的訂單派發(fā)和車隊管理的統(tǒng)一決策任務(wù)。

背景技術(shù)

在線共享出行平臺可以通過共享和重新分配運輸資源以促進(jìn)運輸效率來實質(zhì)性地改變?nèi)粘Ｉ?。共享出行平臺可以執(zhí)行兩個決策制定任務(wù)。第一任務(wù)可以包括訂單派發(fā)。訂單派發(fā)可以包括將來自乘客的訂單與可用車輛(即駕駛員)實時匹配來直接交付服務(wù)。第二種決策制定任務(wù)可以包括車隊管理。車隊管理可以包括預(yù)先將車輛重新定位到某些區(qū)域，以對后來的命令派發(fā)做準(zhǔn)備。

例如，在處理大量訂單和車輛時，互連訂單派發(fā)和車隊管理可能存在很大技術(shù)難題。一種解決途徑是將每個可用車輛作為代理建立模型。然而，對于這種解決途徑，該平臺必須維持與環(huán)境交互的數(shù)千個代理，從而產(chǎn)生巨大的計算成本。尋求最優(yōu)控制策略的一個關(guān)鍵性難題是在即時和將來的酬勞(例如，累計駕駛員收入)之間找到權(quán)衡。將車輛以貪婪的方式與長途訂單相匹配可能在單個訂單派發(fā)階段獲得高即時收益，但可能會有損于訂單響應(yīng)速率(order response rate，ORR)。在高峰時段期間，此問題可能更加突出，因為這些行程可能具有長駕駛時間并結(jié)束于不受歡迎的目的地。

發(fā)明內(nèi)容

本說明書的多種實施例包括但不限于用于搭乘訂單派發(fā)的系統(tǒng)、方法和非暫時性計算機可讀介質(zhì)。

在多種實施方式中，一種方法可以包括獲得信息。所獲得的信息可以包括共享出行平臺的狀態(tài)和一組消息。該方法還可以包括將所獲得的信息輸入到訓(xùn)練的分層增強學(xué)習(xí)(hierarchical reinforcement learning，HRL)模型中。訓(xùn)練的分層增強學(xué)習(xí)(HRL)模型可以包括對應(yīng)于地區(qū)的至少一個管理者模塊，并且該至少一個管理者模塊可以包括一組工作者模塊，每個工作者模塊對應(yīng)于該地區(qū)中的轄區(qū)。該方法還可以包括基于共享出行平臺的狀態(tài)和一組消息來獲得該地區(qū)中的轄區(qū)的至少一個目標(biāo)。該方法還可以包括基于共享出行平臺的狀態(tài)、該組消息和至少一個目標(biāo)以在地區(qū)中的轄區(qū)中為每個車輛生成一組車輛動作。

在本公開的另一方面，一種計算系統(tǒng)可以包括一個或多個處理器和一個或多個非暫時性計算機可讀存儲器，該一個或多個非暫時性計算機可讀存儲器耦合到所述一個或多個處理器且配置有由所述一個或多個處理器可執(zhí)行的指令。執(zhí)行指令可以使系統(tǒng)執(zhí)行多個操作。這些操作可以包括獲得信息。所獲得的信息可以包括共享出行平臺的狀態(tài)和一組消息。這些操作還可以包括將所獲得的信息輸入到訓(xùn)練的分層增強學(xué)習(xí)(HRL)模型中。訓(xùn)練的分層增強學(xué)習(xí)(HRL)模型可以包括對應(yīng)于地區(qū)的至少一個管理者模塊，并且該至少一個管理者模塊可以包括一組工作者模塊，每個工作者模塊對應(yīng)于該地區(qū)中的轄區(qū)。這些操作還可以包括基于共享出行平臺的狀態(tài)和一組消息來獲得該地區(qū)中的轄區(qū)的至少一個目標(biāo)。這些操作還可以包括基于共享出行平臺的狀態(tài)、該組消息和至少一個目標(biāo)在地區(qū)中的轄區(qū)中為每個車輛生成一組車輛動作。