[發明專利]一種基于強化學習模型的共享汽車平衡方法

在審

• 申請號: 202011317789.5
• 申請日: 2020-11-23
• 公開（公告）號: CN112508356A
• 公開（公告）日: 2021-03-16
• 發明（設計）人: 顧釗銓;方濱興;賈焰;任昌偉;王樂;仇晶;韓偉紅;李樹棟
• 申請（專利權）人: 廣州大學
• 主分類號: G06Q10/06
• 分類號: G06Q10/06;G06Q30/02;G06Q30/06;G06N3/04;G06N3/08
• 代理公司: 廣州市華學知識產權代理有限公司 44245
• 代理人: 雷芬芬;黃磊

本發明公開了一種基于強化學習模型的共享汽車平衡方法，包括：S1，接收用戶的待用車請求或者待還車請求；S2，將待用車請求或者待還車請求輸入預先建立好的強化學習模型，強化學習模型輸出各個站點的用車獎勵金或者還車獎勵金；S3，用戶遍歷包含他自身的預設網格區域，在提供獎勵金最多的站點進行取車或者還車。本發明能主動平衡共享汽車系統，由此可以大量減少人工調度成本，更好地平衡各站點的車輛分布，增加用戶的用車體驗，提到商家的服務率。

技術領域

本發明涉及深度學習和強化學習技術領域，具體涉及一種基于強化學習模型的共享汽車平衡方法。

背景技術

隨著共享經濟的蓬勃發展，越來越多的共享產品進入人們的視野當中，例如共享充電寶、共享單車、共享汽車。共享經濟的發展，為人們的生活帶來了很多便利，特別是共享汽車，為人們的出行方式提供了多樣的選擇。共享汽車與傳統的租車行業有很大不同，共享汽車會有更多的租賃站點，更方便的取還車模式，更合理的分時計費方式等。

但是在共享汽車的運營當中也存在著一些問題，由于用戶相似的出行模式，在共享汽車的租賃系統，車輛分布的不平衡，特別是在高峰時間段。例如，在早高峰期間，多數用戶傾向于在生活區取車，并將車還至工作區或者商業區，導致了生活區車輛數很稀少，工作區車輛數量達到頂峰。這種車輛分布的不平衡不僅降低了用戶的用車體驗，同時也一定程度上減少了商家的收入。如何平衡車輛的分布是共享汽車亟待解決的一大問題。

目前緩解汽車分時租賃系統供需不平衡的解決辦法主要有以下幾種方案：一種是人工調度，員工將車輛從車輛富裕的站點調到車輛稀缺的站點；另一種是自適應調度，以價格為杠桿，調節各站點的需求量。

基于上述方案，現有的用于共享汽車系統平衡問題的方法是基于人工或者規則來調控，人工調度需要耗費大量的人力和時間成本，當車輛數增多時，人工調度成本也會大幅度增加；基于價格調控的方法是一種基于規則的調控方法，也需要人力來設定具體定價，也會耗費一點的人力資源，并且難以自適應的設置車輛分時價格。

因此，行業內急需研發一種能自適應平衡共享汽車系統的方法，以此可以大量減少人工調度成本，更好地平衡各站點的車輛分布，增加用戶的用車體驗。

發明內容

本發明的目的是為了克服以上現有技術存在的不足，提供了一種能自適應平衡共享汽車系統的基于強化學習模型的共享汽車平衡方法。

本發明的目的通過以下的技術方案實現：

一種基于強化學習模型的共享汽車平衡方法，包括：

S1，接收用戶的待用車請求或者待還車請求；

S2，將待用車請求或者待還車請求輸入預先建立好的強化學習模型，強化學習模型輸出各個站點的用車獎勵金或者還車獎勵金；

S3，用戶遍歷包含他自身的預設網格區域，在提供獎勵金最多的站點進行取車或者還車。為了避免高峰時間段存在取車難以及還車難的情況發生，從而提升共享汽車的服務率進而提升商家的收入，需要為用戶提供一定的獎勵來激勵用戶主動平衡共享汽車系統。即設計了取車獎勵以及換車獎勵的兩種獎勵方法：對于每一個用戶，在用戶選擇車輛時，在每一個時間段，為了刺激用戶平衡共享汽車系統，商家在車輛數目較多的站點提供較高的獎勵金，以此來激勵用戶去該區域取車；在用戶還車時，商家在車輛數目較少的站點提供較高的獎勵金，以此來激勵用戶去該區域還車。

優選地，建立強化學習模型包括：將共享汽車的租賃區域劃分為網格狀，其中每一個網格代表一個共享汽車的租賃點；其中每個網格中有固定的共享汽車停放數目，并且將s作為該站點的剩余車輛的數目；其中，各個站點的共享汽車數目都在動態地變化。