[發明專利]停車場停車情況預測方法、調度方法和系統

有效

• 申請號: 201910134880.4
• 申請日: 2019-02-24
• 公開（公告）號: CN109741626B
• 公開（公告）日: 2023-09-29
• 發明（設計）人: 傅啟明;施政延;陳建平;陸悠;鐘珊;羅恒
• 申請（專利權）人: 蘇州科技大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G08G1/14;G06Q50/30;G06N20/00
• 代理公司: 北京科家知識產權代理事務所(普通合伙) 11427
• 代理人: 陳娟

1.一種停車場的車位停車情況預測方法，其特征在于，包括：

獲取停車場的各個車位的實際的停車情況數據，

利用所述實際的停車情況數據，通過Q-learning算法獲得預測策略，利用預測策略預測停車情況數據，

所述利用所述實際的停車情況數據，通過Q-learning算法獲得預測策略，利用預測策略預測停車情況數據包括：

將停車情況問題建模為一個馬爾可夫決策過程，并定義其中的狀態、動作、狀態轉移函數以及立即獎賞函數,具體包括：

狀態，用s表示，設G＝{1，…m}為所有停車場的集合，m為停車場的數量，設V＝{1,2,3,…,k}是停車場的車位的集合，其中k是停車場的車位的總數，第i個停車場的第j個車位的停車情況數據為v_i,j，其中i∈G，j∈V，則狀態表示為：

s＝(v_1,1,v_1,2,…,v_2,1,…,v_m,k)；

動作，用a表示，動作可以表示為預測下一時刻各個停車場的各個車位的停車情況數據，設第i個公共停車場的第j個車位的停車情況數據為r_i,j，

其中i∈G，j∈V，r_i,j∈{0,1}，其中，0表示車位空閑，1表示車位被占用，則動作表示為：

a＝(r_1,1,r_1,2,r_1,3,…,r_m,k)；

狀態轉移函數，用f表示，設當前停車場調度狀態s的動作為：a’＝(q_1,1,q_1,2,q_1,3,…,q_m,k)，q∈{-1,0,1}，其中，-1表示車位車輛離開，0表示車位無變動，1表示空車位有車停入，則狀態轉移函數表示為：

f:s_t+1←s_t+(q_1,1,q_1,2,q_1,3,…,q_m,k)；

立即獎賞函數，用r表示，設下一個時刻的預測的停車場的車輛停放狀況集合為E_t+1，該時刻實際的車輛停放狀況集合為e_t+1，兩者之間的差值為：立即獎賞函數表示為：r＝-E；

建立值函數回報模型,具體包括：

建立值函數回報模型，設R(s,a)表示在狀態s下采用動作a的回報值；值函數Q(s,a)是關于R(s,a)的期望，則Q(s,a)＝E[R(s,a)]；

所述利用Q-learning算法獲得預測策略包括：

每收集一次停車場的各個車位的實際的停車情況數據記為一次情節，每次狀態轉移即預測一次下一時刻的停車情況數據記為一個時間步t，重復以下步驟直至狀態s收斂：

采取動作a_t，獲得r和下一個狀態s_t+1，通過ε-greedy策略從Q根據s_t+1選擇下一個動作a_t+1，具體應用的公式如下：

Q(s_t,a_t)←Q(s_t,a_t)+α[R_t+1+γmax?Q(s_t+1,a_t+1)-Q(s_t,a_t)],

s_t←s_t+1，

a_t←a_t+1，

其中，γ為折扣因子，α為學習速率；

利用預測策略預測停車情況數據；

采用TD?Learning算法對所述值函數進行更新，具體包括：

使用TD?Learning的思想來進行值函數的更新，TD?Learning時間差分方法的目標為R_t+1+γV(s_t+1)，若V(s_t+1)采用真實值，則TD?Learning時間差分方法估計也是無偏估計，然而在試驗中，V(S_t+1)用的也是估計值，因此TD?Learning時間差分方法屬于有偏估計，更新方法應用以下公式：

V(s_t)←V(s_t)+α(R_t+1+γV(s_t+1)-V(s_t))，

其中，α為TD?Learning步長，γ為TD?Learning報酬貼現率，

在所述利用預測策略預測停車情況數據之前，先使用DQN深度強化學習算法，對通過Q-learning算法得到的預測策略進行優化，具體包括：

將從Q-Table中的更新問題變成一個函數擬合問題，相近的狀態得到相近的輸出動作，通過更新參數θ使Q函數逼近最優Q值，如下式：

Q(s,a；θ)≈Q′(s,a)，

Q-Learning的更新公式為：

Q(s_t,a_t)←Q(s_t,a_t)+α[R_t+1+γmax?Q(s_t+1,a)-Q(s_t,a_t)]，

而DQN的Loss?Function為：

L(θ)＝E[(TargetQ-Q(s_t,a；θ))²]，

其中θ是網絡參數，目標為：

TargetQ＝r+γmaxQ_a’(s_t+1,a_t+1；θ)，

接下來，通過數學求導的方法得到L(θ)關于θ的梯度，使用SGD梯度下降方法更新網絡參數θ。