[發明專利]一種基于Sarsa學習的中心式動態路徑誘導方法

有效

• 申請號: 201510055467.0
• 申請日: 2015-02-04
• 公開（公告）號: CN104658297B
• 公開（公告）日: 2017-12-22
• 發明（設計）人: 文峰;王星喬;苗維平;于洋;黃海新
• 申請（專利權）人: 沈陽理工大學
• 主分類號: G08G1/0969
• 分類號: G08G1/0969
• 代理公司: 沈陽利泰專利商標代理有限公司21209
• 代理人: 李樞

1.一種基于Sarsa學習的中心式動態路徑誘導方法，其特征在于包括下述步驟：

步驟1：初始化Q值表；交通信息中心根據地理信息庫中路網信息，和采集到的各路段車輛通行時間利用基于Q值的動態規劃初始化各個可能目的地d的Q值表；其中路網信息包括：路網拓撲結構，路段長度，車道數；

步驟2：車輛將自身信息及目的地信息通過車聯網技術發送到交通信息中心；

步驟3：通過使用結合全局和局部參數控制策略的Boltzmann分布來為每輛車進行路徑誘導；

(1)交通信息中心提取步驟2中獲得的各個車輛的車載控制單元發送的數據包中車輛位置信息和目的地經緯度信息；

(2)交通信息中心根據車輛位置信息與目的地經緯度信息，在地理信息庫中查詢當前所駕駛車輛以及目的地所處的路段；

(3)交通信息中心根據當前系統中車輛的數量計算當前τ值，公式如下所示：

式中，τ_max是τ的最大值，NV是當前系統中車輛的數量，l、β是參數；

(4)交通信息中心計算車輛所在路段的相連路段的車道占有率，公式如下：

式中，i,j是交通節點，A(i)是以i為起點的路段的終點集合，N是車輛所在路段的相連路段中車輛的數量，v_n是車輛所在路段的相連路段中第n輛車，length(v_n)是車輛長度，length(S_ij)是路段S_ij的長度，mingap是車輛間的最小間距，numlane(S_ij)是路段S_ij的車道數；

局部控制參數由車道占有率決定；

(5)交通信息中心根據車輛所在路段和目的地所處路段從交通信息中心數據庫<Q值表>中讀取對應當前目的地的車輛所在路段的下一路段的Q值，根據結合全局和局部參數控制策略的Boltzmann分布計算車輛所應行駛的下一路段，公式如下所示：

式中，i,j是交通節點，A(i)是以i為起點的路段的終點集合，P_d(i,j)是車輛選擇路段S_ij的概率，Q_d(i,j)是車輛通過路段S_ij到達目的地d的時間的估計，m_i是局部控制參數，取決于交通節點i相連路段的車道占有率，τ是全局控制參數，它取決于系統中總的交通狀況，EQ_d(i)是節點i周圍路段到目的地d的Q值的平均值；

(6)交通信息中心將上式得到的車輛所應行駛的下一路段，通過無線通訊模塊發送到車載控制單元中，最終通過車載控制單元發送到車載導航地圖中進行顯示；

步驟4：交通信息中心根據車輛數據包獲得實時交通信息，具體為：

(1)交通信息中心提取步驟2中車載控制單元發送的數據包的信息，存入交通信息中心數據庫車輛信息表中；

(2)交通信息中心讀取交通信息中心數據庫車輛信息表，計算車輛通過路段的運行時間，將車輛通過路段的運行時間及車輛所選擇的下一路段存于交通信息中心數據庫實時交通信息表中；

步驟5：交通信息中心根據實時交通信息，利用Sarsa學習方法更新Q值表；

交通信息中心根據路網內全部車輛狀態信息，每隔T時刻，從交通信息中心數據庫實時交通信息表中讀取對應各個目的地編號的更新時間最晚的各個路段通過時間以及下一路段編號，從交通信息中心數據庫的Q值表中讀取各路段對應的Q值，利用Sarsa學習方法更新Q值表，Sarsa學習公式如下所示：

Q_d(i，j)←Q_d(i，j)+α*(t_ij(v)+Q_d(j，k)-Q_d(i，j))

式中，i,j,k是交通節點，α是學習率，t_ij(v)是車輛v通過路段S_ij的實際通過時間；

將新的Q值存入交通信息中心Q值表中。