[發明專利]一種基于多目標Sarsa學習的動態路徑誘導方法

有效

• 申請號: 201810992284.5
• 申請日: 2018-08-29
• 公開（公告）號: CN109269516B
• 公開（公告）日: 2022-03-04
• 發明（設計）人: 文峰;封筱
• 申請（專利權）人: 沈陽理工大學
• 主分類號: G01C21/34
• 分類號: G01C21/34;G06Q10/04;G06Q50/30
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 劉曉嵐

1.一種基于多目標Sarsa學習的動態路徑誘導方法，其特征在于，包括如下流程：

步驟1：信息初始化，具體包括步驟1.1～步驟1.3：

步驟1.1：確認誘導目標：包括選擇最小化旅行時間、最小化旅行距離和最小化花費，一種或者幾種；

步驟1.2：針對誘導目標，交通信息中心使用基于Q值的動態規劃算法并根據地理信息庫中路網信息，以及歷史采集到的各路段靜態數據，來初始化路網上各個誘導目標對應待選擇終點的Q矢量表，且一個Q矢量表對應一個待選擇的終點；

步驟1.3：設置交通信息中心發布的Q值信息更新時間間隔T；

步驟2：信息更新，具體包括：定義誘導目標權重、當前路網交通擁堵系數計算和每隔T時刻，用Sarsa學習方法更新Q矢量表：

(1)定義誘導目標權重：

記錄路網中所有車輛當前信息，經過當前路段的實時交通信息，以及路網中通行的每個駕駛者的偏好；假設共有n個誘導目標，則每個駕駛者的偏好記作權重矢量ω＝(ω₁,…,ω_n)，其中,ω_o∈[0,1]表示第o個誘導目標對應偏好的權重，定義各誘導目標的權重：

每個駕駛者自行定義對每個誘導目標的在意程度，即為每個駕駛者的偏好記權重；

(2)當前路網交通擁堵系數計算：統計當前路網中車輛數量NV，并根據當前路網中車輛數量計算當前路網交通擁堵系數∈：

其中，β，γ為參數，交通擁堵系數∈表示交通系統當前的交通狀況；

(3)每隔T時刻，用Sarsa學習方法更新Q矢量表：每隔T時刻，通過(1)中獲取的距更新時間最近的所記錄路網中所有車輛當前信息及經過當前路段的實時交通信息，以及使用步驟3.3和步驟3.4所分配的下一行駛路段對每個誘導目標o，根據Sarsa學習方法分別更新對應終點的Q矢量表，Sarsa學習方法公式如下：

其中，為以o為誘導目標從交通節點i出發經過相鄰交通節點j且終點為d的Q值，k為交通節點j的相鄰交通節點，α為學習率，為車輛v經過路段s_ij獲得的實際獎賞值；

步驟3：誘導路徑計算，包括步驟3.1～步驟3.5：

步驟3.1：Q矢量表歸一化：根據步驟2中更新后的Q矢量表，對不同的誘導目標分別采用離差標準化方法歸一化對應的Q值，公式如下：

其中，為經過路段s_ij終點為d的誘導目標o的歸一化Q值，和分別為終點為d且誘導目標為o所對應的所有路段Q值中的最小值和最大值；

步驟3.2：計算基于駕駛者偏好的標量值：根據步驟2中得到的相應駕駛者偏好即權重矢量ω，以及步驟3.1歸一化后的Q矢量表，應用線性標量化函數如下公式，將終點為d的Q矢量表中車輛所處當前交通節點的全部相鄰路段的Q矢量，轉換為基于駕駛者偏好的標量值SQ_d(i,j)，具體公式如下：

其中，n表示誘導目標數量，ω_o表示目標o對應的偏好權重，表示經過路段s_ij終點為d的目標o的歸一化Q值；

步驟3.3：計算Boltzmann概率分布：通過步驟2中獲取的車輛當前信息，使用基于駕駛者偏好的標量值SQ_d(i,j)，計算當前交通節點相鄰路段的Boltzmann概率分布，公式如下:

其中，P_d(i,j)為車輛終點為d并選擇路段s_ij的概率,i，j為交通節點，A(i)為以交通節點i為起點的路段的終點集合，根據路網拓撲結構所得當前節點相鄰路段所對應的終點組成的集合，∈為交通擁堵系數，ESQ_d(i)是節點i周圍路段到目的地d的基于駕駛者偏好的標量值SQ_d(i)的平均值；

步驟3.4：選擇符合其個人偏好的下一行駛路段：基于步驟3.3計算各路段Boltzmann概率分布，通過輪盤賭方法為駕駛者選擇符合其個人偏好的下一行駛路段；

步驟3.5：若車輛未到達目的地，重復步驟3.2～3.3，直至車輛到達目的地。

2.根據權利要求1所述一種基于多目標Sarsa學習的動態路徑誘導方法，其特征在于，步驟1中所述路網信息包括：路網拓撲結構、道路長度、車道數。