[發(fā)明專利]一種基于多目標(biāo)Sarsa學(xué)習(xí)的動態(tài)路徑誘導(dǎo)方法

有效

• 申請?zhí)枺?/td>: 201810992284.5
• 申請日: 2018-08-29
• 公開（公告）號: CN109269516B
• 公開（公告）日: 2022-03-04
• 發(fā)明（設(shè)計）人: 文峰;封筱
• 申請（專利權(quán)）人: 沈陽理工大學(xué)
• 主分類號: G01C21/34
• 分類號: G01C21/34;G06Q10/04;G06Q50/30
• 代理公司: 沈陽東大知識產(chǎn)權(quán)代理有限公司 21109
• 代理人: 劉曉嵐

本發(fā)明提出一種基于多目標(biāo)Sarsa學(xué)習(xí)的動態(tài)路徑誘導(dǎo)方法，流程包括：信息初始化；信息更新；誘導(dǎo)路徑計算，包括Q矢量表歸一化，計算基于駕駛者偏好的標(biāo)量值，計算Boltzmann概率分布，通過輪盤賭方法為駕駛者選擇符合其個人偏好的下一行駛路段，直到駕駛者車輛達(dá)到目的地。根據(jù)當(dāng)前交通系統(tǒng)的交通狀況，優(yōu)化車輛的行駛路徑，提高交通系統(tǒng)效率，緩解交通擁堵狀況。從實際角度出發(fā)，同時進(jìn)行多誘導(dǎo)目標(biāo)的動態(tài)路徑誘導(dǎo)，更為符合實際生活中的誘導(dǎo)需求?？紤]駕駛者誘導(dǎo)偏好，為駕駛者提供符合個人偏好的的動態(tài)誘導(dǎo)路徑，從而提高誘導(dǎo)路徑接受率，進(jìn)一步提高交通系統(tǒng)的通行效率，緩解交通擁堵狀況。

技術(shù)領(lǐng)域

本發(fā)明屬于智能交通技術(shù)領(lǐng)域，具體涉及一種基于多目標(biāo)Sarsa學(xué)習(xí)的動態(tài)路徑誘導(dǎo)方法。

背景技術(shù)

近些年，隨著我國社會經(jīng)濟(jì)的飛速發(fā)展，私人汽車保有量不斷攀升，隨之而來的城市交通壓力增大，城市交通擁擠、堵塞，交通事故頻發(fā)等問題亦是日益嚴(yán)重。此外，駕駛者作為交通系統(tǒng)中的重要參與者，在一段旅程中往往同時具有多個誘導(dǎo)目標(biāo)并對不同的目標(biāo)有不同的偏好。是否考慮駕駛者個人偏好會對誘導(dǎo)信息的接受程度產(chǎn)生很大的影響從而影響交通系統(tǒng)的通行效率。因此，從緩解交通擁堵，滿足駕駛者個人偏好的角度出發(fā)，實現(xiàn)高效、動態(tài)的路徑誘導(dǎo)是非常有必要的。

強化學(xué)習(xí)具有很強的自適應(yīng)性和自學(xué)習(xí)能力，不需要先驗知識和建模，就可以隨著系統(tǒng)環(huán)境的變化不斷調(diào)整自身的控制策略，利用系統(tǒng)的動態(tài)信息進(jìn)行學(xué)習(xí)，滿足對高隨機性、復(fù)雜性的交通誘導(dǎo)系統(tǒng)的控制要求。Sarsa學(xué)習(xí)作為一種on-policy學(xué)習(xí)的強化學(xué)習(xí)算法尤為適用于復(fù)雜多變，實時性強的交通誘導(dǎo)系統(tǒng)中最優(yōu)路徑的搜索與車輛的動態(tài)誘導(dǎo)。

目前提出的路徑誘導(dǎo)模型和誘導(dǎo)算法大多是僅針對路段行程時間構(gòu)建的單目標(biāo)路徑誘導(dǎo)方法，忽略了實際生活中的誘導(dǎo)需求以及駕駛者的個人偏好。多目標(biāo)強化學(xué)習(xí)常被用來解決此類多目標(biāo)優(yōu)化問題，求解多目標(biāo)強化學(xué)習(xí)最優(yōu)解集的方法主要分為單策略方法和多策略方法。然而相比于單策略方法，多策略方法在每次與環(huán)境交互時都會學(xué)習(xí)一系列最優(yōu)解的集合去逼近Pareto前沿，此過程需要大量計算時間，對應(yīng)計算量也非常大。并且在on-policy學(xué)習(xí)中使用多策略方法，對應(yīng)解集的計算量和存儲所需的大量時間都使此種方法不適用于動態(tài)路徑誘導(dǎo)系統(tǒng)。因此，單策略多目標(biāo)Sarsa學(xué)習(xí)，適用于解決在包含多誘導(dǎo)目標(biāo)基礎(chǔ)上考慮駕駛者偏好的動態(tài)路徑誘導(dǎo)問題。

發(fā)明內(nèi)容

根據(jù)以上技術(shù)問題，本發(fā)明的目的是提供一種基于多目標(biāo)Sarsa學(xué)習(xí)的動態(tài)路徑誘導(dǎo)方法。充分利用實時交通數(shù)據(jù)信息與駕駛者個人偏好信息，在為駕駛者提供依據(jù)個人偏好的路徑誘導(dǎo)信息的同時，協(xié)調(diào)整體交通系統(tǒng)通行，緩解交通擁堵，提高交通系統(tǒng)通行效率。

采用的技術(shù)方案是：一種基于多目標(biāo)Sarsa學(xué)習(xí)的動態(tài)路徑誘導(dǎo)方法包括步驟1～步驟3：

步驟1：信息初始化，具體包括步驟1.1～步驟1.3：

步驟1.1：確認(rèn)誘導(dǎo)目標(biāo)：包括選擇最小化旅行時間、最小化旅行距離和最小化花費，一種或者幾種；；

步驟1.2：針對誘導(dǎo)目標(biāo)，交通信息中心使用基于Q值的動態(tài)規(guī)劃算法并根據(jù)地理信息庫中路網(wǎng)信息，以及歷史采集到的各路段靜態(tài)數(shù)據(jù)來初始化路網(wǎng)上各個誘導(dǎo)目標(biāo)對應(yīng)待選擇終點的Q矢量表，且一個Q矢量表對應(yīng)一個待選擇的終點；

步驟1.3：設(shè)置交通信息中心發(fā)布的Q值信息更新時間間隔T；

所述路網(wǎng)信息包括：路網(wǎng)拓?fù)浣Y(jié)構(gòu)、道路長度、車道數(shù)；

所述各路段靜態(tài)數(shù)據(jù)包括：歷史車輛通行時間、距離、花費；

步驟2：信息更新，具體包括：定義誘導(dǎo)目標(biāo)權(quán)重、當(dāng)前路網(wǎng)交通擁堵系數(shù)計算和每隔T時刻，用Sarsa學(xué)習(xí)方法更新Q矢量表：

(1)定義誘導(dǎo)目標(biāo)權(quán)重：