[發(fā)明專利]一種基于多智能體的區(qū)域道路交通信號控制優(yōu)化方法

在審

• 申請?zhí)枺?/td>: 202211078908.5
• 申請日: 2022-09-05
• 公開（公告）號: CN115424461A
• 公開（公告）日: 2022-12-02
• 發(fā)明（設(shè)計）人: 任安虎;任洋洋
• 申請（專利權(quán)）人: 西安工業(yè)大學(xué)
• 主分類號: G08G1/083
• 分類號: G08G1/083;G08G1/095;G06N3/08;G06F30/27
• 代理公司: 合肥繁知新知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 34278
• 代理人: 許立磊

1.一種基于多智能體的區(qū)域道路交通信號控制優(yōu)化方法，其特征在于：所述優(yōu)化方法包括以下步驟：

S1：獵取交通干線交叉口信息和多模式交通流量模式，根據(jù)以上數(shù)據(jù)用法仿真軟件對模式交通干線進(jìn)行仿真標(biāo)定，還原多模式交通流量達(dá)到率；

S2：對干線中的每個交叉口生成一個信號把握智能體，交通干線n個交叉口對應(yīng)n個智能體，智能體i讀取時刻tk該交叉口包含多模式交通位置、排隊長度、速度信息的狀態(tài)將狀態(tài)輸入智能體i在時刻tk時參數(shù)為的神經(jīng)網(wǎng)絡(luò)，輸出交叉口智能體i在時刻tk的動作相位其中，表示在神經(jīng)網(wǎng)絡(luò)參數(shù)下，選用動作相位ai且狀態(tài)為的狀況下的價值函數(shù)，簡稱q值，ai表示本交叉口i可以放行的動作相位集和；

S3：初始化干線內(nèi)全部智能體的神經(jīng)網(wǎng)絡(luò)和閱歷回放池，設(shè)定訓(xùn)練輪數(shù)，初始化仿真的多模式交通干線流量到達(dá)率，設(shè)定初始仿真時間t0，總仿真時間t，獵取各智能體的多模式交通狀態(tài)，以智能體i為例，獵取其對應(yīng)交叉口i在時刻tk的多模式交通局部觀看狀態(tài)，其中分別表示交叉口i在時刻tk的社會車輛狀態(tài)、公交狀態(tài)、行人及非機動車狀態(tài)；

S4：將各智能體的局部觀看狀態(tài)輸入其神經(jīng)網(wǎng)絡(luò)，對于智能體i，將輸入神經(jīng)網(wǎng)絡(luò)后返回時刻tk的動作相位，同時返回動作相位對于的q值，其中ai表示交叉口i可以放行的動作相位集和，表示智能體i在時刻tk時神經(jīng)網(wǎng)絡(luò)的參數(shù)，ai表示ai中一個動作相位，qi表示智能體i對于的神經(jīng)網(wǎng)絡(luò)q值函數(shù)，表示智能體i的神經(jīng)網(wǎng)絡(luò)在時刻tk的參數(shù)；

S5：推斷更新次數(shù)是否達(dá)到預(yù)設(shè)訓(xùn)練輪數(shù)，假如未達(dá)到預(yù)設(shè)訓(xùn)練輪數(shù)，返回步驟(3)循環(huán)，假如達(dá)到預(yù)設(shè)訓(xùn)練輪數(shù)，輸出基于多智能體協(xié)作訓(xùn)練的多模式交通干線各交叉口的智能體。

2.根據(jù)權(quán)利要求1所述的一種基于多智能體的區(qū)域道路交通信號控制優(yōu)化方法，其特征在于：所述多智能體系中包括區(qū)域道路交通信號控制系統(tǒng)，子交通模型中，路段的智能體不但可以位相連接的信口提供交通流數(shù)據(jù)，進(jìn)行和優(yōu)化信號配，也擁有單個路段流量實時更新的能力，通過路口與其他路段進(jìn)行數(shù)據(jù)交換，同時通過上級區(qū)域交通流信息進(jìn)行車流調(diào)控，智能體系不但可以獲取交通流信息，從而為信號控制數(shù)據(jù)支持，也可以單獨運行，相互之間獨立。

3.根據(jù)權(quán)利要求1所述的一種基于多智能體的區(qū)域道路交通信號控制優(yōu)化方法，其特征在于：車輛進(jìn)入交叉口后必須要改變自己的運行狀態(tài)，在車輛進(jìn)入交叉口時如果信號燈為紅燈，那么車輛必須進(jìn)入降速制動以確保停在停車線之前，等待綠燈的出現(xiàn)又進(jìn)行啟動加速，這一過程稱為完全停車，如果信號燈為綠燈，若前方有排隊車輛，此時車輛也需要進(jìn)行減速，這種方式下，雖然車輛沒有制動，但是也產(chǎn)生了一部分延誤，這種停車方式稱之為不完全停車，通常情況下，這兩種停車都要造成車輛運行期間的延誤。從數(shù)值計算角度分析，單個交叉口車輛平均延誤d由兩部分構(gòu)成，一致性延誤d_m，在車輛達(dá)到率為常數(shù)的情況下，計算公式如下：

以及隨機延誤d_r，這種情況下車輛達(dá)到率不一致，計算公式如下：

總的延誤為兩者之和：d_i＝d_mi+d_ri

其中d_i是第i相位的平均延誤時間，d_mi是第i個相位的一致性延誤的均值，d_ri是第i個相位的隨機延誤均值，c是周期時長，g_ei是第i個相位有效綠燈時間，q_ij是第i個相位的第j個車道的流量比，x_ij是第i個相位第j個車道的飽和度。

4.根據(jù)權(quán)利要求1所述的一種基于多智能體的區(qū)域道路交通信號控制優(yōu)化方法，其特征在于：所述智能體返回的動作相位在交通干線仿真的各對應(yīng)交叉口信號燈中執(zhí)行Δt秒，時刻tk+1＝tk+Δt，返回多模式交通干線多智能體在時刻tk的團隊嘉獎值其中kd、kf、kl分別表示人均延誤變幻量權(quán)衡系數(shù)、人流通過量權(quán)衡系數(shù)和排隊長度變幻量權(quán)衡系數(shù)，表示人均延誤變幻量。