[發(fā)明專利]一種基于聯(lián)邦學(xué)習(xí)的城市交通流誘導(dǎo)方法及系統(tǒng)

有效

• 申請?zhí)枺?/td>: 202210258858.2
• 申請日: 2022-03-16
• 公開（公告）號: CN114627648B
• 公開（公告）日: 2023-07-18
• 發(fā)明（設(shè)計）人: 李聰端;蘇中卿;金晨皓;朱甜甜
• 申請（專利權(quán)）人: 中山大學(xué)·深圳;中山大學(xué)
• 主分類號: G08G1/01
• 分類號: G08G1/01;G08G1/065;G06N20/20
• 代理公司: 深圳市創(chuàng)富知識產(chǎn)權(quán)代理有限公司 44367
• 代理人: 高冰

1.一種基于聯(lián)邦學(xué)習(xí)的城市交通流誘導(dǎo)方法，其特征在于，包括以下步驟：

獲取當(dāng)前車輛狀態(tài)信息和當(dāng)前道路狀態(tài)信息，所述當(dāng)前車輛狀態(tài)信息包括車輛的目的地信息、車輛行駛路徑的更新請求信息、當(dāng)前車輛的位置信息、當(dāng)前車輛速度和跟車情況信息，所述當(dāng)前道路狀態(tài)信息包括道路上行駛的車輛數(shù)、道路上行駛車輛的平均速度和道路的長度；

對當(dāng)前車輛狀態(tài)信息進行融合處理和特征提取，得到車輛狀態(tài)融合信息；

根據(jù)車輛行駛路徑的更新請求信息對車輛狀態(tài)融合信息進行分類，分為需要更新路徑的車輛與不需要更新路徑的車輛；

基于上一次車輛選擇更新的路徑規(guī)劃信息提取各個道路上一次被選中的頻率；

計算本次不需要更新路徑的車輛對各個道路的選中頻率，得到本次道路的選中頻率；

將道路上一次被選中的頻率與本次道路的選中頻率進行加權(quán)計算，得到最終頻率；

對最終頻率進行編碼處理，得到特征融合信息；

將特征融合信息輸入至多智能體聯(lián)邦強化學(xué)習(xí)終端，基于多智能體聯(lián)邦強化學(xué)習(xí)終端學(xué)習(xí)并更新策略，預(yù)測得到在預(yù)設(shè)時間內(nèi)道路未來擁堵情況預(yù)測信息；

根據(jù)道路未來擁堵情況預(yù)測信息，結(jié)合當(dāng)前車輛狀態(tài)信息和當(dāng)前道路狀態(tài)信息進行協(xié)同規(guī)劃，生成最優(yōu)道路通行方案。

2.根據(jù)權(quán)利要求1所述一種基于聯(lián)邦學(xué)習(xí)的城市交通流誘導(dǎo)方法，其特征在于，所述將特征融合信息輸入至多智能體聯(lián)邦強化學(xué)習(xí)終端，基于多智能體聯(lián)邦強化學(xué)習(xí)終端學(xué)習(xí)并更新策略，預(yù)測得到在預(yù)設(shè)時間內(nèi)道路未來擁堵情況預(yù)測信息這一步驟，其具體包括：

將特征融合信息輸入至多智能體聯(lián)邦強化學(xué)習(xí)終端，基于多智能體聯(lián)邦強化學(xué)習(xí)終端學(xué)習(xí)并得到各個靜態(tài)特征相似的道路的Q值網(wǎng)絡(luò)參數(shù)；

將各個靜態(tài)特征相似的道路的Q值網(wǎng)絡(luò)參數(shù)進行聯(lián)邦聚合處理，得到全局的Q值網(wǎng)絡(luò)參數(shù)；

以∈的概率隨機選取動作，以(1-∈)的概率選取Q值最大的動作并計算得到不同道路的不同等級擁堵信息，所述動作為多智能體聯(lián)邦強化學(xué)習(xí)終端準(zhǔn)備向車輛發(fā)送的道路未來擁堵情況預(yù)測信息；

根據(jù)不同道路的不同等級擁堵信息，多智能體聯(lián)邦強化學(xué)習(xí)終端輸出道路未來擁堵情況預(yù)測信息。

3.根據(jù)權(quán)利要求2所述一種基于聯(lián)邦學(xué)習(xí)的城市交通流誘導(dǎo)方法，其特征在于，所述根據(jù)道路未來擁堵情況預(yù)測信息，結(jié)合當(dāng)前車輛狀態(tài)信息和當(dāng)前道路狀態(tài)信息進行協(xié)同規(guī)劃，生成最優(yōu)道路通行方案這一步驟，其具體包括：

更新當(dāng)前道路狀態(tài)信息與道路未來擁堵情況預(yù)測信息；

將當(dāng)前道路狀態(tài)信息與道路未來擁堵情況預(yù)測信息進行融合打包處理，得到當(dāng)前預(yù)測信息；

根據(jù)當(dāng)前預(yù)測信息重新估計各備選路徑的出行時間，所述各備選路徑為根據(jù)當(dāng)前車輛的位置信息和車輛的目的地信息得出的可通行路徑；

根據(jù)當(dāng)前車輛的位置信息與車輛的目的地信息輸出各備選路徑的歷史延遲指數(shù)及歷史出行時間最小的路徑，得到歷史數(shù)據(jù)信息；

根據(jù)歷史數(shù)據(jù)信息與當(dāng)前預(yù)測信息輸出備選路徑中估算出行時間最小的路徑，得到最優(yōu)道路通行方案。

4.根據(jù)權(quán)利要求3所述一種基于聯(lián)邦學(xué)習(xí)的城市交通流誘導(dǎo)方法，其特征在于，還包括：

將當(dāng)前預(yù)測信息進行存儲，得到儲存信息；

根據(jù)儲存信息對多智能體聯(lián)邦強化學(xué)習(xí)終端進行迭代式訓(xùn)練。

5.一種基于聯(lián)邦學(xué)習(xí)的城市交通流誘導(dǎo)系統(tǒng)，其特征在于，包括以下模塊：

車載傳感器模塊，用于獲取當(dāng)前車輛狀態(tài)信息，所述當(dāng)前車輛狀態(tài)信息包括車輛的目的地信息、車輛行駛路徑的更新請求信息、當(dāng)前車輛的位置信息、當(dāng)前車輛速度和跟車情況信息；

道路檢測傳感器模塊，用于獲取當(dāng)前道路狀態(tài)信息，所述當(dāng)前道路狀態(tài)信息包括道路上行駛的車輛數(shù)、道路上行駛車輛的平均速度和道路的長度；

多智能體聯(lián)邦強化學(xué)習(xí)終端模塊，用于對當(dāng)前車輛狀態(tài)信息與當(dāng)前道路狀態(tài)信息進行融合并預(yù)測出在預(yù)設(shè)時間內(nèi)道路未來擁堵情況，其具體包括對當(dāng)前車輛狀態(tài)信息進行融合處理和特征提取，得到車輛狀態(tài)融合信息；根據(jù)車輛行駛路徑的更新請求信息對車輛狀態(tài)融合信息進行分類，分為需要更新路徑的車輛與不需要更新路徑的車輛；基于上一次車輛選擇更新的路徑規(guī)劃信息提取各個道路上一次被選中的頻率；計算本次不需要更新路徑的車輛對各個道路的選中頻率，得到本次道路的選中頻率；將道路上一次被選中的頻率與本次道路的選中頻率進行加權(quán)計算，得到最終頻率；對最終頻率進行編碼處理，得到特征融合信息；將特征融合信息輸入至多智能體聯(lián)邦強化學(xué)習(xí)終端，基于多智能體聯(lián)邦強化學(xué)習(xí)終端學(xué)習(xí)并更新策略，預(yù)測得到在預(yù)設(shè)時間內(nèi)道路未來擁堵情況預(yù)測信息；

車載智能計算終端模塊，用于根據(jù)道路未來擁堵情況預(yù)測信息，結(jié)合當(dāng)前車輛狀態(tài)信息和當(dāng)前道路狀態(tài)信息進行協(xié)同規(guī)劃，生成最優(yōu)道路通行方案。