[發(fā)明專(zhuān)利]基于深度強(qiáng)化學(xué)習(xí)的高速公路道路協(xié)同控制系統(tǒng)及方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202011202148.5
• 申請(qǐng)日: 2020-11-02
• 公開(kāi)（公告）號(hào): CN112289044B
• 公開(kāi)（公告）日: 2021-09-07
• 發(fā)明（設(shè)計(jì)）人: 王翀
• 申請(qǐng)（專(zhuān)利權(quán)）人: 南京信息工程大學(xué)
• 主分類(lèi)號(hào): G08G1/08
• 分類(lèi)號(hào): G08G1/08;G08G1/01;G06N3/08;G06N3/04
• 代理公司: 南京蘇高專(zhuān)利商標(biāo)事務(wù)所(普通合伙) 32204
• 代理人: 蘇虹

1.一種基于深度強(qiáng)化學(xué)習(xí)的高速公路道路協(xié)同控制系統(tǒng)，其特征在于：包括交通信息交互模塊、交通控制模塊、深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊以及交通控制單元；

所述交通信息交互模塊，用于采集道路的觀測(cè)信息o_t，并轉(zhuǎn)化為可用于深度強(qiáng)化學(xué)習(xí)的交通狀態(tài)信息s_t發(fā)送給交通控制模塊，以及接收交通控制模塊和交通控制單元的指令并發(fā)送給管轄范圍內(nèi)的車(chē)輛；

所述交通控制模塊，用于根據(jù)接收到的交通狀態(tài)信息s_t選取最優(yōu)行為策略a_t，并將a_t發(fā)送給交通控制單元，將s_t和a_t發(fā)送給訓(xùn)練模塊，其中，a_t包括系統(tǒng)中所有交通控制單元的動(dòng)作集合；

所述深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊，用于將來(lái)自交通控制模塊的交通狀態(tài)信息s_t和行為策略a_t存入回放記憶庫(kù)中，根據(jù)獎(jiǎng)勵(lì)函數(shù)對(duì)神經(jīng)網(wǎng)絡(luò)進(jìn)行訓(xùn)練，使獎(jiǎng)勵(lì)函數(shù)的長(zhǎng)期累積和最大化，以此優(yōu)化決策控制網(wǎng)絡(luò)；

所述交通控制單元包括布設(shè)于高速公路主線的可變限速控制單元以及布設(shè)于入口匝道處的匝道信號(hào)控制單元，各控制單元從來(lái)自交通控制模塊的最優(yōu)行為策略a_t中提取相應(yīng)的動(dòng)作指令，并將指令通過(guò)交通信息交互模塊傳遞給受控路段的車(chē)輛；其中，匝道信號(hào)控制單元用于將入口匝道的放行流量指令轉(zhuǎn)換成紅綠信號(hào)周期，可變限速控制單元用于將限速指令轉(zhuǎn)換成具體的可變限速值；

深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)訓(xùn)練模塊的訓(xùn)練過(guò)程包括如下步驟：

(1)在t+1訓(xùn)練時(shí)刻，從交通信息交互模塊獲取前一時(shí)刻的交通狀態(tài)信息s_t，從控制模塊獲取協(xié)同策略a_t，從獎(jiǎng)勵(lì)函數(shù)模塊獲取即時(shí)獎(jiǎng)勵(lì)r_t，連同當(dāng)前時(shí)刻的交通狀態(tài)信息s_t+1，組成交通狀態(tài)數(shù)據(jù)元組(s_t,a_t,r_t,s_t+1)，存入回放記憶庫(kù)中；

(2)深度學(xué)習(xí)訓(xùn)練模塊從回放記憶庫(kù)中隨機(jī)調(diào)取N條用于訓(xùn)練的數(shù)據(jù)元組(s_t,a_t,r_t,s_t+1)；

(3)對(duì)于每條數(shù)據(jù)元組，深度學(xué)習(xí)訓(xùn)練網(wǎng)絡(luò)根據(jù)Bellman方程對(duì)其長(zhǎng)期收益進(jìn)行評(píng)分，取兩個(gè)評(píng)分網(wǎng)絡(luò)的較小分值，公式為：

式中，y_i是第i條數(shù)據(jù)的得分，r_i是第i條數(shù)據(jù)的獎(jiǎng)勵(lì)，s_t+1是歷史交通狀態(tài)信息，是控制模塊在s_t+1下的策略結(jié)果，θ^μ′和分別是長(zhǎng)期決策網(wǎng)絡(luò)和長(zhǎng)期評(píng)分網(wǎng)絡(luò)的權(quán)重向量；

(4)基于損失函數(shù)對(duì)評(píng)分網(wǎng)絡(luò)的權(quán)重進(jìn)行更新，使用Adam優(yōu)化器對(duì)更新過(guò)程進(jìn)行優(yōu)化；其中，損失函數(shù)的計(jì)算方法為：

上式中，N為訓(xùn)練數(shù)據(jù)的條數(shù)，y_i是第i條數(shù)據(jù)的得分，Q(s_t,a_t|θ^Q)為評(píng)分網(wǎng)絡(luò)基于最新的數(shù)據(jù)(s_t,a_t)的評(píng)分，θ^Q為評(píng)分網(wǎng)絡(luò)的權(quán)重；

(5)每隔K個(gè)時(shí)間步長(zhǎng)更新長(zhǎng)期評(píng)分網(wǎng)絡(luò)的權(quán)重，再根據(jù)評(píng)分網(wǎng)絡(luò)的權(quán)重，調(diào)整決策控制網(wǎng)絡(luò)的權(quán)重，改善控制策略。

2.根據(jù)權(quán)利要求1所述的基于深度強(qiáng)化學(xué)習(xí)的高速公路道路協(xié)同控制系統(tǒng)，其特征在于：交通信息交互模塊包括若干路側(cè)單元，高速公路主線及入口匝道的每條等距離子路段均配置有采集該子路段交通狀態(tài)信息的路側(cè)單元，采集的交通狀態(tài)信息包括相應(yīng)子路段的車(chē)輛密度、平均速度、排隊(duì)長(zhǎng)度。