[發明專利]一種基于指導學習的深度強化學習車輛隊列控制方法

在審

• 申請號: 202211623780.6
• 申請日: 2022-12-16
• 公開（公告）號: CN116088502A
• 公開（公告）日: 2023-05-09
• 發明（設計）人: 陳建忠;吳曉寶;許智赫;呂澤凱;王文杰
• 申請（專利權）人: 西北工業大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 西安凱多思知識產權代理事務所(普通合伙) 61290
• 代理人: 劉濤

1.一種基于指導學習的深度強化學習車輛隊列控制方法，其特征在于，包括以下步驟：

步驟1：由N輛智能網聯車輛組成一個車輛隊列，隊列中車輛的動力學模型描述如下：

其中，i＝0,1,...,N表示第i輛車；x₀(t)和v₀(t)分別表示領航車的位置和速度，a_{des_0}(t)表示領航車的加速度，其變化由人為給定；x_i(t)、v_i(t)和a_{des_i}(t)，i＝1,...,N分別是車輛隊列中第i輛跟隨車的位置、速度和期望加速度，其中跟隨車的期望加速度是強化學習智能體決策過程中的動作輸出；a_{actual_i}(t)表示車輛的實際加速度，τ車輛發動機的時間常數；

步驟2：構建車輛隊列系統環境；

車輛間的相對距離d_{real_i}由前車的實際位置減去本車的實際位置獲得：

d_{real_i}＝x_i-1(t)-x_i(t)??????????????????????????????(2)

定義車輛間預期間距為d_{safe_i}：

d_{safe_i}＝D_default+v_{ego_i}*t_gap???????????????????????????(3)

其中D_default是車輛靜止時的間距，v_{ego_i}是本車速度，t_gap是車頭時距；

定義間距誤差d_{err_i}為：

d_{err_i}＝d_{safe_i}-d_{real_i}?????????????????????????????(4)

跟隨車輛的期望速度v_{des_i}按如下定義：如果d_{err_i}大于零，即d_{real_i}小于d_{safe_i}，后車的期望速度v_{des_i}給定為其前車速度v_{ego_i-1}和設定速度v_set二者中的最小值，則后車和前車保持一定的安全距離；如果d_{real_i}大于d_{safe_i}，后車的期望速度v_{des_i}則給定為設定速度v_set，即：

速度誤差定義如下：

v_{err_i}＝v_{des_i}-v_{ego_i}?????????????????????????????(6)

步驟3：設計基于指導的深度強化學習算法；

步驟3-1：指導器的設計；

引入自適應巡航控制模型作為強化學習智能體訓練的指導器，包括速度控制模式和間距控制模式；

對于第i輛跟隨車，在速度控制模式下，智能網聯車輛的期望加速度如下：

a_{vc_i}＝K_v*(v_{tar_i}-v_{ego_i})?????????????????????????????(7)

其中，K_v為速度控制增益，v_{tar_i}是第i輛跟隨車的期望速度；

間距控制模式下，第i輛跟隨車的期望加速度由下式給出：

a_{sc_i}＝K_v*v_{pf_i}-K_d*d_{err_i}????????????????????????????(8)

其中，K_d為間距的控制增益；v_{pf_i}＝v_{ego_i-1}-v_{ego_i}是本車和前車的速度差值；

綜合考慮自適應巡航控制模型的速度控制和間距控制，給出最終第i輛跟隨車的期望加速度如下：

步驟3-2：深度確定性策略梯度DDPG算法；

DDPG算法使用四個人工神經網絡，分別是：Actor網絡、Critic網絡、Actor目標網絡、Critic目標網絡來近似行為策略函數和目標策略函數；

Actor網絡用于近似行為策略μ，通過決策網絡參數θ^μ進行參數化的Actor網絡的輸出為：

a_t＝μ(s_t|θ^μ)???????????????????????????????(10)

其中，s_t表示當前狀態，θ^μ表示在策略μ下的Actor網絡參數，μ(s_t|θ^μ)表示在網絡參數θ^μ條件下，智能體在當前狀態s_t的決策輸出；

基于OU過程，DDPG算法在動作輸出上加入高斯噪聲：

式中，N_t表示動作探索的噪聲；

Critic網絡參數化為θ^Q，用于近似值函數：

經驗池中存放的數據格式為：(s_t,a_t,r_t,s_t+1)，r_t表示智能體決策后的即時獎勵，s_t+1表示智能體決策后轉移到的狀態；從經驗池中抽取小批量數據對以上的四個網絡進行訓練更新參數；Critic網絡按照以下的損失函數進行參數更新：

y_i＝r_i+γQ'(s_i+1,μ'(s_i+1|θ^μ')|θ^Q')????????????????????(13)

其中，y_i表示目標回報值，r_i表示當前狀態下的即時獎勵，γ表示折扣因子，s_i+1表示當前狀態的下一個狀態，θ^μ′是目標策略網絡參數，θ^Q′是目標價值網絡參數，μ'(s_i+1|θ^μ')表示目標輸出動作，Q'(s_i+1,μ'(s_i+1|θ^μ')|θ^Q')表示目標動作價值；

根據預期目標J的梯度，對Actor網絡進行更新，為：

其中，表示動作值函數對動作的梯度，表示策略μ對策略網絡參數θ^μ的梯度；

在Actor網絡和Critic網絡的參數更新之后對相應的兩個目標網絡的參數按照公式(16)進行軟更新：

其中，τ是軟更新參數；

步驟3-3：設計動作合成器：

引入自適應巡航控制模型作為強化學習智能體訓練的指導器，并設計動作合成器，將強化學習智能體的動作輸出和指導器的輸出進行融合，其融合機制如下式所示：

u^S(t)＝λ*u^C(t)+(1-λ)*u^A(t)????????????????????????(17)

其中，u^S(t)＝(a_{s_1},a_{s_2},...)^T是融合之后的動作值向量，u^C(t)＝(a_{c_1},a_{c_2},...)^T是指導器的輸出向量，u^A(t)＝(a_{A_1},a_{A_2},...)^T是強化學習智能體的決策動作向量，λ是權重值；

步驟4：設計基于指導的深度強化學習算法的動作空間、狀態空間以及獎勵函數；

動作空間列向量定義為A＝(a_{A_1},a_{A_2},...,a_{A_i},...,λ)^T，其中a_{A_i}分別是N-1輛跟隨車的輸出加速度；

對系統中的N-1輛跟隨車分別選取三個狀態觀測輸入；對于第i輛跟隨車，選取本車速度v_{ego_i}、與前車的速度誤差v_{err_i}以及速度誤差的積分∫v_{err_i}作為第i輛跟隨車的狀態觀測；在系統狀態觀測中添加指導器的輸出值a_{c_i}和智能體決策動作值a_{A_i}的差值a_{E_i}，即a_{E_i}＝a_{c_i}-a_{A_i}；整個系統狀態觀測向量為s：

從穩定性、舒適性、跟車效率三個方面選取車輛的速度誤差v_{err_i}、間距誤差d_{err_i}、本車加速度a_{A_i}指標設計系統的獎勵函數；

步驟5：整定表1中的算法訓練超參數，訓練基于指導學習的DDPG智能體輸出最優控制策略；

表1：DDPG算法訓練超參數

2.根據權利要求1所述的一種基于指導學習的深度強化學習車輛隊列控制方法，其特征在于，所述τ＝0.001。