[發明專利]一種重型營運車輛的后向防撞駕駛決策方法

有效

• 申請號: 202011512719.5
• 申請日: 2020-12-20
• 公開（公告）號: CN112633474B
• 公開（公告）日: 2022-04-05
• 發明（設計）人: 李旭;胡瑋明;胡錦超;祝雪芬
• 申請（專利權）人: 東南大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G07C5/08;B60W30/08
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 許小莉

1.一種重型營運車輛的后向防撞駕駛決策方法，其特征在于：該方法包括如下步驟：

步驟一：建立虛擬交通環境模型：面向高等級公路，建立虛擬交通環境模型，即包含直道和彎道的三車道虛擬環境模型；重型營運車輛在交通環境模型中運動，目標車輛跟隨重型營運車輛進行運動，期間包括加速、減速、勻速、變道4種不同的行駛工況；

所述建立虛擬交通環境模型的過程中通過安裝在每輛車上的厘米級高精度差分GPS、慣性測量單元和毫米波雷達，實時地獲取車輛運動狀態信息，包括：兩車的位置、速度、加速度、相對間距、相對速度；通過安裝在車輛尾部的視覺傳感器，實時地獲取目標車輛的類型；通過CAN總線讀取駕駛員操控信息，包括：車輛的節氣門開度、方向盤轉角；

所述目標車輛是指位于重型營運車輛行駛道路后方，且位于同一車道線內、行駛方向相同、距離最近的車輛，包含小型、中型和大型車輛3種類型；

步驟二：建立后向碰撞危險評估模型；具體包括：

首先，計算重型營運車輛與目標車輛發生碰撞所需的時間：

式(1)中，RTTC(t)表示t時刻的后向距離碰撞時間，單位為秒，x_c(t)為車間距離，單位為米，v_F(t),v_R(t)分別表示重型營運車輛和目標車輛的速度，vr(t)為兩車的相對速度，單位均為米每秒，且v_r(t)＝v_F(t)-v_R(t)；

其次，計算后向碰撞危險程度；當后向距離碰撞時間不小于2.1秒，且不大于4.4秒時發出后向碰撞報警，表示后向碰撞預警系統測試通過；基于此，對后向碰撞危險程度進行量化：

式(2)中，δ_w為后向碰撞危險的量化值；當δ_w≥1時，表示無后向碰撞危險；當0.5≤δ_w≤1時，表示存在后向碰撞危險；當0≤δ_w≤0.5時，表示后向碰撞危險程度非常高；

步驟三：建立重型營運車輛的后向防撞駕駛決策模型：綜合考慮交通環境、車輛運行狀態、后方車輛類型、后向碰撞危險程度對后向碰撞的影響，建立重型營運車輛的后向防撞駕駛決策模型，采用PPO算法建立后向防撞駕駛決策模型，通過與目標車輛運動隨機過程模型進行交互式迭代學習，得到后向防撞的最優決策，具體包括以下4個子步驟：

子步驟1：定義后向防撞駕駛決策模型的基礎參數

首先，將后向防撞駕駛決策問題描述為一定獎勵函數下的馬爾科夫決策過程(S,A,P,r)，其中，S為狀態空間，A為后向防撞動作決策，P表示由于目標車輛運動不確定性而導致的狀態轉移概率，r為獎勵函數；其次，對馬爾科夫決策過程的基礎參數進行定義，具體地：

(1)定義狀態空間

利用步驟一輸出的車輛運動狀態信息和步驟二輸出的后向碰撞危險程度，建立狀態空間表達：

S_t＝(v_{F_lon},a_{F_lon},v_{r_lon},a_{r_lon},θ_str,p_thr,L_r,δ_w,T_m) (3)

式(3)中，S_t為t時刻的狀態空間，v_{F_lon},v_{r_lon}分別表示重型營運車輛的縱向速度和兩車的相對縱向速度，單位為米每秒，a_{F_lon},a_{r_lon}分別表示重型營運車輛的縱向加速度和兩車的相對縱向加速度，單位為米每二次方秒，θ_str為車輛的方向盤轉角，單位為度，p_thr為節氣門開度，單位為百分數，L_r為相對車間距，單位為米，δ_w,T_m分別表示后向碰撞危險程度和目標車輛類型，m＝1,2,3分別表示目標車輛為大型車輛、中型車輛和小型車輛，在本發明中，取T_m＝m；

(2)定義動作決策

為了綜合考慮橫向運動和縱向運動對后向碰撞的影響，本發明將方向盤轉角和節氣門開度作為控制量，定義決策模型輸出的駕駛策略，即動作決策：

A_t＝[θ_{str_out},p_{thr_out}] (4)

式(4)中，A_t為t時刻的動作決策，θ_{str_out}表示歸一化后的方向盤轉角控制量，范圍為[-1,1]，p_{thr_out}表示歸一化后的節氣門開度控制量，范圍為[0,1]；當p_{thr_out}＝0時，表示車輛未進行加速，當δ_brake＝1時，表示車輛以最大加速度進行加速；

(3)建立獎勵函數

為了評價動作決策的優劣程度，通過建立回報函數的方式，將評價具體化和數值化；考慮到后向防撞駕駛決策是一個涉及安全性、舒適性目標在內的多目標優化問題，本發明將獎勵函數設計為：

r_t＝r₁+r₂+r₃ (5)

式(5)中，r_t為t時刻的獎勵函數，r₁為安全距離獎勵函數，r₂為舒適性獎勵函數，r₃為懲罰函數；

首先，設計安全距離獎勵函數r₁：

式(6)中，L_r,L_s分別表示相對車間距和安全距離閾值，ω_d為安全距離權重系數，在本發明中，取ω_d＝0.85；

其次，設計舒適性獎勵函數r₂：

r₂＝ω_j|a_{F_lon}(t+1)-a_{F_lon}(t)|(7)

式(7)中，ω_j為舒適性權重系數，在本發明中，取ω_j＝0.95；

最后，設計懲罰函數r₃：

(4)設計期望最大的策略

式(9)中，π^*為期望最大的策略，π為后向防撞決策策略，γ為折扣因子，且γ∈(0,1)，τ(π)表示在策略π下的軌跡分布；

子步驟2：設計后向防撞駕駛決策模型的網絡架構

利用“Actor-Critic”網絡框架搭建后向防撞駕駛決策網絡，包括Actor網絡和Critic網絡兩部分；其中，Actor網絡將狀態空間信息作為輸入，輸出動作決策，即重型營運車輛的節氣門開度和方向盤轉角控制量；Critic網絡將狀態空間信息和動作決策作為輸入，輸出當前“狀態-動作”的價值；具體地：

(1)設計Actor網絡

建立分層級編碼器結構，分別對狀態空間中的各類信息進行特征提取；首先，構建3個串行連接的卷積層C_F1,C_F2,C_F3和1個最大池化層P₁，對車輛的運動狀態信息進行特征提取，并將其編碼為中間特征向量h₁；利用相同的結構，即3個串行連接的卷積層C_R1,C_R2,C_R3和1個最大池化層P₂，對前后兩車的相對運動狀態信息進行特征提取，并將其編碼為中間特征向量h₂；利用卷積層C_W1和最大池化層P₃對碰撞危險程度和目標車輛類型進行特征提取，并將其編碼為中間特征向量h₃；其次，將特征h₁,h₂,h₃結合并連接全連接層FC₄和FC₅，輸出動作決策；

其中，設置卷積層C_F1,C_F2,C_F3,C_R1,C_R2,C_R3,C_W1的神經元數量分別為20,20,10,20,20,10,20，設置全連接層FC₄,FC₅的神經元數量為200；各卷積層和全連接層的激活函數均為線性整流單元，其表達式為f(x)＝max(0,x)；

(2)設計Critic網絡

利用多個隱藏層結構的神經網絡建立Critic網絡；首先，將狀態空間S_t輸入到隱藏層FC_C1中；同時，將動作決策A_t輸入到隱藏層FC_C2中；其次，隱藏層FC_C1和FC_C2通過張量相加的方式進行合并；最后，依次通過全連接層FC_C3和FC_C4后，輸出Critic網絡的值；

其中，設置FC_C1層和FC_C2層的神經元數量為400，其余隱藏層的神經元數量均為200，各層的激活函數均為ReLU；

子步驟3：訓練后向防撞駕駛決策模型

利用損失函數J_actor和J_critic對網絡參數進行梯度更新，具體訓練過程如下：

子步驟3.1：初始化Actor網絡和Critic網絡；

子步驟3.2：進行迭代求解，每一次迭代包括子步驟3.21至子步驟3.4，具體地：

子步驟3.21：進行迭代求解，每一次迭代包括子步驟3.211至3.213，具體地：

子步驟3.211：利用步驟一的虛擬交通環境模型得到車輛的運動控制操作；

子步驟3.212：利用Actor網絡得到樣本數據(S_t,A_t,r_t)；

子步驟3.213：結束循環，得到樣本點集[(S₁,A₁,r₁),(S₂,A₂,r₂),...,(S_t,A_t,r_t)]；

子步驟3.22：計算優勢函數；

式(10)中，為優勢函數，V(S_t)表示狀態S_t的值函數；表示應該增加采取當前動作的可能性，表示應該減小采取該動作的可能性；

子步驟3.23：進行迭代求解，每一次迭代包括子步驟3.231至3.233，具體地：

子步驟3.231：計算Actor網絡的目標函數；

子步驟3.232：更新Actor網絡參數J_actor：

式(11)中，p_t(θ)表示在策略更新過程中新策略π_θ與舊策略π_{θ_old}在動作決策分布上的比值，且clip(·)表示裁剪函數，ε為常數，在本發明中，取ε＝0.25；

子步驟3.233：更新Critic網絡參數J_critic：

子步驟3.234：結束循環；

子步驟3.3：按照子步驟3.2提供的方法進行迭代更新，使Actor網絡和Critic網絡逐步收斂；在訓練過程中，若車輛發生后向碰撞或側翻，則終止當前回合并開始新的回合進行訓練；當迭代達到最大步數或模型能夠穩定準確地進行后向防撞駕駛決策時，訓練結束；

子步驟4：利用后向防撞決策模型輸出決策策略

將厘米級高精度差分GPS、慣性測量單元、毫米波雷達、CAN總線獲取的信息輸入到已訓練的后向防撞駕駛決策模型中，可以定量輸出合理的方向盤轉角和節氣門開度控制量，為駕駛員提供有效、可靠的后向防撞駕駛建議，從而實現了有效、可靠、具有自適應性的重型營運車輛后向防撞駕駛決策。