[發明專利]一種基于分層強化學習的自動駕駛決策控制方法及系統

有效

• 申請號: 202010598169.7
• 申請日: 2020-06-28
• 公開（公告）號: CN111845741B
• 公開（公告）日: 2021-08-03
• 發明（設計）人: 蔡英鳳;楊紹卿;滕成龍;李祎承;王海;孫曉強;陳小波
• 申請（專利權）人: 江蘇大學
• 主分類號: B60W30/12
• 分類號: B60W30/12;B60W30/18;B60W10/20;B60W10/06;B60W10/18;B60W50/00;B60W60/00;G06N20/00
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于分層強化學習的自動駕駛決策控制方法，其特征在于，包括設計動作層Agent和決策層Agent；所述動作層Agent選擇處理連續行為的基于策略梯度的強化學習算法，通過和道路環境信息交互訓練出正確的動作網絡；決策層Agent選擇處理離散行為的基于價值的強化學習算法，通過和車流交通狀態信息交互訓練出正確的決策網絡；

所述動作層Agent通過環境交互，獲取道路環境信息狀態量動作層Agent獲得狀態量后得出確定動作μ_t，再通過給該確定動作μ_t施加一個探索噪聲n_t，合成具有一定探索性的動作a_t；智能車在執行動作a_t后得到環境的反饋量和r^l；其中，反饋量為新的狀態量，r^l為執行動作a_t后獲得的實時獎勵；通過改變任務，使得動作層Agent學會執行左換道、右換道和車道保持動作；

所述動作a_t包括方向盤轉角a_δ，油門a_c和剎車a_b；其中油門動作a_c和剎車動作a_b合用一個動作a_a表示，具體表達式為：

所述實時獎勵r^l包括車道保持時的獎勵函數和換道時的獎勵函數；其中車道保持的獎勵函數設計為：

換道的獎勵函數設計為：

為智能車前進方向和道路之間的航向角誤差，error為當前智能車質心與道路中心點之間的橫向位置誤差，v為智能車的實際車速，v_des為期望車速，d為智能車距離前車的實際車距，d_des為智能車與前車之間的期望車速，d_safe為智能車與前車之間的安全車距，k₁、k₂、k₃和k₄為各項獎勵的前置系數，k₅和k₆為獎勵的前置系數，為左(右)車道與智能車前進方向的航向角誤差，d_chang為左(右)車道與智能車質心處的距離；

所述決策層Agent通過和環境交互，獲取車流和交通狀況信息狀態量決策層Agent獲得狀態量后，選擇一個和當前狀態量對應的最具價值決策智能車在執行決策u_t后得到環境的反饋量和r^v；其中反饋量為新的狀態量，r^v為執行決策u_t后獲得的實時獎勵；通過不斷的學習，使得決策層Agent可以做出對應于當前車流和交通狀況最優的決策，然后智能車會做出與最優決策u_t相對應的動作a_t；

所述實時獎勵r^v包括針對車流信息的獎勵函數和交通信息的獎勵函數；其中車流信息的獎勵函數設計為：

交通信息的獎勵函數設計為：

2.根據權利要求1所述的一種基于分層強化學習的自動駕駛決策控制方法，其特征在于，還包括動作層Agent和決策層Agent的訓練方法：

在訓練初始階段對動作層Agent和決策層Agent進行初始化，首先在沒有復雜交通和較少車流的環境下對動作層Agent進行訓練，如果訓練失敗，再進行重復訓練，直至智能車能完成預定的目標后保存訓練好的動作層Agent；通過使用前先訓練好的動作層Agent，通過和車流-交通狀況信息交互進行進一步的決策層Agent的訓練，如果訓練失敗，再進行重復訓練，直至智能車能完成預定的目標后保存訓練好的決策層Agent。