[發明專利]基于強化學習和避讓策略的應急車輛混合換道決策方法

有效

• 申請號: 202011299719.1
• 申請日: 2020-11-19
• 公開（公告）號: CN112406867B
• 公開（公告）日: 2021-12-28
• 發明（設計）人: 胡堅明;牛浩懿;裴欣;張毅
• 申請（專利權）人: 清華大學
• 主分類號: B60W30/18
• 分類號: B60W30/18;B60W50/00;G06N3/04;G06N3/08
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 冀志華

1.一種基于強化學習和避讓策略的應急車輛混合換道決策方法，其特征在于，包括以下步驟：

(1)確定優化路段，并對優化路段上待規劃智能網聯普通車輛和智能網聯應急車輛的運行策略進行規劃；其中，待規劃智能網聯普通車輛利用基于規則的避讓策略，待規劃智能網聯應急車輛利用基于DQN網絡的混合換道策略；

(2)對待規劃智能網聯應急車輛的DQN網絡進行初始化；

(3)基于待規劃智能網聯應急車輛及其六個鄰居車輛的狀態信息以及待規劃智能網聯應急車輛前車的避讓策略執行情況，得到待規劃智能網聯應急車輛的DQN網絡的狀態空間；

所述步驟(3)中，待規劃智能網聯應急車輛的DQN網絡的狀態空間的獲得方法，包括以下步驟：

(3.1)對待規劃智能網聯應急車輛的六個鄰居車輛的狀態信息以及待規劃智能網聯應急車輛本身的狀態信息進行整合，得到狀態空間的基本信息；

所述步驟(3.1)中，得到的狀態空間的基本信息為：

Neighbors＝＜＜Presence_leader，v_leader，y_leader-y_ego＞，...＜Presence_follower，v_follower，y_follower-y_ego＞，＜LaneIndex_ego，v_ego，Distance2go＞＞

其中，Presence代表該位置的鄰居車輛是否存在，若存在賦以1，否則賦為0，Presence的下標包括leader、follower、left leader、left follower、right leader、和rightfollower；v則代表了在Presence為1的情況下對應車輛的縱向速度，v的下標包括leader、follower、left leader、left follower、right leader和right follower；v_ego代表待規劃智能網聯應急車輛的縱向速度；而y-y_ego則代表了Presence為1的情況下對應車輛相對于智能網聯應急車輛的縱向距離，用對應車輛的縱向距離y減去智能網聯應急車輛的縱向距離y_ego計算得到，y的下標包括leader、follower、left leader、left follower、right leader和right follower；LaneIndex_ego代表智能網聯應急車輛的車道編號；Distance2goal代表應急車輛與路段出口的距離；

(3.2)根據待規劃智能網聯應急車輛的當前速度與其最大速度，得到狀態空間的速度附加項；

(3.3)根據待規劃智能網聯應急車輛是否存在前車，定義優先區間的長度；

(3.4)基于優先區間的長度確定待規劃智能網聯應急車輛前車的避讓策略執行情況，并結合步驟(3.1)和(3.2)中確定的狀態區間的基本信息和速度附加項信息，得到待規劃智能網聯應急車輛的DQN網絡的狀態空間；

(4)將步驟(3)得到的DQN網絡的狀態空間作為輸入量輸入初始化后的DQN網絡，得到t時刻的輸出值Q，并基于輸出值Q得到初步決策以及動作空間；

(5)建立動作選擇屏障，用于以探索系數∈對步驟(4)得到的初步決策進行驗證和選擇，直到從輸出值Q或動作空間中最終選出的動作滿足交通規則和道路物理結構；

(6)定義獎勵函數，用于對步驟(5)中得到的動作所對應的總獎勵R_t進行計算；

(7)根據定義的狀態空間、動作空間、動作選擇屏障以及獎勵函數，對步驟(2)中初始化的DQN網絡進行訓練，得到訓練好的DQN網絡，對優化路段上的待規劃智能網聯應急車輛的混合換道進行決策。