[發明專利]一種基于學習采樣式的汽車自動駕駛運動規劃方法及系統

有效

• 申請號: 202010236474.1
• 申請日: 2020-03-30
• 公開（公告）號: CN111413974B
• 公開（公告）日: 2021-03-30
• 發明（設計）人: 江昆;周偉韜;楊殿閣;嚴瑞東;黃晉
• 申請（專利權）人: 清華大學
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 北京紀凱知識產權代理有限公司 11245
• 代理人: 孫楠

1.一種基于學習采樣式的汽車自動駕駛運動規劃方法，其特征在于包括以下步驟：

S1：根據車輛參數建立車輛運動學模型；

S2：初始化啟發式運動規劃方法的存儲表格：Open表和Closed表；

S3：基于學習采樣式方法，從起點生成一系列前向仿真軌跡，并通過啟發式函數，計算每條前向仿真軌跡的評價值，選取評價值最高的軌跡作為規則最優軌跡；利用強化學習方法對前向仿真軌跡進行Q值函數估計，選擇Q值最大的軌跡作為強化學習軌跡；從規則最優軌跡和強化學習軌跡中選取初段最優軌跡，將初段最優軌跡存入Closed表中，并由初段最優軌跡終點作為隨后規劃的起點；

S4：基于啟發式規劃方法，從規劃起點開始，生成一系列前向仿真軌跡；利用碰撞檢測方法篩選不碰撞前向仿真軌跡，并將這些不碰撞的前向仿真軌跡存入Open表中；通過啟發式函數，計算每條前向仿真軌跡的評價值，選取評價值最高的前向仿真軌跡作為候選最優軌跡，并將候選最優軌跡及其評價值存入Closed表中，并由候選最優軌跡終點作為隨后規劃起點；

S5：重復步驟S4，直至步驟S4中的候選最優軌跡終點在運動規劃所需求的終點范圍內時，結束運動規劃過程；

S6：將Closed表格中的初段最優軌跡和候選最優軌跡連接，形成最終規劃軌跡；

所述步驟S3中，基于強化學習方法選取強化學習軌跡，強化學習方法具體為基于Q學習算法的強化學習；

所述基于強化學習方法的強化學習軌跡選取方法包括以下步驟：

S31、初始化強化學習算法：確定狀態空間、動作空間和獎勵函數R；

S32、建立Q網絡，Q網絡中存儲了不同狀態下，采取不同動作所獲得的期望獎勵，該獎勵稱作Q值，在離線訓練開始前隨機初始化Q網絡中的Q值參數：Q(s_t,a_t)，其中，s_t為t時刻狀態，a_t為t時刻的動作；

S33、從當前t時刻狀態s_t開始，利用不同的動作a_t生成軌跡，該動作包括下一時刻車輛的方向盤轉加速度γ和縱向加速度a；通過當前時刻t方向盤轉角和θ_t，計算下一時刻t+Δt期望的方向盤轉角和θ_t+Δt＝θ_t+γ×Δt，將期望的方向盤轉角和縱向加速度輸入車輛模型中，生成軌跡，將此時的Q值：Q(s_t,a_t)作為所生成軌跡的Q值，將當前狀態下，Q值最大的動作所生成的軌跡作為強化學習軌跡；其中Δt為仿真步長。

2.如權利要求1所述汽車自動駕駛運動規劃方法，其特征在于：所述步驟S3中，前向仿真軌跡是利用車輛方向盤轉角加速度、油門/剎車輸入生成。

3.如權利要求2所述汽車自動駕駛運動規劃方法，其特征在于：所述前向仿真軌跡生成方法為：根據使用場景確定仿真步長Δt，通過車輛運動學模型求解得到實現車輛位置x、y和車輛方向θ的更新，不斷迭代，實現車輛軌跡的更新，最終得到前向仿真軌跡。

4.如權利要求1所述汽車自動駕駛運動規劃方法，其特征在于：所述步驟S3中，在將前向仿真軌跡存入Open表格之前，首先對前向仿真軌跡進行碰撞檢測，檢測生成的前向仿真軌跡與感知結果中障礙物的邊界是否產生碰撞，如果軌跡發生碰撞，則直接刪除，不碰撞的軌跡存入Open表中。

5.如權利要求1所述汽車自動駕駛運動規劃方法，其特征在于：所述初段最優軌跡的選取方法為：

通過向車輛動力學模型輸入不同的方向盤轉角和油門\剎車開度，生成一系列前向仿真軌跡，這些前向仿真軌跡的評價值F為：

F＝g+h

其中，g為候選軌跡終點到起點的距離，h為候選軌跡終點到最終軌跡終點的距離；

在一系列前向仿真軌跡中選取評價值F最小的軌跡作為規則最優軌跡，利用強化學習Q網絡估計該規則最優軌跡的Q值；比較規則最優軌跡和強化學習軌跡的Q值，選擇Q值較大的軌跡作為初段最優軌跡。