[發明專利]一種無人車自學習控制方法、裝置、設備及可讀存儲介質

在審

• 申請號: 202110949314.6
• 申請日: 2021-08-18
• 公開（公告）號: CN113867332A
• 公開（公告）日: 2021-12-31
• 發明（設計）人: 湯淑明;張力夫;頓海洋
• 申請（專利權）人: 中國科學院自動化研究所
• 主分類號: G05D1/02
• 分類號: G05D1/02;G06N3/08;G06N3/02
• 代理公司: 北京路浩知識產權代理有限公司 11002
• 代理人: 蔣娟

1.一種無人車自學習控制方法，其特征在于，包括以下步驟：

獲取車輛在當前駕駛環境的運動控制規則；其中，所述運動控制規則輸出的是所述車輛的執行動作，輸入的是所述車輛的行駛狀態；

根據所述運動控制規則，對無人車進行訓練，控制所述車輛進行自主駕駛；

在自主駕駛過程中，獲取所述行駛狀態；

根據所述行駛狀態，生成車輛的行駛能力，并根據所述行駛能力調整及更新所述運動控制規則。

2.根據權利要求1所述的無人車自學習控制方法，其特征在于，所述獲取車輛在當前駕駛環境的運動控制規則，具體包括以下步驟：

分析典型城鎮道路環境下，車輛的具體行駛任務；

針對不同的所述行駛任務，基于人類駕駛車輛時所關注到的信息，獲取車輛在當前駕駛環境的運動控制規則；其中，所述信息包括交通規則、車輛與車道的相對位置、車輛的油門開度以及方向盤角度。

3.根據權利要求1所述的無人車自學習控制方法，其特征在于，當要求不與周圍車輛發生碰撞時，所述運動控制規則為：

If Collision vehicle＝0,Continue run；

Else reward＝-200。

4.根據權利要求1所述的無人車自學習控制方法，其特征在于，當要求無人車以平穩車速行駛時，所述運動控制規則為：

IfΔspeed2 then reward＝-1,Else reward＝1

其中，Δspeed為車輛的加速度，單位為m/s²。

5.根據權利要求1所述的無人車自學習控制方法，其特征在于，所述根據所述行駛狀態，生成車輛的行駛能力，并根據所述行駛能力調整及更新所述運動控制規則，具體包括以下步驟：

根據所述行駛狀態，獲取無人車每回合的訓練情況，并根據所述每回合的訓練情況得到總步驟的平均獎勵值，生成車輛的行駛能力；其中，所述行駛狀態包括車輛的速度信息以及車輛中心與導航指示路徑點的偏差；

比較所述平均獎勵數值與獎勵規則中的步驟最大獎勵值，當所述平均獎勵數值滿足所述步驟最大獎勵值的預設比例時，對所述運動控制規則進行調整及更新。

6.根據權利要求5所述的無人車自學習控制方法，其特征在于，針對直線行駛情況，當所述平均獎勵數值滿足所述步驟最大獎勵值的預設比例時，對所述運動控制規則進行調整及更新，具體形式如公式(1)至公式(3)：

When Direction＝Straight；

其中，當所述平均獎勵數值滿足公式(1)中所述步驟最大獎勵值的預設比例時，所述運動控制規則的獎勵函數由公式(1)調整至公式(2)，當所述平均獎勵數值滿足調整后的公式(2)中所述步驟最大獎勵值的預設比例時，所述運動控制規則的獎勵函數由公式(2)調整至公式(3)，并以此類推，且，r₃r₂r₁r_negative，steer為方向盤的旋轉角度。

7.根據權利要求1所述的無人車自學習控制方法，其特征在于，所述運動控制規則采用了深度強化學習算法，并基于Carla無人駕駛仿真平臺。

8.一種無人車自學習控制裝置，其特征在于，包括：

規則提煉模塊(100)，用于獲取車輛在當前駕駛環境的運動控制規則；其中，所述運動控制規則輸出的是所述車輛的執行動作，輸入的是所述車輛的行駛狀態；

自主駕駛模塊(200)，用于根據所述運動控制規則，控制所述車輛進行自主駕駛；

狀態獲取模塊(300)，用于在自主駕駛過程中，獲取所述車輛行駛狀態；

自學習模塊(400)，用于根據所述車輛行駛狀態，生成車輛的行駛能力，并根據所述行駛能力調整及更新所述運動控制規則。