[發明專利]車輛自動駕駛測試方法及裝置

有效

• 申請號: 201910957136.4
• 申請日: 2019-10-09
• 公開（公告）號: CN110686906B
• 公開（公告）日: 2021-03-26
• 發明（設計）人: 陳百鳴;李明聰;趙錦濤;張志煌;李亮;肖凌云;董紅磊;王琰
• 申請（專利權）人: 清華大學;中國標準化研究院
• 主分類號: G01M17/007
• 分類號: G01M17/007;G06N20/00
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 范彥揚

1.一種車輛自動駕駛測試方法，其特征在于，所述方法包括：

確定當前測試環境狀態，所述當前測試環境狀態包括測試車輛的當前位置狀態以及被測車輛的當前位置狀態；

將所述當前測試環境狀態輸入至強化學習模型中，獲得所述測試車輛在所述當前測試環境狀態下需執行的對所述被測車輛的目標干擾動作，其中，在所述當前測試環境狀態下所述測試車輛執行所述目標干擾動作所獲得的獎勵值滿足預設條件；

控制所述測試車輛執行所述目標干擾動作，以獲取所述被測車輛在所述測試車輛執行所述目標干擾動作后產生的駕駛反應；

其中，所述強化學習模型通過以下方式訓練：

獲取訓練樣本，所述訓練樣本包括獎懲函數、輸入的測試環境狀態集以及輸出的每個測試環境狀態對應的干擾動作集，所述測試環境狀態包括訓練測試車輛的位置狀態以及訓練被測車輛的位置狀態；

將所述訓練樣本輸入所述強化學習模型中，通過所述獎懲函數獲得在當前測試環境狀態下所述訓練測試車輛執行對應的干擾動作集中每個干擾動作的獎勵值；

根據所述獎勵值確定所述強化學習模型輸出的在所述當前測試環境狀態下所述訓練測試車輛需執行的對所述訓練被測車輛的干擾動作，并控制所述訓練測試車輛執行所述干擾動作，以使所述強化學習模型進入下一測試環境狀態，繼續對所述強化學習模型進行訓練，直至所述強化學習模型收斂；其中，所述當前測試環境狀態下所述訓練測試車輛執行所述干擾動作所獲得的獎勵值滿足預設條件。

2.根據權利要求1所述的方法，其特征在于，所述將所述當前測試環境狀態輸入至強化學習模型中，獲得所述測試車輛在所述當前測試環境狀態下需執行的對所述被測車輛的目標干擾動作，包括：

將所述當前測試環境狀態輸入至強化學習模型中，利用確定的獎懲函數計算獲得所述測試車輛執行對應的目標干擾動作所獲得的獎勵值；

在所述獎勵值滿足預設條件時，確定所述測試車輛在所述當前測試環境狀態下需執行的對所述被測車輛的干擾動作為所述目標干擾動作。

3.根據權利要求2所述的方法，其特征在于，所述獎懲函數為基于所述被測車輛的行駛質量以及所述測試車輛的安全駕駛能力確定的。

4.根據權利要求3所述的方法，其特征在于，所述被測車輛的行駛質量為基于所述被測車輛是否完成駕駛任務、完成駕駛任務所用時間、是否與所述測試車輛發生碰撞、與所述測試車輛發生碰撞的時間與次數以及是否違反交通規則中的至少一種情況確定的。

5.根據權利要求3所述的方法，其特征在于，所述測試車輛的安全駕駛能力為基于所述測試車輛在預設時間段內與所述被測車輛之間的距離以及相對速度、所述測試車輛是否違反交通規則中的至少一種情況確定的。

6.根據權利要求1所述的方法，其特征在于，所述當前測試環境狀態還包括測試環境中的車道的寬度以及曲率，所述測試車輛的當前位置狀態包括所述測試車輛所在的車道位置、所述測試車輛與其所在的車道中心線的距離與夾角、所述測試車輛與所述被測車輛的相對位置以及所述測試車輛與所述被測車輛的相對速度中的至少一種，所述被測車輛的當前位置狀態包括所述被測車輛與其所在的車道中心線的距離與夾角。

7.根據權利要求1所述的方法，其特征在于，所述控制所述測試車輛執行所述目標干擾動作，以獲取被測車輛在所述測試車輛執行所述目標干擾動作后產生的駕駛反應之后，還包括：

根據所述被測車輛產生的駕駛反應確定所述被測車輛的自動駕駛能力。

8.根據權利要求1所述的方法，其特征在于，所述強化學習模型為深度Q學習DQN模型、深度確定性策略梯度DDPG模型、歸一化優勢函數NAF模型或異步優勢行為者-評論者A3C模型。

9.一種車輛自動駕駛測試裝置，其特征在于，所述裝置包括：

狀態確定模塊，用于確定當前測試環境狀態，所述當前測試環境狀態包括測試車輛的當前位置狀態以及被測車輛的當前位置狀態；

動作確定模塊，用于將所述當前測試環境狀態輸入至強化學習模型中，獲得所述測試車輛在所述當前測試環境狀態下需執行的對所述被測車輛的目標干擾動作，其中，在所述當前測試環境狀態下所述測試車輛執行所述目標干擾動作所獲得的獎勵值滿足預設條件；

駕駛反應測試模塊，用于控制所述測試車輛執行所述目標干擾動作，以獲取所述被測車輛在所述測試車輛執行所述目標干擾動作后產生的駕駛反應；

其中，所述裝置還包括：

模型訓練模塊，用于：

獲取訓練樣本，所述訓練樣本包括獎懲函數、輸入的測試環境狀態集以及輸出的每個測試環境狀態對應的干擾動作集，所述測試環境狀態包括訓練測試車輛的位置狀態以及訓練被測車輛的位置狀態；

將所述訓練樣本輸入所述強化學習模型中，通過所述獎懲函數獲得在當前測試環境狀態下所述訓練測試車輛執行對應的干擾動作集中每個干擾動作的獎勵值；

根據所述獎勵值確定所述強化學習模型輸出的在所述當前測試環境狀態下所述訓練測試車輛需執行的對所述訓練被測車輛的干擾動作，并控制所述訓練測試車輛執行所述干擾動作，以使所述強化學習模型進入下一測試環境狀態，繼續對所述強化學習模型進行訓練，直至所述強化學習模型收斂；其中，所述當前測試環境狀態下所述訓練測試車輛執行所述干擾動作所獲得的獎勵值滿足預設條件。