[發明專利]一種車輛行駛決策模型的訓練方法及裝置

有效

• 申請號: 202010078214.6
• 申請日: 2020-02-03
• 公開（公告）號: CN110929431B
• 公開（公告）日: 2020-06-09
• 發明（設計）人: 付圣;任冬淳;夏華夏;丁曙光;錢德恒;王志超;朱炎亮
• 申請（專利權）人: 北京三快在線科技有限公司
• 主分類號: G06F30/20
• 分類號: G06F30/20;B60W50/00
• 代理公司: 北京曼威知識產權代理有限公司 11709
• 代理人: 方志煒

1.一種車輛行駛決策模型的訓練方法，其特征在于，包括：

根據歷史數據，對待訓練的第一決策模型進行訓練，得到訓練后的第一決策模型；所述第一決策模型用于根據輸入的車輛狀態信息和環境信息輸出第一行駛決策；

對所述訓練后的第一決策模型加擾，得到第二決策模型；所述第二決策模型用于根據輸入的車輛狀態信息和環境信息輸出第二行駛決策；

獲取當前的車輛狀態信息和當前的環境信息；

將所述當前的車輛狀態信息和所述當前的環境信息分別輸入到所述訓練后的第一決策模型和所述第二決策模型，得到第一行駛決策和第二行駛決策；

根據所述第一行駛決策和所述第二行駛決策，確定用于訓練第三決策模型的標簽；

以所述當前的車輛狀態信息和所述當前的環境信息作為輸入，根據所述標簽，對待訓練的第三決策模型進行訓練。

2.如權利要求1所述的方法，其特征在于，根據歷史數據，對待訓練的第一決策模型進行訓練，具體包括：

將歷史數據中包含的指定歷史時刻的車輛狀態信息和所述指定歷史時刻的環境信息輸入待訓練的第一決策模型，得到所述待訓練的第一決策模型輸出的預測軌跡；其中，所述預測軌跡為在所述指定歷史時刻之后指定時間段內的行駛軌跡，所述預測軌跡包含若干軌跡點，不同的軌跡點對應于所述指定時間段中不同的時刻；

根據所述預測軌跡中的各軌跡點、所述各軌跡點對應的置信度、所述歷史數據中包含的所述指定歷史時刻之后的各時刻的車輛狀態信息，確定所述預測軌跡與所述歷史數據中包含的所述指定歷史時刻之后的各時刻所述車輛的實際軌跡的差異；其中，針對每個軌跡點，該軌跡點對應的置信度，與該軌跡點對應的時刻距離所述指定歷史時刻的時間長度呈負相關；

以差異最小化為訓練目標，對所述待訓練的第一決策模型進行訓練，得到訓練后的第一決策模型。

3.如權利要求1所述的方法，其特征在于，對所述訓練后的第一決策模型加擾，得到第二決策模型，具體包括：

調整所述訓練后的第一決策模型中的至少一個模型參數，得到調整后的模型，作為第二決策模型。

4.如權利要求1所述的方法，其特征在于，根據所述第一行駛決策和所述第二行駛決策，確定用于訓練第三決策模型的標簽，具體包括：

在仿真環境下對所述第一行駛決策和所述第二行駛決策進行測試，得到所述第一行駛決策和所述第二行駛決策分別對應的評分；

根據所述第一行駛決策的評分和所述第二行駛決策的評分，從所述第一行駛決策和所述第二行駛決策中，選擇作為訓練第三決策模型的標簽的決策。

5.如權利要求4所述的方法，其特征在于，根據所述第一行駛決策的評分和所述第二行駛決策的評分，從所述第一行駛決策和所述第二行駛決策中，選擇作為訓練第三決策模型的標簽的決策，具體包括：

根據所述第一行駛決策的評分和所述第二行駛決策的評分，確定所述第一行駛決策和所述第二行駛決策分別對應的選擇概率；其中，所述選擇概率與評分呈正相關；

根據所述選擇概率，從所述第一行駛決策和所述第二行駛決策中，選擇作為訓練第三決策模型的標簽的決策。

6.如權利要求1所述的方法，其特征在于，以所述當前的車輛狀態信息和所述當前的環境信息作為輸入，根據所述標簽，對待訓練的第三決策模型進行訓練，具體包括：

將所述當前的車輛狀態信息和所述當前的環境信息輸入待訓練的第三決策模型，得到所述待訓練的第三決策模型輸出的第三行駛決策；

根據所述第三行駛決策、所述用于訓練第三決策模型的標簽，確定所述第三行駛決策的獎勵；

以獎勵最大化為訓練目標，對所述待訓練的第三決策模型進行訓練，得到訓練后的第三決策模型；所述第三決策模型為強化學習模型。

7.如權利要求1所述的方法，其特征在于，所述車輛狀態信息包括車輛位姿；

所述環境信息包括車輛感知的環境中各障礙物的狀態信息。