[發明專利]一種進行駕駛策略模型訓練的方法與設備

有效

• 申請號: 201711257831.7
• 申請日: 2017-12-01
• 公開（公告）號: CN107862346B
• 公開（公告）日: 2020-06-30
• 發明（設計）人: 許稼軒;周小成
• 申請（專利權）人: 馭勢科技（北京）有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N20/00
• 代理公司: 上海三和萬國知識產權代理事務所(普通合伙) 31230
• 代理人: 周建華

1.一種進行駕駛策略模型訓練的方法，其中，所述方法包括：

獲取駕駛設備的駕駛策略模型對應的模型參數信息，其中，所述模型參數信息是基于預定的駕駛規則信息對所述駕駛策略模型進行預訓練確定的，所述駕駛策略模型基于強化學習算法建立；

獲取駕駛設備行駛中的駕駛參數信息，基于所述模型參數信息，對所述駕駛策略模型進行訓練；

所述預訓練包括：

基于所述駕駛設備的歷史駕駛參數信息及對應的駕駛規則信息，確定所述駕駛設備的第一駕駛策略信息；

基于所述駕駛設備的歷史駕駛參數信息，通過強化學習算法確定所述駕駛設備的第二駕駛策略信息；

基于所述第一駕駛策略信息及所述第二駕駛策略信息，訓練駕駛策略模型，確定所述模型參數信息。

2.根據權利要求1所述的方法，其中，所述基于所述第一駕駛策略信息及所述第二駕駛策略信息，訓練駕駛策略模型，確定所述模型參數信息包括：

以駕駛規則信息對應的第一駕駛策略信息對第二駕駛策略信息進行約束。

3.根據權利要求2所述的方法，其中，進行過所述預訓練的所述駕駛策略模型滿足對應的第一回饋函數的評價指標，所述第一回饋函數的評價指標包括所述第二駕駛策略信息與所述第一駕駛策略信息的距離小于預定閾值。

4.根據權利要求1所述的方法，其中，所述獲取駕駛設備行駛中的駕駛參數信息，基于所述模型參數信息，對所述駕駛策略模型進行訓練包括：

獲取所述駕駛設備行駛中的駕駛參數信息，基于所述模型參數信息，確定所述駕駛設備的第三駕駛策略信息；

執行所述第三駕駛策略信息；

利用所述駕駛策略模型對應的第二回饋函數的評價指標對所述執行所述第三駕駛策略信息的執行結果進行判斷；

基于判斷結果調整所述駕駛策略模型。

5.根據權利要求4所述的方法，其中，所述第二回饋函數的評價指標包括以下至少任一項：

駕駛設備與軌道中心線的距離小于預設距離閾值；

駕駛設備行駛方向與軌道線一致。

6.根據權利要求1至5中任一項所述的方法，其中，所述駕駛參數信息包括以下至少任一項：

車輛的速度信息；

車輛的偏離軌道方向信息；

車輛與軌道中心線的距離信息；

車輛與軌道邊沿的距離信息；

障礙物感知信息；

交通標志感知信息。

7.根據權利要求1至5中任一項所述的方法，其中，所述駕駛設備包括智能駕駛車輛。

8.一種進行駕駛策略模型訓練的駕駛設備，其中，所述駕駛設備包括：

獲取裝置，用于獲取駕駛設備的駕駛策略模型對應的模型參數信息，其中，所述模型參數信息是基于預定的駕駛規則信息對所述駕駛策略模型進行預訓練確定的，所述駕駛策略模型基于強化學習算法建立；

訓練裝置，用于獲取駕駛設備行駛中的駕駛參數信息，基于所述模型參數信息，對所述駕駛策略模型進行訓練；

所述預訓練包括：

基于所述駕駛設備的歷史駕駛參數信息及對應的駕駛規則信息，確定所述駕駛設備的第一駕駛策略信息；

基于所述駕駛設備的歷史駕駛參數信息，通過強化學習算法確定所述駕駛設備的第二駕駛策略信息；

基于所述第一駕駛策略信息及所述第二駕駛策略信息，訓練駕駛策略模型，確定所述模型參數信息。

9.根據權利要求8所述的駕駛設備，其中，所述基于所述第一駕駛策略信息及所述第二駕駛策略信息，訓練駕駛策略模型，確定所述模型參數信息包括：

以駕駛規則信息對應的第一駕駛策略信息對第二駕駛策略信息進行約束。

10.根據權利要求9所述的駕駛設備，其中，進行過所述預訓練的所述駕駛策略模型滿足對應的第一回饋函數的評價指標，所述第一回饋函數的評價指標包括所述第二駕駛策略信息與所述第一駕駛策略信息的距離小于預定閾值。