[發明專利]車輛自動駕駛控制策略模型生成方法、裝置、設備及介質

在審

• 申請號: 201810163708.7
• 申請日: 2018-02-27
• 公開（公告）號: CN110196587A
• 公開（公告）日: 2019-09-03
• 發明（設計）人: 李慧云;劉艷琳
• 申請（專利權）人: 中國科學院深圳先進技術研究院
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 深圳青年人專利商標代理有限公司 44350
• 代理人: 傅俏梅

本發明適用計算機技術領域，提供了一種車輛自動駕駛控制策略模型生成方法、裝置、設備及介質，該方法包括：采集當前試驗時刻試驗車輛的駕駛狀態信息，通過貝葉斯網絡從車輛動作集合中篩選出駕駛狀態信息關聯的車輛動作，通過獎勵回報函數在這些關聯的車輛動作中確定最大回報值動作，向試驗車輛發送最大回報值動作，并將駕駛狀態信息、最大回報值動作、以及最大回報值動作的回報值組合為訓練樣本，在試驗車輛的試驗結束時，根據不同試驗時刻的訓練樣本和深度學習算法，訓練得到用于車輛自動駕駛的控制策略模型，從而有效地降低了控制策略模型的訓練計算開銷，提高了車輛自動駕駛的模型訓練效率。

技術領域

本發明屬于計算機技術領域，尤其涉及一種車輛自動駕駛控制策略模型生成方法、裝置、設備及存儲介質。

背景技術

隨著經濟的發展和城鎮化的推進，全球汽車保有量和道路里程逐步增加，諸如交通擁堵、交通事故、空氣污染、土地資源緊缺等一系列傳統汽車無法妥善解決的問題日益凸顯。智能汽車技術被視為這些問題的有效解決方案，其發展備受矚目。美國電氣和電子工程師協會(IEEE)預測，至2040年自動駕駛車輛所占的比例將達到75％。

近兩年，隨著深度強化學習的快速發展，一些科研機構已經基于該技術開發出“端對端”式的自動駕駛算法，比如NVIDIA、comma.ai等科技公司。“端對端”式的自動駕駛算法采用深度網絡來構建控制策略模型，深度網絡的輸入是車輛的高維狀態信息，包括攝像頭、激光雷達、GPS位置、速度等狀態數據，通過深度強化學習的技術，訓練深度網絡的輸出直接作為控制車輛駕駛的動作信號。傳統的智能駕駛技術一般基于傳感器信號，識別出人類可以理解的模式，然后基于人類駕駛的規則給出合適的控制動作。采用深度強化學習的好處是不需要對車輛的狀態基于規則式的識別，它類似“黑盒子”式的反饋控制。然而，高維狀態的狀態信息和龐大的網絡結構，往往消耗大量的計算資源，采用大型的GPU服務器花費幾十個小時的訓練時間，才有可能得到一個控制策略模型。

發明內容

本發明的目的在于提供一種車輛自動駕駛控制策略模型生成方法、裝置、設備及存儲介質，旨在解決由于現有技術中車輛自動駕駛控制策略模型生成的計算量較大、效率不高的問題。

一方面，本發明提供了一種車輛自動駕駛控制策略模型生成方法，所述方法包括下述步驟：

采集當前試驗時刻試驗車輛的駕駛狀態信息，根據預先構建的貝葉斯網絡，在預設的車輛動作集合中篩選出所述駕駛狀態信息關聯的車輛動作；

根據預先構建的獎勵回報函數，在所述駕駛狀態信息關聯的車輛動作中確定所述駕駛狀態信息對應的最大回報值動作；

向所述試驗車輛發送所述最大回報值動作，并將所述駕駛狀態信息、所述最大回報值動作以及所述最大回報值動作的回報值組合成訓練樣本；

判斷所述試驗車輛的試驗是否結束，是則根據不同試驗時刻的所述訓練樣本和預設的深度學習算法，對用于車輛自動駕駛的控制策略模型進行訓練，以得到訓練好的、用于車輛自動駕駛的控制策略模型，否則跳轉至采集當前試驗時刻試驗車輛的駕駛狀態信息的步驟。

另一方面，本發明提供了一種車輛自動駕駛控制策略模型生成裝置，所述裝置包括：

采集篩選單元，用于采集當前試驗時刻試驗車輛的駕駛狀態信息，根據預先構建的貝葉斯網絡，在預設的車輛動作集合中篩選出所述駕駛狀態信息關聯的車輛動作；

動作確定單元，用于根據預先構建的獎勵回報函數，在所述駕駛狀態信息關聯的車輛動作中確定所述駕駛狀態信息對應的最大回報值動作；

樣本生成單元，用于向所述試驗車輛發送所述最大回報值動作，并將所述駕駛狀態信息、所述最大回報值動作以及所述最大回報值動作的回報值組合成訓練樣本；以及