[發明專利]自動駕駛方法、訓練方法及相關裝置

有效

• 申請號: 201811528036.1
• 申請日: 2018-12-13
• 公開（公告）號: CN109901572B
• 公開（公告）日: 2022-06-28
• 發明（設計）人: 張星;蘭林;李震國;錢莉
• 申請（專利權）人: 華為技術有限公司
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 廣州三環專利商標代理有限公司 44202
• 代理人: 郝傳鑫;熊永強

1.一種自動駕駛方法，其特征在于，包括：

自動駕駛裝置根據自動駕駛任務的M組歷史路徑，確定所述自動駕駛任務的任務特征向量，所述任務特征向量為表征所述自動駕駛任務的特征的向量，M為大于0的整數；

所述自動駕駛裝置根據所述任務特征向量和狀態向量，確定所需執行的目標駕駛操作，所述狀態向量用于表征所述自動駕駛裝置的行駛狀態；

所述自動駕駛裝置執行所述目標駕駛操作；所述自動駕駛裝置根據自動駕駛任務的M組歷史路徑，確定所述自動駕駛任務的任務特征向量包括：

所述自動駕駛裝置獲得所述M組歷史路徑；

所述自動駕駛裝置利用任務抽象網絡對所述M組歷史路徑做特征提取，得到M組中間特征向量，所述M組中間特征向量與所述M組歷史路徑一一對應；

所述自動駕駛裝置根據所述M組中間特征向量，確定所述任務特征向量。

2.根據權利要求1所述的方法，其特征在于，所述自動駕駛裝置根據所述任務特征向量和狀態向量，確定所需執行的目標駕駛操作包括：

所述自動駕駛裝置利用共享策略網絡對所述任務特征向量和所述狀態向量做處理，得到所述目標駕駛操作，所述共享策略網絡為用于實現強化學習的神經網絡。

3.根據權利要求2所述的方法，其特征在于，所述自動駕駛裝置獲得所述M組歷史路徑中的任一組歷史路徑包括：

所述自動駕駛裝置利用所述共享策略網絡對參考特征向量和第一狀態向量做處理，得到第一駕駛操作；所述參考特征向量為零向量或根據所述自動駕駛任務的N組歷史路徑確定的所述自動駕駛任務的特征向量，所述第一狀態向量用于表征所述自動駕駛裝置在第一時間步的行駛狀態，N為大于0的整數；

所述自動駕駛裝置在所述第一時間步執行所述第一駕駛操作；

所述自動駕駛裝置獲得所述自動駕駛裝置在第二時間步的行駛狀態和執行所述第一駕駛操作的回報，所述第二時間步為所述第一時間步的下一時間步；

所述自動駕駛裝置根據完成或執行所述自動駕駛任務的T個時間步的信息，確定一組歷史路徑；所述T個時間步包括所述第一時間步，所述T個時間步中任一個時間步的信息包括所述自動駕駛裝置在所述任一時間步的行駛狀態、執行的駕駛操作以及得到的回報，T為不小于1的整數。

4.根據權利要求3所述的方法，其特征在于，所述自動駕駛裝置利用所述共享策略網絡對參考特征向量和第一狀態向量做處理，得到第一駕駛操作之前，所述方法還包括：

所述自動駕駛裝置獲得所述N組歷史路徑；

所述自動駕駛裝置根據所述N組歷史路徑對應的N個損失，更新所述自動駕駛任務對應的一組任務抽象網絡參數，所述N個損失與所述N組歷史路徑一一對應；

所述自動駕駛裝置利用所述任務抽象網絡對所述N組歷史路徑做特征提取，得到N個中間特征向量，所述N個中間特征向量與所述N組歷史路徑一一對應；其中，所述任務抽象網絡采用所述一組任務抽象網絡參數對所述N組歷史路徑進行處理；

所述自動駕駛裝置根據所述N個中間特征向量，確定所述參考特征向量。

5.根據權利要求4所述的方法，其特征在于，所述自動駕駛裝置根據所述N組歷史路徑對應的N個損失，更新所述自動駕駛任務對應的一組任務抽象網絡參數包括：

所述自動駕駛裝置利用第一損失函數相對于所述任務抽象網絡的參數的梯度值，更新所述任務抽象網絡相對于所述自動駕駛任務的一組相對參數；所述一組任務抽象網絡參數為所述任務抽象網絡的參數與所述一組相對參數之差，所述第一損失函數用于計算所述N個損失的損失和。

6.根據權利要求5所述的方法，其特征在于，所述第一損失函數的計算公式如下：

其中，θ_TA表示所述任務抽象網絡的參數；表示所述共享策略網絡的輸入為狀態向量s_t和特征向量h(θ_TA)，輸出為駕駛操作a_t的概率；H為最大步數，t表示時間步；b(s_t)表示用于計算所述自動駕駛裝置在時間步t獲得的回報的基準函數；r_t′表示所述自動駕駛裝置在時間步t獲得的真實回報；E_τ[]表示計算中括號中的期望。