[發明專利]用于生成自動駕駛車輛交叉路口導航指令的系統和方法

在審

• 申請號: 201910307585.4
• 申請日: 2019-04-17
• 公開（公告）號: CN110427021A
• 公開（公告）日: 2019-11-08
• 發明（設計）人: D·伊澤勒;R·拉西馬;A·戈斯古恩;K·薩伯拉馬尼安;藤村希久雄
• 申請（專利權）人: 本田技研工業株式會社
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 易詠梅;楊濤

提供了用于為車輛生成指令以導航通過無信號交叉路口的系統和方法。該方法可以包括：生成車輛序列動作的預期返回；通過選擇對于車輛具有最大值的動作來確定最優策略；執行動態跳幀以加速學習車輛的重復動作；通過利用經驗回放緩沖器對經驗回放進行優先處理，以打破車輛的序列步之間的關聯；基于預期返回、最優策略、動態跳幀或所述優先處理的經驗回放中的至少一個生成多個狀態?動作表達；基于所述多個狀態?動作表達生成用于無信號交叉路口導航的指令；以及將用于無信號交叉路口導航的指令發送給車輛，從而使車輛執行指令以導航通過無信號交叉路口。

技術領域

本發明的主題涉及用于車輛自動駕駛的方法和系統。

背景技術

為了成功地通過無信號交叉路口，駕駛員必須了解車輛動力學、解讀其他駕駛員的意圖，并且可預測地做出行為以便其他駕駛員能夠適當地響應。然而，在自動駕駛車輛中學習這種行為需要優化多個沖突的目標，包括安全性、效率和交通影響最小化。即使是對于人類駕駛員來說，在安全性、效率和交通影響最小化之間取得平衡也是一項挑戰。因此，自動駕駛車輛最具挑戰性的問題之一就是應對城市環境中的無信號交叉路口。挑戰主要來自不可預測的自動駕駛系統行為。雖然基于規則的交叉路口處理方法提供了可靠且易于理解的解決方案，但這些方法可能導致次優的行為和任務績效。

之前的基于規則的策略包括協作式和啟發式方法。協作式方法要求車輛到車輛的通信，因此無法擴展到一般的交叉路口處理。啟發式方法是基于碰撞時間(TTC)的基于規則的方法。雖然TTC有許多好處，但也有其局限性。例如，TTC模型假定速度恒定，忽略了有關駕駛員意圖的幾乎所有信息。此外，人類駕駛員經常不可預測的行為可能使基于規則的算法的使用復雜化。因此，在許多情況下，使用TTC 的自動駕駛系統可能過于謹慎，從而可能產生不必要的延遲。

其它基于機器學習的方法已經用于交叉路口處理，如模仿學習、在線規劃和離線學習。雖然這些方法中的每一個可能都具有優點，但也具有缺點。例如，在模仿學習中，策略是學習人類駕駛員。然而，如果自動駕駛系統發現自己處于不屬于訓練數據的狀態，例如先前未學習的狀態，則該策略無法提供解決方案。在線規劃器通過模擬當前時間步的未來狀態來計算要采取的最佳動作。雖然已經表明基于部分可觀測蒙特卡洛計劃(POMCP)的在線規劃器可以處理交叉路口，但這些規劃器依賴于存在準確的生成模型。離線學習方法通常通過在后端使用馬爾可夫決策過程(MDP)解決交叉路口問題。離線學習可能涉及以采集數據來訓練系統，這使得系統能夠以大量數據訓練，并且經常使得系統在運行時速度很快。然而，一個示例性缺點在于，所得到的系統隨后被“固定”并且可能無法適應新情況。

發明內容

提供本發明內容以通過簡化形式介紹一系列構思，這些構思在下文的具體實施方式中進一步描述。本發明內容并非旨在識別所要求保護的主題的關鍵特征，也非旨在用于輔助確定所要求保護的主題的范圍。

在一些方面，本發明結合了深度學習技術以提高學習速度并改善性能。例如，在一些方面，本發明使用強化學習技術使車輛在序列動作上的預期返回最大化，并使用Q學習技術以優化預期返回。在其它方面，本發明使用動態跳幀加速學習重復動作，并且利用優先處理的回放以確保同時學習正面和負面情況。此外，在各個方面，本發明利用經驗回放學習所施加的離策略(off-policy)性質來計算和訓練完整的n步返回，從而減少了深度Q網絡(DQN)的學習時間。本發明的無信號交叉路口導航技術還提供優于現有技術的改進性能，如通過模擬交通場景的結果比較所示。

附圖說明

在權利要求書中列出被認為是本發明的方案的特質的新穎特征。在以下描述中，類似部件在整個說明書和附圖中分別用相同附圖標記。附圖不一定按比例繪制，并且為清楚和簡潔起見，某些附圖可以以放大或概略的形式示出。但是，當結合附圖閱讀時，通過參考以下詳細描述的本發明的說明性方面，可以最好地理解本發明本身及其優選使用方式及進一步的目的和發展，在附圖中：

圖1示出根據本發明各方面的車輛系統的示例操作環境的示意圖；