[發明專利]用于生成自動駕駛車輛交叉路口導航指令的系統和方法

在審

• 申請號: 201910307585.4
• 申請日: 2019-04-17
• 公開（公告）號: CN110427021A
• 公開（公告）日: 2019-11-08
• 發明（設計）人: D·伊澤勒;R·拉西馬;A·戈斯古恩;K·薩伯拉馬尼安;藤村希久雄
• 申請（專利權）人: 本田技研工業株式會社
• 主分類號: G05D1/02
• 分類號: G05D1/02
• 代理公司: 北京市金杜律師事務所 11256
• 代理人: 易詠梅;楊濤

1.一種用于為車輛生成導航指令以通過無信號交叉路口的系統，所述系統包括：

存儲器，其存儲用于執行生成所述無信號交叉路口的導航指令的過程的指令；以及

處理器，其被配置成能夠執行所述指令，其中，所述過程包括：

生成所述車輛的序列動作的預期返回；

通過選擇對于所述車輛具有最大值的動作來確定最優策略；

執行動態跳幀以加速學習所述車輛的重復動作；

通過利用經驗回放緩沖器對經驗回放進行優先處理來打破所述車輛的序列步之間的關聯；

基于所述預期返回、所述最優策略、所述動態跳幀或優先處理的所述經驗回放中的至少一個生成多個狀態-動作表達；

基于所述多個狀態-動作表達生成用于無信號交叉路口的導航指令；以及

將用于無信號交叉路口的所述導航指令發送給所述車輛，從而使所述車輛執行所述指令以導航通過所述無信號交叉路口。

2.根據權利要求1所述的系統，其中，所述多個狀態-動作表達包括一個或多個深度Q網絡(DQN)。

3.根據權利要求2所述的系統，其中，所述處理器被進一步配置成能夠將所述車輛周圍的空間離散化在相對于所述車輛的參考系的網格中，其中，所述車輛周圍的所述空間基于從所述車輛檢索的掃描構建。

4.根據權利要求3所述的系統，其中：

對于所述一個或多個DQN中的第一DQN，所述空間中所述車輛周圍的一個或多個次要車輛用相應航向角、速度或計算碰撞時間中的至少一個表示；并且

對于所述一個或多個DQN中的第二DQN，所述空間中所述車輛周圍的一個或多個次要車輛用相應航向角、速度和偏置項中的至少一個表示。

5.根據權利要求3所述的系統，其中，所述一個或多個DQN中的第一DQN包括具有帶泄露線性整流函數(ReLU)激活功能的完全連接網絡，并且其中，所述完全連接網絡包括：

三個隱藏層，每個所述隱藏層包括多個節點，以及

線性層，所述線性層具有對應于所述車輛在多個時間刻度的多個動作的多個輸出。

6.根據權利要求3所述的系統，其中，所述一個或多個DQN中的第一DQN包括卷積神經網絡，所述卷積神經網絡包括完全連接層、線性輸出層和多個卷積層，并且其中，所述多個卷積層中的每個卷積層和所述完全連接層利用帶泄露線性整流函數(ReLU)激活功能，并且其中，所述線性輸出層包括多個輸出。

7.根據權利要求2所述的系統，其中，所述處理器被進一步配置成能夠基于模擬交通訓練所述一個或多個DQN。

8.一種用于為車輛生成導航指令以通過無信號交叉路口的方法，所述方法包括：

生成所述車輛的序列動作的預期返回；

通過選擇對于所述車輛具有最大值的動作來確定最優策略；

執行動態跳幀以加速學習所述車輛的重復動作；

通過利用經驗回放緩沖器對經驗回放進行優先處理，以打破所述車輛的序列步之間的關聯；

基于所述預期返回、所述最優策略、所述動態跳幀或優先處理的所述經驗回放中的至少一個生成多個狀態-動作表達；

基于所述多個狀態-動作表達生成用于無信號交叉路口的所述導航指令；以及

將所述導航指令發送給所述車輛，從而使所述車輛執行所述導航指令以導航通過所述無信號交叉路口。

9.根據權利要求8所述的方法，其中，所述多個狀態-動作表達包括一個或多個深度Q網絡(DQN)。

10.根據權利要求9所述的方法，其中，所述方法進一步包括將所述車輛周圍的空間離散化在相對于所述車輛的參考系的網格中，其中，所述車輛周圍的所述空間基于從所述車輛檢索的掃描構建。