[發明專利]用于自主機器應用的多活動者環境中的未來軌跡預測

在審

• 申請號: 202180005405.2
• 申請日: 2021-03-19
• 公開（公告）號: CN114450724A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: A·加米涅夫;N·斯莫良斯基;I·庫爾卡尼;O·博埃爾·博安;楊方凱;A·德伊爾曼吉;R·巴爾加瓦;U·穆勒;D·尼斯特;R·阿維夫
• 申請（專利權）人: 輝達公司
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V20/54;G06K9/62;G06V10/762;G06V10/82;G06N3/04;G06N3/08;G06F16/29;B60W60/00
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉

在各個示例中，對應于環境中的活動者的過去位置信息和地圖信息可被應用于被訓練成計算對應于活動者的未來軌跡的信息的深度神經網絡(DNN)(諸如循環神經網絡(RNN))。DNN的輸出可包括，針對DNN被訓練以預測的每個未來時間片的表示活動者存在的每個像素的置信度的置信度圖以及表示活動者在先前時間片的置信度圖中的位置的向量場。向量場因此可被用于通過每個未來時間片的置信度圖來追蹤對象，以生成每個活動者的預測的未來軌跡。除了追蹤的過去軌跡之外，預測的未來軌跡還可用于為可在導航環境時幫助自車的活動者生成完整軌跡。

背景技術

為了自主車輛有效地導航，自主車輛需要生成對周圍環境的理解。例如，識別附近汽車、行人、交通標志和信號的位置以及道路配置是用于實現自主車輛的安全控制的關鍵方面。除了對象在環境中的當前位置和配置之外，通過由自主車輛觀察確定這些對象隨時間推移的可能的未來軌跡可以證明在完全理解和解釋環境中的預測變化方面是有效的。

常規系統使用單個活動者方法來利用過去的對象軌跡信息，其中可以確定對自車(ego-vehicle)周圍的活動者的理解，然后可以單獨地計算每個活動者的未來軌跡的確定。例如，一些常規系統依賴于組合網絡來確定與環境中的活動者相對應的高級別特征，并且然后基于高級別特征對每個活動者執行各個計算。這些系統可預測或可不預測多路徑軌跡或單模式軌跡。其他常規系統可以諸如通過使用變分自動編碼器(VAE)來計算環境的活動者的可能的未來軌跡。然而，這些常規系統不是基于相應活動者的過去軌跡來計算未來軌跡，而是基于在給定某個地圖結構的情況下可能軌跡的歷史信息來計算潛在的未來軌跡。因此，這些常規方法限于一次預測單個對象的未來位置(由此限制用于自主駕駛應用的信息的有效性)或者預測不直接對應于活動者的實際預測的未來軌跡的許多可能的軌跡。在針對每個對象重復這些常規過程的情況下，由于系統上的處理負擔，系統的運行時間對于實時部署變得無效。

發明內容

本公開的實施例涉及用于自主機器應用的多活動者環境中的未來軌跡預測。公開了利用先前追蹤的活動者位置和地圖信息來預測(例如，使用深度神經網絡(DNN)，諸如循環神經網絡(RNN))活動者的未來位置的系統和方法。除了先前位置和地圖信息之外，系統還可以利用等待條件、自由空間邊界信息和/或其他環境信息來計算對未來活動者位置的準確且可靠的預測。

與常規系統(諸如以上所描述的那些系統)相比，本系統同時使用深度神經網絡(DNN)(諸如循環神經網絡(RNN))來計算任何數量的活動者的未來軌跡。來自感知堆棧的信息(例如，如使用車輛的一個或更多個傳感器生成的)可以用于計算環境中的活動者的先前位置。除了地圖信息(例如，靜態對象的位置、等待條件信息、自由空間邊界位置、道路結構信息等)之外，此信息還可應用于DNN。在一些實施例中，為了避免在由DNN對數據的處理期間與透視俯視視圖或俯視正交投影視圖數據相關聯的準確性問題，地圖信息和先前位置信息可被映射到俯視圖并被光柵化以生成表示該俯視圖的圖像。使用這一信息，DNN可計算任何數量的未來時間片的置信度圖(例如，表示與活動者的存在相對應的置信度)和向量場，并且向量場可用于從時間片到時間片追蹤活動者——例如，按照相反的時間順序。在一些實施例中，聚類和/或加權平均可用于確定每個活動者的最終未來位置，諸如當置信度圖中的多個點指示活動者的存在時。因此，自車可生成并使用表示每個活動者的過去和/或未來位置的軌跡，以幫助導航環境，例如，用于路徑規劃、控制決策、避障等。

附圖說明

下面參考附圖詳細描述用于自主機器應用的多活動者環境中的未來軌跡預測的本系統和方法，其中：

圖1A包括根據本公開的一些實施例的預測環境中的一個或更多個活動者的軌跡的過程的示例數據流圖；

圖1B描繪了根據本公開的一些實施例的適于在圖1A的過程的至少一個實施例中實現的示例深度神經網絡(DNN)架構；

圖2A-2B描繪了根據本公開的一些實施例的對DNN的示例輸入的視覺表示；

圖3A-3B描繪了根據本公開的一些實施例的來自DNN的示例輸出的視覺表示；