[發明專利]用于自主機器應用的多活動者環境中的未來軌跡預測

在審

• 申請號: 202180005405.2
• 申請日: 2021-03-19
• 公開（公告）號: CN114450724A
• 公開（公告）日: 2022-05-06
• 發明（設計）人: A·加米涅夫;N·斯莫良斯基;I·庫爾卡尼;O·博埃爾·博安;楊方凱;A·德伊爾曼吉;R·巴爾加瓦;U·穆勒;D·尼斯特;R·阿維夫
• 申請（專利權）人: 輝達公司
• 主分類號: G06V20/58
• 分類號: G06V20/58;G06V20/54;G06K9/62;G06V10/762;G06V10/82;G06N3/04;G06N3/08;G06F16/29;B60W60/00
• 代理公司: 北京市磐華律師事務所 11336
• 代理人: 高偉

1.一種方法，包括：接收由環境內的車輛的一個或更多個傳感器在一時間段內生成的傳感器數據；至少部分地基于所述傳感器數據，確定所述時間段期間活動者的至少一個過去位置；生成表示所述活動者的所述至少一個過去位置的第一圖像；接收表示與所述環境相對應的地圖信息的第一數據；生成表示所述地圖信息的第二圖像；將表示所述第一圖像和所述第二圖像的圖像數據應用于深度神經網絡(DNN)；使用所述DNN并且至少部分地基于所述圖像數據來計算對應于向量場的第二數據和對應于置信度場的第三數據；以及至少部分地基于所述向量場和運動場，確定所述活動者在所述時間段之后的未來時間的至少一個未來位置。

2.根據權利要求1所述的方法，其中生成所述第一圖像包括：光柵化所述過去位置，并且生成所述第二圖像包括：光柵化所述地圖信息。

3.根據權利要求1所述的方法，其中所述地圖信息相對于所述車輛的位置和所述車輛在所述時間段內的最新時間的定向而定向。

4.根據權利要求1所述的方法，其中所述第一圖像以所述車輛在其中心處的位置來定向，并且所述活動者的所述至少一個過去位置相對于所述車輛的位置在所述第一圖像內被定向。

5.根據權利要求1所述的方法，其中在俯視圖中，所述第一圖像和所述第二圖像被光柵化。

6.根據權利要求1所述的方法，其中所述向量場內的至少一個點對應于表示所述活動者在所述未來時間之前和所述時間段之后的時間的過去位置的運動向量。

7.根據權利要求1所述的方法，其中所述置信度場內的至少一個點與所述點對應于所述活動者的所述至少一個未來位置的置信度相對應。

8.根據權利要求1所述的方法，其中所述神經網絡包括循環神經網絡(RNN)，并且進一步其中：所述RNN包括至少第一編碼器-解碼器架構，所述第一編碼器-解碼器架構接收所述活動者的所述一個或更多個過去位置作為輸入；并且所述RNN包括第二編碼器-解碼器架構，所述第二編碼器-解碼器架構接收所述活動者的一個或更多個預測的未來位置作為輸入，所述活動者的一個或更多個預測的未來位置如來自所述RNN的第三編碼器-解碼器架構的所述第一編碼器-解碼器架構的輸出。

9.根據權利要求8所述的方法，其中使用所述第一編碼器-解碼器架構計算的狀態信息與所述第二編碼器-解碼器架構共享。

10.根據權利要求1所述的方法，其中所述地圖信息包括車道、出口、匯合或者交叉口中的至少一個的位置。

11.根據權利要求10所述的方法，其中所述地圖信息還包括自由空間邊界位置或等待條件信息中的至少一個。

12.根據權利要求1所述的方法，其中：所述第二數據使用所述DNN的第一層流來計算；以及所述第三數據使用所述DNN的不同于所述第一層流的第二層流來計算。

13.根據權利要求12所述的方法，其中所述DNN被訓練成使用第一損失函數計算所述第二數據，并且使用不同于所述第一損失函數的第二損失函數計算所述第三數據。

14.根據權利要求1所述的方法，其中損失函數用于至少部分地基于訓練數據的實例的相關性來訓練每個實例的權重中的所述DNN因子。

15.根據權利要求14所述的方法，其中所述相關性至少部分地基于以下中的至少一個來確定：在所述訓練數據的實例中至少一個活動者的速度的標準偏差；在所述訓練數據的實例中至少一個活動者在縱向方向和橫向方向上的標準偏差的比；或在所述訓練數據的實例中至少一個活動者的速度的標準偏差的變化。