[發明專利]一種跨模態行人軌跡生成式預測框架、方法和裝置

有效

• 申請號: 202210052682.5
• 申請日: 2022-01-18
• 公開（公告）號: CN114067371B
• 公開（公告）日: 2022-09-13
• 發明（設計）人: 華煒;蘇肇鑫;黃剛
• 申請（專利權）人: 之江實驗室
• 主分類號: G06V40/10
• 分類號: G06V40/10;G06V10/40;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務所(普通合伙) 33213
• 代理人: 孫孟輝

本發明涉及行人軌跡預測領域，具體涉及一種跨模態行人軌跡生成式預測框架、方法和裝置，該框架包括：多模態數據時域特征提取模塊對多模態數據提取時域特征，直接傳遞給基于跨模態Transformer的特征編碼模塊；所述基于跨模態Transformer的特征編碼模塊，輸入為多模態的時域特征，輸出為跨模態的注意力特征，分別傳遞給條件變分自動編碼模塊和軌跡預測模塊；所述條件變分自動編碼模塊，輸入為跨模態的注意力特征，輸出為隱變量，直接傳遞給軌跡預測模塊；所述軌跡預測模塊，輸入為跨模態的注意力特征和隱變量，輸出為預測的軌跡。本發明有效提升了第一人稱視角下的行人軌跡預測的準確率。

技術領域

本發明涉及行人軌跡預測領域，具體為一種跨模態行人軌跡生成式預測框架、方法和裝置。

背景技術

行人軌跡預測在自動駕駛中是一個重要的任務，因為其預測結果能夠給無人車一些指導，幫助無人車判斷在未來時刻是否會和行人發生碰撞，有利于減少交通事故的發生，這對于無人車的安全駕駛起到積極作用。在第一人稱交通場景下，從安裝在車輛上的攝像頭拍攝的視頻中，除了能估計出行人的軌跡，還能獲取到車輛的運動信息（比如GPS信息）和行人的姿態信息。如何巧妙地將行人軌跡、自車運動信息和行人姿態進行建模，是提升行人軌跡預測算法準確率的關鍵突破點。

發明內容

為了解決現有技術中存在的上述技術問題，本發明提出了一種跨模態行人軌跡生成式預測框架、方法和裝置，其具體技術方案如下：

一種跨模態行人軌跡生成式預測框架，包括：多模態數據時域特征提取模塊、基于跨模態Transformer的特征編碼模塊、條件變分自動編碼模塊和軌跡預測模塊，所述多模態數據時域特征提取模塊對多模態數據提取時域特征，直接傳遞給基于跨模態Transformer的特征編碼模塊；所述基于跨模態Transformer的特征編碼模塊，輸入為多模態的時域特征，輸出為跨模態的注意力特征，分別傳遞給條件變分自動編碼模塊和軌跡預測模塊；所述條件變分自動編碼模塊，輸入為跨模態的注意力特征，輸出為隱變量，直接傳遞給軌跡預測模塊；所述軌跡預測模塊，輸入為跨模態的注意力特征和隱變量，輸出為預測的軌跡。

進一步的，所述多模態數據包括行人軌跡信息、自車即搭載攝像頭的車輛的運動信息和行人姿態信息；

所述行人軌跡信息的訓練數據定義為觀測階段數據和目標階段數據，其中，觀測階段的時間長度為，目標階段的時間長度為，目標階段對應了需要被預測的軌跡的時間階段，為時刻行人軌跡即二維包圍盒的向量表示；

所述自車的運動信息的訓練數據定義為觀測階段數據和目標階段數據，其中，為時刻自車運動信息的向量表示；

所述行人姿態信息的訓練數據定義為觀測階段數據和目標階段數據，其中，，是一個的熱圖，代表該行人在時刻的第個姿態關節點。

進一步的，所述多模態數據時域特征提取模塊在觀測階段和目標階段，針對行人軌跡和自車運動信息，采用多層感知器與一維卷積層的組合進行特征提取；針對行人姿態信息即姿態熱圖，采用卷積LSTM與二維卷積網絡的組合來進行特征提取。

進一步的，所述基于跨模態Transformer的特征編碼模塊具體執行以下步驟：

步驟一：分別為階段下的行人軌跡信息、自車運動信息和行人姿態信息的時域特征添加位置編碼，獲得、和；將添加了位置編碼的時域特征組織成4個特征對、、和，將這4個特征對分別輸入到公認的跨模態Transformer中，分別輸出4對跨模態特征和權重矩陣的組合、、、；

步驟二：將所述4對跨模態特征和權重矩陣分配到2個不同的分支中，其中、分配到分支1中，、分配到分支2中；對分支1，使用一個多模態注意力模塊，計算跨模態配置下的跨模態特征的權重和跨模態配置下的跨模態特征的權重：