[發(fā)明專利]一種跨模態(tài)行人軌跡生成式預(yù)測(cè)框架、方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202210052682.5
• 申請(qǐng)日: 2022-01-18
• 公開（公告）號(hào): CN114067371B
• 公開（公告）日: 2022-09-13
• 發(fā)明（設(shè)計(jì)）人: 華煒;蘇肇鑫;黃剛
• 申請(qǐng)（專利權(quán)）人: 之江實(shí)驗(yàn)室
• 主分類號(hào): G06V40/10
• 分類號(hào): G06V40/10;G06V10/40;G06V10/774;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 杭州浙科專利事務(wù)所(普通合伙) 33213
• 代理人: 孫孟輝

1.一種跨模態(tài)行人軌跡生成式預(yù)測(cè)框架，包括：多模態(tài)數(shù)據(jù)時(shí)域特征提取模塊、基于跨模態(tài)Transformer的特征編碼模塊、條件變分自動(dòng)編碼模塊和軌跡預(yù)測(cè)模塊，其特征在于，所述多模態(tài)數(shù)據(jù)時(shí)域特征提取模塊對(duì)多模態(tài)數(shù)據(jù)提取時(shí)域特征，直接傳遞給基于跨模態(tài)Transformer的特征編碼模塊；所述基于跨模態(tài)Transformer的特征編碼模塊，輸入為多模態(tài)的時(shí)域特征，輸出為跨模態(tài)的注意力特征，分別傳遞給條件變分自動(dòng)編碼模塊和軌跡預(yù)測(cè)模塊；所述條件變分自動(dòng)編碼模塊，輸入為跨模態(tài)的注意力特征，輸出為隱變量，直接傳遞給軌跡預(yù)測(cè)模塊；所述軌跡預(yù)測(cè)模塊，輸入為跨模態(tài)的注意力特征和隱變量，輸出為預(yù)測(cè)的軌跡。

2.如權(quán)利要求1所述的一種跨模態(tài)行人軌跡生成式預(yù)測(cè)框架，其特征在于，所述多模態(tài)數(shù)據(jù)包括行人軌跡信息、自車即搭載攝像頭的車輛的運(yùn)動(dòng)信息和行人姿態(tài)信息；

所述行人軌跡信息的訓(xùn)練數(shù)據(jù)定義為觀測(cè)階段數(shù)據(jù)和目標(biāo)階段數(shù)據(jù)，其中，觀測(cè)階段的時(shí)間長(zhǎng)度為，目標(biāo)階段的時(shí)間長(zhǎng)度為，目標(biāo)階段對(duì)應(yīng)了需要被預(yù)測(cè)的軌跡的時(shí)間階段，為時(shí)刻行人軌跡即二維包圍盒的向量表示；

所述自車的運(yùn)動(dòng)信息的訓(xùn)練數(shù)據(jù)定義為觀測(cè)階段數(shù)據(jù)和目標(biāo)階段數(shù)據(jù)，其中，為時(shí)刻自車運(yùn)動(dòng)信息的向量表示；

所述行人姿態(tài)信息的訓(xùn)練數(shù)據(jù)定義為觀測(cè)階段數(shù)據(jù)和目標(biāo)階段數(shù)據(jù)，其中，，是一個(gè)的熱圖，代表該行人在時(shí)刻的第個(gè)姿態(tài)關(guān)節(jié)點(diǎn)。

3.如權(quán)利要求1所述的一種跨模態(tài)行人軌跡生成式預(yù)測(cè)框架，其特征在于，所述多模態(tài)數(shù)據(jù)時(shí)域特征提取模塊在觀測(cè)階段和目標(biāo)階段，針對(duì)行人軌跡和自車運(yùn)動(dòng)信息，采用多層感知器與一維卷積層的組合進(jìn)行特征提取；針對(duì)行人姿態(tài)信息即姿態(tài)熱圖，采用卷積LSTM與二維卷積網(wǎng)絡(luò)的組合來(lái)進(jìn)行特征提取。

4.如權(quán)利要求3所述的一種跨模態(tài)行人軌跡生成式預(yù)測(cè)框架，其特征在于，所述基于跨模態(tài)Transformer的特征編碼模塊具體執(zhí)行以下步驟：

步驟一：分別為階段下的行人軌跡信息、自車運(yùn)動(dòng)信息和行人姿態(tài)信息的時(shí)域特征添加位置編碼，獲得、和；將添加了位置編碼的時(shí)域特征組織成4個(gè)特征對(duì)、、和，將這4個(gè)特征對(duì)分別輸入到公認(rèn)的跨模態(tài)Transformer中，分別輸出4對(duì)跨模態(tài)特征和權(quán)重矩陣的組合、、、；

步驟二：將所述4對(duì)跨模態(tài)特征和權(quán)重矩陣分配到2個(gè)不同的分支中，其中、分配到分支1中，、分配到分支2中；對(duì)分支1，使用一個(gè)多模態(tài)注意力模塊，計(jì)算跨模態(tài)配置下的跨模態(tài)特征的權(quán)重和跨模態(tài)配置下的跨模態(tài)特征的權(quán)重：

同理，對(duì)分支2，使用相同的多模態(tài)注意力模塊，計(jì)算跨模態(tài)配置下的跨模態(tài)特征的權(quán)重和跨模態(tài)配置下的跨模態(tài)特征的權(quán)重：

；

步驟三：使用步驟二得到的跨模態(tài)特征的權(quán)重，分別融合分支1和分支2中的跨模態(tài)特征，即：

；

步驟四：將步驟三中的輸出結(jié)果和拼接起來(lái)，獲得，并在時(shí)域這個(gè)維度上對(duì)做最大池化操作，獲得階段的最終特征；觀測(cè)階段的最終特征為，目標(biāo)階段的最終特征為。

5.如權(quán)利要求4所述的一種跨模態(tài)行人軌跡生成式預(yù)測(cè)框架，其特征在于，所述條件變分自動(dòng)編碼器包含兩個(gè)網(wǎng)絡(luò)：網(wǎng)絡(luò)1和網(wǎng)絡(luò)2，兩個(gè)網(wǎng)絡(luò)均為多層感知器；網(wǎng)絡(luò)1僅接收，將其映射到一組向量集合，用于構(gòu)造一個(gè)概率分布；網(wǎng)絡(luò)2同時(shí)接收和，并將其映射到另一組向量集合，用于構(gòu)造一個(gè)和概率分布相同類型的概率分布；計(jì)算概率分布和概率分布之間的KL散度，以此來(lái)同時(shí)優(yōu)化網(wǎng)絡(luò)1和網(wǎng)絡(luò)2；采樣隱變量：訓(xùn)練時(shí)在中采樣隱變量，應(yīng)用訓(xùn)練好的模型推理時(shí)在中采樣隱變量。

6.如權(quán)利要求5所述的一種跨模態(tài)行人軌跡生成式預(yù)測(cè)框架，其特征在于，所述軌跡預(yù)測(cè)模塊，將和隱變量進(jìn)行向量拼接，并輸入到一個(gè)多層感知器中，輸出n個(gè)控制向量；觀測(cè)階段的最后一個(gè)時(shí)刻的軌跡作為控制向量；每個(gè)控制向量均表示為一個(gè)二維包圍盒；用這n+1個(gè)控制向量來(lái)做n階樣條曲線的插值，插值出一條軌跡：

其中，由所選擇的樣條曲線決定，代表了控制向量對(duì)應(yīng)的權(quán)重系數(shù)，代表預(yù)測(cè)軌跡的所有時(shí)刻，且需要?dú)w一化到之間，作為階數(shù)需要小于預(yù)測(cè)軌跡的時(shí)刻數(shù)。