[發(fā)明專利]一種基于單目視覺運動估計的周邊多目標軌跡預(yù)測方法、模型訓(xùn)練方法及裝置

在審

• 申請?zhí)枺?/td>: 202210460015.0
• 申請日: 2022-04-28
• 公開（公告）號: CN114820708A
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計）人: 蔡英鳳;汪梓豪;陳龍;廉玉波;鐘益林;王海;袁朝春;孫曉強;何友國
• 申請（專利權(quán)）人: 江蘇大學(xué)
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京智造力知識產(chǎn)權(quán)代理有限公司 32382
• 代理人: 王軍麗

1.一種基于單目視覺運動估計的周邊多目標軌跡預(yù)測方法，其特征在于，包括：

S1：建立自車視覺里程計，完成對自車運動的獨立建模；

S2：構(gòu)建自車運動估計網(wǎng)絡(luò)，包括深度估計網(wǎng)絡(luò)和位姿估計網(wǎng)絡(luò)，深度估計網(wǎng)絡(luò)輸出當(dāng)前幀圖像I_t的深度位姿估計網(wǎng)絡(luò)預(yù)測變換矩陣T_t′→t和車載相機的內(nèi)參矩陣將t′時刻的圖像I_t′中的所有像素投影到t時刻像素坐標系中對應(yīng)的位置，重建出t時刻的圖像I_t′→t；

S3：構(gòu)建自車運動預(yù)測網(wǎng)絡(luò)，采用LSTM編解碼器結(jié)構(gòu)；

S4：目標軌跡的歸一化

S5：建立軌跡預(yù)測網(wǎng)絡(luò)，預(yù)測未來軌跡。

2.根據(jù)權(quán)利要求1所述的一種基于單目視覺運動估計的周邊多目標軌跡預(yù)測方法，其特征在于，所述S1的具體過程包括：將視頻分解為由多幀圖像組成的圖像序列，則每一幀圖像中拍攝到的目標均處于當(dāng)前時刻自車的相機坐標系內(nèi)，車輛在行駛過程中，車輛運動方向和位置的改變會造成相機坐標系的連續(xù)變換，即車輛位姿變換，自車運動估計的目的是計算自車所處的歷史幀t-h，...，t-1與當(dāng)前幀t之間的位姿變換，并預(yù)測自車所處的未來幀t+1，...，t+f與t之間的位姿變換，將幀間變換過程可視作兩幀的相機坐標系繞軸a旋轉(zhuǎn)θ，該過程可用變換矩陣T_t→t′表示：

式中：t′∈[t-h，t-1]∪[t+1，t+f]；R∈SO(3)是旋轉(zhuǎn)矩陣，且是相機坐標軸原點的偏移量。

3.根據(jù)權(quán)利要求1所述的一種基于單目視覺運動估計的周邊多目標軌跡預(yù)測方法，其特征在于，所述S2中，重建出t時刻的圖像I_t′→t的具體方法：

I_t′→t＝proj(I_t)

proj：p_t＝KT_t′→tD_tK^-1p_t′

式中：proj為重投影操作，p_t和p_t′分別為t和t′時刻圖像中各像素坐標。