[發明專利]一種基于單目視覺運動估計的周邊多目標軌跡預測方法、模型訓練方法及裝置

在審

• 申請號: 202210460015.0
• 申請日: 2022-04-28
• 公開（公告）號: CN114820708A
• 公開（公告）日: 2022-07-29
• 發明（設計）人: 蔡英鳳;汪梓豪;陳龍;廉玉波;鐘益林;王海;袁朝春;孫曉強;何友國
• 申請（專利權）人: 江蘇大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06V10/774;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京智造力知識產權代理有限公司 32382
• 代理人: 王軍麗

本發明公開了一種基于單目視覺運動估計的周邊多目標軌跡預測方法、模型訓練方法及裝置，自車運動估計和預測部分建立了完整車輛視覺里程計，實現對自車運動的獨立建模。其次，所提出的目標軌跡初始化方法基于所建立的視覺里程計和深度圖信息，將不同時刻的目標邊界框坐標歸一化到當前時刻。自車運動估計和預測模型完成了對目標運動與自車運動的解耦。最后，在未來軌跡預測部分使用歸一化的軌跡坐標，在自車當前相機視角下完成對目標未來軌跡的預測。模型各階段訓練時所需數據包括車載相機拍攝的視頻序列以及該序列內各目標的位置信息和身份信息。

技術領域

本發明屬于車輛智能駕駛領域，特別是涉及一種基于單目視覺運動估計的周邊多目標軌跡預測方法、模型訓練方法及裝置。

背景技術

智能汽車已成為全球汽車產業發展的戰略方向，也是我國汽車強國建設的歷史機遇，是新一代信息技術、高端裝備制造、新材料、新能源等戰略性新興產業的創新集成載體。環境感知是實現汽車智能化的重要基礎，也是智能汽車實現高級別自動駕駛的瓶頸所在。軌跡預測是建立在目標檢測和跟蹤基礎上的高層行為感知技術，能夠為智能汽車的決策控制提供有效信息，提高行駛軌跡規劃的安全性和合理性。特別，在十字路口、高速公路匯入匝道等復雜的交通場景下，有效的軌跡預測對于提升汽車行駛駕駛安全性具有重要作用。

現有的軌跡預測方法需要建立在目標檢測、跟蹤、定位和地圖匹配基礎上，完成一定范圍內與周邊車輛相對運動關系的建模，這對自車環境感知系統的要求極高，并且推理速度較慢，在一定程度上制約了該類方法的實際應用。

針對此類軌跡預測方法存在的不足，本發明基于低成本的智能汽車單目感知系統，開發了一種自車視角下的周邊多目標軌跡預測技術。該視角下車載相機捕獲到的目標邊界框的位置變化不僅僅來自于目標的運動，而且與自車運動密切相關，如何進行目標運動與自車運動的解耦是新的問題，其核心在于單目視角下目標的深度識別和自車的位姿估計。

發明內容

本發明提出的軌跡預測方法包含了自車運動估計與預測、目標軌跡初始化以及未來軌跡預測三個部分。首先，自車運動估計和預測部分建立了完整車輛視覺里程計，實現對自車運動的獨立建模。其次，所提出的目標軌跡初始化基于所建立的視覺里程計和深度圖信息，將不同時刻的目標邊界框坐標歸一化到當前時刻。自車運動估計和預測模型完成了對目標運動與自車運動的解耦。最后，在未來軌跡預測部分使用歸一化的軌跡坐標，在自車當前相機視角下完成對目標未來軌跡的預測。模型各階段訓練時所需數據包括車載相機拍攝的視頻序列以及該序列內各目標的位置信息和身份信息。以上方法所使用模型包括了自車運動估計網絡、自車運動預測網絡以及多目標軌跡預測網絡。

本發明的有益效果：

(1)本發明提出一種自車運動估計網絡。該網絡是由深度估計網絡和位姿估計網絡構成的自監督訓練模型，模型通過輸入完整的自車過去與未來圖像序列來計算自車運動的視覺里程計。兩種網絡均使用編解碼器結構，其中編碼器可以為任意層數較深的卷積神經網絡模型，提取低維大尺度的圖像特征，將其轉化為高維小尺度的特征圖。該網絡能夠有效解決現有預測方法未充分考慮自車運動狀態的不足，并將與自車運動相關聯的周邊目標的像素坐標轉換到歸一化的靜態相機坐標系內。

(2)本發明提出一種自車運動預測網絡。所提出的自車運動估計網絡在實際場景中進行推理時，只能通過車載相機獲取到歷史時刻圖像信息。所以此時，該模型只能計算出自車歷史運動過程中各相機坐標系之間的位姿變換矩陣，而無法直接計算出自車未來運動過程中的位姿變換矩陣。為了解決上述問題，所提出方法增加了一個新的自車運動預測網絡。該網絡引入了由長短時記憶網絡(LSTM)構成的編解碼器模型來預測自車未來的位姿變化，網絡輸入僅包含了由自車估計網絡輸出的歷史各幀間的位姿變換參數。自車運動預測網絡與自車運動估計網絡相結合，構成了一種交互計算模型，實現了對自車完整視覺里程計的計算。