[發明專利]一種基于注意力機制的生成式對抗軌跡預測方法

在審

• 申請號: 202110053547.8
• 申請日: 2021-01-15
• 公開（公告）號: CN112766561A
• 公開（公告）日: 2021-05-07
• 發明（設計）人: 房芳;張鵬鵬;周波;錢堃;甘亞輝
• 申請（專利權）人: 東南大學
• 主分類號: G06Q10/04
• 分類號: G06Q10/04;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京眾聯專利代理有限公司 32206
• 代理人: 蔣昱

本發明公開了一種基于注意力機制的生成式對抗軌跡預測方法，該方法設計了一種基于注意力機制的生成式對抗網絡，并使用改進的損失函數來對生成式對抗網絡進行訓練。該方法首先利用基于長短時記憶網絡LSTM構成的編碼器模塊從行人軌跡中提取行人運動的隱藏特征，然后利用一個基于注意力機制的池化模塊對同一場景中的行人進行影響力權重分配以充分提取行人之間的交互信息，最后通過一個解碼器模塊輸出網絡預測的行人軌跡坐標。本發明提出的方法可以提高軌跡的預測精度，同時可以生成多條遵循社會規范的預測軌跡，其可以用于移動機器人的導航規劃系統中，從而有助于機器人導航系統在與人共融的環境中規劃更加合理有效的路徑。

技術領域

本發明涉及人工智能領域，特別是涉及到一種基于注意力機制的生成式對抗軌跡預測方法。

背景技術

行人軌跡預測是指根據行人過往一段時間的運動軌跡來預測其未來一段時間的運動軌跡。隨著移動服務機器人與自動駕駛等領域的興起，在動態場景中進行行人軌跡預測成為了一個熱門的研究方向。行人軌跡的正確預測有助于智能導航系統規劃出更加合理有效的路徑。然而行人軌跡預測問題是極其復雜的，行人的運動具有一定的隨機性，其在決策的過程中也是比較主觀靈活的，因而行人軌跡具有多樣性的特征。其次，行人在行走的過程中，行人的軌跡受到周圍動態環境的影響，行人通常會根據自己的常識以及社會規范來調整自己的路徑。上述特征使得行人軌跡預測問題充滿挑戰性。

在行人軌跡預測問題中，如何對行人之間的交互進行有效的建模對于行人軌跡預測非常重要。目前主流的方法大都基于深度學習技術來學習行人之間的交互作用，從而對行人軌跡進行預測。其中，基于長短時記憶網絡LSTM的方法已經被證明在處理時序問題時非常奏效，但是基于LSTM的方法無法對行人之間的空間關系進行有效建模。為了解決這一問題，Alahi等在LSTM網絡模型的基礎上提出了社會長短期記憶網絡(S-LSTM)，該模型通過對空間進行網格化處理，并根據網格對每個行人周圍行人的不同特征進行隱藏池化，利用池化的結果預測出多條符合社會規范的軌跡(見“Social lstm:Human trajectoryprediction in crowded spaces，CVPR 2016”)。由于該方法僅僅只能建模目標行人局部區域內的行人交互作用，無法高效模擬場景中所有行人的交互。Gupta等將生成式對抗網絡引入到行人軌跡預測問題當中，提出了社會對抗網絡模型，通過對生成器與判別器進行反向訓練以及一個池化模塊提取場景中所有行人的交互信息，生成了多種符合社會規范的軌跡，并且提升了預測精度(見“Social GAN:Socially acceptable trajectories withgenerative adversarial networks，CVPR 2018”)。但是該方法在提取行人之間的交互信息時僅僅考慮了行人之間的空間位置關系，忽略了周圍行人運動方向、速度等因素對目標行人未來軌跡的影響，因而無法對行人之間的交互信息進行充分提取。此外，基于生成式對抗網絡的方法在網絡訓練過程中極易出現生成器與判別器強弱不均衡的現象，從而導致梯度消失難以訓練的問題。

針對以上問題，廣東工業大學申請了專利號為202010110743.X，專利名稱為一種基于長短期記憶的行人軌跡預測方法，該發明公開了一種基于長短期記憶的行人軌跡預測方法，主要包括以下步驟：對數據進行預處理，轉換為一個[行人數量，4]的矩陣；引入注意力機制選擇對當前行人行走時的方向、速度等指標產生影響的信息，并通過全連接層連接所有當前位置信息；將同一場景下全局行人的歷史狀態隱藏信息輸入池化層進行池化，達到“共享”全局隱藏信息的目的；通過長短期記憶單元將當前狀態下所有行人的歷史狀態隱藏信息的池化張量，當前行人的位置信息以及經注意力機制所選擇的對行人產生影響的信息，轉化為長短期記憶序列信息；將當前的狀態信息通過一個多層感知機結構轉化到坐標空間，生成預測軌跡序列：

該專利仍然存在如下缺陷：