[發明專利]一種考慮交互作用的行人運動預測方法及系統

在審

• 申請號: 201911164676.3
• 申請日: 2019-11-25
• 公開（公告）號: CN110955965A
• 公開（公告）日: 2020-04-03
• 發明（設計）人: 毛天露;黃英凡;畢慧堃
• 申請（專利權）人: 中國科學院計算技術研究所
• 主分類號: G06F30/20
• 分類號: G06F30/20;G06N3/04;G06N3/08;G06Q10/04
• 代理公司: 北京泛華偉業知識產權代理有限公司 11280
• 代理人: 王勇

本發明提供一種考慮交互作用的行人運動預測方法及系統，首先使用一個社會模型建模單個行人運動模式，然后采用圖注意力網絡對場景中行人之間的交互進行建模，之后使用另一個社會模型建模行人之間交互的時間相關性。通過使用兩個社會模型分別建模每個人能的運動模式和交互之間的時間相關性，在兩個社會模型中間采用圖注意力網絡來建模行人之間的交互，可以充分考慮行人之間交互的時間相關性，本發明的方法能夠在充分考慮行人與周邊行人交互時間相關性的基礎上對行人運動軌跡進行預測，大大提高了預測精度，同時，本發明的網絡結構設計，既能充分建模不同行人之間相互的運動影響，同時考慮行人交互的時間相關性，能夠獲得的更為準確、合理的軌跡預測結果。

技術領域

本發明涉及計算機視覺、仿真領域，具體來說涉及行人軌跡預測領域， 更具體地說，涉及一種基于深度學習的考慮交互作用的行人運動預測方法 及系統。

背景技術

目前行人軌跡預測方法可以分為2類：基于手工提取特征的方法和基 于深度學習的方法。其中，基于手工提取特征的方法包括：社會力模型 (social force model)和主題模型(topic model)，社會力模型通過引 力與斥力的方式對行人交互進行建模,主題模型則通過結合時間和空間 信息建模運動模式。基于深度學習的方法包括：基于卷積神經網絡(Convolutional Neural Network,CNN)的行為卷積模型(behavior-CNN model)、社會注意力模型(social attention model)和基于長短記憶網絡 (Long Short-Term Memory，LSTM)的社會模型(social-LSTM model)。 行為卷積模型將行人的歷史運動軌跡編碼為一系列圖片，然后使用卷積神 經網絡(CNN)建模行人之間的交互。社會注意力模型使用時空圖 (Spatial-Temporal Graph)來表示時間和空間上的交互，并且結合循環神 經網絡(RNN)來建模不同的交互。社會模型使用單個的LSTM來建模每個人 的運動軌跡，并且使用一種“pooling”機制在不同的行人之間共享隱含 狀態。

由于行人之間的交互十分復雜，很難通過若干個勢能函數準確描述出 來，因此現有的基于手工提取特征的方法無法建模復雜的運動模式，尤其 在擁擠的環境下；而現有的基于深度學習的方法也存在兩個主要問題：建 模行人交互的模塊不夠強大；沒有考慮交互之間的時間相關性，這樣預測 處出來的行人運動軌跡精度不夠高。

綜上所述，現有行人軌跡預測方法預測得到的行人運動軌跡，其精度 都有待提高。

發明內容

因此，本發明的目的在于克服上述現有技術的缺陷，提供一種新的綜 合考慮每個行人的運動模式和行人交互之間的時間相關性的考慮交互作 用的行人運動預測方法及系統，進而至少在一定程度上克服當前行人軌跡 預測方法預測精度不高的問題。

根據本發明的第一方面，本發明提供一種考慮交互作用的行人運動預 測方法，包括如下步驟：

S1、獲取同一場景中的多個行人當前觀測時刻的位置信息，作為其總 觀測步長內第一個觀測點的相對位置信息；

S2、根據所述每個行人當前觀測點的相對位置信息，采用第一社會模 型對其進行處理分別獲得其當前觀測點的第一隱含狀態；

S3、根據所述多個行人當前觀測點的第一隱含狀態，采用圖注意力網 絡對其進行處理，獲得所述每個行人當前觀測點的間接隱含狀態；

S4、根據所述每個行人當前觀測點的間接隱含狀態及其上一觀測點的 第二隱含狀態，采用第二社會模型對其進行處理獲得所述每個行人當前觀 測點的第二隱含狀態；

S5、將所述每個行人當前觀測點的第一隱含狀態作為其在當前觀測點 移動一個觀測步長之后的觀測點的相對位置信息的基礎，重復執行步驟S2 至S5，直到達到預設的總觀測步長；