[發明專利]基于圖卷積特征編解碼的軌跡預測系統及方法

有效

• 申請號: 202111464549.2
• 申請日: 2021-12-03
• 公開（公告）號: CN113870319B
• 公開（公告）日: 2022-03-08
• 發明（設計）人: 沈旭;彭成斌;李鑫慶;劉玉坤
• 申請（專利權）人: 寧波大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T5/00;G06T9/00;G06V10/74;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京利豐知識產權代理事務所(特殊普通合伙) 32256
• 代理人: 王鋒

1.一種基于圖卷積特征編解碼的軌跡預測系統，其特征在于，包括：編碼器、圖卷積模塊、注意力模塊以及復合解碼器；所述編碼器與圖卷積模塊連接，所述圖卷積模塊通過注意力模塊與復合解碼器連接，所述編碼器用于提取物體運動軌跡的深層特征，所述圖卷積模塊用于對所述運動軌跡的深層特征進行去噪及相關性分析，所述注意力模塊用于增強編碼器，所述復合解碼器包括重建解碼器和預測解碼器，所述重建解碼器用于完整重建輸入數據，所述預測解碼器用于重建未來的預測數據；

其中，所述圖卷積模塊首先采用點積計算相似性的方法計算出物體運動軌跡的各軌跡點之間的相似性矩陣：

其中代表所述運動軌跡的深層特征，代表深層特征矩陣的轉置，之后計算每個軌跡點對其他軌跡點的相似度均值，利用均值對軌跡點進行篩選，相似性小于均值的軌跡點與當前軌跡點無關被舍棄，相似性大于均值的軌跡點則保留作為鄰接矩陣中的鄰居節點，即：

其中表示軌跡點之間的鄰接矩陣，等于表示第個軌跡點與第個軌跡點互為鄰居并能進行特征聚合，等于表示舍棄，然后將獲取的軌跡點之間的鄰接矩陣和軌跡的深層特征輸入圖卷積網絡，實現對深層特征的去噪，即：

。

2.根據權利要求1所述的軌跡預測系統，其特征在于，所述編碼器包括4層LSTM神經網絡，該4層LSTM神經網絡的通道數分別為128、64、32、16，經過所述編碼器的編碼能夠得到物體的運動軌跡的深層特征，如下式所示：

取第個特征輸入為，i=1,2,…,128，則對應的編碼輸出為，j=1,2,…,128。

3.根據權利要求2所述的軌跡預測系統，其特征在于，所述注意力模塊是基于分層注意力網絡模型構建的，所述分層注意力網絡模型首先使用第一完全連接層從LSTM神經網絡的隱藏狀態計算關注權重，其中表示第一完全連接層在隱藏狀態下的操作，而對于時間t的隱藏狀態是使用加權的softmax函數對注意力權重進行歸一化，并使用點積計算上下文向量，即：

，

其中使用作為權重的加權softmax運算符返回第個分段的歸一化向量，代表第段，之后將所述上下文向量與時間串聯，其后使用第二完全連接層生成注意力最終編碼向量，即帶注意力的深層軌跡向量。

4.根據權利要求3所述的軌跡預測系統，其特征在于，所述復合解碼器接收所述帶注意力的深層軌跡向量，并解碼得到相應的和，且按照下式中的損失函數計算誤差并相應優化，即：

。

5.根據權利要求3所述的軌跡預測系統，其特征在于，所述重建解碼器用于學習重建降維特征向量以獲得盡可能接近原始輸入數據的數據，同時所述重建解碼器還具有重建損失函數，所述重建損失函數能夠用于判斷重建解碼器的輸出是否與原始輸入相似。

6.根據權利要求5所述的軌跡預測系統，其特征在于，所述重建解碼器包括4層LSTM神經網絡，該4層LSTM神經網絡的通道數分別為128、64、32、16，經過所述重建解碼器的解碼能夠得到物體運動軌跡的深層特征向量，所述深層特征向量的尺寸為，所述重建解碼器能夠根據所述深層特征向量連接完全連接層，且還原出與原始輸入尺寸相同的重建特征，即：

記取第個深度特征向量為，，則所述重建解碼器的輸出為,為所需還原的序列個數。

7.根據權利要求6所述的軌跡預測系統，其特征在于，所述預測解碼器具有與重建解碼器相同的網絡結構，但所述預測解碼器連接的全連接層的節點數能夠根據實際需求的輸出對物體運動的原始軌跡進行預測。

8.根據權利要求7所述的軌跡預測系統，其特征在于，通過所述預測解碼器能夠得到的還原的特征為，其中，記取第個深度特征向量為，j=1,2,…,16，則所述預測解碼器的輸出為，k=1,2,…,m，m為所需預測的序列個數。