[發明專利]一種基于圖神經網絡的多目標跟蹤方法和系統

有效

• 申請號: 201911312114.9
• 申請日: 2019-12-18
• 公開（公告）號: CN111161315B
• 公開（公告）日: 2023-01-03
• 發明（設計）人: 蔣婷婷;高旭;李佳河
• 申請（專利權）人: 北京大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06V10/74;G06V10/80;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 北京辰權知識產權代理有限公司 11619
• 代理人: 劉廣達

1.一種基于圖神經網絡的多目標跟蹤方法，其特征在于，包括：

預處理訓練集，得到節點集合、邊集合和全局變量；

輸入所述節點集合、邊集合和全局變量至圖神經網絡，得到外貌相似度矩陣和運動相似度矩陣；

使用優化算法，根據損失函數、所述外貌相似度矩陣和運動相似度矩陣訓練所述圖神經網絡，確定所述圖神經網絡的設置參數，再訓練，得到訓練好的圖神經網絡；

使用訓練好的圖神經網絡處理數據集，得到相似度矩陣；

使用匹配算法對所述相似度矩陣進行計算，得到數據集中目標的匹配結果；

其中，所述輸入所述節點集合、邊集合和全局變量至圖神經網絡，得到外貌相似度矩陣和運動相似度矩陣，包括：

輸入外貌節點集合、邊集合和全局變量至外貌特征圖神經網絡，得到外貌相似度矩陣；

輸入運動節點集合、邊集合和全局變量至運動特征圖神經網絡，得到運動相似度矩陣；

所述輸入外貌節點集合、邊集合和全局變量至外貌特征圖神經網絡，得到外貌相似度矩陣，包括：

輸入邊集合、與輸入的所述邊集合中每一個邊對應的兩個外貌節點以及全局變量至第一邊神經網絡，得到第一更新邊；

輸入所述第一更新邊、通過第一更新邊相連的兩個外貌節點以及全局變量至節點神經網絡，得到第一更新節點；

融合得到的所有第一更新邊，得到第二更新邊；

融合外貌節點中所有的發送節點和得到的第一更新節點，得到第二更新節點；

融合所有的第一更新邊，得到第二更新邊；

輸入所述全局變量、第二更新節點和第二更新邊至第一全局神經網絡，得到第一更新全局變量；

輸入更新全局變量、外貌節點中所有的發送節點、第一更新節點和第一更新邊至第二邊神經網絡，得到外貌相似度矩陣；

所述輸入運動節點集合、邊集合和全局變量至運動特征圖神經網絡，得到運動相似度矩陣，包括：

融合邊集合中所有的邊，得到第三更新邊；

融合運動節點集合中所有的運動節點，得到第三更新節點；

輸入全局變量、第三更新邊和第三更新節點至第二全局神經網絡，得到第二更新全局變量；

輸入邊集合、與輸入的所述邊集合中每一個邊對應的兩個運動節點以及所述第二更新全局變量至第三邊神經網絡，得到運動相似度矩陣。

2.如權利要求1所述的方法，其特征在于，所述預處理訓練集，得到節點集合、邊集合和全局變量，包括：

將訓練集分為第一訓練集和第二訓練集；

使用預處理神經網絡提取所述第一訓練集的幀中所有標注框的深度特征，得到外貌節點集合；

計算第一訓練集中所有相鄰幀的標注框之間的重疊度，得到兩個標注框之間的邊集合；

提取第一訓練集中所有幀中的標注框的位置、尺寸和移動數據，得到每個所述標注框的運動特征；

歸一化所有運動特征，得到運動節點集合；

隨機初始化一維向量，作為全局變量。

3.如權利要求1所述的方法，其特征在于，所述使用優化算法，根據損失函數、所述外貌相似度矩陣和運動相似度矩陣訓練所述圖神經網絡，確定所述圖神經網絡的設置參數，再訓練，得到訓練好的圖神經網絡，包括：

使用優化算法，根據外貌損失函數和所述外貌相似度矩陣訓練外貌特征圖神經網絡；

若外貌損失低于外貌損失閾值，則使用第二訓練集確定外貌特征圖神經網絡的設置參數；

使用優化算法，根據外貌損失函數和訓練集訓練設置好設置參數的外貌特征圖神經網絡，若得到的外貌再訓練損失低于外貌損失閾值，則得到訓練好的外貌特征圖神經網絡；

使用優化算法，根據運動損失函數和所述運動相似度矩陣訓練運動特征圖神經網絡；

若運動損失低于運動損失閾值，則使用第二訓練集確定運動特征圖神經網絡的設置參數；

使用優化算法，根據運動損失函數和訓練集訓練設置好設置參數的運動特征圖神經網絡，若得到的運動再訓練損失低于運動損失閾值，則得到訓練好的運動特征圖神經網絡；

外貌特征圖神經網絡和運動特征圖神經網絡均訓練完成，得到訓練好的圖神經網絡。