[發明專利]一種基于深度學習的多相機協同跟蹤系統

在審

• 申請號: 201810232732.1
• 申請日: 2018-03-15
• 公開（公告）號: CN110276233A
• 公開（公告）日: 2019-09-24
• 發明（設計）人: 于耀;李炎峻;周余
• 申請（專利權）人: 南京大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62;G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于深度學習的多相機協同跟蹤系統，其特征是包含以下主要步驟：

步驟一、每個相機采集行人的視頻信息，并對每幀圖片檢測其中的行人

步驟二、對單相機檢測到的行人進行online的跟蹤，得到單相機環境下多個行人的軌跡。

步驟三、對多個相機環境下行人的軌跡映射到公共地平面上，并做軌跡的特征匹配與融合。

2.權利要求1所述方法的步驟二的特征在于，我們利用之前檢測得到的結果，在相鄰幀進行特征的提取與匹配，并能有效處理檢測失效等異常情況。該算法主要有兩個部分組成。第一個部分是關于特征的提取，我們利用傳統的特征提取方法提取了目標的RGB，HSV，LBP等特征，組成特征向量。第二個部分是關于行人的匹配，我們通過對行人的狀態進行建模，狀態包括初始化狀態、跟蹤狀態、丟失狀態、死亡狀態等。前面幾幀初始化跟蹤對象后，后面每幀將跟蹤對象與檢測對象進行特征相似度的計算，得到相似度后使用貪婪算法進行匹配，最后根據匹配的結果更新跟蹤對象的狀態。對于匹配成功的對象，繼續保持跟蹤狀態。匹配失敗的對象，則轉為丟失狀態。丟失狀態的對象如果在后面幾幀能找到正確匹配的檢測對象，則可以恢復到跟蹤狀態，否則會轉為死亡狀態。最后我們通過統計最后所有跟蹤對象的狀態，可以得到視頻中所有行人的軌跡信息。

對于行人跟蹤中常見的遮擋問題，我們應用對抗生成網絡來解決。遮擋問題是指行人在運動過程中被外界物體遮擋，從而使得行人檢測模塊無法檢測到行人，從而使得跟蹤模塊不魯棒。我們使用對抗生成網絡可以根據行人前面幾幀未被遮擋的圖片生成下一幀的圖片。對抗生成網絡由網絡G和網絡D組成。網絡G是指生成網絡，其輸入是X＝(X¹，.......，X^m)，X表示前面m幀圖片，經過多層卷積層后，輸出Y_gen，Y_gen是指生成的下一幀的圖片。網絡D是指判決網絡，其輸入的正樣本是X＝(X¹，.......，X^m，Y)，指從原始數據中提取的連續m+1幀圖片，因此Y＝X^m+1。負樣本是X＝(X¹，.......，X^m，Y_gen)，其中Y_gen是生成網絡中根據前m幀圖片生成的下一幀圖片。該網絡的目標是判斷出輸入的連續幀圖片是真實的還是生成網絡生成的，因此損失函數定義為：

L^D(X，Y)＝L_cls(D(X，Y)，1)+L_cls(D(X，Y_gen)，0)

其中L_cls是指交叉熵代價函數，其定義為：

i是指其中的第i個樣本。在使用隨機梯度下降法更新網絡D的參數時保持網絡G的參數固定。

網絡G的目標是生成的圖片盡可能真實，因此其損失函數定義為：

L^G(X，Y)＝L_cls(D(X，Y_gen)，1)

在使用隨機梯度下降法更新網絡G的參數時保持網絡D的參數固定。

當跟蹤過程中發生遮擋問題時，我們便應用對抗生成網絡來生成下一幀的未遮擋圖片，并使用生成的圖片來進行行人的檢測與跟蹤。