[發明專利]一種無監督相似性判別學習的目標跟蹤方法

有效

• 申請號: 201910846140.3
• 申請日: 2019-09-09
• 公開（公告）號: CN110569793B
• 公開（公告）日: 2022-06-07
• 發明（設計）人: 盧學民;權偉;鄒棟;周寧;張衛華;劉躍平;郭少鵬;彭宇晨;侯思幀;鄭丹陽;郭永成;陳錦雄
• 申請（專利權）人: 西南交通大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/764;G06K9/62
• 代理公司: 成都點睛專利代理事務所(普通合伙) 51232
• 代理人: 葛啟函

1.一種無監督相似性判別學習的目標跟蹤方法，包括如下步驟：

步驟一、目標選取

從初始圖像中選擇并確定要跟蹤的目標對象，目標選取過程通過運動目標檢測方法自動提取或者人機交互方法手動指定；

步驟二、訓練數據集生成

訓練數據集生成分為兩個步驟，首先是數據集的選取，然后是數據集的制作；選取目標跟蹤數據集OTB 2015作為訓練數據集，并從中選取其中一類進行數據集的制作，具體為，在每一個圖像幀中按行和列進行圖像塊的循環移動，移動步長為10個像素，圖像塊尺寸大小為127×127像素，每一幀圖像生成500個循環移動的圖像塊，若訓練數據集共有M張圖像幀，則最終則生成500×M個圖像塊；

步驟三、無監督相似性判別網絡的構建與訓練

該網絡由特征提取層、聚類層和分類層三部分構成，采用在大型分類識別數據集ImageNet上預訓練的VGG-16前16層作為特征提取層，并將得到的特征輸入無監督聚類層，利用t-SNE降維得到數據的低維分布，將數據間歐式距離轉化為相互間的條件概率，從而表示相互之間的相似度；具體為，給定L個高維特征X^T＝x₁,K,x_L，這里x₁,K,x_L為特征提取層提取的L張圖像的卷積特征，其中以x_i為中心，按高斯分布選擇x_j作為近鄰點的條件概率為其中σ_i為方差；需要根據困惑度大小來調節σ_i，其中表示P_i的熵，困惑度大小與σ_i大小呈正相關關系，這里設定困惑度為50；對于低維度下的y_i，設定高斯分布的方差為則低維度數據之間的相似度為需要迭代優化高維和低維數據分布之間的KL散度，使低維數據分布擬合高維數據分布，目標函數為

迭代初始令并用高斯分布N(0,10^-4I)隨機初始化低維數據分布Y^T＝y₁,K,y_L，這里y₁,K,y_L為聚類后的數據特征，從t＝1迭代至t＝T，這里設定T＝1000，迭代步驟分為3步，分別是計算低維數據的聯合概率計算梯度值并更新低維的數據分布其中q_ij表示y_i和y_j之間的相似度，Y^(t)表示迭代t次的解，λ表示學習速率，m(t)表示迭代t次的動量，這里設置λ＝50；迭代聚類完成后，最終得到的數據分布Y^T＝y₁,K,y_L，即表示數據之間的相似度；相似度較高的數據將聚為一類數據，稱之為簇，簇的個數則是類別總數K，該簇內圖像的偽標簽即為簇的類別，將每張圖像偽標簽的簇作為數據的真實標簽，再將提取的圖像特征輸入全連接層并進行分類，其中全連接層神經元節點數Z＝K，該網絡損失函數設置為交叉熵損失；無監督相似性判別網絡構建完成后，則使用步驟二中生成的數據集進行網絡訓練，訓練時反向傳播采用經典的隨機梯度下降法，最終該網絡將輸出每張圖像的類別和相似度，獲得對圖像相似性判別的初始能力；

步驟四、圖像輸入

在實時處理情況下，提取通過攝像頭采集并保存在存儲區的視頻圖像，作為要進行跟蹤的輸入圖像；在離線處理情況下，將已釆集的視頻文件分解為多個幀組成的圖像序列，按照時間順序，逐個提取幀圖像作為輸入圖像，如果輸入圖像為空，則整個流程中止；

步驟五、目標定位

以上一幀確定的目標圖像塊為中心，在當前輸入幀目標中心周圍確定待搜索區域，待搜索區域與目標塊的IOU0.8，在待搜索區域里按高斯分布初始化1200個與當前幀目標圖像相同的粒子，其中每一個粒子代表一個目標候選塊，采用粒子濾波的方法獲取目標候選塊，將粒子濾波輸出的預測目標圖像塊經過無監督相似性判別網絡的全連接層進行分類識別，計算得到該目標候選塊與目標圖像塊的相似度，同時將其相似度得分c和閾值c’進行比較，如果該得分c小于預先設置的閾值c’＝0.8，則認為目標跟蹤失敗，表示目標不可信，跳轉到步驟四，否則，則認為目標跟蹤正確，并將該目標候選塊的位置作為目標所在的位置，從而得到跟蹤結果，目標定位完成，跳轉到步驟六；

步驟六、網絡在線更新

成功確定跟蹤的結果之后，在目標圖像塊周圍并且IOU0.8的區域內提取100個相同大小圖像塊作為網絡更新樣本，將這些網絡更新樣本依次輸入網絡中進行微調訓練，訓練時，固定網絡模型的卷積層參數不動，只對網絡的聚類層與全連接層的參數進行微調，目的是使該網絡模型能夠適應當前跟蹤的視頻序列，即能夠更加準確進行圖像塊的分類識別，進行準確的目標定位；然后跳轉到步驟四，跟蹤結束。