[發明專利]一種基于在線狀態學習與估計的目標跟蹤方法

有效

• 申請號: 201710269951.2
• 申請日: 2017-04-24
• 公開（公告）號: CN107146237B
• 公開（公告）日: 2020-02-18
• 發明（設計）人: 權偉;高仕斌;陳小川;王牣;陳德明;熊列彬;韓正慶;林國松
• 申請（專利權）人: 西南交通大學
• 主分類號: G06T7/207
• 分類號: G06T7/207;G06N3/08
• 代理公司: 成都點睛專利代理事務所(普通合伙) 51232
• 代理人: 葛啟函

1.一種基于在線狀態學習與估計的目標跟蹤方法，包括如下步驟：

步驟一、目標選取：

從初始圖像中選擇并確定要跟蹤的目標對象；目標選取過程通過運動目標檢測方法自動提取，或者通過人機交互方法手動指定；

步驟二、構建目標定位與狀態估計網絡：

目標定位與狀態估計網絡將圖像規則化為一個統一的大小后作為其輸入，該網絡包括兩個部分，前部分為特征提取網絡，后部分為回歸網絡；這里特征提取網絡采用可公開獲得的預訓練網絡AlexNet，該網絡共有25層，是在包含120萬個訓練圖像的大規模數據集ImageNet上訓練獲得的深度網絡；而回歸網絡采用遞歸神經網絡RNN對目標進行位置回歸和狀態估計；這里將目標可能的外觀狀態劃分為自變化狀態和干擾狀態兩大類，自變化狀態包含由目標自身的運動引起的外觀變化狀態，干擾狀態包含由背景干擾或者場景變化引起的目標外觀變化狀態，因此將RNN網絡的輸出設計為包含目標的概率，位置，大小和狀態信息，具體有七個節點，這些節點分別對應目標的概率p_o，目標的中心點橫坐標x_o，目標的中心點縱坐標y_o，目標的寬度w_o，目標的高度h_o，目標的自變化狀態s₁，以及目標的干擾狀態s₂；

步驟三、初始訓練集生成與網絡訓練：

初始訓練集的生成包括兩個部分，一個部分為目前可公開獲得的有標注視頻數據集或者圖像序列集，另一個部分則是根據初始圖像來人工合成跟蹤序列，具體為兩個方面的工作，一方面將初始圖像中的目標對象進行變換，包括平移、旋轉、扭曲和遮擋操作，另一方面對整個場景進行循環移動，由此可獲得大量模擬的跟蹤序列；初始訓練集中包括的所有圖像均標記其對應的目標概率，位置，大小和狀態信息，與目標定位與狀態估計網絡的各輸出節點對應；然后，使用初始訓練集對目標定位與狀態估計網絡進行訓練，訓練過程中特征提取網絡的參數保持不變，只訓練回歸網絡的參數，訓練方法采用目前已廣泛使用的深度網絡訓練方法，即隨機梯度下降法SGD；訓練完成后網絡將獲得對目標進行定位和狀態估計的初始能力；

步驟四、圖像輸入：

在實時處理情況下，提取通過攝像頭采集并保存在存儲區的視頻圖像，作為要進行跟蹤的輸入圖像；在離線處理情況下，將已采集的視頻文件分解為多個幀組成的圖像序列，按照時間順序，逐個提取幀圖像作為輸入圖像；如果輸入圖像為空，則整個流程中止；

步驟五、目標定位與狀態估計：

將輸入圖像規則化為目標定位與狀態估計網絡輸入端所需的大小，然后輸入該網絡，網絡經過正向處理后將直接輸出該圖像對應的目標概率，目標的位置，大小和狀態，即目標的概率p_o，目標的中心點橫坐標x_o，目標的中心點縱坐標y_o，目標的寬度w_o，目標的高度h_o，目標的自變化狀態s₁，以及目標的干擾狀態s₂；由此得到目標的位置和大小，完成對目標的定位，跟蹤完成；如果網絡輸出的目標概率>0.8，并且目標的自變化狀態>0.8，目標的干擾狀態<0.5，則跳轉到步驟六，否則跳轉到步驟四；

步驟六、網絡在線學習：

將目標的概率p_o調整為p_o＝1，將目標的自變化狀態s₁調整為s₁＝1，將目標的干擾狀態s₂調整為s₂＝0，然后用當前圖像對目標定位與狀態估計網絡進行訓練，訓練方法與步驟三相同，由此網絡獲得更新，實現網絡的在線學習。