[發明專利]一種基于深度檢測的長時目標跟蹤方法

有效

• 申請號: 202010051443.9
• 申請日: 2020-01-17
• 公開（公告）號: CN111274917B
• 公開（公告）日: 2023-07-18
• 發明（設計）人: 葛洪偉;邵江南;韓青麟;鄭俊豪
• 申請（專利權）人: 江南大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/82;G06N3/0464;G06N3/084
• 代理公司: 哈爾濱市陽光惠遠知識產權代理有限公司 23211
• 代理人: 彭素琴

1.一種基于深度檢測的長時目標跟蹤方法，其特征在于，包括以下步驟：

(1)在ILSVRC2015-VID目標檢測標記數據集上訓練MDNet骨干網絡的三個卷積層conv1、conv2、conv3和兩個全連接層fc4、fc5的權值參數；

(2)設置MDNet骨干網絡最后一層fc6為特定域層，是二分類全連接層，輸出樣本的正負置信度，參數在每一個離線訓練視頻幀序列或在線跟蹤視頻幀序列開始時均隨機初始化，得到預訓練網絡模型；

(3)輸入新的待跟蹤視頻序列，獲取目標第一幀，設置t＝1，人工確定目標中心位置(x₁,y₁)與邊界框長寬(h₁,w₁)，其中x₁為目標中心位置橫坐標，y₁為目標中心位置縱坐標，h₁為邊界框高度，w₁為邊界框寬度；

(4)隨機初始化預訓練網絡模型fc6層的參數；

(5)在第1幀的目標中心位置附近采樣出500個不同尺度大小的正樣本和5000個負樣本，采樣時保持正樣本與目標邊界框重疊比大于0.7，負樣本小于0.5，將正樣本加入高置信度保留樣本池S_pool中；

(6)在第1幀的目標中心位置附近采樣出1000個與目標邊界框重疊比大于0.6的正樣本，利用這些正樣本訓練一個邊框回歸器BBR，用于修正模型對目標中心坐標和長寬數值的預測值；

(7)固定卷積層conv1、conv2、conv3的參數，利用(5)采樣的樣本迭代訓練預訓練網絡模型50次，更新fc4-fc6的參數；

每次迭代時取256個負樣本和32個正樣本，通過難分負樣本挖掘技術篩選其中目標置信度最高的96個負樣本用于訓練，訓練時采用隨機梯度下降SGD優化策略和損失函數L_S(p,y)，其中：y為樣本類別標簽，p為樣本對y＝1的正樣本的置信度；

L_S(p,y)為：

L_S(p,y)＝-(y·log(p)+(1-y)·log(1-p))+δ·S(p)，

式中的δ為控制損失收縮比；

S(p)為：

式中的a,c為分別控制損失收縮速度和損失值非線性調節敏感范圍；

(8)對于第t幀圖像N_t，在N_t-1幀目標周圍高斯采樣候選樣本集合X_t，取X_t中5個最高目標置信度候選的邊界框均值作為預估目標位置，通過邊框回歸器BBR調整后的值設置為S_t，S_t為第t幀目標估計位置；

若S_t目標置信度大于0，則將S_t添加進高置信度保留樣本池S_pool中，當S_pool池滿時替換最低置信度的非首幀保留樣本；

若S_t目標置信度不大于0或跟蹤間隔10幀，則利用高置信度保留樣本池S_pool和在當前幀采樣的200個與目標邊界框重疊比小于0.3的負樣本對模型進行迭代訓練，參照(7)更新fc4-fc6的參數；

(9)重復步驟(8)，直至當前序列所有幀跟蹤結束。

2.根據權利要求1所述的方法，其特征在于，(5)所述的不同尺度大小的正樣本和負樣本的采樣方式具體為：采樣的正樣本中心坐標隨機在原目標中心偏移長寬均值的十分之一范圍內選取，長寬尺度放縮倍數為1.3^-1～1.3之間的隨機值；負樣本的采樣按照局部和全局兩種方式各采樣2500個，局部采樣的負樣本中心坐標隨機在原目標中心偏移長寬均值的范圍內選取，長寬尺度放縮倍數為1.6^-1～1.6之間的隨機值，全局采樣則隨機在整幅圖選取與目標框尺寸相同的候選框。

3.根據權利要求1所述的方法，其特征在于，(7)所述的y∈{0,1}。

4.根據權利要求1所述的方法，其特征在于，(7)所述的p∈[0,1]。

5.根據權利要求1所述的方法，該方法應用于人機交互中。