[發明專利]一種遮擋條件下的帶鋼運動目標跟蹤方法

在審

• 申請號: 202010733819.4
• 申請日: 2020-07-27
• 公開（公告）號: CN111915649A
• 公開（公告）日: 2020-11-10
• 發明（設計）人: 張飛;袁嬋;李靜;肖雄;楊朝霖
• 申請（專利權）人: 北京科技大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/13;G06T7/90;G06T5/00;G06N3/04
• 代理公司: 北京金智普華知識產權代理有限公司 11401
• 代理人: 皋吉甫

1.一種遮擋條件下的帶鋼運動目標跟蹤方法，其特征在于，所述方法通過獲取輥道上帶鋼的運動視頻，利用Camshift運動目標跟蹤算法，融合顏色、紋理和邊緣特征；當帶鋼處于被遮擋條件時，使用BP神經網絡和Kalman濾波器預測帶鋼的位置，完成對帶鋼的檢測與跟蹤任務，以避免跟蹤目標丟失，提高了復雜背景下運動目標的跟蹤穩定性和跟蹤精度。

2.根據權利要求1所述的一種遮擋條件下的帶鋼運動目標跟蹤方法，其特征在于，所述方法包括如下步驟：

(1)采集帶鋼在輥道上運動的視頻，進行圖像預處理，使用幀差法通過輪廓檢測確定帶鋼的最小外接矩形輪廓，確定帶鋼作為追蹤起始目標；

(2)使用步驟(1)確定的所述最小外接矩形輪廓作為初始化搜索框，求取目標的顏色特征、紋理特征及邊緣特征的二維直方圖，并求取搜索窗口的顏色直方圖；

(3)將得到的顏色特征、紋理特征及邊緣特征的二維直方圖，分別計算各自的反向投影圖，并通過不同的權重進行融合，得到融合多特征信息的反向投影圖；

(4)對目標進行遮擋條件的判定：采用目標的顏色特征直方圖和搜索窗口的顏色直方圖，計算目標的顏色特征直方圖和搜索窗口的顏色直方圖的Bhattacharyya距離，若求得的巴氏距離小于閾值，則判定為發生遮擋；若大于閾值，則未發生遮擋；

(5)若判定目標發生遮擋，采用BP神經網絡和Kalman濾波器的預測算法，預測目標的運動狀態，將預測的結果用于下一幀Camshift算法迭代；

(6)輸出帶鋼運動目標跟蹤結果。

3.根據權利要求2所述的一種遮擋條件下的帶鋼運動目標跟蹤方法，其特征在于，步驟(2)中，求取顏色特征的二維直方圖的方法為：將圖像轉換到HSV顏色空間，所述顏色特征的二維直方圖是采用從HSV顏色空間中分離出的色度分量的直方圖。

4.根據權利要求2所述的一種遮擋條件下的帶鋼運動目標跟蹤方法，其特征在于，步驟(2)中，采用LBP算子來描述紋理特征，定義在一個3×3的窗口內，以窗口中心像素點的灰度值為閾值，與相鄰的8個像素點的灰度值進行比較，若周圍像素點的灰度值大于中心像素點的灰度值，則將相應的周圍像素點的位置標記為1，否則標記為0；將二值化的結果組成一個8位二進制數，將得到的8位二進制數值作為窗口中心像素點的LBP值，以所述LBP值來反映3×3的窗口區域的紋理信息，即：

其中，LBP(x_c，y_c)表示以像素點(x_c，y_c)為中心的3×3窗口區域的紋理信息；p表示3×3窗口中除中心像素點外的第p個像素點；I(c)表示中心像素點的灰度值，I(p)表示3×3窗口內第p個像素點的灰度值；s(x)公式如下：

5.根據權利要求2所述的一種遮擋條件下的帶鋼運動目標跟蹤方法，其特征在于，步驟(2)中，所述邊緣特征是采用Canny算子來描述，圖像平滑濾波后，計算梯度強度和方向，然后進行非極大值抑制，用雙閾值算法檢測和連接邊緣，得到圖像的邊緣特征。

6.根據權利要求2所述的一種遮擋條件下的帶鋼運動目標跟蹤方法，其特征在于，步驟(4)中，對目標進行遮擋條件的判定，具體為：通過計算目標的顏色特征直方圖和搜索窗口的顏色直方圖的Bhattacharyya距離來判斷目標是否被遮擋：

其中，ρ(p，p′)為圖像相似度系數，范圍為0到1之間，0表示極其不同，1表示極其相似，p，p′分別代表目標的顏色特征直方圖和搜索窗口的顏色直方圖，i為圖像的特征取值，取值范圍為1，2，...，N；p(i)、p′(i)為特征值為i的兩張圖像在直方圖上同一位置的概率分布。

7.根據權利要求2所述的一種遮擋條件下的帶鋼運動目標跟蹤方法，其特征在于，步驟(5)具體為：若判定目標發生遮擋，用保存的前六個時刻目標的位置點坐標依次做差構建差值矩陣，輸入樣本差值矩陣三行四列，共四對差值，由五對點坐標產生，每行兩對差值；輸出樣本差值矩陣三行兩列，共三對差值，由四對點坐標產生，每行一對差值；由構建的差值矩陣使用BP神經網絡按行訓練，然后再用相鄰三個時刻的位置差值進行預測，得出下一時刻目標的可能位置，用BP神經網絡的預測值代替Kalman濾波器中的觀測值；

構建的BP神經網絡模型，共三層，神經元個數依次為4、9、2，激活函數為Sigmoid函數，最高迭代次數為1000次，用BP神經網絡的預測值代替Kalman濾波器中的觀測值，Kalman濾波器的狀態方程為三階，通過三階Kalman濾波器的狀態方程進行預測，得到最后的最優估計值，將結果用于下一幀Camshift算法迭代；

由于帶鋼在輥道上運動為變加速運動，所以采用變加速運動模型；令目標的狀態向量為：

X(k)＝[x(k)，y(k)，dx(k)，dy(k)，d(dx(k))，d(dy(k))]

其中x(k)，y(k)，dx(k)，dy(k)，d(dx(k))，d(dy(k))分別為目標質心在時刻為k時x軸和y軸方向上的坐標、速度和加速度；因此，目標的狀態轉移矩陣為：

Δt是相鄰兩幀圖像的時間間隔；目標的觀測狀態向量Y(k)為：

Y(k)＝[x(k)，y(k)]

根據目標狀態和目標的觀測狀態的關系可得觀測矩陣H(k)：

令動態噪聲協方差矩陣Q(k)為6×6維的單位矩陣，觀測噪聲協方差矩陣R(k)為2×2維的單位矩陣。