[發明專利]視頻跟蹤中自適應遮擋檢測系統及方法

有效

• 申請號: 201910027720.X
• 申請日: 2019-01-11
• 公開（公告）號: CN109886994B
• 公開（公告）日: 2021-07-20
• 發明（設計）人: 喬宇;谷月陽
• 申請（專利權）人: 上海交通大學
• 主分類號: G06T7/223
• 分類號: G06T7/223
• 代理公司: 上海漢聲知識產權代理有限公司 31236
• 代理人: 莊文莉

1.一種視頻跟蹤中自適應遮擋檢測系統，其特征在于，包括：

背景跟蹤器：根據目標跟蹤器對目標的跟蹤結果，跟蹤遮擋目標的背景小塊和目標周邊的背景小塊；

濾波器的權重通過下式獲得：

w＝argmin(∑(f(w,x_i)-y_i)²+λ||w||²) (3)

其中x_i為訓練樣本，y_i為回歸目標，λ為正則系數，通過非線性映射將訓練樣本與回歸目標之間的非線性關系轉換為線性，則α可以通過下式獲得：

α＝(K+λI)^-1Y (4)

其中K為核矩陣，選擇合適的核函數k(x_i,x_j)能使得核矩陣K被離散傅里葉變換對角化，則相關濾波器的解為：

其中∧表示離散傅里葉變換，k^xx表示核矩陣的第一行；

遮擋候選集既包括上一幀遮擋目標的背景小塊，也包括當前幀中目標周邊的背景小塊；背景小塊的尺度一定，數量自適應于目標的尺度，計算公式為：

其中，表示對x向上取整，a表示小塊的邊長，w,h分別表示目標的寬和高，N_h，N_v分別表示目標每條水平邊和豎直邊上小塊的數量；

遮擋檢測器：根據目標跟蹤器和所述背景跟蹤器的跟蹤結果，判斷目標與所述背景小塊之間的位置關系，輸出遮擋目標的背景小塊的位置；

利用跟蹤置信度指標：峰旁瓣比PSR判斷目標與小塊之間的遮擋關系，計算公式為：

其中R為KCF輸出的響應矩陣，max(R)表示R中的最大值，avg(R)表示R的平均值，σ(R)表示R的標準差，若PSR高于閾值，則認為該小塊遮擋目標，該閾值取決于前若干幀中小塊的PSR：

其中表示第t+k幀中第z個小塊的PSR閾值，表示第t+d幀中第z個小塊對應的響應矩陣，w_d表示t到(t+k-1)這一組幀中第d幀的PSR的權重，由下式計算：

其中e表示自然常數，第t+k幀中各個小塊的PSR閾值是前k幀中各個小塊的PSR的加權平均值；

模板更新器：計算目標被遮擋的程度，當遮擋程度小于一閾值時，對目標模板進行更新，當遮擋程度大于等于所述閾值時，停止對目標模板的更新；

目標未被遮擋部分的占比由下式計算：

M為掩膜，將目標所在區域對應的元素設置為“1”，若小塊遮擋目標，則將遮擋部分對應的元素設置為“0”，Sum(M)表示M中“1”的數量，Area(M)表示M中元素的數量，將目標的被遮擋程度分為三種情況：未被遮擋、部分遮擋、嚴重遮擋，在第t幀中，目標模板根據下式進行更新：

其中x_t-1表示第t-1幀中目標的模板，x_c表示當前幀跟蹤結果中的圖像，δ(·)表示單位階躍函數，β表示學習率，表示未被遮擋與部分遮擋的臨界值，若則x_t＝x_t-1，模板停止更新；若則x_t＝x_t-1*(1-β)+x_c*β，模板進行更新；

搜索范圍預測器：根據目標被遮擋的程度改變目標跟蹤器對目標的跟蹤范圍；

在第一幀，訓練n個尺度不同的KCF跟蹤器，相應的尺度如下所示：

S＝a_q*S₀ a_q∈{a₁，a₂，…，a_n} (13)

其中，a_q為尺度系數，S₀為基尺度，在目標處于嚴重遮擋狀態下，搜索范圍預測器逐步擴大搜索范圍的尺度；反之則縮小，用η_t表示目標的遮擋狀態累積到第t幀的值：

其中，表示目標未被遮擋部分的占比，表示嚴重遮擋與部分遮擋的臨界值，利用sigmoid型函數刻畫q與η_t之間的非線性關系，a的索引值由下式計算：

其中，[x]表示對x四舍五入，n為不同尺度搜索范圍的數量，e為自然常數，b為偏置項，下一幀中搜索范圍的尺度為：a_q*S₀。

2.一種視頻跟蹤中自適應遮擋檢測方法，其特征在于，包括：

背景跟蹤步驟：根據目標跟蹤步驟對目標的跟蹤結果，跟蹤遮擋目標的背景小塊和目標周邊的背景小塊；

濾波器的權重通過下式獲得：

w＝argmin(∑(f(w，x_i)-y_i)²+λ||w||²) (3)

其中x_i為訓練樣本，y_i為回歸目標，λ為正則系數，通過非線性映射將訓練樣本與回歸目標之間的非線性關系轉換為線性，則α可以通過下式獲得：

α＝(K+λI)^-1Y (4)

其中K為核矩陣，選擇合適的核函數k(x_i,x_j)能使得核矩陣K被離散傅里葉變換對角化，則相關濾波器的解為：

其中∧表示離散傅里葉變換，k^xx表示核矩陣的第一行；

遮擋候選集既包括上一幀遮擋目標的背景小塊，也包括當前幀中目標周邊的背景小塊；背景小塊的尺度一定，數量自適應于目標的尺度，計算公式為：

其中，表示對x向上取整，a表示小塊的邊長，w,h分別表示目標的寬和高，N_h，N_v分別表示目標每條水平邊和豎直邊上小塊的數量；

遮擋檢測步驟：根據目標跟蹤步驟和所述背景跟蹤步驟的跟蹤結果，判斷目標與所述背景小塊之間的位置關系，輸出遮擋目標的背景小塊的位置；

利用跟蹤置信度指標：峰旁瓣比PSR判斷目標與小塊之間的遮擋關系，計算公式為：

其中R為KCF輸出的響應矩陣，max(R)表示R中的最大值，avg(R)表示R的平均值，σ(R)表示R的標準差，若PSR高于閾值，則認為該小塊遮擋目標，該閾值取決于前若干幀中小塊的PSR：

其中表示第t+k幀中第z個小塊的PSR閾值，表示第t+d幀中第z個小塊對應的響應矩陣，w_d表示t到(t+k-1)這一組幀中第d幀的PSR的權重，由下式計算：

其中e表示自然常數，第t+k幀中各個小塊的PSR閾值是前k幀中各個小塊的PSR的加權平均值；

模板更新步驟：計算目標被遮擋的程度，當遮擋程度小于一閾值時，對目標模板進行更新，當遮擋程度大于等于所述閾值時，停止對目標模板的更新；

目標未被遮擋部分的占比由下式計算：

M為掩膜，將目標所在區域對應的元素設置為“1”，若小塊遮擋目標，則將遮擋部分對應的元素設置為“0”，Sum(M)表示M中“1”的數量，Area(M)表示M中元素的數量，將目標的被遮擋程度分為三種情況：未被遮擋、部分遮擋、嚴重遮擋，在第t幀中，目標模板根據下式進行更新：

其中x_t-1表示第t-1幀中目標的模板，x_c表示當前幀跟蹤結果中的圖像，δ(·)表示單位階躍函數，β表示學習率，表示未被遮擋與部分遮擋的臨界值，若則x_t＝x_t-1，模板停止更新；若則x_t＝x_t-1*(1-β)+x_c*β，模板進行更新；

搜索范圍預測步驟：根據目標被遮擋的程度改變目標跟蹤步驟對目標的跟蹤范圍；

在第一幀，訓練n個尺度不同的KCF跟蹤器，相應的尺度如下所示：

S＝a_q*S₀ a_q∈{a₁，a₂，…，a_n} (13)

其中，a_q為尺度系數，S₀為基尺度，在目標處于嚴重遮擋狀態下，搜索范圍預測器逐步擴大搜索范圍的尺度；反之則縮小，用η_t表示目標的遮擋狀態累積到第t幀的值：

其中，表示目標未被遮擋部分的占比，表示嚴重遮擋與部分遮擋的臨界值，利用sigmoid型函數刻畫q與η_t之間的非線性關系，a的索引值由下式計算：

其中，[x]表示對x四舍五入，n為不同尺度搜索范圍的數量，e為自然常數，b為偏置項，下一幀中搜索范圍的尺度為：a_q*S₀。