[發(fā)明專利]基于TLD跟蹤系統(tǒng)的視頻目標(biāo)跟蹤方法

有效

• 申請?zhí)枺?/td>: 201710595737.6
• 申請日: 2017-07-20
• 公開（公告）號: CN107423702B
• 公開（公告）日: 2020-06-23
• 發(fā)明（設(shè)計(jì)）人: 趙亦工;宗家輝
• 申請（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/62
• 代理公司: 西安睿通知識產(chǎn)權(quán)代理事務(wù)所(特殊普通合伙) 61218
• 代理人: 惠文軒

1.一種基于TLD跟蹤系統(tǒng)的視頻目標(biāo)跟蹤方法，其特征在于，所述TLD跟蹤系統(tǒng)包含：跟蹤濾波器，重合度檢測器，隨機(jī)森林分類器，以及最近鄰分類器；所述視頻目標(biāo)跟蹤方法包括如下步驟：

步驟1，獲取視頻中的第一幀圖像，在所述第一幀圖像中人為標(biāo)定目標(biāo)區(qū)域，在所述第一幀圖像中獲取以所述目標(biāo)區(qū)域?yàn)橹行模掖笮樗瞿繕?biāo)區(qū)域N倍的圖像片；所述人為標(biāo)定的目標(biāo)區(qū)域?yàn)榫匦螀^(qū)域；

步驟2，根據(jù)所述圖像片的大小構(gòu)造二維高斯分布函數(shù)以及漢明窗，進(jìn)而根據(jù)所述圖像片、所述二維高斯分布函數(shù)以及所述漢明窗，分別對跟蹤濾波器的第一參數(shù)、第二參數(shù)進(jìn)行初始化；

具體包括如下子步驟：

(2a)構(gòu)造與所述圖像片小大相同的矩形框sz，以及與所述圖像片小大相同的漢明窗cos_win，所述漢明窗cos_win中位于(i_c,j_c)處的函數(shù)值cos_win(i_c,j_c)為：

其中，i_c∈(1,height_sz)，j_c∈(1,width_sz)，height_sz表示所述矩形框sz的高，width_sz表示所述矩形框sz的寬；

(2b)構(gòu)造與所述矩形框sz大小相同的第一矩陣y_r和第二矩陣y_c，所述第一矩陣y_r中位于(r_h,r_l)處的元素的值為：所述第二矩陣y_c中位于(c_h,c_l)處的元素的值為：

其中，r_h∈(1,height_ry)，r_l∈(1,width_ry)，height_ry表示所述第一矩陣y_r的高，width_ry表示所述第一矩陣y_r的寬；c_h∈(1,height_cy)，c_l∈(1,width_cy)，height_cy表示所述第二矩陣y_c的高，width_cy表示所述第二矩陣y_c的寬；

(2c)根據(jù)所述第一矩陣y_r和第二矩陣y_c，得到二維高斯分布函數(shù)y，其中所述二維高斯分布函數(shù)y中位于(m_y,n_y)處的函數(shù)值

其中，m_y∈(1,height_sz)，n_y∈(1,width_sz)，height_sz表示所述矩形框sz的高，width_sz表示所述矩形框sz的寬；output_sigma為預(yù)設(shè)參數(shù)，

(2d)將所述圖像片轉(zhuǎn)換為灰度圖像，并將所述灰度圖像的像素值與所述漢明窗對應(yīng)位置處的函數(shù)值分別相乘，得到臨時矩陣，對所述臨時矩陣進(jìn)行歸一化后得到矩陣x_init，將矩陣x_init作為跟蹤濾波器的第一參數(shù)z_init；

(2e)分別求得矩陣x_init的DFT變換矩陣xf_init，以及矩陣z_init的DFT變換矩陣zf_init，將矩陣x_init的DFT變換矩陣xf_init與矩陣z_init的DFT變換矩陣zf_init對應(yīng)位置元素點(diǎn)乘得到矩陣xzf_init，然后對xzf_init進(jìn)行逆傅里葉變換得到矩陣xz_init；

從而求得核函數(shù)k_init：所述核函數(shù)k_init為height_initk行width_initk列的矩陣；

其中，k_init(m_initk,n_initk)表示核函數(shù)k_init中第(m_initk,n_initk)位置處的函數(shù)值，m_initk∈(1,height_initk)，n_initk∈(1,width_initk)，height_initk表示核函數(shù)k_init的行數(shù)，width_initk表示核函數(shù)k_init的列數(shù)，sigma表示指數(shù)系數(shù)，取值為0.2，xx表示矩陣x_init的二范數(shù)，zz表示矩陣z_init的二范數(shù)，xz_cul表示矩陣xz_init的循環(huán)移位；

(2f)確定跟蹤濾波器的第二參數(shù)其中，F(xiàn)(y)表示二維高斯分布函數(shù)y的DFT變換，F(xiàn)(k)表示核函數(shù)k_init的DFT變換；

步驟3，以所述目標(biāo)區(qū)域的大小為基準(zhǔn)，構(gòu)造多個不同尺度的矩形框；

第一尺度矩形框從所述第一幀圖像的左上角開始，每次移動一個像素位置，從左往右，從上往下，依次遍歷整個第一幀圖像；在所述第一尺度矩形框遍歷整個第一幀圖像的過程中，記錄該第一尺度矩形框的所有位置以及第一尺度矩形框在每個位置時與目標(biāo)區(qū)域的重合度；所述第一尺度矩形框?yàn)槎鄠€不同尺度的矩形框中的任意一個矩形框；重合度的值大于0且小于1；

采用集合grid記錄多個不同尺度的矩形框遍歷所述第一幀圖像過程中的所有位置以及每個尺度矩形框在每個位置時與目標(biāo)區(qū)域的重合度，完成對重合度檢測器的初始化；

步驟4，設(shè)置第一重合度閾值、第二重合度閾值，且第一重合度閾值大于第二重合度閾值；

對于集合grid，將其中重合度大于所述第一重合度閾值的矩形框?qū)?yīng)的信息記錄在集合good-boxes中，將其中重合度小于所述第二重合度閾值的矩形框?qū)?yīng)的信息記錄在集合bad-boxes中，將其中重合度最大的一個矩形框?qū)?yīng)的信息記錄在集合best-box中；矩形框?qū)?yīng)的信息至少包含該矩形框的變換尺度、該矩形框的位置以及該矩形框與目標(biāo)區(qū)域的重合度；

步驟5，將集合best-box中的矩形框?qū)?yīng)的圖像片進(jìn)行歸一化并縮小得到正樣本圖像片，將所述正樣本圖像片存儲在集合pEx中作為一個正樣本；矩形框?qū)?yīng)的圖像片是指該矩形框在第一幀圖像中框定的圖像區(qū)域；

將集合bad-boxes中的每個矩形框?qū)?yīng)的圖像片進(jìn)行歸一化并縮小得到負(fù)樣本圖像片，將得到的所有負(fù)樣本圖像片存儲在集合nEx中作為負(fù)樣本；

選取集合good-boxes中重合度較大的前t個矩形框，并將所述前t個矩形框?qū)?yīng)的圖像片分別進(jìn)行f次仿射變換，得到f*t個正樣本圖像片；分別提取所述f*t個正樣本圖像片的特征值并存儲于集合pX中，將每個正樣本圖像片的特征值的標(biāo)記符記為1，標(biāo)記符記為1表示該標(biāo)記符對應(yīng)的特征值為正樣本的特征值；

分別提取集合bad-boxes中的每個矩形框?qū)?yīng)的圖像片的特征值并存儲于集合nX中，并將每個矩形框?qū)?yīng)的圖像片的特征值的標(biāo)記符記為0，標(biāo)記符記為0表示該標(biāo)記符對應(yīng)的特征值為負(fù)樣本的特征值；

將集合pX中的所有特征值與集合nX中的一半特征值組成一個含有正負(fù)樣本特征值的集合fern-data；將集合pEx中的一個正樣本圖像片與集合nEx中的一半負(fù)樣本圖像片組成一個含有正負(fù)樣本圖像片的集合nn-data，且集合pEx中的一個正樣本圖像片為集合nn-data中的第一個元素；

步驟6，初始化隨機(jī)森林分類器：遍歷集合fern-data中的所有樣本特征值，若特征值的標(biāo)記符為1，則確定該特征值為正樣本特征值的后驗(yàn)概率；若特征值的標(biāo)記符為0，則確定該特征值為負(fù)樣本特征值的后驗(yàn)概率；

步驟7，初始化最近鄰分類器：構(gòu)造集合pxx和集合nxx，集合pxx用于存儲訓(xùn)練好的正樣本，集合nxx用于存儲訓(xùn)練好的負(fù)樣本；

設(shè)置相關(guān)相似度分類閾值，將集合nn-data中的第一個元素存放在集合pxx中，將集合nn-data中的第二個元素存放在集合nxx中，從集合nn-data中的第三個元素開始遍歷，計(jì)算集合nn-data中從第三個元素開始的每個元素的相關(guān)相似度；

具體包括如下子步驟：

(7a)獲取集合nn-data中的第三個樣本圖像片，將第三個樣本圖像片與集合pxx中的每個樣本圖像片分別進(jìn)行模板匹配，得到第三個樣本圖像片與集合pxx中的每個樣本圖像片的相關(guān)系數(shù)NCC：

其中，M_ncc為樣本圖像片的寬度，N_ncc為樣本圖像片的高度，圖像片souimg是從集合nn-data中獲取的樣本圖像片，圖像片temp是集合pxx中的樣本圖像片，i_ncc∈(1,M_ncc)，j_ncc∈(1,N_ncc)；souimg(i_ncc,j_ncc)表示圖像片souimg中位于(i_ncc,j_ncc)處的像素值，temp(i_ncc,j_ncc)表示圖像片temp中位于(i_ncc,j_ncc)處的像素值；

(7b)根據(jù)集合nn-data中的第三個樣本圖像片與集合pxx中的每個樣本圖像片的相關(guān)系數(shù)，從而確定第一最大的相關(guān)系數(shù)maxP；

(7c)得到集合nn-data中的第三個樣本圖像片與集合nxx中的每個樣本圖像片的相關(guān)系數(shù)，從而確定第二最大的相關(guān)系數(shù)maxN；

(7d)設(shè)置第一參數(shù)dP＝1-maxP，第二參數(shù)dN＝1-maxN，從而得到集合nn-data中的第三個樣本圖像片的相關(guān)相似度conf＝dN/(dN+dP)；

(7e)遍歷集合nn-data中的第三個樣本圖像片之后的每個樣本圖像片，得到集合nn-data中每個樣本圖像片的相關(guān)相似度；

若集合nn-data中從第三個元素開始的每個元素的相關(guān)相似度大于所述相關(guān)相似度分類閾值，則將該元素存儲于集合nxx中，否則，不做處理；

步驟8，獲取需要進(jìn)行目標(biāo)跟蹤的圖像幀，采用跟蹤濾波器對所述需要進(jìn)行目標(biāo)跟蹤的圖像幀進(jìn)行跟蹤，得到跟蹤到的目標(biāo)中心位置，從而確定跟蹤濾波器跟蹤到的目標(biāo)區(qū)域；

采用跟蹤到的目標(biāo)區(qū)域?qū)λ龈櫈V波器的第一參數(shù)、第二參數(shù)進(jìn)行更新；

具體包括如下子步驟：

(8a)獲取需要進(jìn)行目標(biāo)跟蹤的圖像幀，將所述需要進(jìn)行目標(biāo)跟蹤的圖像幀轉(zhuǎn)換為灰度圖像，得到所述灰度圖像中以上一幀圖像目標(biāo)位置為中心，與矩形框sz大小相同的圖像片，將與矩形框sz大小相同的圖像片的像素值與所述漢明窗對應(yīng)位置處的函數(shù)值分別相乘，得到臨時矩陣，對所述臨時矩陣進(jìn)行歸一化后得到矩陣x_i，從而求得本幀圖像對應(yīng)的核函數(shù)，將本幀圖像對應(yīng)的核函數(shù)帶入跟蹤器的第二參數(shù)中，求得響應(yīng)最大值點(diǎn)的位置max_i，將其作為跟蹤濾波器跟蹤到的目標(biāo)中心位置，下標(biāo)i表示需要進(jìn)行目標(biāo)跟蹤的圖像幀為第i幀圖像；

(8b)在需要進(jìn)行目標(biāo)跟蹤的圖像幀中，獲取以max_i為中心，大小與矩形框sz相同的圖像片，將其與漢明窗相乘得到的矩陣進(jìn)行歸一化，得到矩陣x_i^c，令new_z_i＝x_i^c；從而根據(jù)矩陣x_i^c和矩陣new_z_i求得新的核函數(shù)k^c_i，再根據(jù)新的核函數(shù)k^c_i求得new_alphaf_i；

(8c)根據(jù)下式對跟蹤濾波器的第一參數(shù)z_i和第二參數(shù)alphaf_i進(jìn)行更新：

z_i＝(1-λ)z_i-1+λ×new_z_i

alphaf_i＝(1-λ)alphaf_i-1+λ×new_aphaf_i

其中，λ為學(xué)習(xí)率，z_i-1為第i-1幀圖像中跟蹤濾波器的第一參數(shù)值，alphaf_i-1為第i-1幀圖像中跟蹤濾波器的第二參數(shù)值，當(dāng)i＝2時，z_i-1＝z_init；

步驟9，采用重合度檢測器對所述需要進(jìn)行目標(biāo)跟蹤的圖像幀進(jìn)行檢測，得到需要進(jìn)行目標(biāo)跟蹤的圖像幀中所有可能的目標(biāo)區(qū)域；

步驟10，采用隨機(jī)森林分類器對所有可能的目標(biāo)區(qū)域分別進(jìn)行檢測，確定每個可能的目標(biāo)區(qū)域中是否存在目標(biāo)，從而得到可能存在目標(biāo)的圖像區(qū)域；

步驟11，采用最近鄰分類器計(jì)算每個可能存在目標(biāo)的圖像區(qū)域的相關(guān)相似度，從而確定存在潛在目標(biāo)的圖像區(qū)域；

步驟12，對跟蹤濾波器跟蹤到的目標(biāo)區(qū)域和所述最近鄰分類器確定的存在潛在目標(biāo)的圖像區(qū)域進(jìn)行綜合處理，得到目標(biāo)跟蹤結(jié)果圖像塊；

步驟13，根據(jù)所述目標(biāo)跟蹤結(jié)果圖像塊，對所述重合度檢測器、所述隨機(jī)森林分類器以及所述最近鄰分類器進(jìn)行更新學(xué)習(xí)；

步驟14，重復(fù)執(zhí)行步驟8至步驟13，直到得到視頻中所有需要進(jìn)行目標(biāo)跟蹤的圖像幀的目標(biāo)跟蹤結(jié)果圖像塊，完成視頻目標(biāo)跟蹤過程。