[發(fā)明專利]一種基于孿生網(wǎng)絡(luò)進(jìn)行特征融合的目標(biāo)跟蹤方法

有效

• 申請?zhí)枺?/td>: 201810606690.3
• 申請日: 2018-06-13
• 公開（公告）號: CN108846358B
• 公開（公告）日: 2021-10-26
• 發(fā)明（設(shè)計）人: 郭東巖;趙瑋瑄;崔瀅;王振華;陳勝勇
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/08;G06N3/04
• 代理公司: 杭州斯可睿專利事務(wù)所有限公司 33241
• 代理人: 王利強(qiáng)

1.一種基于孿生網(wǎng)絡(luò)進(jìn)行特征融合的目標(biāo)跟蹤方法，其特征在于，所述方法包括孿生網(wǎng)絡(luò)模型的訓(xùn)練過程和模型在目標(biāo)跟蹤場景中的應(yīng)用；

所述孿生網(wǎng)絡(luò)模型的訓(xùn)練過程如下：

步驟1.1：模型訓(xùn)練數(shù)據(jù)集的選取：根據(jù)目標(biāo)跟蹤的應(yīng)用需求，我們選取包含目標(biāo)的完整視頻序列作為訓(xùn)練集；

步驟1.2：訓(xùn)練數(shù)據(jù)集的預(yù)處理：因為在目標(biāo)跟蹤過程中，輸入模型的是一張只包含目標(biāo)的圖像塊和一張包含目標(biāo)以及目標(biāo)周圍背景的圖像塊，所以在模型訓(xùn)練前，需要對訓(xùn)練集進(jìn)行預(yù)處理，生成符合網(wǎng)絡(luò)輸入要求的訓(xùn)練集；圖像對提取方法的操作如下：

步驟1.2.1：首先以前后兩幀圖像為一組，組成一組作為網(wǎng)絡(luò)輸入的訓(xùn)練圖像對；

步驟1.2.2：其次，在生成圖像對之后，從圖像對中提取目標(biāo)所在的區(qū)域，將一組圖像對的兩幀圖像記為(x,z)，其中x表示前一幀圖像，z表示需要進(jìn)行目標(biāo)搜索的圖像，從x中提取目標(biāo)區(qū)域，目標(biāo)區(qū)域的中心點在圖像中的坐標(biāo)記為(x_row,x_col)，目標(biāo)區(qū)域的長和寬分別記為x_width和x_height，在z中，同樣以(x_row,x_col)為中心提取長寬為兩倍的區(qū)域，得到的圖像對記為(x′,z′)；

步驟1.2.3：將提取到的圖像對(x′,z′)歸一化到255×255的大小，保存圖像對用于后續(xù)的網(wǎng)絡(luò)輸入；

步驟1.3：模型的訓(xùn)練：輸入步驟1.2預(yù)處理的訓(xùn)練集進(jìn)行訓(xùn)練，步驟如下：

步驟1.3.1：為了提升訓(xùn)練模型的魯棒性，采用隨機(jī)讀取的方式，每次讀取多對圖像塊輸入網(wǎng)絡(luò)進(jìn)行訓(xùn)練；

步驟1.3.2：利用孿生網(wǎng)絡(luò)結(jié)構(gòu)對一組圖像塊(x′,z′)分別提取CNN和HOG特征，將這些特征記為x′_HOG,x′_CNN,z′_HOG,z′_CNN；

步驟1.3.3：利用步驟1.3.2所提取到的特征x′_HOG和x′_CNN，生成兩個用于匹配的特征模板，分別記為Temp_CNN和Temp_HOG，利用公式(1)求解模板，

式中T表示模板Temp，y表示期望響應(yīng)，表示相關(guān)濾波操作，為了防止過擬合，在式中加入了正則項λ‖T‖²；

求解得到

步驟1.3.4：根據(jù)Temp_CNN和Temp_HOG以及z′_HOG和z′_CNN，分別生成兩個特征響應(yīng)圖，記為Resp_CNN和Resp_HOG，利用如下公式求得特征響應(yīng)圖，

步驟1.3.5：利用網(wǎng)絡(luò)訓(xùn)練的相關(guān)權(quán)重融合響應(yīng)圖，將融合后的響應(yīng)圖記為Resp_merge，融合操作用式(4)表示，

Resp_merge＝M(Resp_CNN,Resp_HOG) (4)

式中M為融合函數(shù)，其中的融合權(quán)重均由網(wǎng)絡(luò)訓(xùn)練得到；

步驟1.3.6：在網(wǎng)絡(luò)的最后設(shè)置邏輯斯諦回歸層，優(yōu)化最終的訓(xùn)練結(jié)果，根據(jù)坐標(biāo)點的數(shù)據(jù)是否位于ground truth區(qū)域設(shè)置空間上的標(biāo)簽，1表示位于區(qū)域內(nèi)，-1表示不在區(qū)域內(nèi)；

訓(xùn)練模型使得損失函數(shù)取得最小值，記損失函數(shù)為l,

argmin∑_il(M(Resp_CNN,Resp_HOG),L_i)(6)

步驟1.4：模型獲取：設(shè)置迭代次數(shù),在模型迭代結(jié)束之后，取出最終迭代生成的模型作為目標(biāo)跟蹤時使用的跟蹤模型；

模型在目標(biāo)跟蹤場景中的應(yīng)用過程如下：

步驟2.1：數(shù)據(jù)輸入：在目標(biāo)跟蹤過程中，模型的使用采用的是前向反饋的模式；跟蹤開始，需要指定第一幀中跟蹤目標(biāo)的位置信息，在后續(xù)跟蹤過程中，則以上一幀中通過算法評估出的目標(biāo)區(qū)域為中心，取4倍的大小作為當(dāng)前幀的目標(biāo)搜索區(qū)域，進(jìn)行跟蹤；

步驟2.2：模板更新：每輸入一組圖像對進(jìn)行跟蹤，都會生成新的模板，采取將歷史模板和新模板結(jié)合的方法，模板融合的方法如公式(7)和(8)所示，

Temp_CNN,new＝(1-η_c)Temp_CNN,old+η_cTemp_CNN,curr (7)

Temp_HOG,new＝(1-η_h)Temp_HOG,old+η_hTemp_HOG,curr (8)

式中η_c和η_h分別表示CNN和HOG特征模板的學(xué)習(xí)率，Temp_CNN,old和Temp_HOG,old表示舊的模板，Temp_CNN,curr和Temp_HOG,curr表示以當(dāng)前幀作為輸入生成的新模板，將新的模板代入式(2)和(3)中，得到式(9)和(10)：

步驟2.3：目標(biāo)位置評估：根據(jù)響應(yīng)圖的值來確定目標(biāo)的中心點的位置信息；

步驟2.4：利用算法得到的評估位置，按照步驟1.2所述的圖像對提取方法，提取后續(xù)的圖像對，將提取到的圖像對作為模型的輸入，輸入到模型中，重復(fù)上述的步驟2.1-2.4的過程，直到圖像序列中所有圖像都處理完為止。