[發(fā)明專利]基于樣本組合和深度檢測(cè)網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)跟蹤方法

有效

• 申請(qǐng)?zhí)枺?/td>: 201811004598.6
• 申請(qǐng)日: 2018-08-30
• 公開(kāi)（公告）號(hào): CN109377511B
• 公開(kāi)（公告）日: 2021-09-03
• 發(fā)明（設(shè)計(jì)）人: 田小林;李芳;荀亮;李帥;焦李成
• 申請(qǐng)（專利權(quán)）人: 西安電子科技大學(xué)
• 主分類(lèi)號(hào): G06T7/246
• 分類(lèi)號(hào): G06T7/246;G06T7/73;G06K9/62;G06N3/04
• 代理公司: 陜西電子工業(yè)專利中心 61205
• 代理人: 田文英;王品華

1.一種基于樣本組合和深度檢測(cè)網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于，利用樣本組合的數(shù)據(jù)增強(qiáng)方法生成訓(xùn)練樣本集；采用深度檢測(cè)網(wǎng)絡(luò)實(shí)時(shí)跟蹤運(yùn)動(dòng)目標(biāo)；該方法的具體步驟包括如下：

(1)利用樣本組合的數(shù)據(jù)增強(qiáng)方法生成訓(xùn)練樣本集：

(1a)輸入含有運(yùn)動(dòng)待跟蹤目標(biāo)的彩色視頻圖像序列中的第一幀視頻圖像；

(1b)在第一幀視頻圖像的上、下、左、右四個(gè)邊緣上同時(shí)增加零值像素，每次增加5個(gè)像素，增加100次生成100幅擴(kuò)大圖像，將擴(kuò)大后的圖像構(gòu)成小尺度樣本集；

(1c)在第一幀視頻圖像中，以運(yùn)動(dòng)待跟蹤目標(biāo)的初始位置的中心為中心、運(yùn)動(dòng)待跟蹤目標(biāo)的長(zhǎng)寬為長(zhǎng)寬確定一個(gè)矩形框，將該矩形框框內(nèi)的圖像作為初始目標(biāo)圖像；

(1d)利用9宮格方式，將初始目標(biāo)圖像均勻切割成9個(gè)小圖像，隨機(jī)打亂9個(gè)小圖像的排列順序，得到500幅3*3樣本構(gòu)成組合樣本集；

(1e)在初始目標(biāo)圖像的上、下、左、右四個(gè)邊緣上同時(shí)增加圖像像素，每次增加5個(gè)像素，增加100次生成100幅圖像，將100幅新的圖像構(gòu)成大尺度樣本集；

(1f)將小尺度樣本集、組合樣本集、大尺度樣本集構(gòu)成訓(xùn)練樣本集；

(2)設(shè)置訓(xùn)練樣本集的歸一化標(biāo)簽：

(2a)利用目標(biāo)中心坐標(biāo)歸一化公式，計(jì)算每個(gè)初始目標(biāo)圖像的中心像素坐標(biāo)值歸一化值；

(2b)用初始目標(biāo)圖像的寬度除以訓(xùn)練樣本圖像的寬度，得到寬度歸一化值，用初始目標(biāo)圖像的高度除以訓(xùn)練樣本圖像的高度，得到高度歸一化值；

(2c)將中心像素坐標(biāo)值歸一化值、高度歸一化值、寬度歸一化值作為訓(xùn)練樣本集的歸一化標(biāo)簽寫(xiě)入文件；

(3)構(gòu)建深度檢測(cè)網(wǎng)絡(luò)：

搭建一個(gè)24層的深度檢測(cè)網(wǎng)絡(luò)，并設(shè)置每層參數(shù)；

(4)訓(xùn)練深度檢測(cè)網(wǎng)絡(luò)：

(4a)將訓(xùn)練樣本集輸入到深度檢測(cè)網(wǎng)絡(luò)中，提取每個(gè)樣本中每個(gè)初始目標(biāo)圖像的特征，將所有特征組成圖像特征圖，深度檢測(cè)網(wǎng)絡(luò)最后一層輸出5個(gè)13×13的特征圖；

(4b)以13×13圖像特征圖的特征點(diǎn)為中心，構(gòu)建5個(gè)寬高比例分別為0.57:0.67、1.87:2.06、3.33:5.47、7.88:3.51、9.77:9.16的備選框，用備選框中心點(diǎn)坐標(biāo)值除以13作為備選框的中心坐標(biāo)歸一化參數(shù)，用備選框?qū)捀弑戎底鳛閭溥x框的寬高歸一化參數(shù)；

(4c)利用置信度公式，計(jì)算運(yùn)動(dòng)待跟蹤目標(biāo)的中心點(diǎn)落入每個(gè)備選框中的置信度值；

(4d)利用誤差公式，計(jì)算每個(gè)備選框的參數(shù)值與標(biāo)簽文件中的真實(shí)值之間的誤差值之和；

(4e)利用隨機(jī)梯度下降法，更新深度檢測(cè)網(wǎng)絡(luò)卷積層的每一個(gè)節(jié)點(diǎn)的權(quán)值，得到訓(xùn)練好的深度檢測(cè)網(wǎng)絡(luò)；

(5)實(shí)時(shí)跟蹤運(yùn)動(dòng)目標(biāo)：

將含運(yùn)動(dòng)待跟蹤目標(biāo)的彩色視頻圖像序列依次輸入到訓(xùn)練好的深度檢測(cè)網(wǎng)絡(luò)中，用置信度值最高的備選框的參數(shù)作為跟蹤目標(biāo)的位置輸出。

2.根據(jù)權(quán)利要求1所述基于樣本組合和深度檢測(cè)網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于，步驟(1d)所述的9宮格方式是指，用四條相互交叉垂直的直線將初始目標(biāo)圖像均勻的分成9等分，得到9個(gè)小圖像。

3.根據(jù)權(quán)利要求1所述基于樣本組合和深度檢測(cè)網(wǎng)絡(luò)的運(yùn)動(dòng)目標(biāo)跟蹤方法，其特征在于，步驟(2a)所述的目標(biāo)中心坐標(biāo)歸一化公式如下：

x＝(a+0.5×w)/m

y＝(b+0.5×h)/n

其中，x表示初始目標(biāo)圖像的中心像素坐標(biāo)值歸一化后的橫坐標(biāo)值，a表示初始目標(biāo)圖像左上角第一個(gè)像素的橫坐標(biāo)值，w表示初始目標(biāo)圖像第一行像素的個(gè)數(shù)，m表示訓(xùn)練樣本圖像第一行像素的個(gè)數(shù)，y表示初始目標(biāo)圖像的中心像素坐標(biāo)值歸一化后的縱坐標(biāo)值，b表示初始目標(biāo)圖像左上角第一個(gè)像素的縱坐標(biāo)值，h表示初始目標(biāo)圖像第一列像素的個(gè)數(shù)，n表示訓(xùn)練樣本圖像第一列像素的個(gè)數(shù)。