[發(fā)明專利]一種基于樣本平衡的多層級回歸目標跟蹤方法和跟蹤系統(tǒng)

在審

• 申請?zhí)枺?/td>: 202210394687.6
• 申請日: 2022-04-15
• 公開（公告）號: CN114757970A
• 公開（公告）日: 2022-07-15
• 發(fā)明（設(shè)計）人: 吳晶晶;楚喻棋;劉學(xué)亮;洪日昌;蔣建國;齊美彬
• 申請（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/73;G06V10/44;G06V10/80;G06V10/764;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 南京蘇高專利商標事務(wù)所(普通合伙) 32204
• 代理人: 常虹

本發(fā)明公開了一種基于樣本平衡的多層級回歸目標跟蹤方法和跟蹤系統(tǒng)，通過獲取搜索圖像中的候選框與參考圖像中的目標框之間的融合特征，采用級聯(lián)的多個優(yōu)化階段來優(yōu)化搜索圖像中的候選框；其中多個優(yōu)化階段中的IoU閾值逐漸提升，在平衡樣本的同時，逐步提升定位的精度；克服了現(xiàn)有方法中設(shè)置單一的閾值，難以實現(xiàn)樣本采樣與樣本誤差的平衡的缺陷。

技術(shù)領(lǐng)域

本發(fā)明屬于計算機視覺領(lǐng)域，具體涉及一種基于樣本平衡的多層級回歸目標跟蹤方法和跟蹤系統(tǒng)。

背景技術(shù)

在視頻第一幀中給定感興趣目標的位置，視覺目標跟蹤任務(wù)旨在視頻后續(xù)幀中持續(xù)定位該目標。該任務(wù)在安防系統(tǒng)中具有較高的實際應(yīng)用價值，因此其在計算機視覺領(lǐng)域受到了廣泛的關(guān)注。盡管深度學(xué)習(xí)技術(shù)已經(jīng)成功地應(yīng)用于該任務(wù)中，并取得了顯著的進展。但是由于目標的形狀變化、尺度變化、目標遮擋、背景雜亂等因素，使得該任務(wù)仍然頗具挑戰(zhàn)。

現(xiàn)有的基于深度學(xué)習(xí)的目標跟蹤器中，離線網(wǎng)絡(luò)大多采用Siamese雙流網(wǎng)絡(luò)結(jié)構(gòu)，通過整合給定模板與候選位置的外觀信息，來實現(xiàn)候選位置的回歸操作。如下文獻：

[1]Li B,Yan J,Wu W,et al.High performance visual tracking withsiamese region proposal network[C]//Proceedings of the IEEE conference oncomputer vision and pattern recognition.2018:8971-8980.

[2]Li B,Wu W,Wang Q,et al.Siamrpn++:Evolution of siamese visualtracking with very deep networks[C]//Proceedings of the IEEE Conference onComputer Vision and Pattern Recognition.2019:4282-4291.

[3]Zhu Z,Wang Q,Li B,et al.Distractor-aware siamese networks forvisual object tracking[C]//Proceedings of the European Conference on ComputerVision(ECCV).2018:101-117.

[4]He A,Luo C,Tian X,et al.Towards a better match in siamese networkbased visual object tracker[C]//Proceedings of the European Conference onComputer Vision(ECCV).2018:0-0.

[5]Zhang Z,Peng H.Deeper and wider siamese networks for real-timevisualtracking[C]//Proceedings of the IEEE Conference on Computer Vision andPattern Recognition.2019:4591-4600.

在目標跟蹤任務(wù)中，最常使用的回歸操作是邊界框回歸(bounding boxregression)，其直接學(xué)習(xí)候選位置與目標真實位置之間的偏差，用于修正候選位置從而使其與真實位置更加的接近。但是，由于存在樣本不平衡問題，例如在邊界框回歸時，只回歸Intersection over Union(IoU)大于設(shè)定閾值的正樣本候選框。當(dāng)IoU閾值設(shè)置較高，正樣本的數(shù)量就越少，因此過擬合的可能性就越大。但是當(dāng)閾值設(shè)置較低時，會有較多的誤差，這是因為較低的閾值會使得正樣本中有較多的背景。因此，如何設(shè)定合理的IoU閾值，在平衡樣本的同時能夠提升跟蹤定位的精度，是該任務(wù)中一個至關(guān)重要的問題。然而，現(xiàn)有的跟蹤離線網(wǎng)絡(luò)設(shè)計中，忽略了這個問題。

發(fā)明內(nèi)容