[發(fā)明專利]一種基于尺度上下文回歸的目標(biāo)追蹤與跟隨方法

有效

• 申請?zhí)枺?/td>: 202010117523.X
• 申請日: 2020-02-25
• 公開（公告）號: CN111445497B
• 公開（公告）日: 2021-03-30
• 發(fā)明（設(shè)計）人: 周瑜;白翔;朱盈盈;宋德嘉
• 申請（專利權(quán)）人: 華中科技大學(xué)
• 主分類號: G06T7/223
• 分類號: G06T7/223
• 代理公司: 深圳市六加知識產(chǎn)權(quán)代理有限公司 44372
• 代理人: 向彬

1.一種基于尺度上下文回歸的目標(biāo)追蹤與跟隨方法，其特征在于，包括如下步驟：

(1)通過單目攝像機(jī)采集圖片，用戶通過在待跟隨目標(biāo)上設(shè)置一個標(biāo)識物體所在圖像區(qū)域的矩形包圍盒來初始化追蹤過程；

(2)使用尺度上下文回歸模型進(jìn)行目標(biāo)追蹤，獲取目標(biāo)位置和尺度，包含以下子步驟：

(2.1)通過在追蹤過程中存儲歷史幀，并利用每幀對應(yīng)的預(yù)測目標(biāo)包圍盒作為標(biāo)注信息，在線訓(xùn)練一個基于尺度上下文回歸的分類器模型；步驟(2.1)包括：

(2.1.1)在已知歷史幀I＝{I₁，I₂，...，I_t}和追蹤目標(biāo)矩形包圍盒B＝{B₁，B₂，...，B_t}的條件下，對每張圖片I_i選取一個包含目標(biāo)矩形包圍盒B_i的搜索區(qū)域R_t，然后將R_t縮放至多種不同尺度t為歷史幀的數(shù)量，S指尺度數(shù)目，對每種尺度的搜索區(qū)域使用超像素經(jīng)典算法進(jìn)行超像素分割，將所有像素聚合成預(yù)設(shè)數(shù)目的超像素N為超像素數(shù)目；

(2.1.2)對每種尺度的搜索區(qū)域?qū)谖矬w包圍盒中的超像素視作正樣本否則為視作負(fù)樣本對每一個正樣本遍歷除自身以外的全部超像素樣本，計算兩者間特征距離，若低于相似度閾值λ_d，則投正樣本數(shù)N^O一票，類似地計算其與另一負(fù)樣本之間的特征距離，j≠v，若低于相似度閾值λ_d，則投負(fù)樣本數(shù)N^B一票，遍歷完所有樣本后，計算其為負(fù)樣本的概率，ρ＝N^B/(N^O+N^B)；若該超像素為負(fù)樣本的概率ρ大于預(yù)設(shè)的超參數(shù)λ_s，將其從正樣本中移除，最終整個超像素樣本集合被劃分為正樣本集合和負(fù)樣本集合分別為每個正樣本標(biāo)注為1，每個負(fù)樣本則標(biāo)注為-1，最終尺度為s的搜索區(qū)域按照超像素順序標(biāo)注為集合L^s∈R^N×1；

(2.1.3)使用回歸系數(shù)w^s和超像素對應(yīng)的特征表達(dá)預(yù)測對應(yīng)超像素的類別將每個超像素預(yù)測類別與訓(xùn)練標(biāo)簽對應(yīng)計算分類損失并求和添加一個正則項|w^s|²以避免過擬合，并設(shè)計一個正則項權(quán)重λ來控制正則化函數(shù)，得目標(biāo)函數(shù)為：優(yōu)化目標(biāo)是找到一組參數(shù)使得Loss最小，通過Loss對w^s求導(dǎo)，并根據(jù)極值點導(dǎo)數(shù)為0的條件，推導(dǎo)出：2(F^s)^T(L^s-f^sw^s)-2γw^s＝0，F(xiàn)^s指代在尺度s下的所有超像素的特征矩陣，L^s指代在尺度s下的所有超像素的標(biāo)簽值矩陣，獲得脊回歸的閉式解：w^s＝((F^s)^TF^s+γI)^-1(Fs)^TL^s；由此構(gòu)建一個基于尺度上下文回歸的模型；

(2.2)在待追蹤的圖片上使用(2.1)中訓(xùn)練的基于尺度上下文回歸的模型定位目標(biāo)；

(3)使用基于局部塊的追蹤目標(biāo)質(zhì)量評估方法，判斷是否發(fā)生目標(biāo)丟失并及時的進(jìn)行重檢測；

(4)建立跟隨者自身與待跟隨目標(biāo)的相對位置關(guān)系，同時基于此相對位置關(guān)系調(diào)整跟隨者自身位姿。