[發明專利]基于四叉樹膠囊的深度回歸跟蹤方法

在審

• 申請號: 202211224736.8
• 申請日: 2022-10-09
• 公開（公告）號: CN115965652A
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 鄔向前;卜巍;馬丁
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T9/40;G06V10/764;G06V10/77;G06V10/80;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 哈爾濱龍科專利代理有限公司 23206
• 代理人: 馮建

1.一種基于四叉樹膠囊的深度回歸跟蹤方法，其特征在于所述方法包括如下步驟：

步驟一、給定當前幀的搜索區域，采用在ImageNet上預訓練的VGG-16網絡的conv4-3和conv5-3兩個特征層作為特征提取器分別提取底層和高層語義表示；

步驟二、通過四叉樹膠囊模塊構造空間膠囊，具體步驟如下：

步驟二一、通過下采樣在特征金字塔的每一層構造不同尺度的膠囊；

步驟二二、設計對稱引導路由算法融合底層特征和高層特征，以此捕獲豐富的上下文信息；

步驟二三、給定金字塔各個層級的雙向膠囊，在相應的空間索引中選取top?K個具有最高激活值的膠囊，通過按位加操作整合各個層級的膠囊；

步驟三、通過多光譜姿態矩陣注意力構造時空膠囊，具體步驟如下：

步驟三一、將每一個膠囊的姿態矩陣存儲在緩存中，記為[capsule^t-6,capsule^t-5,...,capsule^t-1]，其中，t-*表示視頻幀的時序標簽；

步驟三二、將每一個膠囊capsule^*變形成H×W×C'，其中，H和W表示膠囊的尺寸，C'＝1/8C，C是膠囊類別的數量與膠囊維度的乘積；

步驟三三、對于每一個膠囊capsuleⁱ，分配相應的DCT頻率：

其中，PMⁱ是姿態矩陣表示，[u_i,v_i]是PMⁱ對應的2D頻率分量；

整個多光譜姿態矩陣注意力PM_att表達為：

PM_att＝sigmoid(fc(Freq))；

其中，sigmoid是激活函數，fc是一層可學習的全連接層；

步驟四、時序膠囊的局部位移，具體步驟如下：

步驟四一、在在線跟蹤過程中，將過去8幀的膠囊表示保存在緩存中；

步驟四二、當獲得第t幀的姿態矩陣時，通過計算其最后1維的平均值得到一個壓縮表示，該壓縮表示是原尺寸的1/8；

步驟四三、將t-6幀的姿態矩陣的前1/8替換為步驟四二得到的壓縮表示，將替換后的姿態矩陣作為第t+1幀的時序膠囊；

步驟五、將時序膠囊的姿態矩陣壓平，并將它們傳遞給解碼器進行解碼。

2.根據權利要求1所述的基于四叉樹膠囊的深度回歸跟蹤方法，其特征在于所述步驟二一的具體構造步驟如下：

步驟二一一、特征降維：通過一個核大小為1×1的卷積層將輸入特征h×w×c降維到h×w×1/16c，其中，h、w和c分別表示特征的高、寬和通道數；

步驟二一二、姿態矩陣M和激活值a的構建：對于姿態矩陣M，首先將其升維到h×w×c，之后將升維的特征變形成h×w×1/16c×1/8c，后兩維分別表示膠囊類別的數量和姿態矩陣的大??；對于激活值a，將特征h×w×1/16c變形得到h×w×1/16c×1來匹配膠囊的類別；

步驟二一三、膠囊的構建：將姿態矩陣M和激活值a的最后一維進行串聯，得到最終的膠囊h×w×1/16c×(1/8c+1)。

3.根據權利要求1所述的基于四叉樹膠囊的深度回歸跟蹤方法，其特征在于所述步驟二二的具體步驟如下：

步驟二二一、底層膠囊和高層膠囊的采集：采集底層特征Branch1的膠囊采集高層特征Branch2的膠囊其中，和分別表示膠囊的姿態矩陣和激活值，底層膠囊到高層膠囊的投票定義為：

其中，分別是計算得到的投票，分別是需要學習的權重矩陣；

步驟二二二、Branch2到Branch1的引導：對于Branch2的膠囊，使用EM路由算法得到一組Branch2的高層膠囊，即為了生成Branch2到Branch1的引導信息，計算和之間的像素級相關性Corr1_ij，該相關性用于計算分配權重決定了Branch1中的第i個特定實體到Branch2中的第j個特定實體的貢獻；按照上述步驟，給定和相應的分配權重，得到一系列被引導的Branch1膠囊同理，通過Branch1到Branch2的引導，獲得一組Branch2的高層膠囊

步驟二二三、雙向引導的膠囊構建：將Branch1膠囊和Branch2膠囊沿類別軸串聯得到最終的雙向引導膠囊。