[發明專利]基于四叉樹膠囊的深度回歸跟蹤方法

在審

• 申請號: 202211224736.8
• 申請日: 2022-10-09
• 公開（公告）號: CN115965652A
• 公開（公告）日: 2023-04-14
• 發明（設計）人: 鄔向前;卜巍;馬丁
• 申請（專利權）人: 哈爾濱工業大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T9/40;G06V10/764;G06V10/77;G06V10/80;G06N3/0464;G06N3/048;G06N3/08
• 代理公司: 哈爾濱龍科專利代理有限公司 23206
• 代理人: 馮建

本發明公開了一種基于四叉樹膠囊的深度回歸跟蹤方法，所述方法包括如下步驟：一、給定當前幀的搜索區域，采用在ImageNet上預訓練的VGG?16網絡的conv4?3和conv5?3兩個特征層作為特征提取器分別提取底層和高層語義表示；二、通過四叉樹膠囊模塊構造空間膠囊；三、通過多光譜姿態矩陣注意力構造時空膠囊；四、時序膠囊的局部位移；五、將時序膠囊的姿態矩陣壓平，并將它們傳遞給解碼器進行解碼。本發明利用搜索區域作為輸入，提出利用四叉樹膠囊架構構建目標與其上下文之間的時空關系。與現有基于膠囊網絡的跟蹤器相比，在魯棒跟蹤結果的同時，運行速度達到了43FPS，使得基于膠囊網絡的跟蹤器首次達到了實時處理。

技術領域

本發明涉及一種目標跟蹤方法，尤其涉及一種基于四叉樹膠囊的深度回歸跟蹤方法。

背景技術

得益于能夠捕捉部分和整體之間的空間關系，膠囊網絡在許多視覺任務中都取得了成功。然而，由于其較高的計算復雜度，使得直接將膠囊網絡應用于視覺跟蹤任務變得較為困難，因為處理速度是視覺跟蹤任務的重要指標。

發明內容

為了更好的進行目標跟蹤，本發明提供了一種基于四叉樹膠囊的深度回歸跟蹤方法。

本發明的目的是通過以下技術方案實現的：

一種基于四叉樹膠囊的深度回歸跟蹤方法，包括如下步驟：

步驟一、給定當前幀的搜索區域，采用在ImageNet上預訓練的VGG-16網絡的conv4-3和conv5-3兩個特征層作為特征提取器分別提取底層和高層語義表示；

步驟二、通過四叉樹膠囊模塊構造空間膠囊，具體步驟如下：

步驟二一、通過下采樣在特征金字塔的每一層構造不同尺度的膠囊，具體構造步驟如下：

步驟二一一、特征降維：通過一個核大小為1×1的卷積層將輸入特征h×w×c降維到h×w×1/16c，其中，h、w和c分別表示特征的高、寬和通道數；

步驟二一二、姿態矩陣M和激活值a的構建：對于姿態矩陣M，首先將其升維到h×w×c，之后將升維的特征變形成h×w×1/16c×1/8c，后兩維分別表示膠囊類別的數量和姿態矩陣的大??；對于激活值a，將特征h×w×1/16c變形得到h×w×1/16c×1來匹配膠囊的類別；

步驟二一三、膠囊的構建：將姿態矩陣M和激活值a的最后一維進行串聯，得到最終的膠囊h×w×1/16c×(18c+1)；

步驟二二、設計對稱引導路由算法融合底層特征和高層特征，以此捕獲豐富的上下文信息，具體步驟如下：

步驟二二一、底層膠囊和高層膠囊的采集：采集底層特征Branch1的膠囊采集高層特征Branch2的膠囊其中，和分別表示膠囊的姿態矩陣和激活值，底層膠囊到高層膠囊的投票定義為：

其中，分別是計算得到的投票，分別是需要學習的權重矩陣；

步驟二二二、Branch2到Branch1的引導：對于Branch2的膠囊，使用EM路由算法得到一組Branch2的高層膠囊，即為了生成Branch2到Branch1的引導信息，計算和之間的像素級相關性Corr1_ij，該相關性用于計算一個分配權重

其中，e^*是指數函數，決定了Branch1中的第i個特定實體到Branch2中的第j個特定實體的貢獻；按照上述步驟，給定和相應的分配權重，得到一系列被引導的Branch1膠囊同理，通過Branch1到Branch2的引導，獲得一組Branch2的高層膠囊