[發明專利]基于時空采樣的實例級別特征聚合方法

有效

• 申請號: 201910230234.8
• 申請日: 2019-03-26
• 公開（公告）號: CN109993772B
• 公開（公告）日: 2022-12-20
• 發明（設計）人: 郭軍;柳波;張斌;劉晨;李薇;張婭杰;劉文鳳;王嘉怡;王馨悅;陳文博;侯帥
• 申請（專利權）人: 東北大學
• 主分類號: G06T7/246
• 分類號: G06T7/246;G06T7/269;G06V20/40
• 代理公司: 沈陽東大知識產權代理有限公司 21109
• 代理人: 劉曉嵐

1.一種基于時空采樣的實例級別特征聚合方法，其特征在于：包括以下步驟：

步驟1、基于光流進行實例運動位移預測，得到相鄰幀的候選框位置，具體方法為：

步驟1.1、通過光流網絡提取視頻圖像第i幀與第i-t幀之間的光流特征M_i-t→i及第i幀與第i+t幀之間的光流特征M_i+t→i；

步驟1.2、將通過光流網絡提取的視頻圖像的第i幀和第i-t幀之間的光流特征M_i-t→i以及第i幀與第i+t幀之間的光流特征M_i+t→i輸入到運動位移預測網絡，得到候選框坐標位置在相鄰幀的運動位移，如下公式所示：

其中，表示運動位移預測網絡，用于預測與候選框每個位置對應的運動位移，和分別表示候選框坐標位置在第i-t幀和第i+t幀的標準化的運動位移；

所述運動位移預測網絡包括若干可變形卷積模塊，每個可變形卷積模塊包括一個補償學習層和一個PS RoIPooling層；

步驟1.3、通過運動位移網絡的PS RoIPooling層將候選框特征提取到固定大小，并回歸每個局部位置的標準化的坐標位移得到預測候選框k在第i-t幀和第i+t幀的實例級別的運動位移和如下公式所示：

其中，γ為預定義的放縮因子，負責調整位移的量級，默認為0.1，表示元素級乘法，w，h分別為候選框的寬度和高度；

步驟1.4、通過RPN網絡得到當前幀i中物體的候選框k的位置然后通過候選框k在第i-t幀和第i+t幀的實例級別的運動位移和用來對候選框k的位置進行調整，獲得候選框k在第i-t幀和第i+t幀的預測位置和其中，

步驟2、基于運動位移進行實例級別的特征采樣，得到候選框在當前幀及其前后相鄰兩幀的采樣特征；

步驟3、基于光流質量和外觀質量進行實例級權重計算，提取候選框k對應的位置敏感的實例級權重；

步驟4、將當前幀i與其相鄰幀i-t和i+t的實例級別特征通過位置敏感的實例級權重進行聚合，得到聚合后的實例級別的特征。

2.根據權利要求1所述的基于時空采樣的實例級別特征聚合方法，其特征在于：所述步驟2的具體方法為：

使用R-FCN的位置敏感的候選區域池化層PS RoIPooling去采樣候選框特征；

對于給定的候選框k，相鄰幀i-t及候選框左上角的位置p₀，PS RoIPooling劃分候選框為k′×k′個小塊，則相鄰幀i-t的基于運動位移的采樣特征為：

其中，為第i-t幀圖像的采樣特征，p₀為候選框左上角位置，p為采樣點位置，Δp_mn表示運動位移中(m，n)位置的偏移值，f_i-t為特征網絡提取的第i-t幀的特征，N_mn為第(m，n)個小塊中像素值的數量，bin(m，n)表示第(m，n)個小塊的范圍為1≤m，n＜k′，p_x和p_y為采樣點位置p的x，y坐標值；

對于輸出特征圖中的每個小塊(m，n)中的特征值，通過式(3)得到，使用雙線性插值實現特征采樣；

則第i+t幀的基于運動位移的采樣特征為：

其中，為第i+t幀的采樣特征，f_i+t為特征網絡提取的第i+t幀的特征；

當前幀i中候選框k特征的采樣通過直接的可變形PS RoIPooling得到，首先計算當前幀候選框的幾何變換位移，如下公式所示：

其中，表示當前幀i中候選框k的運動位移，conv表示卷積層，表示當前幀聚合后的幀級別特征；

然后計算當前幀i的采樣特征如下公式所示：