[發明專利]一種基于雙線性和空間金字塔的池化方法

在審

• 申請號: 202110265552.5
• 申請日: 2021-03-11
• 公開（公告）號: CN113111711A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 邵一鳴;包曉安;包梓群;許銘洋;馬云龍;馬鉉鈞
• 申請（專利權）人: 浙江理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 鄭海峰

1.一種基于雙線性和空間金字塔的池化方法，其特征在于，包括以下步驟：

S1：根據監控系統記錄的時間順序獲取視頻流，所述的視頻流中包含有待檢測的對象；

S2：對截取的視頻流進行預處理，包括視頻鏡頭分割和關鍵幀提取，將提取到的關鍵幀圖像作為目標圖像；

S3：識別目標圖像中的對象并標注候選框，對候選框內的對象進行多特征提取，獲取多特征數據；

S4：通過雙線性法將目標圖像同一位置對應的多特征相乘，得到局部特征圖，再將圖像中的所有目標位置對應的局部特征圖進行求和池化，得到融合后的全局特征圖；

S5：將融合后的全局特征圖進行金字塔池化，降低特征圖的維度；對降維后的特征圖進行歸一化處理，作為目標圖像最終的特征，完成池化操作，將得到的最終特征用于后續分類，實現待檢測對象的識別。

2.根據權利要求1所述的基于雙線性和空間金字塔的池化方法，其特征在于，獲取的視頻流中包括待檢測對象的不同視角的拍攝圖像。

3.根據權利要求1所述的基于雙線性和空間金字塔的池化方法，其特征在于，在所述的步驟S2和步驟S3之間，還包括采用塊匹配的方法將每一個關鍵幀圖像劃分為區域塊的步驟，連續幀之間的相似性通過比較對應的區域塊來進行判斷。

4.根據權利要求1所述的基于雙線性和空間金字塔的池化方法，其特征在于，所述的多特征數據包括不同層級或不同類別的特征。

5.根據權利要求1所述的基于雙線性和空間金字塔的池化方法，其特征在于，所述的雙線性法的計算公式為：

f_A(l,I)∈R^1×M

f_B(l,I)∈R^1×N

式中，b(l,I,f_A,f_B)表示經雙線性融合后的在目標圖像I的位置l處的局部特征圖，f_A(l,I)和f_B(l,I)是在圖像I的相同位置l處提取到的兩個特征，M和N為特征通道數，T是轉置。

6.根據權利要求5所述的基于雙線性和空間金字塔的池化方法，其特征在于，對圖像中的所有目標位置對應的局部特征圖進行求和池化，得到全局特征圖，計算公式為：

式中，ξ(I)表示目標圖像的全局特征圖。

7.根據權利要求1所述的基于雙線性和空間金字塔的池化方法，其特征在于，所述的金字塔池化過程包括：

7.1)使用不同刻度的窗口對全局特征圖進行劃分，每種刻度代表金字塔的一層，在每一層中均將全局特征圖劃分成為圖像塊；

7.2)對每一個圖像塊進行統一的池化操作，設置每一層池化得到的特征圖層個數作為權值；

7.3)將每一層生成的對應維度的特征向量進行級聯；

7.4)對級聯后的特征向量進行歸一化處理，作為目標圖像最終的特征。

8.根據權利要求7所述的基于雙線性和空間金字塔的池化方法，其特征在于，所述的步驟7.2)所述的池化操作為最大池化、平均池化或者隨機池化。

9.根據權利要求1所述的基于雙線性和空間金字塔的池化方法，其特征在于，將融合后的全局特征圖進行金字塔池化后，以統一的標準維度輸出。