[發明專利]一種基于雙線性和空間金字塔的池化方法

在審

• 申請號: 202110265552.5
• 申請日: 2021-03-11
• 公開（公告）號: CN113111711A
• 公開（公告）日: 2021-07-13
• 發明（設計）人: 邵一鳴;包曉安;包梓群;許銘洋;馬云龍;馬鉉鈞
• 申請（專利權）人: 浙江理工大學
• 主分類號: G06K9/00
• 分類號: G06K9/00;G06K9/46;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州求是專利事務所有限公司 33200
• 代理人: 鄭海峰

本發明公開了一種基于雙線性和空間金字塔的池化方法，屬于圖像處理和計算機視覺領域。本發明包括：獲取視頻流，截取出待處理的目標圖像；提取目標圖像中的不同層級或不同類別的特征；將特征組通過雙線性法進行融合，得到全局特征圖；將融合后的全局特征圖進行金字塔池化，降低特征圖的維度；對降維后的特征圖進行歸一化處理，作為目標圖像最終的特征，完成池化操作，將得到的最終特征用于后續分類，實現待檢測對象的識別。本發明適用于圖像中的行為識別和目標檢測中的池化操作，降低了多特征融合的維度，提高識別效率，滿足識別中對多特征的不同識別要求。

技術領域

本發明涉及圖像處理和計算機視覺領域，特別涉及一種基于雙線性和空間金字塔的池化方法。

背景技術

身處智能科學技術高速發展的時代中，智能監控的行為識別與目標檢測等功能逐漸完善、普及，而其中的卷積神經網絡中常使用池化操作用以降低卷積層輸出的特征向量維度，在對表達原圖語義影響最小的情況下改善結果。介于圖像具有“靜態性”的特點，在不同的圖像區域，存在有用的特征?？晒蚕磉m用的情況，旨在模仿人的視覺系統，池化操作可以對不同位置的特征進行聚合統計。

傳統的池化方式一般有平均池化、最大池化與隨機池化等，即取對應圖像區域的平均值、最大值或取其中之一的元素，依照其概率大小隨機選擇，基于隨機選擇中元素值大被選中的概率也相繼提升，這一方面確保了最大值的取值范圍，另一方面保存了其他元素的存在感，防止造成過度失真，但無論何種方式，仍伴隨著一定量的數據丟失、全連接層的輸入需要固定輸入維度、類似紋理上的特征的細節特征模糊等問題。

端倪不同池化方法對應的優劣，本發明擬采用雙線性池化針對兩個特征融合，再通過金字塔池化降維固定輸出維度的方式得到對應特征圖，對行為識別目標檢測的精確性有更好的幫助。

發明內容

為了解決現有的針對于行為識別、目標檢側等的圖像池化方法的缺陷，本發明結合雙線性池化與金字塔池化，首先對目標圖像中的對象進行多特征提取，將特征組進行雙線性融合得到融合后的全局特征圖，再對其對應位置進行金字塔池化。本發明的池化方法融合了更多的圖像特征，降低了數據丟失，為提高后續的分類準確率打下了基礎，且針對于任何大小的圖像輸入，均產生固定大小的輸出，能夠適應于多種分類器，應用廣泛。本發明解決其技術問題所采用的技術方案如下：

一種基于雙線性和空間金字塔的池化方法，包括以下步驟：

S1：根據監控系統記錄的時間順序獲取視頻流，所述的視頻流中包含待檢測的對象；

S2：對截取的視頻流進行預處理，包括視頻鏡頭分割和關鍵幀提取，將提取到的關鍵幀圖像作為目標圖像；

S3：識別目標圖像中的對象并標注候選框，對候選框內的對象進行多特征提取，獲取多特征數據；

S4：通過雙線性法將目標圖像同一位置對應的多特征相乘，得到局部特征圖，再將圖像中的所有目標位置對應的局部特征圖進行求和池化，得到融合后的全局特征圖；

S5：將融合后的全局特征圖進行金字塔池化，降低特征圖的維度；對降維后的特征圖進行歸一化處理，作為目標圖像最終的特征，完成池化操作，將得到的最終特征用于后續分類，實現待檢測對象的識別。

與現有技術相比，本發明的優勢在于：

(1)本發明利用雙線性法能夠實現對不同層級、多種類別的特征組進行融合，這組特征組可以是不同層級不同頻率的有關特征組；也可以是以不同提取方式提取的相似特征組，其單獨特征有自身原有的維度。由于融合后的特征圖包含了不同層級、不同種類的特征，得到的特征信息更加全面，為提高后續的分類準確率打下了基礎。