[發明專利]一種基于類別感知特征聚合的視頻目標檢測方法

在審

• 申請號: 202210199529.5
• 申請日: 2022-03-01
• 公開（公告）號: CN114612820A
• 公開（公告）日: 2022-06-10
• 發明（設計）人: 鄭慧誠;陳蔓薇;樊迪威
• 申請（專利權）人: 中山大學
• 主分類號: G06V20/40
• 分類號: G06V20/40;G06V10/74;G06V10/774;G06K9/62
• 代理公司: 深圳市創富知識產權代理有限公司 44367
• 代理人: 高冰

本發明公開了一種基于類別感知特征聚合的視頻目標檢測方法，包括：檢測主干ResNet?101對視頻幀進行特征提取，獲得高層語義信息；利用可形變卷積進行亞像素級的特征對齊，隨后使用區域生成網絡RPN為每一幀生成目標候選框；使用候選框分類模塊對生成的候選框進行分類操作，后續僅對具有相同類標簽的候選框進行特征聚合；在進行類別感知特征聚合時，使用廣范圍逐層遞進特征聚合模塊進行雙向且逐層遞進的候選框層級的特征聚合操作；使用類間關系建模模塊對同一幀上的不同類別目標進行空間位置上的關系建模；將聚合后的候選框特征輸入到全連接層以進行具體類別判別和目標框位置的回歸修正。本發明使得時序信息和空間位置信息都得到充分利用，從而有效提高視頻目標的檢測性能。

技術領域

本發明涉及視頻處理技術領域，尤其涉及一種基于類別感知特征聚合的視頻目標檢測方法。

背景技術

視頻目標檢測是計算機視覺領域中一個新的研究方向，其主要任務即對視頻每一幀中的目標進行正確的分類和定位。基于視頻的目標檢測任務相比于靜態圖像的目標檢測任務，目標的外觀、形狀、尺度等屬性會隨著目標的運動發生變化，因此在檢測過程中往往會出現運動模糊、視頻失焦、部分遮擋、奇異姿勢等檢測難點。但由于視頻比靜態圖像多了一個時間維度上的信息，因此在檢測過程中如何利用時序信息使得目標保持時間順序上的目標一致性，從而使目標不會在質量較差的幀上發生丟失，這是視頻目標檢測任務的主要難點。

近年來出現的視頻目標檢測方法大多也是在探究時序信息帶來的更多提升檢測精度的可能性，但仍存在時序信息利用不充分、不精確，使用未對齊的特征提取候選框，未對來自相鄰幀的時序信息進行篩選，忽略同幀中目標在空間上的上下文信息等問題。

發明內容

有鑒于現有技術的上述缺陷，本發明所要解決的技術問題是提供一個基于類別感知特征聚合的視頻目標檢測方法。該方法在特征層級和實例層級兩個方面進行雙重特征聚合操作，利用幀間運動信息進行特征對齊，提升了幀特征的時空魯棒一致表達。在實例層級進行同類別、逐層遞進的雙向特征聚合，避免了不相關類的噪聲信息干擾，最后針對同一幀中的不同類別目標，學習其空間位置上的相關性，獲得更多上下文信息，使得時序信息和空間位置信息都得到充分利用，從而有效提高視頻目標的檢測性能。

為實現上述目的，本發明提供了一種基于類別感知特征聚合的視頻目標檢測方法，包括：

檢測主干ResNet-101對視頻幀進行特征提取，獲得高層語義信息，利用可形變卷積進行亞像素級的特征對齊，隨后使用區域生成網絡RPN為每一幀生成目標候選框；

使用候選框分類模塊對生成的候選框進行分類操作，后續僅對具有相同類標簽的候選框進行特征聚合；

在進行類別感知特征聚合時，使用廣范圍逐層遞進特征聚合模塊進行雙向且逐層遞進的候選框層級的特征聚合操作,對于當前幀前、后向計算出的中間結果進行保存并用以更新下一幀計算所使用的支持幀；

使用類間關系建模模塊對同一幀上的不同類別目標進行空間位置上的關系建模；

將聚合后的候選框特征輸入到全連接層以進行具體類別判別和目標框位置的回歸修正。

進一步的，所述使用候選框分類模塊對生成的候選框進行分類操作之前，還包括：通過特征層運動對齊模塊對當前幀進行亞像素級細粒度特征對齊，具體為：在可形變對齊中，使用可形變卷積分別將F_t+s、F_t-s與F_t進行逐像素點位置p對齊，其中F_t代表當前幀特征圖，F_t+s、F_t-s代表局部幀特征圖，其數學公式可表示為：