[發明專利]一種基于關鍵點的目標檢測的特征融合方法

有效

• 申請號: 202110443624.0
• 申請日: 2021-04-23
• 公開（公告）號: CN113011443B
• 公開（公告）日: 2022-06-03
• 發明（設計）人: 匡平;周陽
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V10/46
• 分類號: G06V10/46;G06V10/82;G06V10/80;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 成都眾恒智合專利代理事務所(普通合伙) 51239
• 代理人: 王育信

1.一種基于關鍵點的目標檢測的特征融合方法，其特征在于，包括特征提取模塊、特征融合模塊、熱力圖生成模塊，后處理模塊；

所述特征融合模塊包括：

特征相加模塊：用于將輸入該模塊的兩個特征圖縮放到相同的分辨率和通道數，并將縮放后的兩個特征圖的對應元素相加；

特征拼接模塊：用于將輸入該模塊的兩個或多個特征圖縮放到相同的分辨率，然后將縮放后的兩個特征圖的通道維度疊加起來，并通過1*1卷積整合通道；

具體實現步驟如下：

(S1)將待檢測的圖片輸入到特征提取模塊，得到多個不同分辨率的第一特征圖；

(S2)將得到的第一特征圖輸入到特征融合模塊，通過特征融合模塊將高層特征的語義信息與低層特征的位置信息有效融合，得到一個同時包含豐富的語義信息和位置信息的第二特征圖；

(S3)將第二特征圖輸入到熱力圖生成模塊同時結合特征融合模塊拼接第一特征圖中具有豐富位置信息的特征圖，得到三個分別代表目標的位置，目標的大小和目標的偏移的熱力圖；

(S4)將三個熱力圖輸入到后處理模塊，輸出圖片中所有目標的檢測框。

2.根據權利要求1所述的一種基于關鍵點的目標檢測的特征融合方法，其特征在于，在步驟(S1)中，輸入分辨率為L*W*3的圖像經過特征提取模塊的多輪卷積后得到第零層特征C₁、C₂、C₃、C₄、C₅，其分辨率分別為L/2*W/2*64，L/4*W/4*256，L/8*W/8*512，L/16*W/16*1024，L/32*W/32*2048；其中，L代表圖像的長，W代表圖像的寬。

3.根據權利要求1所述的一種基于關鍵點的目標檢測的特征融合方法，其特征在于，在步驟(S2)中，所述特征融合模塊內包括了特征個數隨著層數的增加逐層減少一個的第一層特征P_{i_1}，第二層特征P_{i_2}，第三層特征P_{i_3}，第四層特征P_{i_4}；其中，2≤i≤4，第四層特征只有一個，即為第二特征圖，其分辨率為L/4*W/4*64。

4.根據權利要求3所述的一種基于關鍵點的目標檢測的特征融合方法，其特征在于，在步驟(S2)中，所述第一層特征P_{i_1}通過特征融合模塊中的特征相加模塊自頂向下得到，即

P_{i_1}＝deconv3(P_{i+1_1})+conv1(C_i) 2≤i≤4；

其中，P_{i+1_1}表示自頂向下的低分辨率特征圖，C_i表示橫向連接的來自特征提取網絡的高分辨率特征圖，deconv3表示3*3的轉置卷積，conv1表示1*1的卷積，使用conv1和deconv3保持要融合的兩個特征圖的長寬和通道數完全相同，+conv3(C_i)中的+號表示將兩個特征圖對應位置的原始值相加。