[發明專利]一種基于CNN與ViT融合的遞進式輔助目標檢測方法及系統

在審

• 申請號: 202211247365.5
• 申請日: 2022-10-12
• 公開（公告）號: CN115546499A
• 公開（公告）日: 2022-12-30
• 發明（設計）人: 李從利;席智中;沈延安;高一博;劉永峰;韋哲
• 申請（專利權）人: 中國人民解放軍陸軍炮兵防空兵學院
• 主分類號: G06V10/40
• 分類號: G06V10/40;G06V10/80;G06V10/766;G06V10/764;G06V10/25;G06V10/762;G06V10/82;G06N3/04;G06N3/08
• 代理公司: 合肥市浩智運專利代理事務所(普通合伙) 34124
• 代理人: 朱文振

1.一種基于CNN與ViT融合的遞進式輔助目標檢測方法，其特征在于，所述方法包括：

S1、構建Pao detection模型，其中，所述Pao detection模型包括：特征提取骨干網絡backbone、檢測頸、檢測頭，利用所述特征提取骨干網絡backbone提取目標特征，以所述檢測頸根據所述目標特征，對差異層特征圖進行上下融合，以得到語義位置信息差異分辨率特征圖，二分類并回歸處理所述差異層特征圖，據以得到不少于2個的感興趣區域，對不同尺度級別的所述感興趣區域進行目標間建模，以交互并補充所述目標特征，以得到ViT輸出結果，以所述檢測頭分類并回歸處理所述ViT輸出數據，以得到ViT預測結果；

S2、構建遞進式目標間輔助檢測模型，以利用基于ViT的感興趣區域建模方法對大分辨率RoI特征進行目標間建模與特征對齊，以得到對齊大分辨率RoI特征以及對齊中分辨率RoI特征，據以進行目標間建模與特征對齊，利用所述對齊大分辨率RoI特征以及所述對齊中分辨率RoI特征與小分辨率RoI特征，進行目標間建模與特征對齊，以利用CSPNet從差異尺度特征圖上抽取所述感興趣區域；

S3、對所述Pao detection模型中所述檢測頸的每層RPN網絡輸出的前景目標以及所述ViT輸出結果，按照simOTA動態正負樣本分配策略進行訓練；

S4、以所述Pao detection模型計算所述每層RPN網絡輸出與所述ViT輸出數據的分類損失與回歸損失，據以得到聯合概率損失；

S5、設計面積縮放函數，根據長寬比例因子對預置數據集中的目標按照縮放后目標面積進行聚類，將所有所述目標按照所述縮放后目標面積分成不少于2個部分，以得到不少于2個的聚類中心以得到動態聚類結果，據以對每張圖重新分配目標尺度的劃分界限，以利用大目標輔助檢測中小目標。

2.根據權利要求1所述的一種基于CNN與ViT融合的遞進式輔助目標檢測方法，其特征在于，所述步驟S4包括：

S41、利用難易樣本平衡損失函數Focal loss，計算RPN預測類別聯合概率、ViT預測類別聯合概率與目標真實標簽值之間的差異，據以獲取所述分類損失；

S42、利用帶角度損失函數SIOU獲取并選擇角度損失，根據所述角度損失重定義距離損失以及形狀損失，并以預置邏輯處理得到IoU損失，利用所述Pao detection模型的第一層RPN及ViT分類并回歸處理最小分辨率特征圖，以預測大目標信息，得到回歸結果與大目標真值，據以計算SIOU損失；

S43、利用第二層RPN回歸處理中分辨率特征圖，以得到中目標前景特征并與第一層ViT輸出拼接，據以輸入第二層ViT模塊進行目標級建模，以得到小中目標預測結果，據以利用真值計算獲取所述回歸損失；

S44、利用第三層RPN回歸特征金字塔中的大分辨率特征圖，以得到小目標前的前景特征，拼接所述小目標前的前景特征與第二層ViT輸出，并輸入至第三層ViT模塊進行目標級建模，以得到所有目標預測結果、各層輸出的所述分類損失及所述回歸損失，據以利用下述邏輯求和得到整個網絡訓練總損失：

L＝W_boxL_box+W_clsL_cls

式中，L_cls與L_box分別代表分類與回歸損失，w_cls與w_box為兩種損失的權重因子。

3.根據權利要求2所述的一種基于CNN與ViT融合的遞進式輔助目標檢測方法，其特征在于，所述步驟S41中，采用下述邏輯計算RPN預測類別聯合概率、ViT預測類別聯合概率與目標真實標簽值之間的差異：

FL(p_t)＝-(1-p_t)^γlog(p_t)

其中，(1-p_t)^γ為模塊因子，對于分類準確的樣本p_t→1，所述模塊因子趨近于0，p_t表示分類的難易程度，y表示真實類別。