[發明專利]模型訓練方法、圖像處理方法及相關裝置

有效

• 申請號: 202210115405.4
• 申請日: 2022-02-07
• 公開（公告）號: CN114155365B
• 公開（公告）日: 2022-06-14
• 發明（設計）人: 孟慧;余子牛;谷寧波;李青鋒;牛建偉
• 申請（專利權）人: 北京航空航天大學杭州創新研究院
• 主分類號: G06V10/25
• 分類號: G06V10/25;G06V10/774;G06K9/62;G06N20/00
• 代理公司: 北京超凡宏宇專利代理事務所(特殊普通合伙) 11463
• 代理人: 張欣欣

1.一種模型訓練方法，其特征在于，所述方法包括：

獲取帶標簽的第一樣本圖像和不帶標簽的第二樣本圖像，所述第一樣本圖像包括第一原始圖像和對所述第一原始圖像進行翻轉得到的第一翻轉圖像，所述第二樣本圖像包括第二原始圖像和對所述第二原始圖像進行翻轉得到的第二翻轉圖像；

將所述第一樣本圖像及所述第二樣本圖像分別輸入至原始模型的特征提取網絡，得到第一特征圖和第二特征圖；

利用注意力約束網絡的池化層對所述第一特征圖進行池化處理，得到注意力向量；

將所述注意力向量和所述第二特征圖輸入至所述注意力約束網絡的強化層進行特征強化，得到所述第二特征圖的強化特征圖，其實現方式為：對所述第一特征圖進行平均池化得到注意力向量；將所述注意力向量在所述第二特征圖上按每一個像素點位置的特征值相乘，得到所述第二特征圖的強化特征圖，所述第一特征圖、所述第二特征圖及所述注意力向量均包括高、寬、通道三個維度、且所述第一特征圖和所述第二特征圖的高、寬、通道均一致，所述注意力向量的高和寬均為1，所述注意力向量的通道與所述第一特征圖及所述第二特征圖的通道均一致，計算公式如下：

G_h,w,c＝P_1,1,c*j_h,w,c

G_h,w,c為經過所述注意力向量P加權得到的所述第二特征圖的強化特征圖在位置(h,w,c)上的特征值，j_h,w,c表示所述第二特征圖j在位置(h,w,c)上的特征值；

將所述第一特征圖及所述強化特征圖分別輸入至所述原始模型的回歸網絡，得到所述原始模型的第一檢測結果和第二檢測結果，所述第一檢測結果包括所述第一原始圖像的檢測結果和所述第一翻轉圖像的檢測結果，所述第二檢測結果包括所述第二原始圖像的檢測結果和所述第二翻轉圖像的檢測結果；

根據所述第一檢測結果、所述標簽、所述第二檢測結果及預設損失函數，對所述原始模型的參數進行調整，直至達到預設的訓練完成條件，得到檢測模型，所述預設損失函數為：

其中，loss_total表示預設損失函數，loss_tag表示有監督損失函數，w(t)表示一致性損失權重函數，l_con表示一致性損失函數，tag表示所述第一原始圖像的標簽，表示所述第一翻轉圖像的標簽，I₁表示所述第一原始圖像的檢測結果，表示所述第一翻轉圖像的檢測結果，I₂表示所述第二原始圖像的檢測結果，表示所述第二翻轉圖像的檢測結果；

所述第一原始圖像的預測結果包括所述第一原始圖像的類別預測結果和位置預測結果，所述第一翻轉圖像的預測結果包括所述第一翻轉圖像的類別預測結果和位置預測結果，所述第二原始圖像的預測結果包括所述第二原始圖像的類別預測結果和位置預測結果，所述第二翻轉圖像的預測結果包括所述第二翻轉圖像的類別預測結果和位置預測結果；

所述有監督損失函數為：

表示有監督分類損失函數，表示有監督位置損失函數，I_1-c和I_1-l分別表示所述第一原始圖像的類別預測結果和位置預測結果，和分別表示所述第一翻轉圖像的類別預測結果和位置預測結果，tag_1-c和tag_1-l分別表示所述第一原始圖像的類別標簽和位置標簽，和分別表示所述第一翻轉圖像的類別標簽和位置標簽；

所述一致性損失函數為：

其中，表示分類一致性損失函數，表示位置一致性損失函數；I_2-c和I_2-l分別表示所述第二原始圖像的類別預測結果和位置預測結果，和分別表示所述第二翻轉圖像的類別預測結果和位置預測結果；

所述分類一致性損失函數為：

其中，E_k表示求均值，表示I_1-c和之間的詹森香農JS散度，表示I_2-c和之間的詹森香農JS散度；

所述位置一致性損失函數為：

其中，表示I_1-l和之間的位置一致性損失，表示I_2-l和之間的位置一致性損失。