[發明專利]圖像特征融合及模型訓練方法、裝置、設備以及存儲介質

在審

• 申請號: 202211067385.4
• 申請日: 2022-09-01
• 公開（公告）號: CN115482443A
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 夏春龍
• 申請（專利權）人: 阿波羅智聯（北京）科技有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06V10/764;G06N3/04;G06N3/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;馬敬

本公開提供了一種圖像特征融合及模型訓練方法、裝置、設備以及存儲介質，涉及圖像處理技術領域，尤其涉及計算機視覺、深度學習等領域。具體實現方案為：獲取不同感受野的圖像特征；利用不同感受野的圖像特征中的底層圖像特征，對不同感受野的圖像特征中的高層圖像特征進行通道信息增強，得到通道信息增強后的增強高層特征；其中，高層圖像特征的感受野大于底層圖像特征的感受野；利用不同感受野的圖像特征中的高層圖像特征，對不同感受野的圖像特征中的底層圖像特征進行空間信息增強，得到空間信息增強后的增強底層特征；將增強高層特征和增強底層特征進行融合，得到融合后特征。本公開能夠更好地進行圖像特征融合，提高圖像特征的準確性。

技術領域

本公開涉及圖像處理技術領域，尤其涉及計算機視覺、深度學習等領域。

背景技術

在很多領域中，融合不同感受野的特征是提高性能的一個重要手段。例如，在圖像處理領域，對不同感受野的圖像進行融合是對圖像進行處理以提升圖像處理效果的重要手段。

發明內容

本公開提供了一種圖像特征融合及模型訓練方法、裝置、設備以及存儲介質。

根據本公開的第一方面，提供了一種圖像特征融合方法，包括：

獲取不同感受野的圖像特征；

利用所述不同感受野的圖像特征中的底層圖像特征，對所述不同感受野的圖像特征中的高層圖像特征進行通道信息增強，得到通道信息增強后的增強高層特征；其中，所述高層圖像特征的感受野大于所述底層圖像特征的感受野；

利用所述不同感受野的圖像特征中的高層圖像特征，對所述不同感受野的圖像特征中的底層圖像特征進行空間信息增強，得到空間信息增強后的增強底層特征；

將所述增強高層特征和增強底層特征進行融合，得到融合后特征。

根據本公開的第二方面，提供了一種用于圖像特征融合的模型訓練方法，包括：

獲取多個樣本圖像以及各個樣本圖像對應的標簽；

針對各個樣本圖像，將所述樣本圖像輸入用于圖像特征融合的模型，得到融合后特征；

基于所述融合后特征進行圖像處理，得到圖像處理結果；

計算所述圖像處理結果與所述樣本圖像對應的標簽之間的差異；

基于所述差異調整所述用于圖像特征融合的模型的模型參數；

基于調整后的模型參數以及所述多個樣本圖像，繼續進行模型參數的調整過程，直至滿足預設迭代結束條件；

將滿足預設迭代結束條件時所得到的模型參數作為訓練后的模型參數，將包括所述訓練后的模型參數的用于圖像特征融合的模型作為訓練后的用于圖像特征融合的模型；

其中，所述用于圖像特征融合的模型包括通道注意力網絡、空間注意力網絡和融合網絡；

所述通道注意力網絡，用于利用所述不同感受野的圖像特征中的底層圖像特征，對所述不同感受野的圖像特征中的高層圖像特征進行通道信息增強，得到通道信息增強后的增強高層特征；其中，所述高層圖像特征的感受野大于所述底層圖像特征的感受野；

所述空間注意力網絡，用于利用所述不同感受野的圖像特征中的高層圖像特征，對所述不同感受野的圖像特征中的底層圖像特征進行空間信息增強，得到空間信息增強后的增強底層特征；

所述融合網絡，用于將所述增強高層特征和增強底層特征進行融合，得到融合后特征。

根據本公開的第三方面，提供了一種圖像特征融合裝置，包括：

獲取模塊，用于獲取不同感受野的圖像特征；