[發明專利]圖像特征融合及模型訓練方法、裝置、設備以及存儲介質

在審

• 申請號: 202211067385.4
• 申請日: 2022-09-01
• 公開（公告）號: CN115482443A
• 公開（公告）日: 2022-12-16
• 發明（設計）人: 夏春龍
• 申請（專利權）人: 阿波羅智聯（北京）科技有限公司
• 主分類號: G06V10/80
• 分類號: G06V10/80;G06V10/82;G06V10/764;G06N3/04;G06N3/08
• 代理公司: 北京柏杉松知識產權代理事務所(普通合伙) 11413
• 代理人: 丁蕓;馬敬

1.一種圖像特征融合方法，包括：

獲取不同感受野的圖像特征；

利用所述不同感受野的圖像特征中的底層圖像特征，對所述不同感受野的圖像特征中的高層圖像特征進行通道信息增強，得到通道信息增強后的增強高層特征；其中，所述高層圖像特征的感受野大于所述底層圖像特征的感受野；

利用所述不同感受野的圖像特征中的高層圖像特征，對所述不同感受野的圖像特征中的底層圖像特征進行空間信息增強，得到空間信息增強后的增強底層特征；

將所述增強高層特征和增強底層特征進行融合，得到融合后特征。

2.根據權利要求1所述的方法，其中，所述獲取不同感受野的圖像特征，包括：

獲取待處理圖像，將所述待處理圖像輸入用于圖像特征融合的模型，通過所述用于圖像特征融合的模型中的特征提取網絡，提取所述待處理圖像的不同感受野的圖像特征；

所述利用所述不同感受野的圖像特征中的底層圖像特征，對所述不同感受野的圖像特征中的高層圖像特征進行通道信息增強，得到通道信息增強后的增強高層特征，包括：

通過所述用于圖像特征融合的模型中的通道注意力網絡，利用所述不同感受野的圖像特征中的底層圖像特征，對所述不同感受野的圖像特征中的高層圖像特征進行通道信息增強，得到通道信息增強后的增強高層特征；

所述利用所述不同感受野的圖像特征中的高層圖像特征，對所述不同感受野的圖像特征中的底層圖像特征進行空間信息增強，得到空間信息增強后的增強底層特征，包括：

通過所述用于圖像特征融合的模型中的空間注意力網絡，利用所述不同感受野的圖像特征中的高層圖像特征，對所述不同感受野的圖像特征中的底層圖像特征進行空間信息增強，得到空間信息增強后的增強底層特征；

所述將所述增強高層特征和增強底層特征進行融合，得到融合后特征，包括：

通過所述用于圖像特征融合的模型中的融合網絡，將所述增強高層特征和增強底層特征進行融合，得到融合后特征。

3.根據權利要求2所述的方法，其中，所述通道注意力網絡包括全局池化層、第一感知層和歸一化層；

所述通過所述用于圖像特征融合的模型中的通道注意力網絡，利用所述不同感受野的圖像特征中的底層圖像特征，對所述不同感受野的圖像特征中的高層圖像特征進行通道信息增強，包括：

利用所述全局池化層對所述底層圖像特征進行全局池化操作；

利用所述第一感知層基于全局池化操作后的結果，通過全連接操作，得到與所述高級圖像特征的通道維度一致的列向量；

利用所述第一歸一化層對與所述高級圖像特征的通道維度一致的列向量進行歸一化操作，得到第一歸一化后的列向量，所述第一歸一化后的列向量中的值表示通道重要度系數；

所述空間注意力網絡包括第二感知層和所述第二歸一化層；

所述通過所述用于圖像特征融合的模型中的空間注意力網絡，利用所述不同感受野的圖像特征中的高層圖像特征，對所述不同感受野的圖像特征中的底層圖像特征進行空間信息增強，包括：

利用所述第二感知層對所述高層圖像特征進行全連接操作，得到與所述底層圖像特征的空間維度一致的列向量；

利用所述第二歸一化層對所述與所述底層圖像特征的空間維度一致的列向量進行歸一化操作，得到第二歸一化后的列向量，所述第二歸一化后的列向量中的值表示空間重要度系數。