[發明專利]一種圖像處理方法、裝置、計算機設備及介質

有效

• 申請號: 202010905927.5
• 申請日: 2020-09-01
• 公開（公告）號: CN112037237B
• 公開（公告）日: 2023-04-07
• 發明（設計）人: 趙瑞輝
• 申請（專利權）人: 騰訊科技（深圳）有限公司
• 主分類號: G06T7/11
• 分類號: G06T7/11;G06V10/40;G06V10/80
• 代理公司: 北京三高永信知識產權代理有限責任公司 11138
• 代理人: 徐耿銘

1.一種圖像處理方法，其特征在于，包括：

獲取待處理圖像；

調用圖像分析模型，所述圖像分析模型包括N個注意力融合模塊、N個網絡層構成的空間特征模塊、以及N個網絡層構成的全局特征模塊，屬于同一層的兩個網絡層對應一個注意力融合模塊，其中，所述N為大于0的整數；

通過所述空間特征模塊中的各網絡層對所述待處理圖像進行特征提取，得到與目標特征關聯的空間特征，得到N層空間特征；通過所述全局特征模塊中的各網絡層提取與所述目標特征關聯的全局特征，得到N層全局特征；

對于N層融合特征中的第j層融合特征，獲取全局池化特征，所述全局池化特征是對所述N層全局特征中的第N層全局特征進行池化處理后得到，j=1；對所述全局池化特征、第i層空間特征S_j以及第i層全局特征C_j進行融合處理，得到所述N層融合特征中第j層融合特征A_j；

對于所述N層融合特征中的第j層融合特征，對第j-1層融合特征A_j-1、第i層空間特征S_j、以及第i層全局特征C_j進行融合處理，得到所述N層融合特征中第j層融合特征A_j，j∈[2，N]；

其中，各層空間特征、各層全局特征和各層融合特征均通過特征圖形式表征，屬于同一層的空間特征和全局特征對應的特征圖維度相同，所述第i層空間特征S_j和所述第i層全局特征C_j在特征圖維度上與所述第j層融合特征A_j關聯，所述空間特征模塊的第i網絡層和所述全局特征模塊中第i網絡層在特征圖維度上與第j個注意力融合模塊關聯；

從所述N層融合特征中獲取第N層融合特征，依照所述第N層融合特征確定與目標圖像區域關聯的目標圖像，所述目標圖像區域為所述待處理圖像中與所述目標特征關聯的局部圖像區域。

2.如權利要求1所述的方法，其特征在于，所述對第j-1層融合特征A_j-1、第i層空間特征S_j、以及第i層全局特征C_j進行融合處理，得到所述N層融合特征中第j層融合特征A_j，包括：

融合第j-1層融合特征A_j-1、第i層空間特征S_j和第i層全局特征C_j，得到特征f；

對所述特征f進行m次卷積操作，并通過激活函數對卷積操作后的結果進行激活處理，得到m個特征矩陣，其中所述m為大于1的整數；

基于所述m個特征矩陣確定所述N層融合特征中第j層融合特征A_j。

3.如權利要求2所述的方法，其特征在于，所述m為3，所述m個特征矩陣包括f₁、f₂和f₃，所述基于所述m個特征矩陣確定所述N層融合特征中第j層融合特征A_j，包括：

依照目標維度重塑所述f₁、f₂和f₃，并將重塑后的f₁的轉置矩陣與重塑后的f2相乘，得到注意力矩陣M；

對所述注意力矩陣M進行歸一化處理，得到目標矩陣；

將所述目標矩陣與重塑后的f₃相乘，并將相乘結果經過卷積后得到所述N層融合特征中第j層融合特征A_j。

4.如權利要求1所述的方法，其特征在于，所述依照所述第N層融合特征確定與目標圖像區域關聯的目標圖像，包括：

對所述第N層融合特征進行指定卷積操作得到目標特征圖，所述目標特征圖的維度與所述待處理圖像對應矩陣的維度相同；

對所述目標特征圖進行圖像轉換，得到所述與目標圖像區域關聯的目標圖像。