[發明專利]圖像處理方法及裝置、電子設備和存儲介質

在審

• 申請號: 202110573055.1
• 申請日: 2021-05-25
• 公開（公告）號: CN113298091A
• 公開（公告）日: 2021-08-24
• 發明（設計）人: 陳博宇;李楚鳴
• 申請（專利權）人: 商湯集團有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京林達劉知識產權代理事務所(普通合伙) 11277
• 代理人: 劉新宇

1.一種圖像處理方法，其特征在于，包括：

確定目標圖像對應的第一圖像塊特征，以及將所述第一圖像塊特征劃分為第二圖像塊特征和第三圖像塊特征；

基于全局注意力機制對所述第二圖像塊特征進行特征強化，得到第四圖像塊特征，以及基于局部注意力機制對所述第三圖像塊特征進行特征強化，得到第五圖像塊特征；

根據所述第四圖像塊特征和所述第五圖像塊特征，確定所述目標圖像對應的目標圖像塊特征；

根據所述目標圖像塊特征，對所述目標圖像進行目標圖像處理操作，得到圖像處理結果。

2.根據權利要求1所述的方法，其特征在于，所述第一圖像塊特征對應的通道數是目標通道數；

所述將所述第一圖像塊特征劃分為第二圖像塊特征和第三圖像塊特征，包括：

根據所述目標通道數和目標比例，將所述第一圖像塊特征在通道維度上進行劃分，得到所述第二圖像塊特征和所述第三圖像塊特征。

3.根據權利要求1或2所述的方法，其特征在于，所述基于全局注意力機制對所述第二圖像塊特征進行特征強化，得到第四圖像塊特征，包括：

根據所述第二圖像塊特征，確定第一特征向量、第二特征向量和第三特征向量；

根據所述第一特征向量和所述第二特征向量，確定注意力特征圖；

根據所述注意力特征圖和所述第三特征向量，確定所述第四圖像塊特征。

4.根據權利要求1至3中任意一項所述的方法，其特征在于，所述基于局部注意力機制對所述第三圖像塊特征進行特征強化，得到第五圖像塊特征，包括：

根據目標卷積核和第一通道擴展率，對所述第三圖像塊特征進行卷積處理，得到所述第五圖像塊特征。

5.根據權利要求1至4中任意一項所述的方法，其特征在于，所述根據所述第四圖像塊特征和所述第五圖像塊特征，確定所述目標圖像對應的目標圖像塊特征，包括：

根據第二通道擴展率，對所述第四圖像塊特征和所述第五圖像塊特征進行特征轉換，得到所述目標圖像塊特征。

6.根據權利要求1至5中任意一項所述的方法，其特征在于，所述圖像處理方法通過自注意力神經網絡實現，其中，所述自注意力神經網絡中包括至少一個注意力模塊，至少一個所述注意力模塊中包括全局注意力子模塊、局部注意力子模塊和前饋子模塊；

所述基于全局注意力機制對所述第二圖像塊特征進行特征強化，得到第四圖像塊特征，包括：

利用所述全局注意力子模塊，基于全局注意力機制對所述第二圖像塊特征進行特征強化，得到所述第四圖像塊特征；

所述基于局部注意力機制對所述第三圖像塊特征進行特征強化，得到第五圖像塊特征，包括：

利用所述局部注意力子模塊，基于局部注意力機制對所述第三圖像塊特征進行特征強化，得到所述第五圖像塊特征；

所述根據所述第四圖像塊特征和所述第五圖像塊特征，確定所述目標圖像對應的目標圖像塊特征，包括：

利用所述前饋子模塊，對所述第四圖像塊特征和所述第五圖像塊特征進行特征轉換，得到所述目標圖像塊特征。

7.根據權利要求6所述的方法，其特征在于，所述方法還包括：

構建第一網絡結構搜索空間和第二網絡結構搜索空間，其中，所述第一網絡結構搜索空間中包括多個模塊分布超參數，所述第二網絡結構搜索空間中包括多個模塊結構超參數；

根據所述第一網絡結構搜索空間，從所述多個模塊分布超參數中確定目標模塊分布超參數，其中，所述目標模塊超參數用于指示各注意力模塊中包括的所述全局注意力子模塊的個數，以及所述局部注意力子模塊的個數；

根據所述目標模塊分布超參數和所述第二網絡結構搜索空間，從所述多個模塊結構超參數中確定目標模塊結構超參數，其中，所述目標模塊結構超參數用于指示各注意力模塊對應的目標通道數、各局部注意力子模塊對應的目標卷積核和第一通道擴展率、以及各前饋模塊對應的第二通道擴展率；

根據所述目標模塊分布超參數和所述目標模塊結構超參數，構建所述自注意力神經網絡。