[發(fā)明專利]圖像處理方法及裝置、電子設(shè)備和存儲介質(zhì)

在審

• 申請?zhí)枺?/td>: 202110573055.1
• 申請日: 2021-05-25
• 公開（公告）號: CN113298091A
• 公開（公告）日: 2021-08-24
• 發(fā)明（設(shè)計）人: 陳博宇;李楚鳴
• 申請（專利權(quán)）人: 商湯集團(tuán)有限公司
• 主分類號: G06K9/46
• 分類號: G06K9/46;G06N3/04;G06N3/08
• 代理公司: 北京林達(dá)劉知識產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11277
• 代理人: 劉新宇

本公開涉及一種圖像處理方法及裝置、電子設(shè)備和存儲介質(zhì)，所述方法包括：確定目標(biāo)圖像對應(yīng)的第一圖像塊特征，以及將所述第一圖像塊特征劃分為第二圖像塊特征和第三圖像塊特征；基于全局注意力機(jī)制對所述第二圖像塊特征進(jìn)行特征強(qiáng)化，得到第四圖像塊特征，以及基于局部注意力機(jī)制對所述第三圖像塊特征進(jìn)行特征強(qiáng)化，得到第五圖像塊特征；根據(jù)所述第四圖像塊特征和所述第五圖像塊特征，確定所述目標(biāo)圖像對應(yīng)的目標(biāo)圖像塊特征；根據(jù)所述目標(biāo)圖像塊特征，對所述目標(biāo)圖像進(jìn)行目標(biāo)圖像處理操作，得到圖像處理結(jié)果。本公開實施例可以提高圖像處理結(jié)果的精度。

技術(shù)領(lǐng)域

本公開涉及計算機(jī)技術(shù)領(lǐng)域，尤其涉及一種圖像處理方法及裝置、電子設(shè)備和存儲介質(zhì)。

背景技術(shù)

近期，自注意力網(wǎng)絡(luò)在自然語言處理中得到了廣泛的應(yīng)用，自注意力網(wǎng)絡(luò)通過建立特征之間的聯(lián)系來進(jìn)行特征的強(qiáng)化，從而提升網(wǎng)絡(luò)的最終性能。隨著視覺自注意力網(wǎng)絡(luò)的提出，自注意力網(wǎng)絡(luò)在計算機(jī)視覺領(lǐng)域也得到了大規(guī)模應(yīng)用，展現(xiàn)出極大的潛力。然而，現(xiàn)有的視覺自注意力網(wǎng)絡(luò)的設(shè)計只是簡單地照搬了自然語言處理中的設(shè)計，并沒有針對計算機(jī)視覺的特征進(jìn)行改進(jìn)，使得視覺自注意力網(wǎng)絡(luò)的性能較差。

發(fā)明內(nèi)容

本公開提出了一種圖像處理方法及裝置、電子設(shè)備和存儲介質(zhì)的技術(shù)方案。

根據(jù)本公開的一方面，提供了一種圖像處理方法，包括：確定目標(biāo)圖像對應(yīng)的第一圖像塊特征，以及將所述第一圖像塊特征劃分為第二圖像塊特征和第三圖像塊特征；基于全局注意力機(jī)制對所述第二圖像塊特征進(jìn)行特征強(qiáng)化，得到第四圖像塊特征，以及基于局部注意力機(jī)制對所述第三圖像塊特征進(jìn)行特征強(qiáng)化，得到第五圖像塊特征；根據(jù)所述第四圖像塊特征和所述第五圖像塊特征，確定所述目標(biāo)圖像對應(yīng)的目標(biāo)圖像塊特征；根據(jù)所述目標(biāo)圖像塊特征，對所述目標(biāo)圖像進(jìn)行目標(biāo)圖像處理操作，得到圖像處理結(jié)果。

在一種可能的實現(xiàn)方式中，所述第一圖像塊特征對應(yīng)的通道數(shù)是目標(biāo)通道數(shù)；所述將所述第一圖像塊特征劃分為第二圖像塊特征和第三圖像塊特征，包括：根據(jù)所述目標(biāo)通道數(shù)和目標(biāo)比例，將所述第一圖像塊特征在通道維度上進(jìn)行劃分，得到所述第二圖像塊特征和所述第三圖像塊特征。

在一種可能的實現(xiàn)方式中，所述基于全局注意力機(jī)制對所述第二圖像塊特征進(jìn)行特征強(qiáng)化，得到第四圖像塊特征，包括：根據(jù)所述第二圖像塊特征，確定第一特征向量、第二特征向量和第三特征向量；根據(jù)所述第一特征向量和所述第二特征向量，確定注意力特征圖；根據(jù)所述注意力特征圖和所述第三特征向量，確定所述第四圖像塊特征。

在一種可能的實現(xiàn)方式中，所述基于局部注意力機(jī)制對所述第三圖像塊特征進(jìn)行特征強(qiáng)化，得到第五圖像塊特征，包括：根據(jù)目標(biāo)卷積核和第一通道擴(kuò)展率，對所述第三圖像塊特征進(jìn)行卷積處理，得到所述第五圖像塊特征。

在一種可能的實現(xiàn)方式中，所述根據(jù)所述第四圖像塊特征和所述第五圖像塊特征，確定所述目標(biāo)圖像對應(yīng)的目標(biāo)圖像塊特征，包括：根據(jù)第二通道擴(kuò)展率，對所述第四圖像塊特征和所述第五圖像塊特征進(jìn)行特征轉(zhuǎn)換，得到所述目標(biāo)圖像塊特征。

在一種可能的實現(xiàn)方式中，所述圖像處理方法通過自注意力神經(jīng)網(wǎng)絡(luò)實現(xiàn)，其中，所述自注意力神經(jīng)網(wǎng)絡(luò)中包括至少一個注意力模塊，至少一個所述注意力模塊中包括全局注意力子模塊、局部注意力子模塊和前饋子模塊；所述基于全局注意力機(jī)制對所述第二圖像塊特征進(jìn)行特征強(qiáng)化，得到第四圖像塊特征，包括：利用所述全局注意力子模塊，基于全局注意力機(jī)制對所述第二圖像塊特征進(jìn)行特征強(qiáng)化，得到所述第四圖像塊特征；所述基于局部注意力機(jī)制對所述第三圖像塊特征進(jìn)行特征強(qiáng)化，得到第五圖像塊特征，包括：利用所述局部注意力子模塊，基于局部注意力機(jī)制對所述第三圖像塊特征進(jìn)行特征強(qiáng)化，得到所述第五圖像塊特征；所述根據(jù)所述第四圖像塊特征和所述第五圖像塊特征，確定所述目標(biāo)圖像對應(yīng)的目標(biāo)圖像塊特征，包括：利用所述前饋子模塊，對所述第四圖像塊特征和所述第五圖像塊特征進(jìn)行特征轉(zhuǎn)換，得到所述目標(biāo)圖像塊特征。