[發明專利]一種圖像處理的方法及裝置、圖像生成的方法及裝置

有效

• 申請號: 202011349027.3
• 申請日: 2020-11-26
• 公開（公告）號: CN112418332B
• 公開（公告）日: 2022-09-23
• 發明（設計）人: 袁皓潔;儲琪;朱烽;趙瑞;劉斌;俞能海
• 申請（專利權）人: 北京市商湯科技開發有限公司;中國科學技術大學
• 主分類號: G06V10/774
• 分類號: G06V10/774;G06V10/764;G06V10/80;G06V10/82;G06N3/08;G06N3/04
• 代理公司: 北京中知恒瑞知識產權代理事務所(普通合伙) 11889
• 代理人: 吳迪

本公開提供了一種圖像處理的方法及裝置、圖像生成的方法及裝置，其中，該圖像處理的方法包括：獲取源圖像和用于對源圖像的特征識別進行干擾的目標圖像；分別對源圖像和目標圖像進行特征提取，得到第一特征圖和第二特征圖；基于所述第一特征圖、所述第二特征圖和擾動限制項，得到擾動特征圖；將擾動特征圖和源圖像進行融合，生成與源圖像對應的對抗圖像。本公開通過擾動限制項的限定可以同時學習到有關目標圖像的特征以及源圖像的特征，所生成的擾動特征圖和源圖像進行融合之后，可以得到涵蓋了目標圖像特征的對抗圖像，整個操作過程較為簡單，使得生成效率較高。

技術領域

本公開涉及圖像處理技術領域，具體而言，涉及一種圖像處理的方法及裝置、圖像生成的方法及裝置。

背景技術

隨著神經網絡的廣泛應用，其安全性和穩定性也越來越受到重視。神經網絡的對抗樣本是指在原數據集中添加肉眼不可見或不影響整體觀感的擾動所形成的一類樣本。對抗樣本可以使得神經網絡模型以較高的置信度給出與原樣本不同的分類結果，例如可以使得人臉識別模型、車牌識別模型和圖像分類器等產生錯誤輸出。

相關技術中提供了一種基于梯度的對抗樣本生成方法，該方法通過在梯度方向上添加增量來誘導網絡對生成的圖片進行誤分類，為了使得生成的對抗樣本可以更好的遷移到其它網絡平臺，這里往往需要進行多次梯度計算與迭代，因而時間代價較大。

發明內容

本公開實施例提供一種圖像處理的方法及裝置、圖像生成的方法及裝置。

第一方面，本公開實施例提供了一種圖像處理的方法，所述方法包括：

獲取源圖像和目標圖像，所述目標圖像用于對所述源圖像的特征識別進行干擾；

分別對所述源圖像和所述目標圖像進行特征提取，得到第一特征圖和第二特征圖；

基于所述第一特征圖、所述第二特征圖和擾動限制項，得到擾動特征圖；

將所述擾動特征圖和所述源圖像進行融合，生成與所述源圖像對應的對抗圖像。

采用上述圖像處理的方法，可以在獲取到源圖像以及用于對該源圖像的特征識別進行干擾的目標圖像的情況下，分別對上述兩個圖像進行特征提取，這樣，可以基于提取得到的第一特征圖、第二特征圖以及擾動限制項，得到擾動特征圖。

上述擾動特征圖可以是在擾動限制項的限定下對第一特征圖和第二特征圖進行處理得到的。通過擾動限制項的限定可以同時學習到有關目標圖像的特征以及源圖像的特征，這樣所生成的擾動特征圖和源圖像進行融合之后，可以得到涵蓋了目標圖像特征的對抗圖像，整個操作過程較為簡單，使得生成效率較高。

在一種可能的實施方式中，所述與所述源圖像對應的對抗圖像由訓練好的神經網絡所生成；所述神經網絡包括第一編碼器和第二編碼器；

所述分別對所述源圖像和所述目標圖像進行特征提取，得到第一特征圖和第二特征圖，包括：

利用所述第一編碼器對所述源圖像進行特征提取，得到第一特征圖；以及，

利用所述第二編碼器對所述目標圖像進行特征提取，得到第二特征圖。

本公開實施例中，可以利用并行設置的第一編碼器和第二編碼器分別對源圖像和目標圖像進行特征提取，得到第一特征圖和第二特征圖，通過并行的特征提取操作，能夠進一步提升生成效率。

在一種可能的實施方式中，所述擾動限制項包括從多個候選擾動限制項中選取的限制項；所述基于所述第一特征圖、所述第二特征圖和擾動限制項，得到擾動特征圖，包括：

將所述第一特征圖和所述第二特征圖進行拼接，得到拼接后的第三特征圖；

基于選取的所述擾動限制項對所述第三特征圖進行擾動信息提取，得到所述擾動特征圖。