[發明專利]基于自適應組樣本擾動約束的對抗訓練方法、裝置及設備

在審

• 申請號: 202111350578.6
• 申請日: 2021-11-15
• 公開（公告）號: CN114091597A
• 公開（公告）日: 2022-02-25
• 發明（設計）人: 王濱;張峰;王星;錢亞冠
• 申請（專利權）人: 杭州海康威視數字技術股份有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06V10/774;G06V10/764
• 代理公司: 北京博思佳知識產權代理有限公司 11415
• 代理人: 王茹

本申請提供一種基于自適應組樣本擾動約束的對抗訓練方法、裝置及設備，該方法包括：將訓練圖像輸入給初始網絡模型，得到訓練圖像對應的網絡輸出向量和預測類別；若基于預測類別和訓練圖像的實際類別確定訓練圖像的分類結果為錯誤，將訓練圖像確定為自然樣本圖像；若基于預測類別和實際類別確定訓練圖像的分類結果為正確，基于網絡輸出向量確定訓練圖像對應的目標自適應組；基于目標自適應組對應的目標樣本擾動約束確定訓練圖像對應的目標擾動向量，基于目標擾動向量和訓練圖像生成擾動樣本圖像；基于自然樣本圖像和擾動樣本圖像對初始網絡模型進行訓練，得到目標網絡模型。通過本申請的技術方案，顯著提高目標網絡模型對于攻擊樣本的抗干擾能力。

技術領域

本申請涉及人工智能安全技術領域，尤其是涉及一種基于自適應組樣本擾動約束的對抗訓練方法、裝置及設備。

背景技術

深度學習是機器學習領域中一個新的研究方向，被引入機器學習使其更接近于最初的目標，即，實現人工智能。深度學習是學習樣本數據的內在規律和表示層次，這些學習過程中獲得的信息，對諸如文字，圖像和聲音等數據的解釋有很大幫助。深度學習的最終目標是讓機器能夠具有分析學習能力，能夠識別文字、圖像和聲音等數據。深度學習是復雜的機器學習算法，在圖像識別、語音識別、自然語言處理等領域均取得了顯著效果，從而被廣泛應用。

在使用深度學習實現圖像識別、語音識別、自然語言處理等功能時，需要先訓練出一個深度神經網絡模型，例如，CNN(Convolutional Neural Network，卷積神經網絡)模型等，基于該深度神經網絡模型實現圖像識別，語音識別，自然語言處理等功能。但是，在深度學習領域中，包括CNN模型在內的各種深度神經網絡模型，對于攻擊樣本具有比較高的脆弱性。比如說，若攻擊者對輸入樣本添加微小的擾動，形成攻擊樣本，則將攻擊樣本輸入給深度神經網絡模型后，深度神經網絡模型會以高置信度輸出一個錯誤結果，從而導致深度神經網絡模型的可靠性降低。比如說，在使用深度神經網絡模型實現圖像分類功能時，需要將圖像輸入給深度神經網絡模型，由深度神經網絡模型對圖像進行人工智能處理，得到圖像分類結果。但是，若攻擊者對圖像添加微小的擾動，在將修改后的圖像輸入給深度神經網絡模型后，深度神經網絡模型對圖像進行人工智能處理后，得到的圖像分類結果就可能是錯誤分類結果。

發明內容

本申請提供一種基于自適應組樣本擾動約束的對抗訓練方法，包括：

獲取多個訓練圖像；針對每個訓練圖像，將所述訓練圖像輸入給初始網絡模型，得到所述訓練圖像對應的網絡輸出向量和預測類別；

若基于所述預測類別和所述訓練圖像的實際類別確定所述訓練圖像的分類結果為錯誤，則將所述訓練圖像確定為自然樣本圖像；

若基于所述預測類別和所述實際類別確定所述訓練圖像的分類結果為正確，則基于所述網絡輸出向量確定所述訓練圖像對應的目標自適應組；基于所述目標自適應組對應的目標樣本擾動約束確定所述訓練圖像對應的目標擾動向量，基于所述目標擾動向量和所述訓練圖像生成擾動樣本圖像；

基于所述多個訓練圖像對應的自然樣本圖像和擾動樣本圖像，對所述初始網絡模型進行訓練，得到已訓練的目標網絡模型；

其中，所述目標網絡模型用于對待分類圖像進行分類。

本申請提供一種基于自適應組樣本擾動約束的對抗訓練裝置，包括：

獲取模塊，用于獲取多個訓練圖像；針對每個訓練圖像，將所述訓練圖像輸入給初始網絡模型，得到所述訓練圖像對應的網絡輸出向量和預測類別；

確定模塊，用于若基于所述預測類別和所述訓練圖像的實際類別確定所述訓練圖像的分類結果為錯誤，則將所述訓練圖像確定為自然樣本圖像；