[發(fā)明專利]基于代理模型的對抗樣本生成方法、裝置和計算設(shè)備

在審

• 申請?zhí)枺?/td>: 202110000722.7
• 申請日: 2021-01-04
• 公開（公告）號: CN112329894A
• 公開（公告）日: 2021-02-05
• 發(fā)明（設(shè)計）人: 蕭子豪;田天
• 申請（專利權(quán)）人: 北京智源人工智能研究院
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06N20/20
• 代理公司: 北京箴思知識產(chǎn)權(quán)代理有限公司 11913
• 代理人: 李春暉

本發(fā)明提供了一種基于代理模型的對抗樣本生成方法、裝置和計算設(shè)備。該方法包括：提供代理模型、原始樣本和一基于迭代的對抗樣本生成算法并迭代生成對抗樣本，直到達到預(yù)設(shè)終止條件；在每個迭代輪次中：獲取上一輪次迭代生成對抗樣本時，代理模型的每一卷積核的各個參數(shù)自身的權(quán)重與梯度；根據(jù)每一卷積核的各個參數(shù)的權(quán)重和梯度計算每一卷積核的重要性分數(shù)；根據(jù)預(yù)設(shè)規(guī)則以及所述代理模型的各個卷積核的重要性分數(shù)剪除所述代理模型的部分卷積核；根據(jù)剪除部分卷積核后保留的各個卷積核更新所述代理模型；將達到預(yù)設(shè)終止條件時生成的對抗樣本作為最終的對抗樣本。該方法具備更強的遷移性能以及更高的黑盒攻擊的成功率。

技術(shù)領(lǐng)域

本發(fā)明的實施方式涉及神經(jīng)網(wǎng)絡(luò)技術(shù)領(lǐng)域，更具體地，本發(fā)明的實施方式涉及一種基于代理模型的對抗樣本生成方法、裝置和計算設(shè)備。

背景技術(shù)

本部分旨在為權(quán)利要求書中陳述的本發(fā)明的實施方式提供背景或上下文。此處的描述不因為包括在本部分中就承認是現(xiàn)有技術(shù)。

圖像識別作為計算機視覺中的一個重要的任務(wù)，由于深度神經(jīng)網(wǎng)絡(luò)的帶動，也取得了巨大的發(fā)展。并且圖像識別系統(tǒng)在金融/支付，公共交通以及罪犯識別等現(xiàn)實場景中有很多的應(yīng)用。雖然圖像識別系統(tǒng)取得了很大的成功與實際應(yīng)用，但是這些系統(tǒng)還無法完全確保具備足夠的安全性。

近幾年來，深度學(xué)習(xí)在圖像、語音和自然語言等領(lǐng)域取得突破性成果。但是，對于一些可以達到很高準(zhǔn)確識別率的深度神經(jīng)網(wǎng)絡(luò)模型，在對抗環(huán)境中卻也很容易受到攻擊。在對抗環(huán)境中，深度神經(jīng)網(wǎng)絡(luò)模型會被輸入一些基于正常樣本惡意構(gòu)造的對抗樣本（例如，圖片或者語音信息），在對抗樣本的攻擊下，深度神經(jīng)網(wǎng)絡(luò)模型會做出錯誤的預(yù)測。因此，采用對抗樣本對深度神經(jīng)網(wǎng)絡(luò)進行攻擊可以檢測出深度神經(jīng)網(wǎng)絡(luò)模型潛在的漏洞，繼而用于評估和提升深度神經(jīng)網(wǎng)絡(luò)模型的安全性。

發(fā)明內(nèi)容

在本上下文中，本發(fā)明的實施方式期望提供一種基于代理模型的對抗樣本生成方法、裝置、介質(zhì)和計算設(shè)備。

在本發(fā)明實施方式的第一方面中，提供了一種基于代理模型的對抗樣本生成方法，包括：

提供代理模型、原始樣本和一基于迭代的對抗樣本生成算法；

基于代理模型、原始樣本和對抗樣本生成算法迭代生成對抗樣本，直到達到預(yù)設(shè)終止條件；

在每個迭代輪次中：

獲取上一輪次迭代生成對抗樣本時，代理模型的每一卷積核的各個參數(shù)自身的權(quán)重與梯度；

根據(jù)每一卷積核的各個參數(shù)的權(quán)重和梯度計算每一卷積核的重要性分數(shù)，所述重要性分數(shù)用于表示相應(yīng)輪次中代理模型的對應(yīng)卷積核對生成的對抗樣本的影響程度；

根據(jù)預(yù)設(shè)規(guī)則以及所述代理模型的各個卷積核的重要性分數(shù)剪除所述代理模型的部分卷積核；

根據(jù)剪除部分卷積核后保留的各個卷積核更新所述代理模型；

將達到預(yù)設(shè)終止條件時生成的對抗樣本作為最終的對抗樣本。

在本實施方式的一個實施例中，某一卷積核的重要性分數(shù)為所述卷積核的梯度向量轉(zhuǎn)置后和權(quán)重的乘積的絕對值。

在本實施方式的一個實施例中，所述預(yù)設(shè)規(guī)則包括剪除重要性分數(shù)低于預(yù)設(shè)閾值的卷積核。

在本實施方式的一個實施例中，所述預(yù)設(shè)規(guī)則包括以預(yù)設(shè)的剪枝率進行卷積核剪除。

在本實施方式的一個實施例中，根據(jù)預(yù)設(shè)規(guī)則以及所述代理模型的各個卷積核的重要性分數(shù)剪除所述代理模型的部分卷積核，包括：

基于每一卷積核的重要性分數(shù)，按照從高到低的順序?qū)Ω鱾€卷積核進行排序；

根據(jù)所述剪枝率對排序在后的部分卷積核進行剪除。