[發(fā)明專利]后門攻擊方法、相關(guān)裝置及存儲介質(zhì)

有效

• 申請?zhí)枺?/td>: 202210379414.4
• 申請日: 2022-04-12
• 公開（公告）號: CN114462031B
• 公開（公告）日: 2022-07-29
• 發(fā)明（設(shè)計）人: 不公告發(fā)明人
• 申請（專利權(quán)）人: 北京瑞萊智慧科技有限公司
• 主分類號: G06F21/55
• 分類號: G06F21/55;G06F21/56
• 代理公司: 北京匯鑫君達知識產(chǎn)權(quán)代理有限公司 11769
• 代理人: 劉湘菲

本申請實施例涉及人工智能領(lǐng)域，并提供一種后門攻擊方法、相關(guān)裝置及存儲介質(zhì)，該方法包括獲取目標模型的原始樣本數(shù)據(jù)，原始樣本數(shù)據(jù)包含原始文本和原始文本對應(yīng)的類別標簽；從原始樣本數(shù)據(jù)中選取類別標簽為目標類別的目標樣本數(shù)據(jù)作為投毒數(shù)據(jù)，并對目標樣本數(shù)據(jù)中的原始文本設(shè)置觸發(fā)器，獲得投毒數(shù)據(jù)；將原始樣本數(shù)據(jù)與投毒數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)對目標模型進行訓(xùn)練，獲得測試模型；其中，測試模型用于對設(shè)置有觸發(fā)器的測試數(shù)據(jù)進行攻擊測試。本方案能夠通過更隱蔽地后門攻擊測試提高目標模型的安全性和魯棒性。

技術(shù)領(lǐng)域

本申請實施例涉及人工智能技術(shù)領(lǐng)域，尤其涉及一種后門攻擊方法、相關(guān)裝置及存儲介質(zhì)。

背景技術(shù)

后門攻擊（backdoor attack）是針對機器學(xué)習(xí)，尤其是深度學(xué)習(xí)模型的一種新興的安全威脅。后門攻擊通常是向目標模型的訓(xùn)練數(shù)據(jù)中設(shè)置一些包含觸發(fā)器（trigger）的數(shù)據(jù)后，利用這些訓(xùn)練數(shù)據(jù)對目標模型進行訓(xùn)練，訓(xùn)練通過后的目標模型即被植入后門。通常來說，被植入后門的目標模型對于輸入的正常數(shù)據(jù)，仍然可以較為準確地輸出正確結(jié)果；但當(dāng)攻擊者向目標模型輸入帶有觸發(fā)器的數(shù)據(jù)時，則會激活目標模型中的后門，使目標模型輸出指定的錯誤結(jié)果。

在對現(xiàn)有技術(shù)的研究和實踐過程中，本申請實施例的發(fā)明人發(fā)現(xiàn)，正常的目標模型可能存在被植入后門的安全威脅，以進行自然語言處理的機器模型為例，通過研究后門攻擊技術(shù)，可以事先對目標模型進行針對性地后門攻擊測試，以檢測目標模型的安全性和魯棒性。因此，如何更好地提高目標模型的安全性和魯棒性是當(dāng)前需要解決的技術(shù)問題。

發(fā)明內(nèi)容

本申請實施例提供了一種后門攻擊方法、相關(guān)裝置及存儲介質(zhì)，能夠通過更隱蔽地后門攻擊測試提高目標模型的安全性和魯棒性。

第一方面中，本申請實施例提供一種后門攻擊方法，該方法包括：

獲取目標模型的原始樣本數(shù)據(jù)，所述原始樣本數(shù)據(jù)包含原始文本和所述原始文本對應(yīng)的類別標簽；

從所述原始樣本數(shù)據(jù)中選取所述類別標簽為目標類別的目標樣本數(shù)據(jù)，并對所述目標樣本數(shù)據(jù)中的原始文本設(shè)置觸發(fā)器，獲得投毒數(shù)據(jù)；將所述原始樣本數(shù)據(jù)與所述投毒數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)對所述目標模型進行訓(xùn)練，獲得測試模型；其中，所述測試模型用于對設(shè)置有所述觸發(fā)器的測試數(shù)據(jù)進行攻擊測試。

一種可能的設(shè)計中，所述對所述目標樣本數(shù)據(jù)中的原始文本設(shè)置觸發(fā)器，獲得投毒數(shù)據(jù)，包括以下項之一：

向所述目標樣本數(shù)據(jù)中的原始文本添加字母、單詞和句子中的至少一種作為觸發(fā)器，獲得包含投毒文本的投毒數(shù)據(jù)；或

將所述目標樣本數(shù)據(jù)中的原始文本進行回譯處理，以設(shè)置觸發(fā)器，獲得包含投毒文本的投毒數(shù)據(jù)。

一種可能的設(shè)計中，所述將所述目標樣本數(shù)據(jù)中的原始文本進行回譯處理，以設(shè)置觸發(fā)器，獲得包含投毒文本的投毒數(shù)據(jù)，包括：

將所述目標樣本數(shù)據(jù)中原始語種的所述原始文本翻譯為不同語種的中間文本后，將所述中間文本翻譯為所述原始語種后的文本作為投毒文本，獲得包含所述投毒文本的投毒數(shù)據(jù)；或

將所述目標樣本數(shù)據(jù)中的原始文本轉(zhuǎn)換為圖像數(shù)據(jù)后，將所述圖像數(shù)據(jù)轉(zhuǎn)化后的文本作為投毒文本，獲得包含所述投毒文本的投毒數(shù)據(jù)。

一種可能的設(shè)計中，所述方法還包括：

根據(jù)所述目標樣本數(shù)據(jù)中的原始文本或投毒數(shù)據(jù)中的投毒文本，生成對應(yīng)的對抗文本。

一種可能的設(shè)計中，所述根據(jù)目標樣本數(shù)據(jù)中的原始文本或投毒數(shù)據(jù)中的投毒文本，生成對應(yīng)的對抗文本，包括：

確定所述目標樣本數(shù)據(jù)中的原始文本或投毒數(shù)據(jù)中的投毒文本中的待調(diào)整單詞；

將所述待調(diào)整單詞進行調(diào)整，以使所述目標樣本數(shù)據(jù)中的原始文本或投毒數(shù)據(jù)中的投毒文本轉(zhuǎn)換為對抗文本。