[發(fā)明專利]一種基于遷移模型雅克比陣特征向量擾動(dòng)的黑盒攻擊方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202010775599.1
• 申請(qǐng)日: 2020-08-05
• 公開（公告）號(hào): CN112085055B
• 公開（公告）日: 2022-12-13
• 發(fā)明（設(shè)計(jì)）人: 崔鵬;周琳鈞
• 申請(qǐng)（專利權(quán)）人: 清華大學(xué)
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04;G06N3/08
• 代理公司: 北京清亦華知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 11201
• 代理人: 廖元秋

本發(fā)明提出一種基于遷移模型雅克比陣特征向量擾動(dòng)的黑盒攻擊方法，屬于機(jī)器學(xué)習(xí)系統(tǒng)安全和黑盒攻擊技術(shù)領(lǐng)域。該方法首先確定待攻擊的黑盒模型和遷移預(yù)訓(xùn)練模型，獲取待攻擊的原始樣本及其標(biāo)簽后，通過對(duì)原始樣本不斷施加擾動(dòng)，利用經(jīng)過遷移預(yù)訓(xùn)練模型計(jì)算的雅可比矩陣的奇異值分解結(jié)果，通過迭代計(jì)算不斷更新擾動(dòng)，最終使得施加擾動(dòng)后的樣本通過黑盒模型分類不再對(duì)應(yīng)正確標(biāo)簽。本發(fā)明具有僅需要一個(gè)可遷移的預(yù)訓(xùn)練網(wǎng)絡(luò)而無需任何訓(xùn)練樣本的特點(diǎn)，可以大幅提升傳統(tǒng)黑盒模型的攻擊效率。

技術(shù)領(lǐng)域

本發(fā)明屬于機(jī)器學(xué)習(xí)系統(tǒng)安全和黑盒攻擊的技術(shù)領(lǐng)域，特別提出一種基于遷移模型雅克比陣特征向量擾動(dòng)的黑盒攻擊方法。

背景技術(shù)

隨著深度學(xué)習(xí)的發(fā)展，有關(guān)深度學(xué)習(xí)系統(tǒng)的安全性問題逐漸引發(fā)機(jī)器學(xué)習(xí)社區(qū)的關(guān)注。由于一般深度學(xué)習(xí)系統(tǒng)的提供商并不會(huì)披露其系統(tǒng)內(nèi)部的具體實(shí)現(xiàn)，因而黑盒攻擊往往是一種對(duì)深度學(xué)習(xí)系統(tǒng)有效的攻擊手段。具體而言，黑盒攻擊通過迭代構(gòu)造一系列的系統(tǒng)輸入樣本，在保證每次的輸入樣本與待攻擊的樣本差別很小的情況下，逐步降低深度學(xué)習(xí)系統(tǒng)對(duì)此樣本的識(shí)別程度，最終到某一次輸入的時(shí)候輸出分類完全錯(cuò)誤。在魯棒學(xué)習(xí)中，我們稱這一過程結(jié)束的輸入樣本為對(duì)抗樣本。黑盒模型常用的評(píng)價(jià)標(biāo)準(zhǔn)是攻擊效率，包括攻擊每個(gè)樣本的平均問詢黑盒模型的次數(shù)，對(duì)抗樣本相對(duì)原待攻擊樣本的平均擾動(dòng)距離及總體的攻擊成功率。

黑盒攻擊在實(shí)際場景中有著豐富的應(yīng)用，比如在計(jì)算機(jī)視覺中，黑盒攻擊可以針對(duì)一張?zhí)囟ǖ膱D像進(jìn)行微小的擾動(dòng)，使得一個(gè)原本可以將原始圖像正確分類的神經(jīng)網(wǎng)絡(luò)對(duì)擾動(dòng)后的圖像做出錯(cuò)誤的分類判斷，而往往人類的視覺系統(tǒng)察覺不出擾動(dòng)前后圖像的區(qū)別。針對(duì)圖像的黑盒攻擊的探索會(huì)促進(jìn)機(jī)器學(xué)習(xí)界對(duì)于魯棒學(xué)習(xí)的更深層次的探索，以期能夠預(yù)防深度學(xué)習(xí)系統(tǒng)在現(xiàn)實(shí)計(jì)算機(jī)視覺應(yīng)用中出現(xiàn)的誤判，如智能駕駛系統(tǒng)，人臉識(shí)別系統(tǒng)等。

傳統(tǒng)的黑盒攻擊技術(shù)包括基于白盒網(wǎng)絡(luò)遷移的黑盒攻擊和基于零階梯度優(yōu)化的黑盒攻擊。前一種方案中，一般通過一些訓(xùn)練樣本訓(xùn)練一個(gè)白盒網(wǎng)絡(luò)，然后利用已知的白盒網(wǎng)絡(luò)參數(shù)來指導(dǎo)黑盒攻擊的每步迭代，其特點(diǎn)是需要大量的預(yù)訓(xùn)練樣本，且預(yù)訓(xùn)練樣本最好與黑盒網(wǎng)絡(luò)的分類任務(wù)較為貼近；后一種方案中，通常利用零階梯度優(yōu)化的思想，通過采樣的方式估算黑盒網(wǎng)絡(luò)在某個(gè)輸入點(diǎn)的梯度，從而梯度下降迭代尋找對(duì)抗樣本，其特點(diǎn)是無需預(yù)訓(xùn)練樣本，但是攻擊效率較低。

發(fā)明內(nèi)容

本發(fā)明的目的是為克服已有技術(shù)的不足之處，提出一種基于遷移模型雅克比陣特征向量擾動(dòng)的黑盒攻擊方法。本發(fā)明具有僅需要一個(gè)可遷移的預(yù)訓(xùn)練網(wǎng)絡(luò)而無需任何訓(xùn)練樣本的特點(diǎn)，可以大幅提升傳統(tǒng)黑盒模型的攻擊效率。

本發(fā)明提出一種基于遷移模型雅克比陣特征向量擾動(dòng)的黑盒攻擊方法，其特征在于，包括以下步驟：

1)確定待攻擊的黑盒模型F，；

確定遷移預(yù)訓(xùn)練模型其中該遷移預(yù)訓(xùn)練模型的輸入層到表征層為函數(shù)h,表征層到輸出層為函數(shù)g；

選取待攻擊的一個(gè)輸入樣本和其對(duì)應(yīng)的標(biāo)簽記為(x，y)，其中x代表該待攻擊的輸入樣本，y為x對(duì)應(yīng)的標(biāo)簽；將該待攻擊的輸入樣本作為原始樣本；設(shè)定擾動(dòng)步長α和每輪選取特征向量數(shù)目K；

2)將原始樣本x輸入黑盒模型F，計(jì)算該原始樣本通過黑盒模型F的對(duì)應(yīng)輸出概率向量p＝p(·|x)；

令δ＝0，δ表示對(duì)原始樣本施加的擾動(dòng)，生成樣本x+δ；

3)將樣本x+δ輸入遷移預(yù)訓(xùn)練模型，計(jì)算該樣本對(duì)應(yīng)的函數(shù)h的雅可比矩陣J＝J_h(x+δ)；

4)對(duì)步驟3)獲得的雅可比矩陣J進(jìn)行奇異值分解，得到對(duì)應(yīng)的前K個(gè)歸一化的右特征值向量V₁，...，V_K，令i＝1；

5)對(duì)i的值進(jìn)行判定：若i≤K，則進(jìn)入步驟6)；否則重新返回步驟3)；