[發(fā)明專(zhuān)利]一種基于對(duì)抗攻擊的圖像語(yǔ)義信息敏感像素域的篩選方法及應(yīng)用方法與系統(tǒng)

在審

• 申請(qǐng)?zhí)枺?/td>: 202111555905.1
• 申請(qǐng)日: 2021-12-17
• 公開(kāi)（公告）號(hào): CN114220097A
• 公開(kāi)（公告）日: 2022-03-22
• 發(fā)明（設(shè)計(jì)）人: 彭大天;楊君剛;張明江;王程遠(yuǎn);江磊;王天琦
• 申請(qǐng)（專(zhuān)利權(quán)）人: 中國(guó)人民解放軍國(guó)防科技大學(xué)
• 主分類(lèi)號(hào): G06V20/70
• 分類(lèi)號(hào): G06V20/70;G06V10/72;G06V10/764;G06V10/82;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 長(zhǎng)沙市融智專(zhuān)利事務(wù)所(普通合伙) 43114
• 代理人: 姚瑤

1.一種基于對(duì)抗攻擊的圖像語(yǔ)義信息敏感像素域的篩選方法，其特征在于：包括以下步驟：

步驟1：獲取待分析的目標(biāo)圖像，并將其作為輸入圖像；

步驟2：將所述輸入圖像輸入至若干對(duì)抗攻擊算法，并分別作用于若干類(lèi)神經(jīng)網(wǎng)絡(luò)執(zhí)行無(wú)特定目標(biāo)攻擊模式，進(jìn)而生成若干個(gè)對(duì)抗樣本；其中，一類(lèi)對(duì)抗攻擊算法和一類(lèi)神經(jīng)網(wǎng)絡(luò)至少對(duì)應(yīng)一個(gè)對(duì)抗樣本；

步驟3：計(jì)算每個(gè)對(duì)抗樣本與所述輸入圖像的差值得到對(duì)抗擾動(dòng)；

步驟4：統(tǒng)計(jì)每個(gè)對(duì)抗擾動(dòng)中被篡改的像素位置得到若干個(gè)擾動(dòng)位置集；

步驟5：對(duì)所述若干個(gè)擾動(dòng)位置集中的像素點(diǎn)位置進(jìn)行精選，篩選出圖像語(yǔ)義信息敏感像素域，其中，在所有擾動(dòng)位置集中各個(gè)像素點(diǎn)位置的出現(xiàn)頻率/次數(shù)越高，落入圖像語(yǔ)義信息敏感像素域的概率越大；或者擾動(dòng)位置集中重疊區(qū)域越大時(shí)，其區(qū)域內(nèi)的像素點(diǎn)落入圖像語(yǔ)義信息敏感像素域的概率越大。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于：步驟5中篩選圖像語(yǔ)義信息敏感像素域的過(guò)程為：

統(tǒng)計(jì)每個(gè)像素點(diǎn)位置在所有擾動(dòng)位置集中的出現(xiàn)總次數(shù)；

若所述總次數(shù)超過(guò)預(yù)設(shè)閾值，對(duì)應(yīng)像素點(diǎn)位置視為落入圖像語(yǔ)義信息敏感像素域。

3.根據(jù)權(quán)利要求1所述的方法，其特征在于：步驟5中篩選圖像語(yǔ)義信息敏感像素域的過(guò)程為：

計(jì)算每?jī)蓚€(gè)擾動(dòng)位置集的交集和并集；

采用交并比IoU方法計(jì)算每?jī)蓚€(gè)擾動(dòng)位置集的IoU，并分別判斷IoU是否大于預(yù)設(shè)值，若是，對(duì)應(yīng)兩個(gè)擾動(dòng)位置集的交集中的像素點(diǎn)位置視為落入圖像語(yǔ)義信息敏感像素域。

4.根據(jù)權(quán)利要求1所述的方法，其特征在于：步驟5中采用至少兩種不同的方法獲取圖像語(yǔ)義信息敏感像素域；再計(jì)算其并集得到表征圖像語(yǔ)義信息的完全敏感像素域。

5.根據(jù)權(quán)利要求1所述的方法，其特征在于：步驟2中每個(gè)對(duì)抗樣本的生成過(guò)程如下：

步驟2-1：將所述輸入圖像輸入至一類(lèi)神經(jīng)網(wǎng)絡(luò)，得到正確類(lèi)別值；

步驟2-2：添加對(duì)抗擾動(dòng)至所述輸入圖像生成對(duì)抗樣本，再送入神經(jīng)網(wǎng)絡(luò)獲得擾動(dòng)類(lèi)別值；

步驟2-3：根據(jù)正常類(lèi)別值與擾動(dòng)類(lèi)別值的差值構(gòu)造優(yōu)化損失函數(shù)，并基于所述優(yōu)化損失函數(shù)計(jì)算對(duì)抗擾動(dòng)梯度值；

步驟2-4：基于對(duì)抗擾動(dòng)梯度值不同攻擊意圖的對(duì)抗攻擊算法生成新的當(dāng)前最優(yōu)對(duì)抗擾動(dòng)，其中，為每類(lèi)對(duì)抗攻擊算法設(shè)置各自適配的基于對(duì)抗擾動(dòng)梯度值的對(duì)抗擾動(dòng)更新方法；

步驟2-5：更新對(duì)抗擾動(dòng)，再按照步驟2-2至步驟2-5循環(huán)迭代，直至實(shí)現(xiàn)無(wú)特定目標(biāo)攻擊意圖得到基于最優(yōu)對(duì)抗擾動(dòng)下的對(duì)抗樣本。

6.根據(jù)權(quán)利要求1所述的方法，其特征在于：實(shí)現(xiàn)無(wú)特定目標(biāo)攻擊模式的標(biāo)準(zhǔn)為：

在對(duì)抗攻擊作用下生成的對(duì)抗樣本，使得神經(jīng)網(wǎng)絡(luò)將圖像真實(shí)類(lèi)別Y_t誤判為其他任一類(lèi)別Y_t’，滿足：Y_t’≠Y_t。

7.一種基于權(quán)利要求1-6任一項(xiàng)所述篩選方法的應(yīng)用方法，其特征在于：應(yīng)用于誤導(dǎo)分類(lèi)或者應(yīng)用于驗(yàn)證基于神經(jīng)網(wǎng)絡(luò)的圖像分類(lèi)/識(shí)別模型的決策可信性；

其中，應(yīng)用于誤導(dǎo)分類(lèi)時(shí)，包括如下過(guò)程：

利用所述篩選方法獲取圖像語(yǔ)義信息敏感像素域；

篡改圖像上所述圖像語(yǔ)義信息敏感像素域內(nèi)的像素，再利用基于神經(jīng)網(wǎng)絡(luò)的圖像識(shí)別模型進(jìn)行分類(lèi)，實(shí)現(xiàn)分類(lèi)誤導(dǎo)；

應(yīng)用于驗(yàn)證基于神經(jīng)網(wǎng)絡(luò)的圖像分類(lèi)/識(shí)別模型的決策可信性時(shí)，包括如下過(guò)程：

利用所述篩選方法獲取圖像語(yǔ)義信息敏感像素域，并得到基于神經(jīng)網(wǎng)絡(luò)的圖像分類(lèi)/識(shí)別模型的分類(lèi)/識(shí)別結(jié)果；

將所述圖像語(yǔ)義信息敏感像素域進(jìn)行可視化操作，基于可視化結(jié)果驗(yàn)證神經(jīng)網(wǎng)絡(luò)的決策可信性。