[發(fā)明專利]一種利用3D對抗樣本增強目標檢測系統(tǒng)抗干擾能力的方法

有效

• 申請?zhí)枺?/td>: 202011090293.9
• 申請日: 2020-10-13
• 公開（公告）號: CN112215151B
• 公開（公告）日: 2022-10-25
• 發(fā)明（設計）人: 周川;陳雷霆
• 申請（專利權）人: 電子科技大學
• 主分類號: G06V20/56
• 分類號: G06V20/56;G06V10/774;G06V10/764;G06N3/04;G06N3/08
• 代理公司: 成都中亞專利代理有限公司 51126
• 代理人: 王崗

1.一種利用3D對抗樣本增強目標檢測系統(tǒng)抗干擾能力的方法，從圖形學層面出發(fā)，以更全面、系統(tǒng)的方案來生成3D對抗樣本，并利用生成的對抗樣本來提高目標檢測模型的對抗防御能力；其特征在于；具有如下執(zhí)行步驟；

步驟1，基于紋理的對抗樣本生成；基于對抗樣本的梯度原理，修改目標3D模型的紋理和形狀，實現(xiàn)紋理和形狀層面的對抗攻擊，得到對抗3D圖形和M_texture；

步驟2，基于形狀的對抗樣本生成；實現(xiàn)渲染層面的對抗攻擊，得到對抗3D圖形M_vertices；對于該步驟來講，執(zhí)行過程是，現(xiàn)有初始3D模型M(x，S)和待攻擊的目標檢測系統(tǒng)g，這一方法可以表達為：

max loss(g(S^adv)，y)＝loss(g(S^adv)，y′)+λloss_perceptual(g(S^adv))

其中，loss表示損失函數(shù)，S^adv表示對抗樣本的3D網(wǎng)格，y′表明攻擊的目標分類標簽，在非目標攻擊時該項表示最小化正確分類概率；loss_perceptual表示人眼識別的損失函數(shù)，即人為擾動不被人眼察覺的附加項，λ是其權重系數(shù)；

步驟2.1生成整體微幅修改的對抗網(wǎng)格；本步驟的目的，是針對3D網(wǎng)格中所有的頂點坐標進行小幅度優(yōu)化，人眼幾乎無法觀察出對抗樣本和原物體之間的差別；

本方案具體采用基于梯度的優(yōu)化方法：

S^adv＝S+η

由于不同形狀、材質(zhì)的物體可能產(chǎn)生的形變，因此可以在生成對抗網(wǎng)格模型的基礎上推廣到對物體形變分布的對抗優(yōu)化：

其中E_t～T表示物體可能發(fā)生形變的分布；

步驟2.2生成局部大幅修改的對抗網(wǎng)格，本步驟的目的，是針對模型中某一小部分，進行較大幅度的改動；這一方案的難點在于改動部分的選擇；

在網(wǎng)格模型的法線變化較大，即形狀較“尖銳”的部分，往往更容易作為物體的特征被學習模型識別；因此，首先通過對網(wǎng)格進行求導的方式得到梯度變化較大的部分R，再在R內(nèi)部進行優(yōu)化：

for vertices in R：

S^adv＝S+η

這里仍需對優(yōu)化加以限制λ′，而λ′＞＞λ；這是因為在應用上對于圖像域的變化操作限制較小，但對于3D網(wǎng)格的修改實際上受到連續(xù)性因素的限制；

通過步驟2產(chǎn)生的對抗模型可記為M_vertices(x，S^adv)；

步驟3，基于渲染的對抗樣本生成；得到對抗3D圖形和M_render；

步驟4，生成預訓練數(shù)據(jù)清洗網(wǎng)絡；對于得到的M_texture，M_vertices和M_render，將每一個3D對抗模型進行若干次變換后進行渲染，生成若干個在不同渲染背景、相機參數(shù)條件下的對抗樣本圖像I_adv；使用I_adv訓練一個判別器，將其作為學習系統(tǒng)的預處理模塊，得到抗干擾能力更強的目標檢測模型；

步驟5，將對抗樣本圖像添加到原訓練集中；將I_adv中的圖像正確標注后添加到目標檢測模型訓練集中，增強該學習模型的魯棒性。