[發(fā)明專利]量化深度學(xué)習(xí)計算系統(tǒng)對對抗性擾動的脆弱性

在審

• 申請?zhí)枺?/td>: 202010153487.2
• 申請日: 2020-03-06
• 公開（公告）號: CN111667049A
• 公開（公告）日: 2020-09-15
• 發(fā)明（設(shè)計）人: 劉思佳;范權(quán)福;淦創(chuàng);王大闊
• 申請（專利權(quán)）人: 國際商業(yè)機器公司
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06N20/00;G06F21/55
• 代理公司: 北京市金杜律師事務(wù)所 11256
• 代理人: 酆迅

1.一種在包括至少一個處理器和至少一個存儲器的數(shù)據(jù)處理系統(tǒng)中的方法，所述至少一個存儲器包括指令，所述指令由所述至少一個處理器執(zhí)行以特定地配置所述至少一個處理器來實現(xiàn)對抗性擾動攻擊敏感度(APAS)可視化系統(tǒng)，所述方法包括：

由所述至少一個處理器實現(xiàn)的所述APAS可視化系統(tǒng)接收自然輸入數(shù)據(jù)集和對應(yīng)的對抗性攻擊輸入數(shù)據(jù)集，以用于由所述APAS可視化系統(tǒng)進(jìn)行評估，其中所述對抗性攻擊輸入數(shù)據(jù)集的數(shù)據(jù)結(jié)構(gòu)包括旨在引起計算機模型錯誤分類的擾動；

由所述APAS可視化系統(tǒng)基于由所述計算機模型對所述自然輸入數(shù)據(jù)集和所述對應(yīng)的對抗性攻擊輸入數(shù)據(jù)集的處理來確定所述計算機模型對所述對抗性攻擊輸入數(shù)據(jù)集中的所述擾動的至少一個敏感度測量；

由所述APAS可視化系統(tǒng)基于所述自然輸入數(shù)據(jù)集和所述對抗性攻擊輸入數(shù)據(jù)集的所述處理的結(jié)果針對所述計算機模型生成分類激活圖(CAM)；

由所述APAS可視化系統(tǒng)基于所述至少一個敏感度測量來生成敏感度覆蓋，其中所述敏感度覆蓋圖形地表示擾動敏感度的不同分類；

由所述APAS可視化系統(tǒng)將所述敏感度覆蓋應(yīng)用于所述CAM，以生成對于對抗性攻擊的擾動的所述計算機模型敏感度的圖形可視化輸出；以及

由所述APAS可視化系統(tǒng)將所述圖形可視化輸出輸出到用戶計算設(shè)備，以用于可視化顯示給用戶。

2.根據(jù)權(quán)利要求1所述的方法，其中由所述敏感度覆蓋圖形地表示的擾動敏感度的所述不同分類包括：指示以促進(jìn)為主導(dǎo)的擾動的第一分類，所述以促進(jìn)為主導(dǎo)的擾動促進(jìn)與所述對抗性攻擊輸入數(shù)據(jù)集的目標(biāo)輸出相對應(yīng)的所述計算機模型的輸出；以及指示以抑制為主導(dǎo)的擾動的第二分類，所述以抑制為主導(dǎo)的擾動抑制與所述自然輸入數(shù)據(jù)集的真實輸出相對應(yīng)的所述計算機模型的所述輸出。

3.根據(jù)權(quán)利要求1所述的方法，還包括：

由擴展的訓(xùn)練數(shù)據(jù)集生成引擎基于所生成的所述敏感度覆蓋修改用于訓(xùn)練所述計算機模型的訓(xùn)練數(shù)據(jù)集，以生成擴展的訓(xùn)練數(shù)據(jù)集；以及

將所述擴展的訓(xùn)練數(shù)據(jù)集輸出到計算模型訓(xùn)練系統(tǒng)，所述計算模型訓(xùn)練系統(tǒng)基于所述擴展的訓(xùn)練數(shù)據(jù)集訓(xùn)練所述計算機模型。

4.根據(jù)權(quán)利要求3所述的方法，其中修改所述訓(xùn)練數(shù)據(jù)集包括：

通過將一個或多個擾動引入到在所述敏感度覆蓋中被標(biāo)識為具有指定分類的擾動敏感度的一個或多個區(qū)域中的所述自然輸入數(shù)據(jù)集中，來由所述擴展的訓(xùn)練數(shù)據(jù)集生成引擎在所述訓(xùn)練數(shù)據(jù)集中生成一個或多個自然輸入數(shù)據(jù)集的至少一個對抗性版本；以及

由所述擴展的訓(xùn)練數(shù)據(jù)集生成引擎將所述一個或多個自然輸入數(shù)據(jù)集的所述至少一個對抗性版本添加到所述訓(xùn)練數(shù)據(jù)集，以生成所述擴展的訓(xùn)練數(shù)據(jù)集。

5.根據(jù)權(quán)利要求3所述的方法，還包括：

由所述計算模型訓(xùn)練系統(tǒng)基于所述擴展的訓(xùn)練數(shù)據(jù)集對所述計算機模型執(zhí)行機器學(xué)習(xí)操作，以訓(xùn)練所述計算機模型得到強化以抵抗對抗性攻擊。

6.根據(jù)權(quán)利要求1所述的方法，其中基于由所述計算機模型對所述自然輸入數(shù)據(jù)集和所述對應(yīng)的對抗性攻擊輸入數(shù)據(jù)集的處理來確定所述計算機模型對所述對抗性攻擊輸入數(shù)據(jù)集中的所述擾動的至少一個敏感度測量包括：通過在包括像素級別、網(wǎng)格級別、或圖像級別中的至少一個級別的一個或多個粒度下標(biāo)識所述計算機模型中的logit得分的變化，來測量由一個或多個擾動在所述對應(yīng)的對抗性攻擊輸入數(shù)據(jù)集中的存在或不存在所造成的對所述計算機模型的輸出的效果。

7.根據(jù)權(quán)利要求1所述的方法，其中確定所述計算機模型對所述對抗性攻擊輸入數(shù)據(jù)集中的擾動的至少一個敏感度測量包括：針對所述對抗性攻擊輸入數(shù)據(jù)集中的每個擾動生成促進(jìn)-抑制比(PSR)，并且其中所述PSR是對應(yīng)的擾動對所述計算機模型的錯誤分類的促進(jìn)效果和抑制效果的測量。

8.根據(jù)權(quán)利要求7所述的方法，其中確定所述計算機模型的至少一個敏感度測量還包括生成可解釋性得分以量化對抗性擾動的可解釋性。