[發明專利]基于遺傳算法的深度學習模型安全漏洞測試和修復方法、裝置和系統

在審

• 申請號: 202110204104.4
• 申請日: 2021-02-23
• 公開（公告）號: CN112926052A
• 公開（公告）日: 2021-06-08
• 發明（設計）人: 紀守領;林昶廷;董建鋒;王睿
• 申請（專利權）人: 尚蟬（浙江）科技有限公司
• 主分類號: G06F21/55
• 分類號: G06F21/55;G06F21/57;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

1.一種基于遺傳算法的深度學習模型安全漏洞測試方法，其特征在于，包括以下步驟：

(1)獲取圖像數據集和待測試深度學習模型，利用測試深度學習模型對圖像進行測試以篩選能夠正確識別的圖像組成干凈圖像數據集；

(2)從所述干凈圖像數據集中隨機選擇若干圖像作為測試種子圖像，并對測試種子圖像添加初始擾動；

(3)將添加擾動的圖像輸入至待測試深度學習模型獲得預測標簽，依據添加擾動最小化和預測標簽與真實標簽不同構建的適應度函數來選擇圖像作為父輩，并進行交叉產生子代圖像，對子代圖像添加擾動以進行變異；

(4)重復執行步驟(3)，直到滿足迭代終止條件，在滿足迭代終止時，若能獲得滿足添加擾動最小化和預測標簽與真實標簽不同的添加擾動的圖像時，即認為測試深度學習模型存在安全漏洞。

2.根據權利要求1所述的基于遺傳算法的深度學習模型安全漏洞測試方法，其特征在于，所述適應度函數obj₃為：

obj₃＝obj₁+λ·obj₂

obj₂＝f(x′)[c]≠c

其中，obj₁表示添加擾動最小化函數，x表示原圖像，x′表示添加擾動圖像，ε表示很小的擾動值以確保擾動最小化，表示二范數的平方，obj₂表示預測標簽與真實標簽不同函數，f(x′)[c]表示圖像x′輸入深度學習模型中針對真實標簽c的預測類標，λ表示超參數。

3.根據權利要求1所述的基于遺傳算法的深度學習模型安全漏洞測試方法，其特征在于，每次迭代時，變異概率根據動量更新調整：

其中，P_new表示更新后的變異概率，表示p_old表示原變異概率，currScore表示所在代圖像根據適應度函數的評分，prevScore表示上一代圖像根據適應度函數的評分，β和γ為超參數，給子代添加噪聲；

利用更新后的變異概率對子代圖像進行變異。

4.根據權利要求1所述的基于遺傳算法的深度學習模型安全漏洞測試方法，其特征在于，步驟(1)中，將圖像輸入至待測試深度學習模型中得到預測標簽，若預測標簽與真實標簽一致，則認為圖像能夠被正確識別，用于組成干凈圖像數據集。

5.根據權利要求1所述的基于遺傳算法的深度學習模型安全漏洞測試方法，其特征在于，圖像數據集為MNIST數據集、Imagenet數據集或Driving數據集；所述待測試深度學習模型為自動駕駛模型或人臉識別模型。

6.一種基于遺傳算法的深度學習模型安全漏洞修復方法，其特征在于，包括以下步驟：

(1)利用權利要求1～5任一項所述的基于遺傳算法的深度學習模型安全漏洞測試方法測試待測試深度學習模型存在安全漏洞，且獲得添加擾動的圖像作為測試圖像；

(2)利用測試圖像對待測試深度學習模型進行優化訓練，以實現對待測試深度學習模型的安全漏洞進行修復。

7.一種基于遺傳算法的深度學習模型安全漏洞測試裝置，其特征在于，包括：

構建模塊，用于獲取圖像數據集和待測試深度學習模型，利用測試深度學習模型對圖像進行測試以篩選能夠正確識別的圖像組成干凈圖像數據集；

篩選模塊，用于從所述干凈圖像數據集中隨機選擇若干圖像作為測試種子圖像，并對測試種子圖像添加初始擾動；

檢測模塊，用于將添加擾動的圖像輸入至待測試深度學習模型獲得預測標簽，依據添加擾動最小化和預測標簽與真實標簽不同構建的適應度函數來選擇圖像作為父輩，并進行交叉產生子代圖像，對子代圖像添加擾動以進行變異，重復迭代選擇、交叉以及變異過程，直到滿足迭代終止條件，在滿足迭代終止時，若能獲得滿足添加擾動最小化和預測標簽與真實標簽不同的添加擾動的圖像時，即認為測試深度學習模型存在安全漏洞。