[發明專利]針對人工智能模型的后門攻擊防御系統

在審

• 申請號: 202111424165.8
• 申請日: 2021-11-26
• 公開（公告）號: CN114021136A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 閆續;易平;謝宸琪
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F21/56
• 分類號: G06F21/56;G06F21/54;G06V10/96;G06V10/764;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

1.一種針對人工智能模型的后門攻擊防御系統，其特征在于，包括：模型預檢測模塊和實時防御模塊，其中：模型預檢測模塊掃描待測圖像分類模型中：①是否對本地文件進行讀取或修改的操作行為以及②每一層輸出的數據，以判斷該模型是否包含后門；實時防御模塊通過對含有觸發器的圖片進行添加濾鏡，使得圖像分類模型中的后門無效；

所述的模型后門是指：構造模型時特意修改或者添加的惡意神經元，惡意神經元對觸發器高度敏感，檢測到觸發器時，執行內嵌的惡意代碼對系統文件修改，由此造成的后果包括但不限于惡意用戶遠程登錄，網站挾持攻擊；

所述的觸發器是指：輸入的圖片具有特定的特征，具備該特征的輸入以觸發模型的后門。

2.根據權利要求1所述的針對人工智能模型的后門攻擊防御系統，其特征是，所述的模型預檢測模塊包括：關鍵詞庫單元、掃描差異單元以及掃描結果分析單元，其中：關鍵詞庫單元根據模型所運行操作系統的信息，添加關鍵詞，得到關鍵詞庫；掃描差異單元根據關鍵詞庫和模型輸入的圖像，進行模型掃描處理，得到模型掃描結果；掃描結果分析單元根據模型掃描結果信息，進行分析處理，判定該模型是否為后門模型。

3.根據權利要求1所述的針對人工智能模型的后門攻擊防御系統，其特征是，所述的實時防御模塊包括：濾鏡單元和模型運行單元，其中：濾鏡單元對模型輸入的圖像上添加濾鏡處理；模型運行單元根據添加濾鏡后的圖像得到分類結果。

4.一種基于權利要求1～3中任一所述系統的針對人工智能模型的后門攻擊防御方法，其特征在于，包括以下步驟：

步驟一、根據人工智能模型后門攻擊原理，即惡意篡改系統文件，在正常人工智能模型基礎上構造出后門模型，并在數據集上選取若干圖像添加觸發器用于激活后門；

步驟二、通過模型預檢測模塊對步驟一中的后門模型進行掃描，根據掃描結果的差異來判斷模型是否含有后門：當掃描出模型含有關鍵詞庫中的關鍵字或者輸入在經由某一模型層前后未發生改變，判斷模型存在植入后門風險；

步驟三、根據模型后門需要觸發器激活的特點，在模型運行階段把圖片上的觸發器通過圖像濾鏡算法修改至無法觸發模型后門，同時不影響模型的正常分類，從而實現實時防御。

5.根據權利要求4所述的針對人工智能模型的后門攻擊防御方法，其特征是，所述的深度學習模型為卷積神經網絡。

6.根據權利要求4所述的針對人工智能模型的后門攻擊防御方法，其特征是，所述的分類是指：深度學習模型對于單張輸入圖像的預測分類結果，該結果用向量表示為p＝[p₁，p₂，p₃，...]，其中的每一個分量代表輸入圖像在每一個類別的預測概率。

7.根據權利要求4所述的針對人工智能模型的后門攻擊防御方法，其特征是，所述的模型掃描是指：將訓練好的深度學習模型進行解構以及字段匹配，具體包括：

①F(x)＝～f(x)_layerf(x)_match；

②f(x)_layer＝|layer(x)₂–layer(x)₁||layer(x)₃–layer(x)₂|…；

③f(x)_match＝match(keyword)₁||match(keyword)₂||…

其中x代表輸入圖片，f(x)_layer是模型逐層掃描差異函數，f(x)_match是模型靜態掃描差異函數,layer(x)_i代表經過模型后處理后第i層的輸出，|·|代表對兩個分類結果(概率向量)求歐幾里得距離，match(keyword)_i代表對模型使用關鍵字keyword_i進行的二進制匹配。

8.根據權利要求4所述的針對人工智能模型的后門攻擊防御方法，其特征是，所述的圖像濾鏡算法包括：高斯模糊算法和中值模糊算法。