[發明專利]針對人工智能模型的后門攻擊防御系統

在審

• 申請號: 202111424165.8
• 申請日: 2021-11-26
• 公開（公告）號: CN114021136A
• 公開（公告）日: 2022-02-08
• 發明（設計）人: 閆續;易平;謝宸琪
• 申請（專利權）人: 上海交通大學
• 主分類號: G06F21/56
• 分類號: G06F21/56;G06F21/54;G06V10/96;G06V10/764;G06V10/82;G06K9/62;G06N3/04
• 代理公司: 上海交達專利事務所 31201
• 代理人: 王毓理;王錫麟

一種針對人工智能模型的后門攻擊防御系統，包括：模型預檢測模塊和實時防御模塊，其中：模型預檢測模塊掃描待測圖像分類模型中：是否對本地文件進行讀取或修改的操作行為以及每一層輸出的數據，以判斷該模型是否包含后門；實時防御模塊通過對含有觸發器的圖片進行添加濾鏡，使得圖像分類模型中的后門無效。本發明能夠應用于圖像分類，圖像識別領域的模型，對模型加強防御進而提升深度學習領域的安全性能。

技術領域

本發明涉及的是一種信息安全領域的技術，具體是一種針對人工智能模型的后門攻擊防御系統。該技術可應用于工業領域中圖像領域的人工智能模型的防護，例如圖片分類，人臉識別，自動駕駛等。

背景技術

對正常的人工智能模型添加或改變神經元，就可以將其變為含有后門的模型。一旦輸入的圖片含有觸發后門的觸發器，深度學習模型不僅會輸出分類結果，還會執行模型的惡意神經元，對本地系統造成損害。針對此種類的后門攻擊，目前缺乏有效的防御手段。經測試，主流的殺毒軟件如諾頓，卡巴斯基，邁克菲等無法識別出模型是否含有后門。

發明內容

本發明針對現有技術的上述不足和缺陷，提出一種針對人工智能模型的后門攻擊防御系統，針對后門模型中惡意神經元的特性以及后門需觸發器激活兩個特點，既可以對人工智能模型進行預檢測判斷是否為后門模型，又可以在模型運行階段使觸發器無效從而開展防護，能夠應用于圖像分類，圖像識別領域的模型，對模型加強防御進而提升深度學習領域的安全性能。

本發明是通過以下技術方案實現的：

本發明涉及一種針對人工智能模型的后門攻擊防御系統，包括：模型預檢測模塊和實時防御模塊，其中：模型預檢測模塊掃描待測圖像分類模型中：①是否對本地文件進行讀取或修改的操作行為以及②每一層輸出的數據，以判斷該模型是否包含后門；實時防御模塊通過對含有觸發器的圖片進行添加濾鏡，使得圖像分類模型中的后門無效。

所述的模型預檢測模塊包括：關鍵詞庫單元、掃描差異單元以及掃描結果分析單元，其中：關鍵詞庫單元根據模型所運行操作系統的信息，添加關鍵詞，得到關鍵詞庫；掃描差異單元根據關鍵詞庫和模型輸入的圖像，進行模型掃描處理，得到模型掃描結果；掃描結果分析單元根據模型掃描結果信息，進行分析處理，判定該模型是否為后門模型。

所述的實時防御模塊包括：濾鏡單元和模型運行單元，其中：濾鏡單元對模型輸入的圖像上添加濾鏡處理；模型運行單元根據添加濾鏡后的圖像得到分類結果。

本發明涉及一種基于上述系統的針對人工智能模型的后門攻擊防御方法，包括以下步驟：

步驟一、根據人工智能模型后門攻擊原理，即惡意篡改系統文件，在正常人工智能模型基礎上構造出后門模型，并在數據集上選取若干圖像添加觸發器用于激活后門。

步驟二、通過模型預檢測模塊對步驟一中的后門模型進行掃描，根據掃描結果的差異來判斷模型是否含有后門：當掃描出模型含有關鍵詞庫中的關鍵字或者輸入在經由某一模型層前后未發生改變，判斷模型存在植入后門風險。

步驟三、根據模型后門需要觸發器激活的特點，在模型運行階段把圖片上的觸發器通過圖像濾鏡算法修改至無法觸發模型后門，同時不影響模型的正常分類，從而實現實時防御。

所述的深度學習模型為卷積神經網絡。

所述的模型后門是指：構造模型時特意修改或者添加的惡意神經元，惡意神經元對觸發器高度敏感，檢測到觸發器時，執行內嵌的惡意代碼對系統文件修改。由此造成的后果包括但不限于惡意用戶遠程登錄，網站挾持攻擊。

所述的觸發器是指：輸入的圖片具有特定的特征，具備該特征的輸入可以觸發模型的后門，使模型不僅輸出分類結果，還可能執行模型中的惡意代碼，危害本地系統。