[發明專利]面向特征嵌入中毒攻擊的檢測方法、裝置和系統

有效

• 申請號: 202110184570.0
• 申請日: 2021-02-08
• 公開（公告）號: CN113032776B
• 公開（公告）日: 2022-08-05
• 發明（設計）人: 陳晉音;鄒健飛;熊暉
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06F21/55
• 分類號: G06F21/55;G06K9/62;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

本發明公開了一種面向特征嵌入中毒攻擊的檢測方法、裝置和系統，通過測試樣本分別在良性模型和待檢測模型每網絡層的互信息的分布狀態，實現對待檢測模型中毒攻擊的檢測，針對中毒攻擊的模型，基于測試樣本在模型的特征通道的改變來生成擾動圖，基于擾動圖的分布特征確定模型中毒目標類，并生成中毒樣本。經實驗結果表明，該檢測方法、裝置和系統具有良好的適用性，能夠有效的判斷模型是否中毒并生成相應的中毒樣本，取得較好的檢測效果。

技術領域

本發明屬于模型安全領域，具體涉及一種面向特征嵌入中毒攻擊的檢測方法、裝置和系統。

背景技術

深度學習逐漸成為人工智能領域的研究熱點和主流發展方向。深度學習是由多個處理層組成的計算模型，學習具有多個抽象層次的數據表示的機器學習技術。深度學習代表了機器學習和人工智能研究的主要發展方向，給機器學習和計算機視覺等領域帶來了革命性的進步。

基于神經網絡的人工智能模型被廣泛應用于人臉識別、目標檢測和自主駕駛等多種應用中，證明了它們的優越性超過傳統的計算方法。越來越多的人傾向于相信人工智能模型在生活各個方面的應用都起著至關重要的作用。隨著復雜性和功能的增加，培訓此類模型需要在收集訓練數據和優化性能方面作出巨大努力。因此，預先訓練的模型正在變為供應商(例如Google)和開發人員分發、共享、重用甚至出售以獲取利潤的有價值的物品。例如，數千個預先訓練的模型正在Caffe模型zoo、ONNX zoo和 BigML模型市場上發布和共享，就像傳統的軟件一樣在GitHub上分享。這些模型可以由信譽良好的供應商、機構甚至個人進行培訓。

然而預先訓練的智能系統模型可能包含通過訓練或通過轉換內部神經元權重注入的后門成為木馬模型。當提供常規輸入時，這些木馬模型正常工作，當輸入被印上觸發器的特殊模式時，對特定的輸出標簽進行錯誤分類。例如一個基于深度神經網絡(DNNs)的面部識別系統，它被訓練成每當一個非常特定的符號在人臉上或附近被檢測到時，它將人臉識別為其他人，或者一種可以將任何交通標志變成綠燈的貼紙。后門可以在訓練時插入到模型中，例如由公司的員工負責培訓模型，或在最初的模型培訓之后插入后門，若完成得很好，這些后門對正常輸入的分類結果的影響很小，使得它們幾乎無法檢測。

因此，對于智能系統模型的中毒檢測就至關重要，可以提高模型的安全性。尤其是類似自動駕駛問題，對安全性要求極強，所以迫切需要對深度學習模型的中毒檢測方法，來檢測模型是否受到中毒攻擊。針對自動駕駛的大多數現有的測試技術都依賴于人工收集測試數據，收集不同的駕駛條件，隨著測試場景的增加，這將會變得不可接受地昂貴。同時現有的測試技術都是基于觸發器可見的中毒攻擊的檢測，對于觸發器不可見的特征嵌入攻擊檢測效果很差，在檢測過程中存在耗時長，效率低等問題。

發明內容

鑒于上述，本發明的目的是提供一種面向特征嵌入中毒攻擊的檢測方法、裝置和系統，提出特征模式與互信息來實現對模型中毒攻擊的檢測。

為實現上述發明目的，本發明提供以下技術方案：

第一方面，一種面向特征嵌入中毒攻擊的檢測方法，包括以下步驟：

(1)獲取數據集以及待檢測模型，構建與待檢測模型結構相同的良性模型，并利用數據優化良性模型的參數；

(2)將數據集中的測試樣本分別輸入至參數優化的良性模型和待檢測模型，獲得每個網絡層輸出的特征圖，并計算用于提取明顯特征位置的模板與每個特征圖之間的互信息，獲取測試樣本分別在良性模型和待檢測模型中每個網絡層的互信息；

(3)統計所有測試樣本分別在良性模型和待檢測模型中每個網絡層的互信息，針對某一網絡層，當超過個數閾值的測試樣本在良性模型中該網絡層的互信息與在待檢測深度學習模中該網絡層的互信息之差均大于差距閾值時，則認為待檢測模型被攻擊，且對應的網絡層為特征嵌入中毒攻擊層。