[發明專利]一種基于支持向量機的深度學習模型魯棒邊界評估方法、裝置和應用

在審

• 申請號: 202110272000.7
• 申請日: 2021-03-12
• 公開（公告）號: CN112884065A
• 公開（公告）日: 2021-06-01
• 發明（設計）人: 陳晉音;陳若曦;鄭海斌
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04;G06N3/08;G06N20/10
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

本發明公開了一種基于支持向量機的深度學習模型魯棒邊界評估方法、裝置和應用，包括為用于分類任務的深度學習模型的每個分類類別分配一個支持向量機；將樣本數據分別輸入至深度學習模型和每個支持向量機，得到樣本數據在深度學習模型和每個支持向量機的特征空間分布；針對每個支持向量機，以樣本數據在支持向量機的特征空間分布與在深度學習模型的特征空間分布的散度指標作為損失函數優化支持向量機的參數；優化結束后，每個支持向量機的決策邊界即為深度學習模型對與支持向量機對應的分類類別的決策邊界，依據該決策邊界實現對深度學習模型魯棒邊界評估，進而實現訓練階段深度學習模型的安全性評估與提升。

技術領域

本發明屬于深度學習攻防領域，具體涉及一種支持向量機(SVM)的深度學習模型魯棒邊界評估方法、裝置和應用。

背景技術

人工智能技術中的深度學習技術憑借在計算機視覺、自然語言處理等領域的良好表現而廣泛應用于人機交互、無人駕駛等任務。在其逐步替代人類進行自主決策的過程中，由于深度學習自身存在黑盒模型解釋性差、容易受到對抗攻擊等問題，已經給網絡安全和信息安全帶來風險，會給社會安全帶來意想不到的危害。

深度學習模型缺乏可解釋性，對研究人員來說是個黑盒，難以通過數學推導的方式進行建模。為了實現對深度學習模型的可解釋性，Robnik-Sikonja等(詳見文獻Robnik-M,Bohanec M.Perturbation-based explanations of prediction models[M]//Human and machine learning.Springer,Cham,2018:159-175.)通過對輸入樣本單個屬性值的預測進行分解的方式來觀察屬性值對該樣本預測結果的影響。Kim等(詳見文獻Kim B,Wattenberg M,Gilmer J,et al.Interpretability beyond feature attribution:Quantitative testing with concept activation vectors(tcav)[C]//Internationalconference on machine learning.PMLR,2018:2668-2677.)提出概念激活向量TCAV，并基于此設計了測試方法來量化模型預測對學習獲得的高級概念的敏感度，從而完成對深度學習模型的解釋。

針對序列數據中的依賴關系解釋問題，Guo等提出了LEMNA，利用可解釋模型來近似循環神經網絡的局部決策邊界。Hinton等提出了一種知識蒸餾方法，通過訓練單一的相對較小的網絡來模擬原始復雜網絡或協同網絡模型的預測概率。Frosst等擴展了Hinton的知識蒸餾方法，提出利用決策樹來模擬復雜深度神經網絡模型的決策，提升了蒸餾知識的可解釋性。

然而，蒸餾模型只是對原始復雜模型的一種全局近似，所做出的解釋不一定能反映待解釋模型的真實行為。現有的深度學習模型攻防研究已經提出了大量對抗攻擊與防御方法，但目前尚無法直接從模型的內部運行過程來分析攻防的有效性。

與此同時，已有一系列深度學習模型的可解釋技術幫助理解深度學習的黑盒模型，其研究目的在于解釋模型自動學習到的樣本關鍵特征與分類邊界等，但他們并不針對模型的對抗攻防做解釋。

發明內容

鑒于上述，本發明的目的是提供一種支持向量機的深度學習模型魯棒邊界評估方法、裝置和應用。通過利用支持向量機對深度學習模型的決策邊界進行逼近，來研究深度學習模型的決策邊界并分析分類效果，實現訓練階段深度學習模型的安全性評估與提升。

為實現上述發明目的，本發明提供以下技術方案：

第一方面，一種支持向量機的深度學習模型魯棒邊界評估方法，包括以下步驟：

為用于分類任務的深度學習模型的每個分類類別分配一個支持向量機；

將樣本數據分別輸入至深度學習模型和每個支持向量機，得到樣本數據在深度學習模型和每個支持向量機的特征空間分布；