[發明專利]一種提高深度學習模型魯棒性的方法及裝置

在審

• 申請號: 201710591926.6
• 申請日: 2017-07-19
• 公開（公告）號: CN107463951A
• 公開（公告）日: 2017-12-12
• 發明（設計）人: 朱軍;龐天宇;杜超
• 申請（專利權）人: 清華大學
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/02
• 代理公司: 北京路浩知識產權代理有限公司11002
• 代理人: 王瑩,曹杰

1.一種提高深度學習模型魯棒性的方法，其特征在于，包括：

利用預設的反交叉熵訓練方法訓練深度神經網絡，獲得訓練好的深度神經網絡分類器；

將目標圖像輸入所述深度神經網絡分類器，利用預設的聯合分數閾值輸出方法，計算所述目標圖像的預測類別并判斷是否輸出所述預測類別。

2.根據權利要求1所述的方法，其特征在于，所述利用預設的反交叉熵訓練方法訓練深度神經網絡，獲得訓練好的深度神經網絡分類器，包括：

將樣本訓練集合輸入到深度神經網絡中，將反交叉熵作為網絡參數的目標函數，通過最小化平均反交叉熵對所述深度神經網絡進行訓練；

將訓練后的深度神經網絡中softmax輸出層的輸入取反，將取反后所述softmax輸出層的輸出作為訓練好的深度神經網絡分類器。

3.根據權利要求1所述的方法，其特征在于，所述將目標圖像輸入所述深度神經網絡分類器，利用預設的聯合分數閾值輸出方法，計算所述目標圖像的預測類別并判斷是否輸出所述預測類別，包括：

將目標圖像輸入所述深度神經網絡分類器，并計算所述深度神經網絡分類器在所述目標圖像上的預測類別和所述預測類別的聯合分數；

判斷所述聯合分數是否大于預設閾值；

若所述聯合分數大于預設閾值，則確定所述目標圖像為正常樣本并輸出返回所述預測類別。

4.根據權利要求3所述的方法，其特征在于，所述將目標圖像輸入所述深度神經網絡分類器，并計算所述深度神經網絡分類器在所述目標圖像上的預測類別和所述預測類別的聯合分數，包括：

將目標圖像輸入所述深度神經網絡分類器，獲取所述深度神經網絡分類器在所述目標圖像上的非最大元素熵、預測類別和所述預測類別的置信度；

根據所述非最大元素熵，獲取所述深度神經網絡分類器在所述目標圖像上的高斯核非最大元素熵；

根據所述高斯核非最大元素熵和該預測類別的置信度，獲取所述預測類別的聯合分數。

5.根據權利要求4所述的方法，其特征在于，在判斷所述聯合分數是否大于預設閾值之后，所述方法還包括：

若所述聯合分數小于等于預設閾值，則確定所述目標圖像為對抗樣本并拒絕返回所述預測類別。

6.一種提高深度學習模型魯棒性的裝置，其特征在于，包括：

訓練模塊，用于利用預設的反交叉熵訓練方法訓練深度神經網絡，獲得訓練好的深度神經網絡分類器；

判斷模塊，用于將目標圖像輸入所述深度神經網絡分類器，利用預設的聯合分數閾值輸出方法，計算所述目標圖像的預測類別并判斷是否輸出所述預測類別。

7.根據權利要求6所述的裝置，其特征在于，所述訓練模塊，具體用于

將樣本訓練集合輸入到深度神經網絡中，將反交叉熵作為網絡參數的目標函數，通過最小化平均反交叉熵對所述深度神經網絡進行訓練；

將訓練后的深度神經網絡中softmax輸出層的輸入取反，將取反后所述softmax輸出層的輸出作為訓練好的深度神經網絡分類器。

8.根據權利要求6所述的裝置，其特征在于，所述判斷模塊，包括：

計算單元，用于將目標圖像輸入所述深度神經網絡分類器，并計算所述深度神經網絡分類器在所述目標圖像上的預測類別和所述預測類別的聯合分數；

判斷單元，用于判斷所述聯合分數是否大于預設閾值；

輸出單元，用于若所述聯合分數大于預設閾值，則確定所述目標圖像為正常樣本并輸出返回所述預測類別。

9.一種電子設備，其特征在于，包括：處理器、存儲器、總線及存儲在存儲器上并可在處理器上運行的計算機程序；

其中，所述處理器，存儲器通過所述總線完成相互間的通信；

所述處理器執行所述計算機程序時實現如權利要求1-5中任一項所述的方法。

10.一種非暫態計算機可讀存儲介質，其特征在于，所述存儲介質上存儲有計算機程序，該計算機程序被處理器執行時實現如權利要求1-5中任一項所述的方法。