[發明專利]使用與激活路徑差分有關的信息對神經網絡的對抗訓練在審
| 申請號： | 202010107427.7 | 申請日： | 2020-02-21 |
| 公開（公告）號： | CN111723927A | 公開（公告）日： | 2020-09-29 |
| 發明（設計）人： | M.庫納維斯;A.帕帕迪米特里奧;A.S.保羅;M.舍勒;陳理;C.科內留斯;B.愛德華茲 | 申請（專利權）人： | 英特爾公司 |
| 主分類號： | G06N3/08 | 分類號： | G06N3/08 |
| 代理公司： | 中國專利代理(香港)有限公司 72001 | 代理人： | 張健;劉春元 |
| 地址： | 美國加利*** | 國省代碼： | 暫無信息 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 使用 激活 路徑 有關 信息 神經網絡 對抗 訓練 | ||
1.一種裝置，包括：
存儲器；以及
處理器，所述處理器要：
從第一深度神經網絡（DNN）模型創建第一多個DNN模型；
生成被所述第一多個深度神經網絡（DNN）模型錯誤分類的對抗示例的第一集合；
確定所述第一多個對抗示例之間的激活路徑差分的第一集合；
從激活路徑差分的所述第一集合生成至少一個合成對抗示例，所述至少一個合成對抗示例并入有在對抗示例的所述第一集合中的至少兩個對抗示例之間共享的至少一個交集關鍵路徑；以及
使用所述至少一個合成對抗示例以生成用于DNN模型的后續訓練迭代的輸入的集合。
2.如權利要求1所述的裝置，所述處理器要：
將偽隨機噪聲引入到所述第一DNN模型的一個或多個權重參數中，以從所述第一DNN模型生成衍生DNN模型。
3.如權利要求1所述的裝置，所述處理器要：
將對抗示例的所述第一集合作為輸入應用于所述第一多個DNN模型。
4.如權利要求4所述的裝置，所述處理器要：
確定經過所述第一多個DNN模型的多個激活路徑中的第一多個交集路徑。
5.如權利要求5所述的裝置，所述處理器要：
從對抗示例的所述第一集合生成至少一個整體對抗示例；
確定經過所述第一多個DNN模型和所述至少一個對抗示例的所述多個激活路徑中的第二多個交集路徑；
確定所述第一多個對抗示例與所述整體對抗示例之間的激活路徑差分的第二集合；
從激活路徑差分的所述第二集合中選擇通過所述第二多個交集路徑加強累積差分信號度量的激活路徑差分子集；以及
將對抗示例的子集作為輸入應用于所述第一多個DNN模型。
6.如權利要求1所述的裝置，所述處理器要：
選擇至少一個所生成的合成對抗示例以用作梯度下降對抗攻擊中的起始點。
7.如權利要求6所述的裝置，所述處理器要：
采用正則化項，所述正則化項將累積差分信號度量包括在所述梯度下降對抗攻擊中，以生成要在后續對抗攻擊中使用的對抗示例的第二集合。
8.一種計算機實現方法，包括：
從第一深度神經網絡（DNN）模型創建第一多個DNN模型；
生成被所述第一多個深度神經網絡（DNN）模型錯誤分類的對抗示例的第一集合；
確定所述第一多個對抗示例之間的激活路徑差分的第一集合；
從激活路徑差分的所述第一集合生成至少一個合成對抗示例，所述至少一個合成對抗示例并入有在對抗示例的所述第一集合中的至少兩個對抗示例之間共享的至少一個交集關鍵路徑；以及
使用所述至少一個合成對抗示例以生成用于DNN模型的后續訓練迭代的輸入的集合。
9.如權利要求8所述的計算機實現方法，進一步包括：
將偽隨機噪聲引入到所述第一DNN模型的一個或多個權重參數中，以從所述第一DNN模型生成衍生DNN模型。
10.如權利要求8所述的計算機實現方法，進一步包括：
將對抗示例的所述第一集合作為輸入應用于所述第一多個DNN模型。
11.如權利要求10所述的計算機實現方法，進一步包括：
確定經過所述第一多個DNN模型的多個激活路徑中的第一多個交集路徑。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于英特爾公司，未經英特爾公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202010107427.7/1.html，轉載請聲明來源鉆瓜專利網。
- 上一篇：發光裝置
- 下一篇：用于氣體渦輪引擎的聲襯面板和安全殼
