[發明專利]使用與激活路徑差分有關的信息對神經網絡的對抗訓練

在審

• 申請號: 202010107427.7
• 申請日: 2020-02-21
• 公開（公告）號: CN111723927A
• 公開（公告）日: 2020-09-29
• 發明（設計）人: M.庫納維斯;A.帕帕迪米特里奧;A.S.保羅;M.舍勒;陳理;C.科內留斯;B.愛德華茲
• 申請（專利權）人: 英特爾公司
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 中國專利代理(香港)有限公司 72001
• 代理人: 張健;劉春元

本發明涉及使用與激活路徑差分有關的信息對神經網絡的對抗訓練。在一個示例中，一種裝置包括存儲器和處理器，所述處理器要：從第一深度神經網絡（DNN）模型創建第一多個DNN模型；生成被所述第一多個深度神經網絡（DNN）模型錯誤分類的對抗示例的第一集合；確定所述第一多個對抗示例之間的激活路徑差分的第一集合；從激活路徑差分的所述第一集合生成至少一個合成對抗示例，所述至少一個合成對抗示例并入有在對抗示例的所述第一集合中的至少兩個對抗示例之間共享的至少一個交集關鍵路徑；以及使用所述至少一個合成對抗示例以生成用于DNN模型的后續訓練迭代的輸入的集合。可以描述其他示例。

背景技術

本文描述的主題總體上涉及機器學習的領域，并且更具體地涉及在神經網絡內使用與激活路徑差分有關的信息對神經網絡的對抗訓練。

機器學習涉及開發可從輸入數據中學習且基于輸入數據進行預測的模型和算法。機器學習算法依賴于深度神經網絡（DNN），深度神經網絡（DNN）可以利用人工神經元的許多層的級聯，其可以被實現為非線性處理單元，其中每一個接續層使用前一層的輸出作為輸入。

神經網絡的一些示例易受潛意識信號在輸入數據中的存在的攻擊，該存在可能通過影響神經網絡認知功能而造成嚴重損害。這種信號可以以各種方式制作，這些方式諸如例如是對輸入數據（例如，圖像、話音和自然語言數據）的低強度擾動，并且，這種信號可能經過而未被人類察覺。這種信號可能使神經網絡對其輸入作出錯誤分類和/或從環境中學習錯誤事情。受這種信號擾動的輸入常被稱作對抗示例。對抗示例可以用于控制對手方向處的模型預測。

相應地，用于保護神經網絡免于對抗示例的攻擊的技術可以找到效用。

附圖說明

參考附圖來描述具體實施方式。

圖1是根據一些示例的可以用于使用與激活路徑差分有關的信息實現對神經網絡的對抗訓練的操作環境的示意性圖示。

圖2A-2B是根據一些示例的可以用于使用與激活路徑差分有關的信息實現對神經網絡的對抗訓練的操作環境的示意性圖示。

圖3A-3B是根據一些示例的可以用于使用與激活路徑差分有關的信息實現對神經網絡的對抗訓練的操作環境的示意性圖示。

圖4是根據一些示例的可以用于使用與激活路徑差分有關的信息實現對神經網絡的對抗訓練的操作環境的示意性圖示。

圖5是根據一些示例的用于使用與激活路徑差分有關的信息實現對神經網絡的對抗訓練的技術的高級概覽的示意性圖示。

圖6是根據一些示例的用于使用與激活路徑差分有關的信息實現對神經網絡的對抗訓練的技術的高級概覽的示意性圖示。

圖7-10是圖示了根據一些示例的用于使用與激活路徑差分有關的信息實現對神經網絡的對抗訓練的方法中的操作的流程圖。

圖11-12是根據一些示例的用于使用與激活路徑差分有關的信息實現對神經網絡的對抗訓練的方法中利用的組件的示意性圖示。

圖13是根據一些示例的用于確定神經網絡中的激活路徑的偽代碼的圖示，該偽代碼可以被用在用于使用與激活路徑差分有關的信息實現對神經網絡的對抗訓練的方法中。

圖14是根據一些示例的使用與激活路徑差分有關的信息對神經網絡的訓練的示例應用的圖示。

圖15是根據一些示例的可被適配成使用與激活路徑差分有關的信息實現對神經網絡的對抗訓練的計算架構的示意性圖示。

圖16圖示了根據一個實施例的機器學習軟件棧。

圖17A是根據一些示例的神經網絡層的示意性圖示。

圖17B是根據一些示例的與神經網絡層相關聯的計算級的示意性圖示。

具體實施方式