[發明專利]基于關鍵路徑的神經網絡訓練方法和裝置

在審

• 申請號: 202010889881.2
• 申請日: 2020-08-28
• 公開（公告）號: CN112183717A
• 公開（公告）日: 2021-01-05
• 發明（設計）人: 劉艾杉;劉祥龍;李恬霖
• 申請（專利權）人: 北京航空航天大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08
• 代理公司: 北京汲智翼成知識產權代理事務所(普通合伙) 11381
• 代理人: 陳曦;陳琳

1.一種基于關鍵路徑的神經網絡訓練方法，其特征在于包括如下步驟：

針對每個普通樣本，獲取神經網絡的樣本級別關鍵路徑；

根據樣本級別關鍵路徑，按層次聚合得到神經網絡的模型級別關鍵路徑；

針對神經網絡關鍵攻擊路徑，對神經網絡進行訓練。

2.如權利要求1所述的基于關鍵路徑的神經網絡訓練方法，其特征在于，所述針對神經網絡關鍵攻擊路徑，對神經網絡進行訓練，具體包括：

設置訓練集，所述訓練集中每個訓練樣本由原始樣本和對抗樣本構成；

構建對原始樣本和對抗樣本的梯度進行懲罰的第一懲罰損失函數；

或者，構建對神經網絡關鍵攻擊路徑的各關鍵攻擊單元權重進行懲罰的第二懲罰損失函數；

將各訓練樣本輸入至神經網絡，利用第一懲罰損失函數或第二懲罰損失函數，對神經網絡的每一層進行訓練。

3.如權利要求2所述的基于關鍵路徑的神經網絡訓練方法，其特征在于，所述第一懲罰損失函數表達式為：

公式(1)中，x表示普通樣本，x’表示對抗樣本，y表示訓練樣本的分類標簽，θ表示神經網絡的模型參數，表示對抗訓練損失函數，λ為第一懲罰損失函數的系數，表示神經網絡關鍵攻擊路徑中各關鍵攻擊單元的梯度和，其中：

在輸入為普通樣本條件下的各關鍵攻擊單元的梯度和的表達式為：

公式(2)中，F表示神經網絡的各層，表示神經網絡關鍵攻擊路徑中第l層的第m個關鍵攻擊單元，Ω_l表示神經網絡關鍵攻擊路徑中第l層的各關鍵攻擊單元，表示原始損失函數對第l層的第m個關鍵攻擊單元的梯度，表達式為：

公式(3)中，表示神經網絡的原始損失函數，表示第l層的第m個關鍵攻擊單元的輸出。

4.如權利要求2所述的基于關鍵路徑的神經網絡訓練方法，其特征在于，所述第二懲罰損失函數表達式為：

公式(4)中，x表示普通樣本，x’表示對抗樣本，y表示訓練樣本的分類標簽，θ表示神經網絡的模型參數，表示對抗訓練損失函數，λ為第二懲罰損失函數的系數，表示引入的新懲罰項，表達式為：

公式(5)中，F表示神經網絡的各層，表示神經網絡關鍵攻擊路徑中第l層的第m個關鍵攻擊單元，Ω_l表示神經網絡關鍵攻擊路徑中第l層的各關鍵攻擊單元，表示神經網絡關鍵攻擊路徑中第l-1層的第n個關鍵攻擊單元，Ω_l-1表示神經網絡關鍵攻擊路徑中第l-1層的各關鍵攻擊單元，表示神經網絡關鍵攻擊路徑中第l層第m個關鍵攻擊單元的第n個元素的權重。

5.如權利要求1所述的基于關鍵路徑的神經網絡訓練方法，其特征在于，所述針對每個普通樣本，獲取神經網絡的樣本級別關鍵路徑，具體包括：

將各普通數據樣本輸入至神經網絡，待神經網絡各層輸出后：

根據神經網絡的損失函數，從神經網絡最后一層的各神經元中找到最后一層的關鍵攻擊單元；

基于神經網絡前一層中各神經元對后一層的關鍵攻擊單元的影響力，得到前一層的關鍵攻擊單元；

直至得到第一層的關鍵攻擊單元，從而得到神經網絡的樣本級別關鍵路徑。

6.如權利要求5所述的基于關鍵路徑的神經網絡訓練方法，其特征在于，所述根據神經網絡的損失函數，從神經網絡最后一層的各神經元中找到最后一層的關鍵攻擊單元，具體包括：

求出損失函數對最后一層的各神經元的梯度；

選取前k個符合預定標準梯度的神經元作為最后一層的關鍵攻擊單元；所述最后一層的各神經元的梯度的表達式為：

公式(6)中，表示神經網絡的損失函數，表示神經網絡最后一層L的第m個神經元的輸出，表示損失函數對神經元m的梯度；

所述最后一層的關鍵攻擊單元的表達式為：

公式(7)中，g_L表示神經網絡最后一層L上所有神經元的梯度，F_L表示神經網絡的最后一層，top-k(·)表示根據預定標準從集合中挑選k個元素。