[發明專利]一種循環神經網絡RNN的魯棒性驗證方法

在審

• 申請號: 202310172110.5
• 申請日: 2023-02-27
• 公開（公告）號: CN116484908A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 雷麗暉;魯暢;楊凱
• 申請（專利權）人: 陜西師范大學
• 主分類號: G06N3/044
• 分類號: G06N3/044;G06N3/08
• 代理公司: 北京前審知識產權代理有限公司 11760
• 代理人: 陳旭

1.一種循環神經網絡RNN的魯棒性驗證方法，包括如下步驟：

S100：將RNN約減為FFNN；

S200：獲得與FFNN的網絡輸入對應的所有可能輸出結果，對FFNN的網絡輸入可能歸類為的類別貼上不同標簽，并對標簽進行排序，以獲得標簽排序結果；

S300：根據標簽排序結果對RNN循環神經網絡進行魯棒性驗證。

2.根據權利要求1所述的方法，其中，優選的，步驟S100包括如下步驟：

S101：將位于RNN神經網絡輸入層的記憶神經元替換為普通神經元，并增加一個神經元作為時間戳；

S102：隨機生成初始查詢序列初始化線性模板，以獲取初始不變量；

S103：對初始不變量進行驗證以獲得最優不變量，即完成RNN約減。

3.根據權利要求2所述的方法，其中，步驟S103中，所述對初始不變量驗證包括如下步驟：

S1031：構建查詢序列即將記憶神經元的初始不變量約束I≤α_u(t-1)加入初始查詢序列其中，α_u為初始不變量參數，P’為對網絡輸入值的約束，Q’為對網絡輸出值的約束；

S1032：驗證查詢序列中的約束P′及Q′是否同時成立，若同時成立，表示初始不變量驗證未通過，則減小初始不變量參數α_u的值并再次驗證，直至初始不變量驗證通過；若不能同時成立，表示初始不變量驗證通過，則執行步驟S1033；

S1033：構建并驗證查詢序列其中，若約束和同時成立，則表示驗證查詢未通過，需增大初始不變量參數α_u的值以增強初始不變量，調整后再次驗證直至查詢通過；若約束和不同時成立，則驗證查詢通過，則由調整后的初始不變量參數α_u構成的不變量即為最優不變量。

4.根據權利要求1所述的方法，其中，步驟S200包括如下步驟：

S201：獲取FFNN網絡的輸入區間，并輸入FFNN中；

S202：計算FFNN隱藏層神經元的區間間隔；

S203：計算FFNN輸出層神經元的區間間隔，以該區間間隔作為每個標簽的概率區間；

S204：基于每個標簽的概率區間對標簽進行排序，以獲得標簽排序結果。

5.根據權利要求1所述的方法，其中，步驟S300包括如下步驟：

S301：將標簽排序結果及用于對數據樣本添加干擾的閾值和數據樣本輸入到MILP驗證器中；

S302：用不同符號變量表示FFNN輸入層的神經元，并根據神經元之間的權重與偏置量表示中間層的神經元的值；

S303：MILP編碼器生成對應每個不穩定神經元的約束，約束為用符號變量及一個二元變量表示出不穩定神經元的上下界；

S304：MILP編碼器用符號變量表示出每個標簽的值；

S305：構建驗證約束，約束為被驗證標簽的值大于正確標簽的值；

S306：MILP求解器尋找能滿足驗證約束的解，若找到解，則表示有樣本被網絡分類到被驗證標簽中，即找到了對抗樣本，網絡魯棒性驗證不通過；若未找到解，則按照標簽排序順序驗證下一個標簽，以此類推，若所有驗證標簽都未返回對抗樣本，則證明網絡是魯棒的。

6.一種計算機存儲介質，其中，所述計算機存儲介質存儲有計算機可執行指令，所述計算機可執行指令用于執行權利要求1至5任一所述的方法。

7.一種電子設備，包括：

存儲器，處理器及存儲在存儲器上并可在處理器上運行的計算機程序，其中，

所述處理器執行所述程序時實現權利要求1至5任一所述的方法。