[發明專利]一種循環神經網絡RNN的魯棒性驗證方法

在審

• 申請號: 202310172110.5
• 申請日: 2023-02-27
• 公開（公告）號: CN116484908A
• 公開（公告）日: 2023-07-25
• 發明（設計）人: 雷麗暉;魯暢;楊凱
• 申請（專利權）人: 陜西師范大學
• 主分類號: G06N3/044
• 分類號: G06N3/044;G06N3/08
• 代理公司: 北京前審知識產權代理有限公司 11760
• 代理人: 陳旭

本公開揭示了一種循環神經網絡RNN的魯棒性驗證方法，包括如下步驟：S100：將RNN約減為FFNN；S200：獲得與FFNN的網絡輸入對應的所有可能輸出結果，對FFNN的網絡輸入可能歸類為的類別貼上不同標簽，并對標簽進行排序，以獲得標簽排序結果；S300：根據標簽排序結果對RNN循環神經網絡進行魯棒性驗證。

技術領域

本公開屬于神經網絡技術領域，具體涉及一種循環神經網絡RNN的魯棒性驗證方法。

背景技術

目前，關于神經網絡的魯棒性研究主要分為兩類：(1)基于攻擊的方法——研究人員試圖設計強對抗性攻擊算法來攻擊深度神經網絡，魯棒性是通過成功的對抗性樣本與原始樣本之間的失真來衡量的。(2)基于驗證的方法，旨在找到對攻擊方法不可知的神經網絡的最小失真或其下界?，F有的基于驗證的方法主要是為前饋網絡設計的，例如多層感知器。循環神經網絡(RNN)已廣泛應用于語音識別和自然語言處理，但其魯棒性驗證尚未得到深入系統研究。

驗證深度神經網絡魯棒性的本質是在數學上證明DNN在允許的擾動范圍內不存在對抗樣本，這些擾動通常由有效輸入和范數距離閾值提供。評估驗證方法的三個主要標準是：健全性、完整性和可擴展性。健全性表示如果DNN通過驗證，則沒有對抗性示例；完整性表示每個健壯的DNN都應該通過驗證；可擴展性表示驗證方法可以處理的DNN的規模。而具有整流線性單元(ReLU)激活函數的DNN的驗證問題是NP完全問題。這意味著健全和完整的驗證方法通常具有有限的可擴展性?，F有的形式驗證方法要么具有有限的可擴展性并且只能處理小型網絡，要么依賴于簡化驗證問題以獲得更好的可擴展性的抽象技術，但它們由于引入抽象而失去完整性屬性后可能會產生誤報。

此外，循環神經網絡是一種特殊的深度神經網絡，具有將來自先前評估的信息存儲在稱為記憶單元的結構中的能力。內存單元的存在使得RNN特別適合于涉及上下文的任務，例如機器翻譯、健康應用、說話人識別以及網絡輸出可能受到先前處理的輸入影響的許多其他任務。然而，RNN可能會對某些輸入做出非常不理想的反應。例如，已經觀察到許多RNN容易受到敵對輸入的攻擊，即在輸入中加入微小的擾動，就會使網絡做出錯誤的分類。這些例子強調了正式驗證RNN魯棒性的需要，通過證明神經網絡可以總是對有效輸入做出相同的預測，即使輸入由于來自環境的不確定性或敵對攻擊而在允許的范圍內輕微擾動，以便它們可以可靠地部署在安全關鍵設置中。然而，雖然DNN核查近年來受到了極大的關注，幾乎所有這些努力都集中在FFNN上，對RNN的驗證工作做得很少。

RNN驗證的唯一現有通用方法是展開，RNN被復制并連接到自身，從而創建一個等效的前饋網絡，同時對k個輸入序列進行操作，而不是一次一個。然后可以使用現有的驗證技術來驗證FFNN。這種方法的主要限制是展開會使網絡規模增加k倍(在實際應用中，可能高達數百倍)。由于已知FFNN驗證的復雜度與網絡規模成指數關系，因此這種降低會導致FFNN難以驗證，因此主要適用于輸入序列較短的小型RNN。

現有的驗證方法包括基于不變量的RNN驗證，該方法通過驗證查詢序列來驗證RNN，查詢序列為P為輸入謂詞，Q是輸出屬性，N是RNN，T_max是時間區域的界。如，表示網絡的輸入x的值在區間[-3，3]之間，表示網絡的輸出值不小于16，T_max＝5代表時間限制為5，網絡會有5次輸入。該方法構建一個合適的不變量，該不變量是對記憶神經元的值的約束，通過將不變量作為輸入屬性的約束之一添加進查詢序列，使得該驗證問題可以用現有的FFNN驗證工具進行驗證。但是該方法通過驗證序列來得到網絡的魯棒性不夠準確也不夠高效，因為該方法工作重點在于對記憶神經元的值進行約束，但是對于其他需要經過ReLU函數進行激活的普通神經元的輸出值沒有有效的約束，因此在驗證網絡魯棒性時，得到的網絡輸出值的上下界不夠緊致，最后的結果也就不夠準確。