[發明專利]基于可解釋模型的循環神經網絡后門攻擊檢測方法

有效

• 申請號: 202010936181.4
• 申請日: 2020-09-08
• 公開（公告）號: CN112132262B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 范銘;司梓良;劉烴;魏聞英;魏佳利
• 申請（專利權）人: 西安交通大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 王艾華

本發明公開一種基于可解釋模型的循環神經網絡后門攻擊檢測方法，分三步對RNN模型進行抽象并對文本進行后門檢測：首先使用機器學習算法對RNN隱藏層向量進行聚類，構建不確定有窮自動機；其次根據構建的不確定有窮自動機，獲取文本的狀態轉移路徑，從而計算文本中每個單詞的權重；最后基于變異測試的思想，對文本中的后門進行檢測。通過以上方法，可以準確地對RNN在文本上的決策做出解釋，并準確檢測出后門文本。

技術領域

本發明涉及機器學習的可解釋性技術領域，特別涉及循環神經網絡(RecurrentNeural Network,RNN)的可解釋性以及針對文本的后門檢測方法。

背景技術

近年來，隨著人工智能相關技術的飛速發展，深度神經網絡在許多領域得到了廣泛應用。然而，其安全性也引起了社會各界的擔憂，特別是關于對抗樣本與后門攻擊技術的研究指出深度神經網絡容易受到攻擊，這也限制了深度神經網絡在自動駕駛、國防等安全相關領域的進一步應用。

為了解釋深度神經網絡的決策并發現網絡中的問題，國內外的研究人員針對卷積神經網絡(Convolutional Neural Network,CNN)的可解釋性進行了大量的研究，提出了CAM、Grad-CAM等多種解釋方法，并且取得了較好的效果。然而，現有的研究主要針對CNN，針對RNN可解釋性的研究相對較少，更沒有針對RNN的后門檢測方法。但不可忽視的是，RNN在自然語言處理、語音識別等任務中扮演著舉足輕重的角色。

總的來說，現有RNN的研究存在以下問題：

1)沒有針對RNN的解釋方法；

2)RNN因其神經元獨特的性質，通用的解釋方法難以取得好的效果；

3)目前沒有針對RNN的后門檢測方法。

發明內容

本發明的內容在于提出一種基于可解釋模型的循環神經網絡后門攻擊檢測方法，以解決上述技術問題。本方法分三步對RNN模型進行抽象并對文本進行后門檢測：首先使用機器學習算法對RNN隱藏層向量進行聚類，構建不確定有窮自動機；其次根據構建的不確定有窮自動機，獲取文本的狀態轉移路徑，從而計算文本中每個單詞的權重；最后基于變異測試的思想，對文本中的后門進行檢測。通過以上方法，可以準確地對RNN在文本上的決策做出解釋，并準確檢測出后門文本。

為了實現上述目的，本發明采用以下技術方案：

基于可解釋模型的循環神經網絡后門攻擊檢測方法，包括如下步驟：

1)、基于聚類算法的RNN模型抽象：

步驟S101：對于文本數據集D和待抽象RNN模型M，將D中的每一條文本輸入到M中，提取M中每一時間步的隱藏層向量與輸出層向量；對于文本數據集D，生成所有文本的隱藏層向量集H和輸出層向量集O；

步驟S102：根據輸出層向量集O將隱藏層向量集H劃分為一定數目的子集，對每個子集H_i分別使用機器學習算法，并得到H_i的一個劃分S_i；

步驟S103：將文本數據集D中的每一條文本輸入到待抽象模型M中，根據M中每一時間步的隱藏層向量與輸出層向量，獲得劃分S_i中分塊之間以及劃分S_i與S_j的分塊之間的連接關系R；

2)、基于RNN抽象模型的解釋結果生成：

步驟S104：對于文本數據集D中的任一條文本T，根據T的每一單詞的隱藏層向量計算其與各分塊之間的相似關系，結合分塊之間的連接關系R，確定文本T在分塊之間的轉移關系；

步驟S105：根據文本T中每一個單詞在分塊之間的轉移關系，確定每一個單詞的轉移權重I；