[發明專利]基于可解釋模型的循環神經網絡后門攻擊檢測方法

有效

• 申請號: 202010936181.4
• 申請日: 2020-09-08
• 公開（公告）號: CN112132262B
• 公開（公告）日: 2022-05-20
• 發明（設計）人: 范銘;司梓良;劉烴;魏聞英;魏佳利
• 申請（專利權）人: 西安交通大學
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06K9/62
• 代理公司: 西安通大專利代理有限責任公司 61200
• 代理人: 王艾華

1.基于可解釋模型的循環神經網絡后門攻擊檢測方法，其特征在于，包括如下步驟：

1)、基于聚類算法的RNN模型抽象：

步驟S101：對于文本數據集D和待抽象RNN模型M，將D中的每一條文本輸入到M中，提取M中每一時間步的隱藏層向量與輸出層向量；對于文本數據集D，生成所有文本的隱藏層向量集H和輸出層向量集O；

步驟S102：根據輸出層向量集O將隱藏層向量集H劃分為一定數目的子集，對每個子集H_i分別使用機器學習算法進行劃分，并得到H_i的一個劃分S_i；

步驟S103：將文本數據集D中的每一條文本輸入到待抽象模型M中，根據M中每一時間步的隱藏層向量與輸出層向量，獲得劃分S_i中分塊之間以及劃分S_i與S_j的分塊之間的連接關系R；把所有劃分S_i的分塊視為狀態，構建不確定有窮自動機，對于一條文本T，具體步驟如下：

步驟S401：設置當前狀態為State₀；

步驟S402：按順序獲取其單詞對應的隱藏層向量h與輸出層向量o；

步驟S403：求解arg max(o)，確定h所屬的劃分；若arg max(o)＝i，則h屬于S_i；

步驟S404：計算h與S_i中各分塊中心的相似度，選取相似度最高的分塊作為下一狀態；若相似度最高的分塊為那么下一狀態為計算h與各分塊中心的歐氏距離，選取歐氏距離最小的分塊作為下一狀態；

步驟S405：在當前狀態和下一狀態間添加一條邊；

步驟S406：設置當前狀態為下一狀態；若當前單詞是T中最后一個單詞，則退出；否則，返回步驟S402；

2)、基于RNN抽象模型的解釋結果生成：

步驟S104：對于文本數據集D中的任一條文本T，根據T的每一單詞的隱藏層向量計算其與各分塊之間的相似關系，結合分塊之間的連接關系R，確定文本T在分塊之間的轉移關系；利用構建好的不確定有窮自動機，確定文本T在自動機上的狀態轉移路徑，對于一條文本T，具體步驟如下：

步驟S501：設置當前狀態為State₀；

步驟S502：按順序獲取其單詞對應的隱藏層向量h；

步驟S503：計算h與當前狀態的相鄰狀態中心的相似度，選擇相似度最高的狀態作為下一狀態；計算h與各相鄰狀態中心的歐氏距離同時選取歐氏距離最小的狀態作為下一狀態；

步驟S504：記錄當前狀態，并設置當前狀態為下一狀態；

步驟S505：若當前單詞是T中最后一個單詞，則退出；否則，返回步驟S502；

步驟S105：根據文本T中每一個單詞在分塊之間的轉移關系，確定每一個單詞的轉移權重I；

步驟S106：根據文本T相鄰單詞輸出層向量的變化，計算每一單詞的權重W₁；將文本T中的單詞依次刪除，并將其輸入到模型M中，根據每一單詞刪除后輸出層向量的變化，計算每一單詞的權重W₂；

步驟S107：結合每個單詞的轉移權重I、權重W₁和W₂，得到文本T每個單詞的解釋結果；

3)、基于變異測試的后門檢測：

步驟S108：對于文本數據集D中的每一條文本，根據其解釋結果對單詞的重要程度進行排序，選取前n個單詞構成集合C；

步驟S109：將集合C中的單詞加入到已知無后門數據集D_n并將D_n輸入到模型M中，統計標簽改變的概率P₁；將集合C中的單詞分別替換為與其有最高相似度的單詞，并記為C'，將C'加入到D_n并將D_n輸入到模型M中，統計標簽改變的概率P₂；結合兩個概率P₁和P₂得到概率P；

步驟S110：設置閾值TH，若概率P大于TH，則判定集合C中的單詞為后門，將包含集合C中所有單詞的文本從文本數據集D中刪除，形成修正文本數據集D'；輸出無后門的修正文本數據集D'。