[發明專利]一種面向深度強化學習模型對抗攻擊的防御方法

有效

• 申請號: 201911184051.3
• 申請日: 2019-11-27
• 公開（公告）號: CN110968866B
• 公開（公告）日: 2021-12-07
• 發明（設計）人: 陳晉音;王雪柯;熊暉;鄭海斌
• 申請（專利權）人: 浙江工業大學
• 主分類號: G06F21/55
• 分類號: G06F21/55;G06N3/04;G06N3/08
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 曹兆霞

1.一種面向深度強化學習模型對抗攻擊的防御方法，其特征在于，所述防御方法包括以下步驟：

利用基于生成式對抗網絡構建的視覺預測模型對輸入的前一時刻環境狀態進行預測輸出預測當前環境狀態，并獲得預測當前環境狀態在深度強化學習策略下的下一幀預測環境狀態值；

獲取深度強化學習模型輸出的實際當前環境狀態，并獲得實際當前環境狀態在深度強化學習策略下添加擾動的環境狀態值；

利用基于生成式對抗網絡構建的判別模型對預測環境狀態值和添加擾動的環境狀態值進行判別，根據判別結果獲得深度強化學習模型是否被攻擊；

在深度強化學習模型被攻擊時，提取實際當前環境狀態，利用基于SqueezeNet的第一防御模型對實際當前環境狀態進行第一層防御，利用基于DenseNet的第二防御模型對第一層防御結果進行第二層防御，獲得防御后的實際當前環境狀態；

深度強化學習模型利用防御后的實際當前環境狀態進行學習預測輸出；

其中，所述視覺預測模型和所述判別模型通過訓練獲得，具體訓練過程包括：

利用訓練好DQN產生每一時刻的獎勵值、行為以及下一環境狀態，每個時刻的環境狀態、行為、獎勵值以及下一狀態組成的四元組作為一個正常樣本；對正常樣本中的環境狀態添加擾動后形成一個對抗樣本，在對抗訓練階段，對抗樣本作為實際環境狀態對所述判別模型和所述視覺預測模型進行訓練；其中，所述視覺預測模型包括遞歸編碼單元、轉換行為單元以及解碼單元，其中，所述遞歸編碼單元包括依次連接的至少2個卷積層、至少2個全連接層，用于對輸入的環境狀態進行特征提取，輸出環境狀態特征；

所述轉換行為單元包括LSTM和融合操作，用于提取輸入行為的隱含特征，并對行為的隱含特征和環境狀態特征進行融合輸出融合特征；使用LSTM用于遞歸層，在時間t處編碼的特征向量為：

其中，c_t∈Rⁿ是一個內存單元，它保留來自輸入的歷史的信息，CNN(x_t)作為LSTM的輸入，使LSTM能夠從空間特征中獲取時間相關性信息；所述解碼單元包括至少2個全連接層和至少2個反卷積層，用于對融合特征進行解碼，輸出下一時刻的預測環境狀態；

所述判別模型包括神經網絡，其用于對所述視覺預測模型輸出的預測環境狀態與實際環境狀態進行特征提取，基于提取的特征計算預測環境狀態與實際環境狀態的差距大小以判別實際環境狀態是否含有擾動；

利用訓練樣本對由所述視覺預測模型和所述判別模型組成的生成式對抗網絡進行對抗訓練，獲得訓練好的視覺預測模型和判別模型；

所述利用基于生成式對抗網絡構建的判別模型對預測環境狀態值和添加擾動的環境狀態值進行判別，根據判別結果獲得深度強化學習模型是否被攻擊，包括：

判別模型計算預測環境狀態值和添加擾動環境狀態值的差距值，根據差距值與閾值的大小關系確定深度強化學習模型是否被攻擊，計算公式為：

其中，為DQN的策略網絡，為預測環境狀態，為受攻擊狀態。

2.如權利要求1所述的面向深度強化學習模型對抗攻擊的防御方法，其特征在于，所述第一防御模型包括兩個卷積層、三個最大池化層、一個平均池化層以及八個Fire Module。