[發(fā)明專利]基于時序神經(jīng)通路的深度強化學(xué)習(xí)模型中毒檢測方法及其裝置

在審

• 申請?zhí)枺?/td>: 202110648356.6
• 申請日: 2021-06-10
• 公開（公告）號: CN113313236A
• 公開（公告）日: 2021-08-27
• 發(fā)明（設(shè)計）人: 陳晉音;王雪柯;章燕;胡書隆
• 申請（專利權(quán)）人: 浙江工業(yè)大學(xué)
• 主分類號: G06N3/04
• 分類號: G06N3/04;G06N3/08;G06F21/56
• 代理公司: 杭州天勤知識產(chǎn)權(quán)代理有限公司 33224
• 代理人: 曹兆霞

1.一種基于時序神經(jīng)通路的深度強化學(xué)習(xí)模型中毒檢測方法，其特征在于，包括以下步驟：

獲取深度學(xué)習(xí)樣本數(shù)據(jù)；

定義深度強化學(xué)習(xí)的時序神經(jīng)通路，并依據(jù)時序神經(jīng)通過定義構(gòu)建包含卷積層和池化層的第一部分、包含全連接層的第二部分的深度強化學(xué)習(xí)模型的時序神經(jīng)通路，具體過程為：通過多次查找得到第一部分的Top-c神經(jīng)元，該Top-c神經(jīng)元與第二部分的所有神經(jīng)元投入神經(jīng)元池，依據(jù)神經(jīng)元池構(gòu)建深度強化學(xué)習(xí)的時序神經(jīng)通路；

將樣本數(shù)據(jù)輸入至深度強化學(xué)習(xí)模型中，利用構(gòu)建的時序神經(jīng)通路的反向傳播生成擾動，將擾動添加到輸入樣本得到中毒樣本；

將中毒樣本輸入至深度強化學(xué)習(xí)模型，依據(jù)深度強化學(xué)習(xí)模型的決策動作變化檢測深度強化學(xué)習(xí)模型是否中毒。

2.如權(quán)利要求1所述的基于時序神經(jīng)通路的深度強化學(xué)習(xí)模型中毒檢測方法，其特征在于，查找第一部分的Top-c神經(jīng)元的過程為：

將樣本數(shù)據(jù)輸入至深度強化學(xué)習(xí)中，提取第一部分的嵌入特征圖，從嵌入特征圖中激活值最大的Top-c神經(jīng)元進(jìn)行累加，構(gòu)成損失函數(shù)，依據(jù)損失函數(shù)優(yōu)化深度強化學(xué)習(xí)模型的網(wǎng)絡(luò)參數(shù)，經(jīng)過多次迭代，提取激活值最大的Top-c神經(jīng)元以及對應(yīng)的權(quán)重值投入神經(jīng)元池。

3.如權(quán)利要求1所述的基于時序神經(jīng)通路的深度強化學(xué)習(xí)模型中毒檢測方法，其特征在于，依據(jù)神經(jīng)元池構(gòu)建深度強化學(xué)習(xí)的時序神經(jīng)通路包括：依據(jù)輸入樣本在每個神經(jīng)元的激活值，篩選激活值最大的c個神經(jīng)元，構(gòu)建深度強化學(xué)習(xí)的時序神經(jīng)通路，此處的輸入樣本為中毒樣本。

4.如權(quán)利要求1所述的基于時序神經(jīng)通路的深度強化學(xué)習(xí)模型中毒檢測方法，其特征在于，中毒樣本的生成過程為：

利用深度強化學(xué)習(xí)的時序神經(jīng)通路構(gòu)建損失函數(shù)，通過對損失函數(shù)梯度上升作為擾動導(dǎo)向，對輸入樣本的像素值進(jìn)行改變，得到中毒樣本。

5.如權(quán)利要求1或4所述的基于時序神經(jīng)通路的深度強化學(xué)習(xí)模型中毒檢測方法，其特征在于，在生成中毒樣本的過程中，控制原始樣本和中毒樣本的后續(xù)序列狀態(tài)之間的神經(jīng)元激活狀態(tài)在閾值范圍內(nèi)。

6.如權(quán)利要求1所述的基于時序神經(jīng)通路的深度強化學(xué)習(xí)模型中毒檢測方法，其特征在于，所述依據(jù)深度強化學(xué)習(xí)模型的決策動作變化檢測深度強化學(xué)習(xí)模型是否中毒包括：

通過統(tǒng)計動作變化率證明模型是否中毒，動作變化計算公式如下：

其中，T是選擇的測試狀態(tài)集合，F(xiàn)(s′_{i_0})是在還原中毒狀態(tài)s′_{i_0}下深度強化學(xué)習(xí)模型的輸出動作，s_{i_0}是第i個原狀態(tài)，Δ_feature是選定原狀態(tài)s_{i_0}的后續(xù)序列狀態(tài)以及還原中毒狀態(tài)s′_{i_0}后神經(jīng)元變換量，ζ是神經(jīng)元變化上限閾值，若動作變化δ(T)大于α則表明深度強化學(xué)習(xí)模型被中毒，否則沒被中毒。

7.一種基于時序神經(jīng)通路的深度強化學(xué)習(xí)模型中毒檢測裝置，包括計算機存儲器、計算機處理器以及存儲在所述計算機存儲器中并可在所述計算機處理器上執(zhí)行的計算機程序，其特征在于，所述計算機處理器執(zhí)行所述計算機程序時實現(xiàn)權(quán)利要求1～6任一項所述的基于時序神經(jīng)通路的深度強化學(xué)習(xí)模型中毒檢測方法。