[發(fā)明專利]基于神經元覆蓋率的圖像深度學習模型測試方法與裝置

在審

• 申請?zhí)枺?/td>: 202010600844.5
• 申請日: 2020-06-28
• 公開（公告）號: CN111753985A
• 公開（公告）日: 2020-10-09
• 發(fā)明（設計）人: 陳晉音;張龍源;鄒健飛;金海波;熊暉
• 申請（專利權）人: 浙江工業(yè)大學
• 主分類號: G06N3/08
• 分類號: G06N3/08;G06K9/62
• 代理公司: 杭州天勤知識產權代理有限公司 33224
• 代理人: 高燕

1.一種基于神經元覆蓋率的圖像深度學習模型測試方法，其特征在于，包括以下步驟：

(1)選取圖像數(shù)據(jù)集；選取M個采用所述圖像數(shù)據(jù)集預訓練好的深度學習模型；

(2)搭建生成式對抗網絡；生成式對抗網絡的生成器將隨機分布映射為擾動圖，再將擾動圖加到圖像數(shù)據(jù)集中的原始樣本上，生成生成樣本；生成式對抗網絡的判別器用于區(qū)分原始樣本和生成樣本；

(3)針對M個預訓練好的深度學習模型，以圖像數(shù)據(jù)集作為訓練集，基于神經元覆蓋率和注意力機制訓練生成式對抗網絡，獲得M個訓練好的生成器；

(4)以圖像數(shù)據(jù)集作為輸入，分別采用M個訓練好的生成器生成生成樣本；將M個訓練好的生成器所生成的生成樣本匯總，獲得測試深度學習模型的測試數(shù)據(jù)集；

(5)利用生成的測試數(shù)據(jù)集對待測圖像深度學習模型進行測試。

2.根據(jù)權利要求1所述的基于神經元覆蓋率的圖像深度學習模型測試方法，其特征在于，所述的生成式對抗網絡包括生成器、第一判別器、第二判別器以及第三判別器；

所述第一判別器用于識別原始樣本和生成樣本；

所述第二判別器基于梯度的類激活映射尋找原始樣本和生成樣本的注意力覆蓋區(qū)域，統(tǒng)計注意力覆蓋區(qū)域的位置、大小；

所述第三判別器計算生成樣本在預訓練好的深度學習模型上的神經元覆蓋率，并判斷其神經元覆蓋率是否達到設定的閾值。

3.根據(jù)權利要求2所述的基于神經元覆蓋率的圖像深度學習模型測試方法，其特征在于，基于神經元覆蓋率和注意力機制訓練生成式對抗網絡時，生成器與第一判別器以訓練好的圖像深度學習模型對原始樣本和生成樣本的分類概率的交叉熵作為損失函數(shù)；損失函數(shù)公式為：

其中，D₁(x)為原始樣本在第一判別器的輸出，D₁(G(z))為生成樣本在第一判別器的輸出；

生成器與第二判別器的損失函數(shù)為：

其中，l_f為損失函數(shù)，f(x)為原始樣本的Grad-CAM，f(G(z))為生成樣本的Grad-CAM；

生成器與第三判別器的損失函數(shù)為：

其中，NCov(x，N)為生成樣本在訓練好的圖像深度學習模型上的神經元覆蓋率；Tc為設定的神經元覆蓋率的閾值，為超參數(shù)；

總損失函數(shù)為：

其中，λ和β為超參數(shù)；

以圖像數(shù)據(jù)集作為訓練集對生成式對抗網絡進行訓練，直至總損失函數(shù)收斂且生成樣本的神經元覆蓋率大于設定的閾值，結束訓練。

4.根據(jù)權利要求2所述的基于神經元覆蓋率的圖像深度學習模型測試方法，其特征在于，基于梯度的類激活映射尋找樣本的注意力覆蓋區(qū)域，計算公式為：

其中，Aⁱ表示第i個特征圖；

S_c為樣本在訓練好的深度學習模型中真實類標的分類得分；Z＝c1×c2，為特征圖的大小；為第i個特征圖第k行第j列的像素值。

5.根據(jù)權利要求2所述的基于神經元覆蓋率的圖像深度學習模型測試方法，其特征在于，計算樣本在預訓練好的深度學習模型上的神經元覆蓋率，計算公式如下：

其中：N＝{n₁，n₂，...}，為預訓練好的深度學習模型的一組神經元；T＝{x₁，x₂，...}，為預訓練好的深度學習模型的一組測試輸入；表示一個功能函數(shù)，該函數(shù)代表在給定輸入x∈T、n∈N時所得到的輸出值；high和low為超參數(shù)，sum(N)為神經元總個數(shù)。

6.根據(jù)權利要求1所述的基于神經元覆蓋率的圖像深度學習模型測試方法，其特征在于，所述的圖像數(shù)據(jù)集為MNIST數(shù)據(jù)集、ImageNet數(shù)據(jù)集、CASIA數(shù)據(jù)集、GTSRB數(shù)據(jù)集或LFW數(shù)據(jù)集。