[發明專利]一種神經網絡魯棒性檢測方法和裝置

有效

• 申請號: 202011026951.8
• 申請日: 2020-09-25
• 公開（公告）號: CN112232380B
• 公開（公告）日: 2022-12-06
• 發明（設計）人: 趙仁明
• 申請（專利權）人: 蘇州浪潮智能科技有限公司
• 主分類號: G06K9/62
• 分類號: G06K9/62;G06N3/04
• 代理公司: 北京連和連知識產權代理有限公司 11278
• 代理人: 劉小峰;張濤

本發明公開了一種神經網絡魯棒性檢測方法和裝置，方法包括：使用神經網絡對特定樣本執行前向運算，并在每個卷積層均生成卷積核特征圖；在各通道上抽樣聚集形成卷積層特征圖，并進一步抽樣聚集形成特定樣本的樣本卷積圖；將樣本卷積圖中的權重差異轉化為顏色差異以可視化樣本卷積圖；從樣本數據中提取具有標記的樣本作為第一檢測組、將樣本特征可視化圖像和相對應的特定樣本的組合作為第二檢測組并發送群體標注請求；基于群體標注結果中與標注正確的第一檢測組相對應的第二檢測組的標注信息確定神經網絡的魯棒性。本發明能夠正確評估神經網絡的魯棒性。

技術領域

本發明涉及神經網絡領域，更具體地，特別是指一種神經網絡魯棒性檢測方法和裝置。

背景技術

深度學習已經在現實世界中得到了廣泛的運用，例如無人駕駛汽車，收據識別，電影推薦等。深度學習需要大量的數據。對于神經網絡，訓練樣本的多少，對于AI訓練的質量影響巨大。為了提升模型的準確度，通常會使用較大量的數據樣本進行訓練。作為AI的開發人員，除了要關注訓練好的神經網絡在測試集和驗證集上的表現，還需要關注于神經網絡的魯棒性以及泛化能力，但現有技術目前難以評價神經網絡的魯棒性。

對于卷積層所識別的模式是否正確，對于神經網絡就起著至關重要的作用。存在有些情況下，神經網絡在指定的測試集下，有較高的精度。但當使用新的數據集時，出現了精度大幅下降的情況。出現這樣的現象的很大一部分原因在于在進行神經網絡訓練時，網絡所選擇的特征不能夠很好的代表樣本，也就無法評價神經網絡的魯棒性。

針對現有技術中神經網絡的魯棒性難以評價的問題，目前尚無有效的解決方案。

發明內容

有鑒于此，本發明實施例的目的在于提出一種神經網絡魯棒性檢測方法和裝置，能夠正確評估神經網絡的魯棒性。

基于上述目的，本發明實施例的第一方面提供了一種神經網絡魯棒性檢測方法，包括執行以下步驟：

使用經過樣本數據訓練并測試的神經網絡對樣本數據中的特定樣本執行前向運算，并在神經網絡中的每個卷積層均生成卷積核特征圖；

將卷積核特征圖在各通道上抽樣聚集形成卷積層特征圖，并進一步抽樣聚集形成特定樣本的樣本卷積圖；

將樣本卷積圖中的權重差異轉化為顏色差異以可視化樣本卷積圖，生成特定樣本的樣本特征可視化圖像；

從樣本數據中提取具有標記的樣本作為第一檢測組、將樣本特征可視化圖像和相對應的特定樣本的組合作為第二檢測組，并以第一檢測組和第二檢測組一一對應的方式發送群體標注請求；

接收針對群體標注請求的群體標注結果，并基于群體標注結果中與標注正確的第一檢測組相對應的第二檢測組的標注信息確定神經網絡的魯棒性。

在一些實施方式中，樣本數據包括訓練集、測試集、和檢測集；特定樣本為檢測集的樣本；使用經過樣本數據訓練并測試的神經網絡對樣本數據中的特定樣本執行前向運算包括：使用經過訓練集的樣本訓練、和經過測試集的樣本測試的神經網絡對檢測集的樣本執行前向運算。

在一些實施方式中，在神經網絡中的每個卷積層均生成卷積核特征圖包括：在神經網絡中的每個卷積層中，在各通道上將檢測集的樣本與卷積層中的多個卷積核分別卷積獲得檢測集的樣本在每個卷積層上的多個卷積核特征圖。

在一些實施方式中，將卷積核特征圖在各通道上抽樣聚集形成卷積層特征圖包括：在神經網絡中的每個卷積層中，從多個卷積核特征圖中隨機抽取第一數量的卷積核特征圖在各通道上疊加獲得檢測集的樣本的多個卷積層特征圖。

在一些實施方式中，進一步抽樣聚集形成特定樣本的樣本卷積圖包括：在神經網絡中每隔第二數量指定一個卷積層，并對所有被指定的卷積層的卷積層特征圖求平均以獲得檢測集的樣本的樣本卷積圖。

在一些實施方式中，以第一檢測組和第二檢測組一一對應的方式發送群體標注請求包括：