[發(fā)明專利]一種神經(jīng)網(wǎng)絡(luò)魯棒性檢測(cè)方法和裝置

有效

• 申請(qǐng)?zhí)枺?/td>: 202011026951.8
• 申請(qǐng)日: 2020-09-25
• 公開（公告）號(hào): CN112232380B
• 公開（公告）日: 2022-12-06
• 發(fā)明（設(shè)計(jì)）人: 趙仁明
• 申請(qǐng)（專利權(quán)）人: 蘇州浪潮智能科技有限公司
• 主分類號(hào): G06K9/62
• 分類號(hào): G06K9/62;G06N3/04
• 代理公司: 北京連和連知識(shí)產(chǎn)權(quán)代理有限公司 11278
• 代理人: 劉小峰;張濤

1.一種神經(jīng)網(wǎng)絡(luò)魯棒性檢測(cè)方法，其特征在于，包括執(zhí)行以下步驟：

使用經(jīng)過樣本數(shù)據(jù)訓(xùn)練并測(cè)試的所述神經(jīng)網(wǎng)絡(luò)對(duì)所述樣本數(shù)據(jù)中的特定樣本執(zhí)行前向運(yùn)算，并在所述神經(jīng)網(wǎng)絡(luò)中的每個(gè)卷積層均生成卷積核特征圖；

將所述卷積核特征圖在各通道上抽樣聚集形成卷積層特征圖，并進(jìn)一步抽樣聚集形成所述特定樣本的樣本卷積圖；

將所述樣本卷積圖中的權(quán)重差異轉(zhuǎn)化為顏色差異以可視化所述樣本卷積圖，生成所述特定樣本的樣本特征可視化圖像；

從所述樣本數(shù)據(jù)中提取具有標(biāo)記的樣本作為第一檢測(cè)組、將所述樣本特征可視化圖像和相對(duì)應(yīng)的所述特定樣本的組合作為第二檢測(cè)組，并以所述第一檢測(cè)組和所述第二檢測(cè)組一一對(duì)應(yīng)的方式發(fā)送群體標(biāo)注請(qǐng)求；

接收針對(duì)所述群體標(biāo)注請(qǐng)求的群體標(biāo)注結(jié)果，并基于所述群體標(biāo)注結(jié)果中與標(biāo)注正確的所述第一檢測(cè)組相對(duì)應(yīng)的所述第二檢測(cè)組的標(biāo)注信息確定所述神經(jīng)網(wǎng)絡(luò)的魯棒性；

其中，所述樣本數(shù)據(jù)包括訓(xùn)練集、測(cè)試集、和檢測(cè)集；所述特定樣本為所述檢測(cè)集的樣本；

使用經(jīng)過樣本數(shù)據(jù)訓(xùn)練并測(cè)試的所述神經(jīng)網(wǎng)絡(luò)對(duì)所述樣本數(shù)據(jù)中的特定樣本執(zhí)行前向運(yùn)算包括：使用經(jīng)過所述訓(xùn)練集的樣本訓(xùn)練、和經(jīng)過所述測(cè)試集的樣本測(cè)試的所述神經(jīng)網(wǎng)絡(luò)對(duì)所述檢測(cè)集的樣本執(zhí)行前向運(yùn)算；

以所述第一檢測(cè)組和所述第二檢測(cè)組一一對(duì)應(yīng)的方式發(fā)送群體標(biāo)注請(qǐng)求包括：

從所述第一檢測(cè)組選定一個(gè)樣本，并請(qǐng)求針對(duì)該樣本生成與標(biāo)記相關(guān)的標(biāo)注信息的第一群體標(biāo)注；

從所述第二檢測(cè)組選定所述樣本特征可視化圖像和相對(duì)應(yīng)的所述檢測(cè)集的樣本的一個(gè)組合，并請(qǐng)求針對(duì)所述檢測(cè)集的樣本生成關(guān)于所述樣本特征可視化圖像是否包括其特征信息的標(biāo)注信息的第二群體標(biāo)注；以及

將第一群體標(biāo)注和第二群體標(biāo)注組合生成所述群體標(biāo)注請(qǐng)求并發(fā)送；

基于所述群體標(biāo)注結(jié)果中與標(biāo)注正確的所述第一檢測(cè)組相對(duì)應(yīng)的所述第二檢測(cè)組的標(biāo)注信息確定所述神經(jīng)網(wǎng)絡(luò)的魯棒性包括：

將所述第一檢測(cè)組的標(biāo)注信息與所述樣本數(shù)據(jù)中的標(biāo)記不同的所有所述群體標(biāo)注結(jié)果拋棄；

將所述第一檢測(cè)組的標(biāo)注信息與所述樣本數(shù)據(jù)中的標(biāo)記相同、并且所述第二檢測(cè)組的標(biāo)注信息為包括其特征信息的所有所述群體標(biāo)注結(jié)果記為成功反饋；

將所述第一檢測(cè)組的標(biāo)注信息與所述樣本數(shù)據(jù)中的標(biāo)記相同、并且所述第二檢測(cè)組的標(biāo)注信息為不包括其特征信息的所有所述群體標(biāo)注結(jié)果記為失敗反饋；以及

基于所述成功反饋和所述失敗反饋的數(shù)量確定所述神經(jīng)網(wǎng)絡(luò)的魯棒性，其中所述神經(jīng)網(wǎng)絡(luò)的魯棒性與所述成功反饋的數(shù)量呈正相關(guān)性、并且與所述失敗反饋的數(shù)量呈負(fù)相關(guān)性。

2.根據(jù)權(quán)利要求1所述的方法，其特征在于，在所述神經(jīng)網(wǎng)絡(luò)中的每個(gè)卷積層均生成卷積核特征圖包括：

在所述神經(jīng)網(wǎng)絡(luò)中的每個(gè)卷積層中，在各通道上將所述檢測(cè)集的樣本與所述卷積層中的多個(gè)卷積核分別卷積獲得所述檢測(cè)集的樣本在每個(gè)所述卷積層上的多個(gè)所述卷積核特征圖。

3.根據(jù)權(quán)利要求2所述的方法，其特征在于，將所述卷積核特征圖在各通道上抽樣聚集形成卷積層特征圖包括：

在所述神經(jīng)網(wǎng)絡(luò)中的每個(gè)卷積層中，從多個(gè)所述卷積核特征圖中隨機(jī)抽取第一數(shù)量的所述卷積核特征圖在各通道上疊加獲得所述檢測(cè)集的樣本的多個(gè)所述卷積層特征圖。

4.根據(jù)權(quán)利要求3所述的方法，其特征在于，進(jìn)一步抽樣聚集形成所述特定樣本的樣本卷積圖包括：

在所述神經(jīng)網(wǎng)絡(luò)中每隔第二數(shù)量指定一個(gè)所述卷積層，并對(duì)所有被指定的所述卷積層的所述卷積層特征圖求平均以獲得所述檢測(cè)集的樣本的所述樣本卷積圖。