[發(fā)明專利]一種基于凍結(jié)神經(jīng)元的深度神經(jīng)網(wǎng)絡(luò)模型變異的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110781497.5
• 申請(qǐng)日: 2021-07-09
• 公開（公告）號(hào): CN115600636A
• 公開（公告）日: 2023-01-13
• 發(fā)明（設(shè)計(jì)）人: 劉嘉;陳澤珺;章許帆
• 申請(qǐng)（專利權(quán)）人: 南京大學(xué)
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04
• 代理公司: 暫無信息
• 代理人: 暫無信息

1.一種基于凍結(jié)神經(jīng)元的深度神經(jīng)網(wǎng)絡(luò)模型變異的方法，其特征在于根據(jù)用戶指定凍結(jié)的神經(jīng)元對(duì)模型進(jìn)行變異，并收集變異后模型的層間輸出與預(yù)測(cè)結(jié)果，生成可復(fù)用的模型預(yù)測(cè)過程信息。該方法的步驟如下：

1)用戶上傳需要變異的深度神經(jīng)網(wǎng)絡(luò)模型文件以及圖片文件，并指定凍結(jié)的神經(jīng)元；

2)該方法對(duì)用戶上傳的模型進(jìn)行變異，主要包含；

2.1)模型解析模塊，對(duì)模型進(jìn)行解析，將模型的層級(jí)結(jié)構(gòu)抽象化，每個(gè)層對(duì)應(yīng)一個(gè)結(jié)構(gòu)體。解析完成后將模型結(jié)構(gòu)存儲(chǔ)為層級(jí)化的信息，以規(guī)定格式存儲(chǔ)。用戶指定需要凍結(jié)的神經(jīng)元后，本模塊計(jì)算出神經(jīng)元的位置信息，并封裝成模型變異配置信息。

2.2)輸入預(yù)處理模塊，在數(shù)據(jù)輸入下一層之前，根據(jù)模型解析模塊封裝的模型變異配置，對(duì)輸入進(jìn)行預(yù)處理，下一層將無法得到被凍結(jié)神經(jīng)元的激活信息；

2.3)輸出計(jì)算模塊，計(jì)算并收集變異模型的層間輸出以及最終預(yù)測(cè)結(jié)果，計(jì)算過程中調(diào)用輸入預(yù)處理模塊處理凍結(jié)神經(jīng)元，并對(duì)收集到的輸出結(jié)果進(jìn)行格式處理。

3)將收集到的變異模型運(yùn)行數(shù)據(jù)返回給用戶，用戶可以用于進(jìn)行對(duì)比測(cè)試，或提交給模型可視化系統(tǒng)。

2.根據(jù)權(quán)利要求1所述的基于凍結(jié)神經(jīng)元的深度神經(jīng)網(wǎng)絡(luò)模型變異的方法，其特征在于：在模型解析模塊，對(duì)模型進(jìn)行解析，將模型的層級(jí)結(jié)構(gòu)抽象化，每個(gè)層對(duì)應(yīng)一個(gè)結(jié)構(gòu)體。解析完成后將模型結(jié)構(gòu)存儲(chǔ)為層級(jí)化的信息，以規(guī)定格式存儲(chǔ)。用戶指定需要凍結(jié)的神經(jīng)元后，本模塊計(jì)算出神經(jīng)元的位置信息，并封裝成模型變異配置信息。

3.根據(jù)權(quán)利要求1所述的基于凍結(jié)神經(jīng)元的深度神經(jīng)網(wǎng)絡(luò)模型變異的方法，其特征在于：在輸入預(yù)處理模塊，獲取當(dāng)前層輸出后，從模型變異配置中收集所屬層名稱與當(dāng)前層名稱相同的神經(jīng)元，然后凍結(jié)收集到的神經(jīng)元，下一層將無法得到從這些神經(jīng)元傳遞的激活信息，實(shí)現(xiàn)模型的變異。

4.根據(jù)權(quán)利要求1所述的基于凍結(jié)神經(jīng)元的深度神經(jīng)網(wǎng)絡(luò)模型變異的方法，其特征在于：在輸出計(jì)算模塊，每計(jì)算完一個(gè)層的結(jié)果后調(diào)用輸入預(yù)處理模塊檢查該層是否有需要凍結(jié)的神經(jīng)元，并對(duì)收集到的輸出結(jié)果進(jìn)行格式處理，生成可復(fù)用的模型運(yùn)行數(shù)據(jù)以表示變異模型的動(dòng)態(tài)預(yù)測(cè)過程。

5.根據(jù)權(quán)利要求2所述的模型解析方法，當(dāng)計(jì)算神經(jīng)元位置信息時(shí)，將通過層名稱與層內(nèi)過濾器編號(hào)唯一地定位需要凍結(jié)的神經(jīng)元。

6.根據(jù)權(quán)利要求3所述的輸入預(yù)處理方法，在獲取模型變異配置信息后，將遍歷該信息生成凍結(jié)神經(jīng)元的映射，以層名稱為關(guān)鍵詞，從而在輸入預(yù)處理過程中快速查找到需要凍結(jié)的神經(jīng)元并屏蔽其激活信息。