[發(fā)明專利]基于關(guān)鍵層回滾機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)模型容錯方法

有效

• 申請?zhí)枺?/td>: 202110258455.3
• 申請日: 2021-03-10
• 公開（公告）號: CN112766503B
• 公開（公告）日: 2022-09-20
• 發(fā)明（設(shè)計）人: 江維;詹瑾瑜;潘唯迦;溫翔宇;周星志;孫若旭;宋子微;廖炘可;范翥峰
• 申請（專利權(quán)）人: 電子科技大學(xué)
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 成都虹盛匯泉專利代理有限公司 51268
• 代理人: 王偉

1.一種基于關(guān)鍵層回滾機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)模型容錯方法，其特征在于，包括以下步驟：

S1、尋找關(guān)鍵層，通過對原模型添加參數(shù)λ進(jìn)行訓(xùn)練的方式尋找對分類影響最大的關(guān)鍵節(jié)點(diǎn)，依據(jù)關(guān)鍵節(jié)點(diǎn)的分布確定網(wǎng)絡(luò)的關(guān)鍵層分布；

S2、輸入分類圖片，通過卷積神經(jīng)網(wǎng)絡(luò)對輸入圖片進(jìn)行識別，獲得關(guān)鍵層的輸出特征；并根據(jù)輸出特征得到檢測閾值，用于判定檢測點(diǎn)的輸出是否存在異常；包括以下子步驟：

S21、輸入的分類圖片中包含多個已知類別的圖片，每個類別的圖片樣本數(shù)量相等；

S22、統(tǒng)計所有圖片輸入卷積網(wǎng)絡(luò)后，網(wǎng)絡(luò)層的輸出數(shù)據(jù)；

S23、根據(jù)步驟S22統(tǒng)計的輸出數(shù)據(jù)，以輸出最大值作為該網(wǎng)絡(luò)層的檢測閾值，若檢測點(diǎn)的輸出大于檢測閾值則該檢測點(diǎn)判定為異常，并回滾到上一個檢測點(diǎn)的位置重新進(jìn)行檢測；否則該檢測點(diǎn)判定為正常；

S3、將硬件約束進(jìn)行建模，利用模擬退火算法求出在滿足硬件條件約束的情況下的檢測點(diǎn)數(shù)量。

2.根據(jù)權(quán)利要求1所述的一種基于關(guān)鍵層回滾機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)模型容錯方法，其特征在于，所述步驟S1包括以下子步驟：

S11、選擇一個卷積結(jié)構(gòu)的網(wǎng)絡(luò)模型，訓(xùn)練模型并獲得原始模型的權(quán)重；

S12、修改原始網(wǎng)絡(luò)模型的結(jié)構(gòu)，在每層網(wǎng)絡(luò)中的神經(jīng)元后面添加參數(shù)λ，使用添加的參數(shù)λ表示對應(yīng)層神經(jīng)元的關(guān)鍵程度，參數(shù)λ值越高對應(yīng)神經(jīng)元的關(guān)鍵程度越高；

S13、使用原模型輸出和修改后模型輸出構(gòu)建損失函數(shù)，進(jìn)行訓(xùn)練，直至原模型輸出和修改模型的輸出精度誤差小于1％時停止訓(xùn)練，此時添加的參數(shù)λ代表對應(yīng)神經(jīng)元的關(guān)鍵程度；

S14、通過可視化展示步驟S13獲得的參數(shù)λ的大小分布情況，統(tǒng)計每一層中參數(shù)λ大于1的數(shù)量，并按照參數(shù)λ大于1的數(shù)量從大到小對每層網(wǎng)絡(luò)進(jìn)行排序，得到關(guān)鍵層分布；

S15、對步驟S14中得到的所有關(guān)鍵層進(jìn)行隨機(jī)權(quán)重失效，通過隨機(jī)函數(shù)隨機(jī)選擇神經(jīng)元失效，然后測試模型精度，當(dāng)模型精度小于預(yù)設(shè)閾值時停止操作；獲得模型每一層能容忍失效的神經(jīng)元的比例。

3.根據(jù)權(quán)利要求1所述的一種基于關(guān)鍵層回滾機(jī)制的卷積神經(jīng)網(wǎng)絡(luò)模型容錯方法，其特征在于，所述步驟S3包括以下子步驟：

S31、確定目標(biāo)函數(shù)，以模型能夠正常運(yùn)行的概率作為目標(biāo)函數(shù)；

P(Normal)是目標(biāo)函數(shù)代表模型正常工作的概率；將模型正確運(yùn)行的概率分解為：無錯誤運(yùn)行+出錯并被當(dāng)前層正確檢測+出錯被后面的層檢測，公式表達(dá)為：

其中k表示網(wǎng)絡(luò)層數(shù)，P(l_i)表示第i層網(wǎng)絡(luò)正確運(yùn)行的概率，P(d_i)表示第i層的檢測方法正確檢測的概率，m表示出錯所在的網(wǎng)絡(luò)層數(shù)，n表示正確檢測所在的網(wǎng)絡(luò)層數(shù)；

將上式化簡后得到：

S32、確定約束條件，分析檢測點(diǎn)的時間開銷和空間開銷，主要的影響因素為檢測點(diǎn)所在層的神經(jīng)元數(shù)量、輸出的維度相關(guān)；

不同的檢測方法和回滾設(shè)置會會帶來不同的容錯效果和額外系統(tǒng)開銷，將步驟S31得到的目標(biāo)函數(shù)建模為一個約束優(yōu)化問題，公式表示如下：

max P(Normal)

st.T(Cost)LimitTime

S(Cost)LimitSpace

T(Cost)和S(Cost)分別表示時間開銷和空間開銷，LimitTime和LimitSpace分別表示時間開銷和空間開銷的上限值；

檢測方法和回滾的設(shè)置都會帶來時間和空間上的開銷，時間開銷和空間開銷的量化公式如下：

T(d_i)表示第i層檢測方法需要花費(fèi)的時間，T(l_i)表示第i層的運(yùn)算時間，T(IO)代表IO讀取帶來的開銷；S(d_i)和S(l_i)分別代表檢測方法和回滾時帶來的空間開銷；

S33、采用模擬退火算法對上述約束優(yōu)化問題進(jìn)行求解，得到檢測點(diǎn)的數(shù)量。