[發(fā)明專利]基于關鍵層回滾機制的卷積神經(jīng)網(wǎng)絡模型容錯方法

有效

• 申請?zhí)枺?/td>: 202110258455.3
• 申請日: 2021-03-10
• 公開（公告）號: CN112766503B
• 公開（公告）日: 2022-09-20
• 發(fā)明（設計）人: 江維;詹瑾瑜;潘唯迦;溫翔宇;周星志;孫若旭;宋子微;廖炘可;范翥峰
• 申請（專利權）人: 電子科技大學
• 主分類號: G06N3/08
• 分類號: G06N3/08
• 代理公司: 成都虹盛匯泉專利代理有限公司 51268
• 代理人: 王偉

本發(fā)明公開了一種基于關鍵層回滾機制的卷積神經(jīng)網(wǎng)絡模型容錯方法，包括以下步驟：S1、尋找關鍵層，通過對原模型添加參數(shù)λ進行訓練的方式尋找對分類影響最大的關鍵節(jié)點，確定網(wǎng)絡的關鍵層分布；S2、輸入分類圖片，通過卷積神經(jīng)網(wǎng)絡對輸入圖片進行識別，獲得關鍵層的輸出特征，根據(jù)輸出特征得到檢測閾值；S3、將硬件約束進行建模，利用模擬退火算法求出在滿足硬件條件約束的情況下的檢測點數(shù)量。本發(fā)明通過分析實驗獲得卷積神經(jīng)網(wǎng)絡的關鍵節(jié)點分布，以此為依據(jù)獲得網(wǎng)絡的關鍵層和關鍵層的輸出分布。在滿足時間和空間約束的條件下，在關鍵層設置關鍵節(jié)點，當關鍵層輸出異常的時候，利用檢查點回滾機制實現(xiàn)卷積神經(jīng)網(wǎng)絡的容錯。

技術領域

本發(fā)明涉及一種基于關鍵層回滾機制的卷積神經(jīng)網(wǎng)絡模型容錯方法。

背景技術

傳統(tǒng)的神經(jīng)網(wǎng)絡容錯方法多數(shù)是在上世紀九十年代提出，針對的對象多數(shù)為MLP(多層感知機)。在傳統(tǒng)的容錯觀點中，神經(jīng)網(wǎng)絡需要依靠網(wǎng)絡中所有的神經(jīng)元進行計算得到最終結果，這個過程需要網(wǎng)絡中的神經(jīng)元全部參與計算，但是一些神經(jīng)元并沒有實際的功能，所以神經(jīng)網(wǎng)絡通常不是用精確的或最少的神經(jīng)元數(shù)量來建立的。這種參數(shù)過度導致了其擁有一定的自然的魯棒性和潛在的容錯能力。然而，過量錯誤仍然可以導致其出現(xiàn)錯誤。傳統(tǒng)的容錯考慮的僅是網(wǎng)絡參數(shù)出錯的情況，分別從添加冗余節(jié)點、修改訓練方法中的正則項或將訓練過程和容錯轉化為非線性優(yōu)化算法求解的優(yōu)化問題三個方面解決神經(jīng)網(wǎng)絡中的參數(shù)容錯。

第一種方法是在神經(jīng)網(wǎng)絡中顯示的添加冗余，通過在預先訓練好的網(wǎng)絡中顯式地插入冗余來實現(xiàn)，添加位置主要是在神經(jīng)網(wǎng)絡中的隱藏層神經(jīng)元及其相關權重中。這些方法從一個最小的網(wǎng)絡開始，這個網(wǎng)絡學習給定的輸入/輸出模式映射或執(zhí)行所需的計算任務，然后復制隱藏層的神經(jīng)元或有選擇地添加節(jié)點來共享關鍵神經(jīng)元的負載。最早是在L.C.Chu中提出通過顯示添加冗余來提高網(wǎng)絡的容錯能力。隨后C.-T.Chiu提出靈敏度為標準刪除部分節(jié)點，再添加冗余節(jié)點，并將擾動注入以獲得一個容錯的神經(jīng)網(wǎng)絡。同時分別利用不同的依據(jù)添加冗余神經(jīng)元，提高網(wǎng)絡的容錯能力，但該方法針對的網(wǎng)絡結構簡單，針對的錯誤類型單一，僅能在小型的MLP上進行實現(xiàn)。但該方法為我們后面的研究提供了思路。

前面的方法是考慮在訓練后進行容錯，而隨后研究人員考慮在訓練時期進行容錯。第二種方法是修改模型訓練方法，通過修改神經(jīng)網(wǎng)絡模型的訓練正則項，或類似于對抗訓練的方式進行容錯。一方面，一些工作側重于為網(wǎng)絡提供訓練經(jīng)驗，以開發(fā)通過在訓練中添加噪聲、擾動或直接注入故障來獲得容錯網(wǎng)絡的技術。其中利用改進的BP算法實現(xiàn)容錯能力的提高。另一方面,其他一些工作關注改進訓練方法中的正則化提高傳統(tǒng)算法的容錯能力，通過改變訓練的輸入或反向傳播中的約束規(guī)則來改變權重，使其適應對應的錯誤類型。這種方式和現(xiàn)在的對抗訓練有相似之處，其思路值得借鑒。

第三種方法是將訓練過程和容錯轉化為非線性優(yōu)化算法求解的優(yōu)化問題，從而找到執(zhí)行給定任務并同時滿足容錯約束的神經(jīng)網(wǎng)絡拓撲及其參數(shù)。通常，這類容錯問題被表述為一個約束極大極小優(yōu)化問題，其目標是在神經(jīng)網(wǎng)絡模型中存在單個單元故障的情況下，使每個輸入與期望輸出的最大偏差最小化。S.-F.Chen采用遺傳算法來提高前饋神經(jīng)網(wǎng)絡對開放故障的容忍度，在開放故障中，一個隱藏節(jié)點及其相關的權值被認為是錯誤的。該方法充分考慮了遺傳算法的核心思想，保持了神經(jīng)網(wǎng)絡的總體狀態(tài)，利用容錯測度的適應度，促進種群進化出良好的容錯能力。研究人員嘗試使用其他的算法來解決該問題，這樣的求最大值最小值問題的主要難點是目標函數(shù)一般是不可微的，因此基于求導的梯度下降方法不適合用來解決這些問題。

發(fā)明內容

本發(fā)明的目的在于克服現(xiàn)有技術的不足，提供一種通過分析實驗獲得卷積神經(jīng)網(wǎng)絡的關鍵節(jié)點分布，在滿足時間和空間約束的條件下，在關鍵層設置關鍵節(jié)點，當關鍵層輸出異常的時候，利用檢查點回滾機制實現(xiàn)卷積神經(jīng)網(wǎng)絡的容錯，具有一定的通用性的基于關鍵層回滾機制的CNN容錯方法。

本發(fā)明的目的是通過以下技術方案來實現(xiàn)的：一種基于關鍵層回滾機制的CNN容錯方法，包括以下步驟：