[發(fā)明專利]敏感度分析和強化學習的神經(jīng)網(wǎng)絡剪枝方法、系統(tǒng)及裝置在審
| 申請?zhí)枺?/td> | 202011056171.8 | 申請日： | 2020-09-30 |
| 公開（公告）號： | CN112183746A | 公開（公告）日： | 2021-01-05 |
| 發(fā)明（設計）人： | 陳海波;關翔 | 申請（專利權）人： | 深蘭人工智能（深圳）有限公司 |
| 主分類號： | G06N3/08 | 分類號： | G06N3/08;G06N3/04;G06N3/063 |
| 代理公司： | 常州佰業(yè)騰飛專利代理事務所(普通合伙) 32231 | 代理人： | 陳紅橋 |
| 地址： | 518131 廣東省深圳市龍華*** | 國省代碼： | 廣東;44 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 敏感度 分析 強化 學習 神經(jīng)網(wǎng)絡 剪枝 方法 系統(tǒng) 裝置 | ||
1.一種敏感度分析和強化學習的神經(jīng)網(wǎng)絡剪枝方法，其特征在于，包括：
設定稀疏度閾值步驟，選擇低敏感度的權重進行剪枝；
獲取裁剪辦法和精度步驟，根據(jù)上述的敏感度權重確定需要進行隨機剪枝的權重；對被選定的每一個權重進行隨機裁剪，將多次隨機裁剪的剪枝辦法和精度放入緩沖區(qū)；
訓練強化學習步驟，利用緩沖區(qū)中的數(shù)據(jù)訓練強化學習代理，訓練后生成的裁剪辦法和精度放入緩沖區(qū)；重復進行，直到網(wǎng)絡精度達到預設值。
2.根據(jù)權利要求1所述的敏感度分析和強化學習的神經(jīng)網(wǎng)絡剪枝方法，其特征在于，設定稀疏度閾值步驟，選擇低敏感度的權重進行剪枝，即：設定各權重的稀疏度閾值，采用當前稀疏度閾值裁剪后，網(wǎng)絡下降的精度保持在預設范圍內(nèi)。
3.根據(jù)權利要求2所述的敏感度分析和強化學習的神經(jīng)網(wǎng)絡剪枝方法，其特征在于，獲取裁剪辦法和精度步驟，對被選定的每一個權重進行隨機裁剪，保證其稀疏度小于稀疏度閾值。
4.根據(jù)權利要求3所述的敏感度分析和強化學習的神經(jīng)網(wǎng)絡剪枝方法，其特征在于，訓練強化學習步驟，利用緩沖區(qū)中的數(shù)據(jù)訓練強化學習代理，利用訓練后生成的代理，當前選定的權重進行預測，確定對應的裁剪辦法，然后利用生成的裁剪辦法對各網(wǎng)絡權重進行裁剪，最后對裁剪后的網(wǎng)絡進行多次微調(diào)，記錄最終的網(wǎng)絡精度，并將訓練后的裁剪辦法和精度放入緩沖區(qū)。
5.根據(jù)權利要求1所述的敏感度分析和強化學習的神經(jīng)網(wǎng)絡剪枝方法，其特征在于，網(wǎng)絡下降的精度保持在20％以內(nèi)。
6.一種敏感度分析和強化學習的神經(jīng)網(wǎng)絡剪枝系統(tǒng)，其特征在于，
設定稀疏度閾值模塊，用于選擇低敏感度的權重進行剪枝；
獲取裁剪辦法和精度模塊，用于根據(jù)上述的敏感度權重確定需要進行隨機剪枝的權重；對被選定的每一個權重進行隨機裁剪，將多次隨機裁剪的剪枝辦法和精度放入緩沖區(qū)；
訓練強化學習模塊，用于利用緩沖區(qū)中的數(shù)據(jù)訓練強化學習代理，訓練后生成的裁剪辦法和精度放入緩沖區(qū)；重復進行，直到網(wǎng)絡精度達到預設值。
7.根據(jù)權利要求6所述的敏感度分析和強化學習的神經(jīng)網(wǎng)絡剪枝系統(tǒng)，其特征在于，設定稀疏度閾值模塊，用于選擇低敏感度的權重進行剪枝，即：設定各權重的稀疏度閾值，采用當前稀疏度閾值裁剪后，網(wǎng)絡下降的精度保持在預設范圍內(nèi)。
8.根據(jù)權利要求7所述的敏感度分析和強化學習的神經(jīng)網(wǎng)絡剪枝系統(tǒng)，其特征在于，獲取裁剪辦法和精度模塊，用于對被選定的每一個權重進行隨機裁剪，保證其稀疏度小于稀疏度閾值。
9.根據(jù)權利要求8所述的敏感度分析和強化學習的神經(jīng)網(wǎng)絡剪枝系統(tǒng)，其特征在于，訓練強化學習模塊，用于利用緩沖區(qū)中的數(shù)據(jù)訓練強化學習代理，利用訓練后生成的代理，當前選定的權重進行預測，確定對應的裁剪辦法，然后利用生成的裁剪辦法對各網(wǎng)絡權重進行裁剪，最后對裁剪后的網(wǎng)絡進行多次微調(diào)，記錄最終的網(wǎng)絡精度，并將訓練后的裁剪辦法和精度放入緩沖區(qū)。
10.根據(jù)權利要求6所述的敏感度分析和強化學習的神經(jīng)網(wǎng)絡剪枝系統(tǒng)，其特征在于，網(wǎng)絡下降的精度保持在20％以內(nèi)。
11.一種敏感度分析和強化學習的神經(jīng)網(wǎng)絡剪枝裝置，包括存儲器和處理器，存儲器存儲有計算機程序，其特征在于；所述處理器執(zhí)行所述計算機程序時實現(xiàn)如權利要求1-5任一所述的方法步驟。
12.一種計算機可讀存儲介質(zhì)，其上存儲有計算機程序，其特征在于：所述的計算機程序被處理器執(zhí)行時實現(xiàn)如權利要求1-5任一所述的方法步驟。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于深蘭人工智能（深圳）有限公司，未經(jīng)深蘭人工智能（深圳）有限公司許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業(yè)授權和技術合作，請聯(lián)系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/202011056171.8/1.html，轉(zhuǎn)載請聲明來源鉆瓜專利網(wǎng)。
