[發明專利]一種基于通道剪枝的遷移學習加速方法在審
| 申請號： | 201910758097.5 | 申請日： | 2019-08-16 |
| 公開（公告）號： | CN110598848A | 公開（公告）日： | 2019-12-20 |
| 發明（設計）人： | 陳益強;于超輝;王晉東 | 申請（專利權）人： | 中國科學院計算技術研究所 |
| 主分類號： | G06N3/04 | 分類號： | G06N3/04;G06N3/08 |
| 代理公司： | 11280 北京泛華偉業知識產權代理有限公司 | 代理人： | 王勇 |
| 地址： | 100190 北*** | 國省代碼： | 北京;11 |
| 權利要求書： | 查看更多 | 說明書： | 查看更多 |
| 摘要： | |||
| 搜索關鍵詞： | 剪枝 遷移 目標域 過程融合 基線模型 預定要求 整體框架 計算量 重要度 準確率 移除 源域 微調 學習 收斂 重復 評估 | ||
1.一種基于通道剪枝的遷移學習加速方法，其特征在于，所述方法包括下述步驟：
步驟1：基于源域和目標域的圖像數據建立基線模型；
步驟2：在所述基線模型中對源域和目標域之間的可遷移通道進行評估，獲取每個通道的重要度；
步驟3：根據獲得的每個通道的重要度進行通道剪枝以及篩選；
步驟4：對經過剪枝篩選后的基線模型進行調整訓練，使其趨于收斂；
步驟5：重復步驟2至4，直到經過剪枝的基線模型滿足預定要求。
2.根據權利要求1所述的基于通道剪枝的遷移學習加速方法，其特征在于，步驟1包括以下步驟：
步驟11：提取來自源域和目標域圖片的特征，建立基線預備模型；
步驟12：計算自源域和目標域的特征之間的最大平均差異損失Lmmd以表征二者的特征分布差異程度；
步驟13：迭代訓練基線預備模型確定使最大平均差異損失達到最小化的基線模型。
3.根據權利要求2所述的基于通道剪枝的遷移學習加速方法，其特征在于，所述步驟13中確定最大平均差異損失步驟包括：最大平均差異損失維持2-20次訓練周期而不再減小。
4.根據權利要求2所述的基于通道剪枝的遷移學習加速方法，其特征在于，在所述步驟13中，兩個數據域之間的最大平均差異損失Lmmd通過下式計算：
其中，Xi表示來自源域的圖片，Xj表示來自目標域的圖片，i、j分別表示第i張和第j張；
ns和nt分別表示源域和目標域數據的大小，和分別表示源域和目標域數據，φ(·)表示映射后的特征圖，表示再生核希爾伯特空間。
5.根據權利要求1所述的基于通道剪枝的遷移學習加速方法，其特征在于，在所述步驟2中，用G(al，i)表示第l層卷積層的第i個輸出通道的重要程度：
其中，al，i為第l層卷積層的第i個輸出通道的激活特征圖，Lcls為分類損失，Lmmd為數據域之間的最大平均差異損失；
β滿足：
其中，i為當前剪枝次數，ITER為總的剪枝次數。
6.根據權利要求1所述的基于通道剪枝的遷移學習加速方法，其特征在于，在所述步驟3中，每次通道剪枝移除最不重要的一部分通道的數目為k，k為總通道數目的1/100到1/10。
7.根據權利要求1所述的基于通道剪枝的遷移學習加速方法，其特征在于，經過剪枝的模型在目標域上的準確率和模型所需要的計算量都要滿足的要求為：在保證平均精度波動≤3％的情況下盡可能的壓縮模型的計算量。
8.根據權利要求1所述的基于通道剪枝的遷移學習加速方法，其特征在于，所述步驟5中的預定要求包括：所述基線模型在目標域上的準確率高于預定值并且/或者所述基線模型所需要的計算量小于預定值。
9.一種計算機可讀存儲介質，其上存儲有計算機程序，其中，該程序被處理器執行時實現根據權利要求1至7中任一項所述的方法的步驟。
10.一種計算機設備，包括存儲器和處理器，在所述存儲器上存儲有能夠在處理器上運行的計算機程序，其特征在于，所述處理器執行所述程序時實現權利要求1至7中任一項所述的方法的步驟。
該專利技術資料僅供研究查看技術是否侵權等信息，商用須獲得專利權人授權。該專利全部權利屬于中國科學院計算技術研究所，未經中國科學院計算技術研究所許可，擅自商用是侵權行為。如果您想購買此專利、獲得商業授權和技術合作，請聯系【客服】
本文鏈接：http://www.szxzyx.cn/pat/books/201910758097.5/1.html，轉載請聲明來源鉆瓜專利網。
