[發(fā)明專利]深度神經(jīng)網(wǎng)絡(luò)壓縮方法、系統(tǒng)、儲(chǔ)存介質(zhì)及計(jì)算機(jī)設(shè)備

在審

• 申請(qǐng)?zhí)枺?/td>: 202011126588.7
• 申請(qǐng)日: 2020-10-20
• 公開（公告）號(hào): CN112381206A
• 公開（公告）日: 2021-02-19
• 發(fā)明（設(shè)計(jì)）人: 李新海;孟晨旭;曾令誠(chéng);周恒;羅其鋒;邱天怡;曾新雄;林雄鋒;羅海鑫;凌霞;曾毅豪;雷旺;廖偉全
• 申請(qǐng)（專利權(quán)）人: 廣東電網(wǎng)有限責(zé)任公司中山供電局
• 主分類號(hào): G06N3/04
• 分類號(hào): G06N3/04;G06N3/08
• 代理公司: 廣州粵高專利商標(biāo)代理有限公司 44102
• 代理人: 林麗明

1.一種深度神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，所述深度神經(jīng)網(wǎng)絡(luò)壓縮方法對(duì)壓縮對(duì)象的卷積層以及全連接層分別進(jìn)行壓縮；

其中，對(duì)所述卷積層進(jìn)行壓縮的過(guò)程包括以下步驟：

根據(jù)所述卷積層中特征圖對(duì)應(yīng)的通道的重要性，進(jìn)行通道裁剪；

對(duì)所述全連接層進(jìn)行壓縮的過(guò)程包括以下步驟：

對(duì)所述全連接層的參數(shù)進(jìn)行迭代剪枝；

對(duì)迭代剪枝后的全連接層的參數(shù)進(jìn)行線性量化。

2.根據(jù)權(quán)利要求1所述的深度神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，根據(jù)所述卷積層中特征圖對(duì)應(yīng)的通道的重要性，進(jìn)行通道裁剪，包括以下步驟：

獲取所述卷積層中各特征圖對(duì)應(yīng)通道的濾波器參數(shù)絕對(duì)值之和；

對(duì)所述濾波器參數(shù)絕對(duì)值之和最小的通道進(jìn)行裁剪。

3.根據(jù)權(quán)利要求1所述的深度神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，在所述迭代剪枝的各迭代次數(shù)中，包括以下步驟：

根據(jù)當(dāng)前迭代次數(shù)預(yù)設(shè)的剪枝閾值，對(duì)所述全連接層的參數(shù)進(jìn)行剪枝，使所述全連接層的剪枝比到達(dá)當(dāng)前迭代次數(shù)預(yù)設(shè)的階段剪枝比；

對(duì)當(dāng)前迭代次數(shù)中的剪枝結(jié)果進(jìn)行微調(diào)訓(xùn)練。

4.根據(jù)權(quán)利要求3所述的深度神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，所述階段剪枝比以預(yù)設(shè)的目標(biāo)剪枝比為終點(diǎn)，隨迭代次數(shù)的增加非線性擴(kuò)大；當(dāng)前階段剪枝比所在的迭代次數(shù)越大，當(dāng)前階段剪枝比相較于上一迭代次數(shù)中的階段剪枝比的增幅越小。

5.根據(jù)權(quán)利要求4所述的深度神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，所述階段剪枝比按以下公式獲得：

其中，n表示迭代次數(shù)，N表示迭代總次數(shù)；P_n表示迭代次數(shù)n的階段剪枝比，P_t表示所述目標(biāo)剪枝比。

6.根據(jù)權(quán)利要求1所述的深度神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，在對(duì)迭代剪枝后的全連接層的參數(shù)進(jìn)行線性量化的步驟中，所述線性量化采用一種基于范圍的線性量化方法。

7.根據(jù)權(quán)利要求1至6任一項(xiàng)所述的深度神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，對(duì)迭代剪枝后的全連接層的參數(shù)進(jìn)行線性量化的過(guò)程按以下公式進(jìn)行：

其中，x_f表示量化前的原始參數(shù)，即迭代剪枝后的全連接層的參數(shù)；x_q表示量化后的整形參數(shù)；b為量化比特?cái)?shù)；round函數(shù)為四舍五入函數(shù)，用于將浮點(diǎn)數(shù)轉(zhuǎn)為整數(shù)。

8.一種深度神經(jīng)網(wǎng)絡(luò)壓縮系統(tǒng)，其特征在于，包括：

用于對(duì)壓縮對(duì)象的卷積層進(jìn)行壓縮的卷積層壓縮模塊以及用于對(duì)壓縮對(duì)象的全連接層進(jìn)行壓縮的全連接層壓縮模塊；

其中，卷積層壓縮模塊包括：

通道裁剪子模塊，用于根據(jù)所述卷積層中特征圖對(duì)應(yīng)的通道的重要性，進(jìn)行通道裁剪；

全連接層壓縮模塊包括：

迭代剪枝子模塊，用于對(duì)所述全連接層的參數(shù)進(jìn)行迭代剪枝；

線性量化子模塊，用于對(duì)迭代剪枝后的全連接層的參數(shù)進(jìn)行線性量化。

9.一種儲(chǔ)存介質(zhì)，其上儲(chǔ)存有計(jì)算機(jī)程序，其特征在于：所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的深度神經(jīng)網(wǎng)絡(luò)壓縮方法的步驟。

10.一種計(jì)算機(jī)設(shè)備，其特征在于：包括儲(chǔ)存介質(zhì)、處理器以及儲(chǔ)存在所述儲(chǔ)存介質(zhì)中并可被所述處理器執(zhí)行的計(jì)算機(jī)程序，所述計(jì)算機(jī)程序被處理器執(zhí)行時(shí)實(shí)現(xiàn)如權(quán)利要求1至7任一項(xiàng)所述的深度神經(jīng)網(wǎng)絡(luò)壓縮方法的步驟。