[發(fā)明專利]一種基于預(yù)量化和縮放系數(shù)剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法

在審

• 申請(qǐng)?zhí)枺?/td>: 202110625812.5
• 申請(qǐng)日: 2021-06-04
• 公開(kāi)（公告）號(hào): CN113570055A
• 公開(kāi)（公告）日: 2021-10-29
• 發(fā)明（設(shè)計(jì)）人: 樊春曉;宋光明;胡洲;趙公方
• 申請(qǐng)（專利權(quán)）人: 合肥工業(yè)大學(xué)
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04
• 代理公司: 安徽申策知識(shí)產(chǎn)權(quán)代理事務(wù)所(普通合伙) 34178
• 代理人: 程艷梅

1.一種基于預(yù)量化和縮放系數(shù)剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于，包括以下步驟：

S1、預(yù)精簡(jiǎn)階段：首先通過(guò)提出的約束損失函數(shù)對(duì)預(yù)訓(xùn)練卷積神經(jīng)模型進(jìn)行預(yù)量化，訓(xùn)練結(jié)束后網(wǎng)絡(luò)中的權(quán)值會(huì)被約束為預(yù)量化值，同時(shí)在訓(xùn)練中引入稀疏正則化損失函數(shù)對(duì)批標(biāo)準(zhǔn)化層的通道縮放系數(shù)進(jìn)行稀疏化處理，使縮放系數(shù)在訓(xùn)練中逐漸趨于0，在接下來(lái)的剪枝階段中用縮放系數(shù)來(lái)評(píng)估通道重要性，為后續(xù)剪枝操作做準(zhǔn)備；

S2、剪枝階段：首先對(duì)預(yù)精簡(jiǎn)階段中通道縮放系數(shù)進(jìn)行排序統(tǒng)計(jì)，設(shè)置好剪枝比率后，剪枝掉低于閾值的縮放系數(shù)所對(duì)應(yīng)的通道，從而得到剪枝后模型；

S3、量化階段：首先對(duì)剪枝網(wǎng)絡(luò)微調(diào)訓(xùn)練并預(yù)量化網(wǎng)絡(luò)權(quán)值，接著將剪枝網(wǎng)絡(luò)中預(yù)量化權(quán)值量化為{±2ⁿ}表示的低精度值，并重訓(xùn)練網(wǎng)絡(luò)的第一層和最后一層來(lái)彌補(bǔ)量化帶來(lái)的精度損失，得到最終的壓縮模型。

2.根據(jù)權(quán)利要求1所述的一種基于預(yù)量化和縮放系數(shù)剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于：所述步驟S1預(yù)精簡(jiǎn)階段的目的是為了找到一個(gè)適應(yīng)量化的剪枝網(wǎng)絡(luò)，稱為預(yù)精簡(jiǎn)網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求1所述的一種基于預(yù)量化和縮放系數(shù)剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于：所述步驟S1中的約束損失函數(shù)，可以將網(wǎng)絡(luò)權(quán)值限制在集合{±2ⁿ+ε}中，其中ε為一個(gè)極小的值。

4.根據(jù)權(quán)利要求1所述的一種基于預(yù)量化和縮放系數(shù)剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于：所述步驟S2中，由于在預(yù)精簡(jiǎn)訓(xùn)練階段中尋找剪枝結(jié)構(gòu)時(shí)考慮量化對(duì)剪枝的影響，因此可以提高剪枝的有效性，使剪枝結(jié)構(gòu)更適應(yīng)于量化值，從而提高后續(xù)量化的性能表現(xiàn)；此外，預(yù)量化值降低后續(xù)量化帶來(lái)的噪音并減少量化帶來(lái)的精度損失。

5.根據(jù)權(quán)利要求1所述的一種基于預(yù)量化和縮放系數(shù)剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于：所述步驟S2中的剪枝是對(duì)預(yù)訓(xùn)練網(wǎng)絡(luò)中低于閾值的縮放參數(shù)所對(duì)應(yīng)的通道進(jìn)行剪枝，然后得到剪枝網(wǎng)絡(luò)，接著重訓(xùn)練剪枝網(wǎng)絡(luò)來(lái)恢復(fù)精度。為鑒別出不重要通道，引入通道縮放系數(shù)γ，讓每一個(gè)通道對(duì)應(yīng)一個(gè)γ，由于每個(gè)通道縮放系數(shù)會(huì)乘以此通道的輸出，因此當(dāng)通道的γ趨于0時(shí)此通道輸出也趨于0，即表示此通道不重要，可以剪枝掉低于閾值的縮放系數(shù)對(duì)應(yīng)的通道。

6.根據(jù)權(quán)利要求1所述的一種基于預(yù)量化和縮放系數(shù)剪枝的卷積神經(jīng)網(wǎng)絡(luò)壓縮方法，其特征在于：所述步驟S3的量化階段，對(duì)剪枝后網(wǎng)絡(luò)進(jìn)行重訓(xùn)練并預(yù)量化，最終將網(wǎng)絡(luò)中預(yù)量化權(quán)值量化到集合Q＝{±2ⁿ|n∈Z}中，同時(shí)重訓(xùn)練網(wǎng)絡(luò)的第一層和最后一層以彌補(bǔ)量化帶來(lái)的精度損失。