[發(fā)明專利]一種基于權(quán)重顯著性的神經(jīng)網(wǎng)絡(luò)列稀疏方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201910202378.2
• 申請(qǐng)日: 2019-03-18
• 公開（公告）號(hào): CN110020724A
• 公開（公告）日: 2019-07-16
• 發(fā)明（設(shè)計(jì)）人: 胡浩基;駱陽;李翔;王歡;周強(qiáng)
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04;G06N3/063
• 代理公司: 杭州求是專利事務(wù)所有限公司 33200
• 代理人: 邱啟旺

1.一種基于權(quán)重顯著性的神經(jīng)網(wǎng)絡(luò)列稀疏方法，其特征在于，具體包括以下步驟：

(1)對(duì)于待稀疏的神經(jīng)網(wǎng)絡(luò)模型，準(zhǔn)備訓(xùn)練的數(shù)據(jù)集、網(wǎng)絡(luò)結(jié)構(gòu)配置文件、訓(xùn)練過程配置文件，所使用的數(shù)據(jù)集、網(wǎng)絡(luò)結(jié)構(gòu)配置、訓(xùn)練過程配置均與原訓(xùn)練方法保持一致；

(2)結(jié)構(gòu)化列稀疏：

(2.1)對(duì)于模型的各個(gè)卷積層，使用張量展開方式，將該層中的四維權(quán)值張量W_N*C*H*W展開為二維的W′_N*(C*H*W)形式，其中N表示卷積核的個(gè)數(shù)，C表示卷積核的通道數(shù)，H、W分別表示卷積核的高和寬，并將W′每一列參數(shù)組合成一個(gè)獨(dú)立的列參數(shù)組；

(2.2)對(duì)網(wǎng)絡(luò)權(quán)值矩陣W′中的每個(gè)參數(shù)組設(shè)定稀疏的重要性標(biāo)準(zhǔn)，得到一個(gè)用于表征參數(shù)組重要性的向量W′_Ln；

(2.3)根據(jù)用戶指定的對(duì)模型的壓縮加速比例，利用模擬刪除網(wǎng)絡(luò)參數(shù)的方法，確定網(wǎng)絡(luò)模型各層所需設(shè)定的稀疏率；

(2.4)根據(jù)各層的稀疏率和每個(gè)列參數(shù)組的重要性順序，將重要性較低的參數(shù)組進(jìn)行刪除操作，當(dāng)模型各層均完成刪除操作后，將權(quán)值矩陣還原成四維的張量形式，獲得稀疏模型。

(3)對(duì)稀疏后的模型進(jìn)行重訓(xùn)練，固定已經(jīng)刪除的權(quán)值不進(jìn)行更新，而其他參數(shù)進(jìn)行網(wǎng)絡(luò)的迭代訓(xùn)練，并對(duì)模型的準(zhǔn)確率進(jìn)行監(jiān)測(cè)，當(dāng)再訓(xùn)練的模型準(zhǔn)確率不再上升時(shí)，得到稀疏后的神經(jīng)網(wǎng)絡(luò)模型。

2.根據(jù)權(quán)利要求1所述的一種基于權(quán)重顯著性的神經(jīng)網(wǎng)絡(luò)列稀疏方法，其特征在于，所述步驟(2.1)中具體流程為，對(duì)四維的權(quán)值張量進(jìn)行二維展開操作得到權(quán)值矩陣W′，權(quán)值矩陣的行維度為卷積核的個(gè)數(shù)N，列維度為卷積核的通道數(shù)C、卷積核的高H、卷積核的寬W的乘積，再令矩陣的每一列參數(shù)組合成為一個(gè)獨(dú)立的列參數(shù)組，因此共有C*H*W個(gè)參數(shù)組。

3.根據(jù)權(quán)利要求1所述的一種基于權(quán)重顯著性的神經(jīng)網(wǎng)絡(luò)列稀疏方法，其特征在于，所述步驟(2.2)具體為，對(duì)網(wǎng)絡(luò)權(quán)值矩陣W′各列參數(shù)劃分成的獨(dú)立參數(shù)組，為評(píng)價(jià)其重要性順序而設(shè)定標(biāo)準(zhǔn)，此時(shí)使用Ln范數(shù)(n∈(0，∞))作為標(biāo)準(zhǔn)，每層得到一個(gè)C*H*W維度的向量W′_Ln，向量中各元素的數(shù)值用于表征各個(gè)參數(shù)組的重要性情況。

4.根據(jù)權(quán)利要求1所述的一種基于權(quán)重顯著性的神經(jīng)網(wǎng)絡(luò)列稀疏方法，其特征在于，所述步驟(2.3)中模擬刪除網(wǎng)絡(luò)參數(shù)的具體方法是，在接收到用戶指定的壓縮加速比例后，先計(jì)算模型中各個(gè)參數(shù)層的每秒浮點(diǎn)操作次數(shù)(GFLOPs)，并設(shè)定一個(gè)初始的壓縮率α；然后對(duì)網(wǎng)絡(luò)中各層的參數(shù)進(jìn)行壓縮率為α的模擬稀疏，得出在α壓縮率下GFLOPs的減少量，并判斷當(dāng)前總體稀疏率是否符合用戶指定的壓縮加速比例，若未達(dá)到則以β為步長(zhǎng)增大壓縮率α，重復(fù)進(jìn)行模擬稀疏、統(tǒng)計(jì)總體稀疏率的操作；

當(dāng)稀疏率接近指定壓縮加速比例時(shí)，將壓縮率的增量步長(zhǎng)減少至γ，進(jìn)一步可以考慮前n個(gè)具有較大GFLOPs值的層，將其壓縮率增量步長(zhǎng)減少至0，以確保最后實(shí)現(xiàn)的稀疏率能準(zhǔn)確達(dá)到用戶指定的數(shù)值。

5.根據(jù)權(quán)利要求1所述的一種基于權(quán)重顯著性的神經(jīng)網(wǎng)絡(luò)列稀疏方法，其特征在于，所述步驟(2.4)具體如下：

a、獲得當(dāng)前層的權(quán)值矩陣W′、參數(shù)組重要性表征向量W′_Ln、當(dāng)前層的稀疏率δ；

b、根據(jù)稀疏率δ，對(duì)向量W′_Ln中重要性較低的參數(shù)組標(biāo)記為需要被稀疏的對(duì)象；

c、將向量W′_Ln中被標(biāo)記的對(duì)象反向映射到權(quán)值矩陣中對(duì)應(yīng)的列，再對(duì)這些列進(jìn)行刪除；

d、將權(quán)值矩陣W′還原成當(dāng)前層所需的四維張量形式，并覆蓋本層原本的四維張量數(shù)值；

e、當(dāng)網(wǎng)絡(luò)中存在未稀疏化處理的層時(shí)，對(duì)各個(gè)未稀疏化的層重復(fù)a-d的操作，直至完成所有參數(shù)層的稀疏，獲得稀疏模型。