[發(fā)明專利]一種用于深度卷積神經(jīng)網(wǎng)絡(luò)模型壓縮的方法

在審

• 申請(qǐng)?zhí)枺?/td>: 201710038007.6
• 申請(qǐng)日: 2017-01-18
• 公開（公告）號(hào): CN108322221A
• 公開（公告）日: 2018-07-24
• 發(fā)明（設(shè)計(jì)）人: 肖學(xué)鋒;金連文;楊亞鋒;常天海;劉汝杰;孫俊
• 申請(qǐng)（專利權(quán)）人: 華南理工大學(xué);富士通株式會(huì)社
• 主分類號(hào): H03M7/40
• 分類號(hào): H03M7/40;H03M7/30;G06N3/08;G06K9/62
• 代理公司: 廣東廣信君達(dá)律師事務(wù)所 44329
• 代理人: 楊曉松

本發(fā)明公開了一種用于深度卷積神經(jīng)網(wǎng)絡(luò)模型壓縮的方法，包括步驟：對(duì)于已經(jīng)訓(xùn)練完成的深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行再訓(xùn)練，去除其中冗余的網(wǎng)絡(luò)連接；對(duì)卷積神經(jīng)網(wǎng)絡(luò)的各網(wǎng)絡(luò)層的剩余連接的權(quán)值進(jìn)行編碼；對(duì)卷積神經(jīng)網(wǎng)絡(luò)的各網(wǎng)絡(luò)層的剩余連接的權(quán)值進(jìn)行k?means聚類；對(duì)聚類結(jié)果進(jìn)行微調(diào)；保存微調(diào)后的結(jié)果，并對(duì)保存的文件進(jìn)行哈夫曼編碼。本發(fā)明通過動(dòng)態(tài)閾值的設(shè)定，能夠較平緩地去除網(wǎng)絡(luò)中的連接，使網(wǎng)絡(luò)能夠從連接被去除的不利情況中恢復(fù)，從而能夠達(dá)到相同準(zhǔn)確率損失的情況下，壓縮倍數(shù)較高的效果；在剩余連接編碼過程中，使用的改進(jìn)的CSR編碼方法可以減少表示索引值所需要的比特位數(shù)，從而能夠減小壓縮文件的大小，提高壓縮率。

技術(shù)領(lǐng)域

本發(fā)明涉及深度學(xué)習(xí)和人工智能領(lǐng)域，尤其涉及一種用于深度卷積神經(jīng)網(wǎng)絡(luò)模型壓縮的方法。

背景技術(shù)

近年來，深度學(xué)習(xí)算法在人工智能領(lǐng)域取得了一系列令人驚艷的結(jié)果，而深度卷積神經(jīng)網(wǎng)絡(luò)是目前在人工智能領(lǐng)域的分支計(jì)算機(jī)視覺領(lǐng)域中應(yīng)用最為廣泛、最為成功的深度學(xué)習(xí)算法之一。一般來說，為了解決更復(fù)雜的計(jì)算機(jī)視覺問題，卷積神經(jīng)網(wǎng)絡(luò)中就需要引入更多的神經(jīng)元或者增加網(wǎng)絡(luò)的層數(shù)，但這樣勢(shì)必導(dǎo)致網(wǎng)絡(luò)中的參數(shù)變多，整個(gè)網(wǎng)絡(luò)模型變大。例如用于解決ImageNet數(shù)據(jù)集分類問題的AlexNet深度卷積神經(jīng)網(wǎng)絡(luò)的模型大小達(dá)到了243.9M，這樣大小的模型顯然是無法部署到移動(dòng)端或者是嵌入式等存儲(chǔ)空間十分有限的設(shè)備上的。

發(fā)明內(nèi)容

為克服現(xiàn)有技術(shù)的不足，在壓縮深度卷積神經(jīng)網(wǎng)絡(luò)模型大小的同時(shí)保持其準(zhǔn)確率基本不變，本發(fā)明提出一種用于深度卷積神經(jīng)網(wǎng)絡(luò)模型壓縮的方法。

本發(fā)明的技術(shù)方案是這樣實(shí)現(xiàn)的，一種用于深度卷積神經(jīng)網(wǎng)絡(luò)模型壓縮的方法，包括步驟

S1：對(duì)于已經(jīng)訓(xùn)練完成的深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行再訓(xùn)練，去除其中冗余的網(wǎng)絡(luò)連接；

S2：對(duì)卷積神經(jīng)網(wǎng)絡(luò)的各網(wǎng)絡(luò)層的剩余連接的權(quán)值進(jìn)行編碼；

S3：對(duì)卷積神經(jīng)網(wǎng)絡(luò)的各網(wǎng)絡(luò)層的剩余連接的權(quán)值進(jìn)行k-means聚類；

S4：對(duì)聚類結(jié)果進(jìn)行微調(diào)；

S5：保存微調(diào)后的結(jié)果，并對(duì)保存的文件進(jìn)行哈夫曼編碼。

進(jìn)一步地，步驟S1包括步驟

S11：對(duì)訓(xùn)練完成的深度卷積神經(jīng)網(wǎng)絡(luò)模型進(jìn)行繼續(xù)訓(xùn)練；

S12：對(duì)任一網(wǎng)絡(luò)層進(jìn)行訓(xùn)練時(shí)，每次迭代都去除該層中一些權(quán)值小于某一動(dòng)態(tài)閾值的連接；

S13：當(dāng)任一網(wǎng)絡(luò)層中去除的連接數(shù)占該層原始連接數(shù)的比例達(dá)到預(yù)設(shè)的值時(shí)，固定此時(shí)的該網(wǎng)絡(luò)層的動(dòng)態(tài)閾值，對(duì)深度卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行繼續(xù)訓(xùn)練；

S14：當(dāng)訓(xùn)練次數(shù)達(dá)到最大訓(xùn)練次數(shù)時(shí)，停止訓(xùn)練。

進(jìn)一步地，步驟S2包括步驟

S21：將各網(wǎng)絡(luò)層連接的權(quán)值矩陣按行優(yōu)先分別排列為一個(gè)行向量；

S22：對(duì)各個(gè)行向量進(jìn)行改進(jìn)的CSR編碼。

進(jìn)一步地，步驟S21中所述改進(jìn)的CSR編碼是指在存儲(chǔ)非零值的位置時(shí)，用相對(duì)前一個(gè)非零值的位移來代替相對(duì)行首的位移，并當(dāng)相對(duì)位移超過2^k時(shí)，在該位置補(bǔ)0，并視此位置為非零值的位置，其他與標(biāo)準(zhǔn)CSR編碼相同。

進(jìn)一步地，步驟S3包括步驟

S31：獲取各網(wǎng)絡(luò)層的值向量；

S32：對(duì)各網(wǎng)絡(luò)層值向量進(jìn)行k-means聚類。

進(jìn)一步地，步驟S4包括步驟

S41：利用步驟S3所得聚類結(jié)果和步驟S2的編碼結(jié)果初始化各網(wǎng)絡(luò)層的參數(shù)；