[發(fā)明專利]基于感受野準(zhǔn)則的過濾器修剪方法

在審

• 申請?zhí)枺?/td>: 202210274586.5
• 申請日: 2022-03-21
• 公開（公告）號(hào): CN114626522A
• 公開（公告）日: 2022-06-14
• 發(fā)明（設(shè)計(jì)）人: 錢亞冠;康明;陶祥興;樓瓊;郭羽含;朱凱;何志強(qiáng)
• 申請（專利權(quán)）人: 浙江科技學(xué)院
• 主分類號(hào): G06N3/08
• 分類號(hào): G06N3/08;G06N3/04
• 代理公司: 成都方圓聿聯(lián)專利代理事務(wù)所(普通合伙) 51241
• 代理人: 茍銘

1.基于感受野準(zhǔn)則的過濾器修剪方法，其特征在于，包括以下步驟：

S1：構(gòu)建感受野準(zhǔn)則RFC，感受野準(zhǔn)則是去衡量一個(gè)卷積核的重要性程度；

S2：通過全局自適應(yīng)濾波器搜索GAFS對(duì)模型進(jìn)行全局剪枝。

2.根據(jù)權(quán)利要求1所述的基于感受野準(zhǔn)則的過濾器修剪方法，其特征在于，所述S1包括以下子步驟：

S11：設(shè)輸入圖像的數(shù)量N∈R和類的數(shù)量V∈R，M^(i,j)∈R^hi×wj是在激活函數(shù)之后由第i層中的第j濾波器從第k圖像生成的通道，是一個(gè)由通道標(biāo)簽對(duì)組成的集合，其中M^(i,j)(k)是通道，v_k∈{1,2,...,V}是相應(yīng)的類別標(biāo)簽；

S12：將L2范數(shù)應(yīng)用于每個(gè)通道，并獲得響應(yīng)分?jǐn)?shù)集以表示第j個(gè)卷積核對(duì)所有圖像的激活響應(yīng)，

其中m是對(duì)應(yīng)通道的元素；

選擇具有最高k％激活響應(yīng)的通道和輸入圖像的相應(yīng)標(biāo)簽：

其中sort(·)_k％是由前k％元素組成的集合；由獲得了標(biāo)簽集V^(i,j)＝{v_k}；

S13：{v_k}用于生成相應(yīng)濾波器的最大響應(yīng)概率分布，設(shè)|v^(i,j)|為集合V^(i,j)中的元素?cái)?shù)，此外，表示屬于類別n的元素的數(shù)量，將這些標(biāo)簽的頻率轉(zhuǎn)換為概率，最大響應(yīng)概率設(shè)置：

當(dāng)才會(huì)讓概率p進(jìn)入下一步計(jì)算，利用這些最大響應(yīng)概率，我們進(jìn)一步去得到我們的RFC準(zhǔn)則；

S14：根據(jù)若這個(gè)特征存在于多數(shù)類別中，那么這個(gè)特征對(duì)于去判斷這些類別就沒有用，所以我們將這個(gè)性質(zhì)轉(zhuǎn)化為均勻性。即過濾器對(duì)于全部類別響應(yīng)越均勻則越冗余。而信息熵可以去衡量均勻性，所以我們使用我們最大響應(yīng)概率去計(jì)算信息熵。設(shè)為第i層中第j個(gè)濾波器的信息熵：

這里，分?jǐn)?shù)函數(shù)T由確定，可以去確定不同過濾器的重要性，并且該集合T⁽ⁱ⁾＝{H^(i，j)|j＝1，2，...，O⁽ⁱ⁾}表示第i層中的所有濾波器的信息熵，其中O⁽ⁱ⁾是第i層中的濾波器的數(shù)目，選擇具有底部a％值的H^(i，j)卷積核來構(gòu)造卷積核集：

其中是第i層中的第j個(gè)卷積核，可以使用上式中的卷積核重建網(wǎng)絡(luò)。

3.根據(jù)權(quán)利要求1所述的基于感受野準(zhǔn)則的過濾器修剪方法，其特征在于，所述S2包括以下子步驟：

S21：通過過濾器準(zhǔn)則獲得所有卷積核的分?jǐn)?shù)集；

S22：通過臨時(shí)移除層內(nèi)分?jǐn)?shù)的最低的λ，粒度因子，對(duì)應(yīng)的卷積核來記錄精度變化Δ_acc和網(wǎng)絡(luò)輸出向量Δ_cos變化，即度量網(wǎng)絡(luò)輸出向量變化使用余弦相似性，其中g(shù)為原網(wǎng)絡(luò)輸出向量，gi為剪枝第i層網(wǎng)絡(luò)輸出向量，然后計(jì)算兩者可以得到該層的冗余度R_i＝Δ_acc+3Δ_cos，1：3的比例為實(shí)驗(yàn)得出；

S23：當(dāng)該層記錄完后，將該層恢復(fù)到移除之前的狀態(tài)；

S24：這種“刪除-記錄-恢復(fù)”操作逐層重復(fù)，R_i變化越小，層的冗余度就越大，挑選出最冗余的層第I層，公式為W為總卷積層數(shù)，這一次剪枝僅僅在第I層中進(jìn)行，為了保持前后一致，在第I層中剪掉λ，λ＝1/2的filter每一次只剪枝一層的操作不會(huì)引起在不同層同時(shí)剪枝的語義問題；

S25：如果λ一直固定不變，則會(huì)在造成過度剪枝，即當(dāng)對(duì)64個(gè)filter進(jìn)行剪枝時(shí)候，如果λ一直為1/2則只能剪枝一半，變成filter為32個(gè)，但是最優(yōu)結(jié)構(gòu)在32-64之間，這樣會(huì)導(dǎo)致過度剪枝，引入一個(gè)參數(shù)ε去控制λ什么時(shí)候變小，控制公式如下：

因?yàn)镽_I＜ε時(shí)候，意味著剪枝最冗余層I并不會(huì)造成過度剪枝，繼續(xù)保持粒度λ不變；當(dāng)R_I≥ε時(shí)候，意味著剪枝最冗余層I都會(huì)造成過度剪枝，所以應(yīng)該減半λ以減少剪枝粒度，并且在這一步中不執(zhí)行剪枝重新；然后以減半后的λ重新開始步驟S21-S25完成剪枝。