[發(fā)明專利]基于單元重要度的條件計(jì)算方法

有效

• 申請(qǐng)?zhí)枺?/td>: 202110785452.5
• 申請(qǐng)日: 2021-07-12
• 公開(kāi)（公告）號(hào): CN113408709B
• 公開(kāi)（公告）日: 2023-04-07
• 發(fā)明（設(shè)計(jì)）人: 周泓;楊濤;樓震宇
• 申請(qǐng)（專利權(quán)）人: 浙江大學(xué)
• 主分類(lèi)號(hào): G06N3/0464
• 分類(lèi)號(hào): G06N3/0464;G06N3/048;G06N3/0442;G06N3/08;G06F18/2415
• 代理公司: 杭州裕陽(yáng)聯(lián)合專利代理有限公司 33289
• 代理人: 顧晨

1.一種基于單元重要度的條件計(jì)算方法，其特征在于，包含以下步驟:

S1：預(yù)先訓(xùn)練主干殘差網(wǎng)絡(luò)M,所述主干殘差網(wǎng)絡(luò)M包含n個(gè)殘差單元；

S2：為預(yù)訓(xùn)練好的所述主干殘差網(wǎng)絡(luò)M構(gòu)建門(mén)控網(wǎng)絡(luò)G；

S3：計(jì)算所述主干殘差網(wǎng)絡(luò)M中每個(gè)所述殘差單元對(duì)每一張輸入圖像的重要度；

S4：將所述輸入圖像及其對(duì)應(yīng)的各所述殘差單元的重要度組成為輸入-標(biāo)簽對(duì)，構(gòu)建數(shù)據(jù)集，固定所述主干殘差網(wǎng)絡(luò)M，通過(guò)所述數(shù)據(jù)集訓(xùn)練所述門(mén)控網(wǎng)絡(luò)G；

S5：在訓(xùn)練好所述門(mén)控網(wǎng)絡(luò)G后固定所述門(mén)控網(wǎng)絡(luò)G，對(duì)所述主干殘差網(wǎng)絡(luò)M進(jìn)行微調(diào)以適應(yīng)動(dòng)態(tài)裁剪；

S6：重復(fù)步驟S3-S5直到模型的裁剪率和精度滿足預(yù)設(shè)條件；

在所述步驟S3中計(jì)算所述主干殘差網(wǎng)絡(luò)M中每個(gè)殘差單元對(duì)每一張輸入圖像的重要度的具體方法為通過(guò)下述公式進(jìn)行計(jì)算：

imp(x,i)＝loss(M-Block[i],x)-loss(M,x)

其中，x為輸入圖像，M-Block[i]為M中第i個(gè)殘差單元被裁去時(shí)的剩余n-1個(gè)殘差單元構(gòu)成的子網(wǎng)絡(luò)，loss為給定的當(dāng)前任務(wù)的損失函數(shù)，imp(x,i)為M中第i個(gè)殘差單元對(duì)輸入x的重要度；

在所述步驟S4中，將重要度標(biāo)注作為reward，所述門(mén)控網(wǎng)絡(luò)G的輸出G(x)作為各個(gè)門(mén)控的預(yù)測(cè)值，經(jīng)過(guò)Sigmoid函數(shù)將門(mén)控預(yù)測(cè)值轉(zhuǎn)化為開(kāi)啟概率后，使用類(lèi)強(qiáng)化學(xué)習(xí)的算法對(duì)所述門(mén)控網(wǎng)絡(luò)G進(jìn)行訓(xùn)練；

步驟S4中的目標(biāo)函數(shù)通過(guò)下述公式進(jìn)行計(jì)算，

其中，G(x)為各個(gè)門(mén)控的預(yù)測(cè)值，訓(xùn)練采用梯度上升以最大化目標(biāo)函數(shù)。

2.根據(jù)權(quán)利要求1所述的基于單元重要度的條件計(jì)算方法，其特征在于，

在所述步驟S5中對(duì)所述主干殘差網(wǎng)絡(luò)M進(jìn)行微調(diào)時(shí)，使得每個(gè)所述輸入圖像都只經(jīng)過(guò)所有n個(gè)所述殘差單元的特定子集，對(duì)于某個(gè)所述輸入圖像，所述主干殘差網(wǎng)絡(luò)M的微調(diào)只對(duì)所述特定子集中的所述殘差單元進(jìn)行。

3.根據(jù)權(quán)利要求1所述的基于單元重要度的條件計(jì)算方法，其特征在于，

所述步驟S2中構(gòu)建的所述門(mén)控網(wǎng)絡(luò)為ResNet8卷積神經(jīng)網(wǎng)絡(luò)，或以LSTM循環(huán)神經(jīng)網(wǎng)絡(luò)為主體的神經(jīng)網(wǎng)絡(luò)，或者是n個(gè)獨(dú)立的MLP，每個(gè)MLP對(duì)應(yīng)于一個(gè)所述殘差單元。