[發(fā)明專利]一種確定剪枝閾值的方法及裝置、模型剪枝方法及裝置

在審

• 申請?zhí)枺?/td>: 201810488059.8
• 申請日: 2018-05-21
• 公開（公告）號: CN108416187A
• 公開（公告）日: 2018-08-17
• 發(fā)明（設(shè)計(jì)）人: 高巖;于治樓;姜?jiǎng)P;段成德;李朋
• 申請（專利權(quán)）人: 濟(jì)南浪潮高新科技投資發(fā)展有限公司
• 主分類號: G06F19/00
• 分類號: G06F19/00;G06N3/04
• 代理公司: 濟(jì)南信達(dá)專利事務(wù)所有限公司 37100
• 代理人: 李世喆

1.一種確定剪枝閾值的方法，其特征在于，包括：

針對預(yù)設(shè)模型的當(dāng)前卷積層，確定與所述當(dāng)前卷積層的卷積核組合所對應(yīng)的至少一個(gè)卷積核索引位置，其中，所述當(dāng)前卷積層為所述預(yù)設(shè)模型的任一卷積層；

根據(jù)每一個(gè)所述卷積核索引位置上的權(quán)重值，得到累積分布函數(shù)；

以預(yù)設(shè)的模型壓縮率作為因變量代入所述累積分布函數(shù)，并將所得數(shù)值確定為所述當(dāng)前卷積層的剪枝閾值。

2.根據(jù)權(quán)利要求1所述的確定剪枝閾值的方法，其特征在于，

所述卷積核組合滿足公式一；

所述公式一包括：

其中，F(xiàn)_i為所述卷積核組合，1≤i≤L，i為整數(shù)，L為所述預(yù)設(shè)模型的所有卷積層的層數(shù)，為實(shí)數(shù)域，K為所述卷積核組合中的所有卷積核的個(gè)數(shù)、C為所述當(dāng)前卷積層對應(yīng)的卷積核通道數(shù)、R為所述當(dāng)前卷積層對應(yīng)的卷積核高度、S為所述當(dāng)前卷積層對應(yīng)的卷積核寬度；

進(jìn)一步包括：利用公式二，計(jì)算每一個(gè)所述卷積核索引位置上的權(quán)重值；

所述公式二包括：x＝F_i(k，c，r，s)

其中，(k，c，r，s)為所述至少一個(gè)卷積核索引位置中的任一卷積核索引位置，且1≤k≤K，1≤c≤C，1≤r≤R，1≤s≤S，F(xiàn)_i(k，c，r，s)為以卷積核索引位置(k，c，r，s)作為自變量的連接權(quán)重值函數(shù)，x為卷積核索引位置(k，c，r，s)上的權(quán)重值。

3.一種模型剪枝方法，其特征在于，包括：

S1：針對預(yù)設(shè)模型的至少兩層卷積層中的首層卷積層，確定所述首層卷積層為當(dāng)前卷積層，其中，任一所述卷積層的卷積核組合均對應(yīng)有至少一個(gè)卷積核索引位置；

S2：針對所述預(yù)設(shè)模型的當(dāng)前卷積層，確定與所述當(dāng)前卷積層的卷積核組合所對應(yīng)的至少一個(gè)目標(biāo)卷積核索引位置；根據(jù)每一個(gè)所述目標(biāo)卷積核索引位置上的權(quán)重值，得到累積分布函數(shù)；以預(yù)設(shè)的模型壓縮率作為因變量代入所述累積分布函數(shù)，并將所得數(shù)值確定為所述當(dāng)前卷積層的剪枝閾值；

S3：針對每一個(gè)所述目標(biāo)卷積核索引位置均執(zhí)行：判斷當(dāng)前目標(biāo)卷積核索引位置上的權(quán)重值是否不超過所述當(dāng)前卷積層的剪枝閾值，若是，將所述當(dāng)前目標(biāo)卷積核索引位置上的權(quán)重值重置并固定為0，否則，固定所述當(dāng)前目標(biāo)卷積核索引位置上的權(quán)重值；

S4：判斷所述當(dāng)前卷積層是否為所述至少兩層卷積層中的末層卷積層，若是，結(jié)束當(dāng)前流程，否則，執(zhí)行S5；

S5：向所述預(yù)設(shè)模型輸入預(yù)設(shè)的校驗(yàn)數(shù)據(jù)集，以微調(diào)所述預(yù)設(shè)模型，并確定所述當(dāng)前卷積層的下一層卷積層作為新的當(dāng)前卷積層，執(zhí)行S2。

4.根據(jù)權(quán)利要求3所述的模型剪枝方法，其特征在于，

任一所述卷積層的卷積核組合均包括至少一個(gè)卷積核，且每一個(gè)所述卷積核均對應(yīng)有至少一個(gè)卷積核索引位置；

所述S4中，在判斷出所述當(dāng)前卷積層為所述至少兩層卷積層中的末層卷積層時(shí)，在所述結(jié)束當(dāng)前流程之前，進(jìn)一步包括：

A1：針對所述預(yù)設(shè)模型的每一層卷積層均執(zhí)行：

針對當(dāng)前卷積層的卷積核組合所包括的每一個(gè)卷積核均執(zhí)行：判斷當(dāng)前卷積核對應(yīng)的每一個(gè)卷積核索引位置上的權(quán)重值是否均為0，若是，刪除所述當(dāng)前卷積核；

A2：根據(jù)當(dāng)前的所述預(yù)設(shè)模型，更新所述預(yù)設(shè)模型的結(jié)構(gòu)描述文件和權(quán)重值文件。

5.根據(jù)權(quán)利要求3或4所述的模型剪枝方法，其特征在于，

在S1之前，進(jìn)一步包括：將預(yù)設(shè)數(shù)據(jù)集劃分成訓(xùn)練數(shù)據(jù)集、測試數(shù)據(jù)集和所述校驗(yàn)數(shù)據(jù)集，使用所述訓(xùn)練數(shù)據(jù)集和所述測試數(shù)據(jù)集以訓(xùn)練出卷積神經(jīng)網(wǎng)絡(luò)CNN模型作為所述預(yù)設(shè)模型。

6.一種確定剪枝閾值的裝置，其特征在于，包括：

函數(shù)生成單元，用于針對預(yù)設(shè)模型的當(dāng)前卷積層，確定與所述當(dāng)前卷積層的卷積核組合所對應(yīng)的至少一個(gè)卷積核索引位置，其中，所述當(dāng)前卷積層為所述預(yù)設(shè)模型的任一卷積層；

處理單元，用于根據(jù)每一個(gè)所述卷積核索引位置上的權(quán)重值，得到累積分布函數(shù)；

閾值生成單元，用于以預(yù)設(shè)的模型壓縮率作為因變量代入所述累積分布函數(shù)，并將所得數(shù)值確定為所述當(dāng)前卷積層的剪枝閾值。